░░░██╔╝██╔════╝██╔══██╗██║░░░██║
░░██╔╝░╚█████╗░██████╔╝╚██╗░██╔╝
░██╔╝░░░╚═══██╗██╔══██╗░╚████╔╝░
██╔╝░░░██████╔╝██║░░██║░░╚██╔╝░░
╚═╝░░░░╚═════╝░╚═╝░░╚═╝░░░╚═╝░░░
Итт мы собираем серверы для целей, которые не можем сформулировать.
Поднимаем один сервис ради интереса, второй ради удобства,
третий - потому что без него уже нельзя.
Спорим про ZFS, мини-пк, ARM и корпуса.
Объясняем ньюфагам, что ЕСС - наеб гоев на деньги(иногда нет), а самый надежный бэкап тот, что лежит под кроватью.
Мастерим стойки из говна и палок, запихиваем зион в ящик стола, собираем рейд из 20 HDD по 120Гб.
Покупаем списанные DELL и HP, обшиваем шумкой, меняем вентиляторы и все равно спим под гул вентиляторов.
В свете последних событий активно переходим на железо с помойки складских запасов Xi. Твёрдый камень, много нить, сильная работа. Удар!
Краткий FAQ
В. Что купить?
О. Для 90% хотелок хватит китайской мини-пекарни на N100 N150 и т.п.(типа Beelink и аналоги): тихо, дёшево, экономично.
Если уверен, что “точно не хватит” задавай вопрос нормально.
В.Серверное железо или обычное?
О. Серверное часто = громко+горячо+дорого, рассчитано на стойку и помещение без людей.
1U - почти всегда адская турбина. 2U - всё ещё шумно.
3U+ - можно терпеть по шуму, но они тяжёлые, потому что металл настоящий (если не держал в руках ничего тяжелее хуя будет трудно). Туда теоретически можно наколхозить нормальный охлад и будет тише.
Часто есть вендор-локи: капризность к PCIe/дискам/прошивкам “не родным”.
Главный плюс серверного железа: IPMI, потенциальная надежность, доступность на б/у рынке/али. В остальном - особой разницы нет. Ходят мифы, что для серверного выбирают лучшие чипы, выше качество пайки/комплектующих. Пруфов, конечно же, нет. В общем случае бери обычное железо и не делай себе мозги.
В. Все таки хочу брендированный сервер!
О. Supermicro - база. Много совместимости с десктопным миром (ATX питание, обычные кулеры/форм-факторы), можно собрать “сервер” в обычном корпусе.
Dell - контора пидорасов.
HP - контора пидорасов.
Fujitsu - для наркоманов.
Oracle/Sun/Cisco/IBM - даже не трогай.
Не бери древнее говно, типа dell старше 13го поколения, супермикру старее 11го, HP вообще не бери (но если хочется, то не старше 9го поколения).
В. Хочу 8+ дисков/скачать весь интернет
О. Нужен HBA-контроллер (или RAID-контроллер, который умеет HBA mode, чтобы диски отдавались ОС “как есть”). Покупаешь -> втыкаешь в пси-слот -> подключаешь диски -> скачиваешь весь интернет.
В. SFF/LFF - что за буквы?
О. Это придумали, чтобы ты путался. SFF = 2.5" LFF = 3.5"
В. 10Гбит сеть хочу
О. Энжой. На али/авито есть куча карт. Мелланокс, solarflare - база. Остальное так себе. Интел не трогай - контора пидорасов.
В. Оптика или медь?
О. Медь проще, оптика доступнее. Для дома лучше выбрать медь. Но придется докупить адаптеры SFP+ -> RJ45. Либо же сразу карту с Rj45, но нормальные подобные карты по вменяемой цене еще редкость.
В. Корпуса 3–4U под ATX где взять?
О. Часто всплывают Etegro и Supermicro. Ну и иди на авито.
В. Корпус не стоечный какой взять?
О. Jonsbo NAS серия. Куча аналогов на али по цене 2х кг винограда.
В. Посоветуйте шкаф
О. Ебанутый?
В. Очень нужен шкаф!
О. Ок. Критичный момент: глубина.
60 см - это обычно под сетевое оборудование.
Под серверы смотри от ~100 см и глубже.
В. SAS-диски как приколхозить?
О. Никак, кроме как через контроллер.
Самое массовое - LSI по названию чипа:
LSI 2008 - очень распространён, но уже старый
LSI 3008 - предпочтительнее “на сейчас”
В. Какая разница между RAID и HBA?
О. Принципиальная. RAID карты будут отдавать тебе в систему сразу массив из дисков. Если отвалится карта - ты потеряешь доступ к массиву. Для восстановления нужна такая же карта.
HBA - прямой проброс дисков в систему. RAID карты могут иметь режим HBA, а могут не иметь.
В. А зачем RAID контроллеры вообще?
О. Для ДЦ. Если у тебя огромный поток IOPS, контроллеры снимают нагрузку с ЦП. Для хоумлабы не нужны.
В. Xeon/хуананы норм?
О. Норм. Но могут внезапно умереть. Двухголовые монстры менее предсказуемые, чем одноголовые. Бери на свой страх и риск.
В. ARM
О. Хуярм. Нет задач. Лучше купи N100.
В. База по UPS какая?
О. Подключается по usb/сети к твоему серверу. NUTS для линуксов. За винду никто не знает, тут только натуралы. Важна открытость драйверов производителя того или иного UPS. См. на сайте NUTS список. Топ - APC.
В. Без упсы норм будет?
О. Не очень.
В. ZFS/XFS/ext4 ?
О. Зависит от задач. ZFS норм, не слушай инвалидов. ext4 - рабочая лошадка. XFS - непонятно зачем. btrfs - для зумеров.
Старый тред тонет тут:
>>7632533 (OP)
И ещё подкроватный схд зацените. 12 дисков на коре дуба.
Приехали подшипники для cmpшек, скоро соберу/обслужу. Не знал что приезжают в таких прикольных баночках.
>Топ - APC
если вопрос в "поработать 1.5-2 года, а потом аккумы под замену", то да.
у APC среднего и нижнего ценового сегмента аккумуляторы в корпусе варятся заживо.
>подкроватный схд зацените. 12 дисков на коре дуба
Че за кора? В разгоне или нет? Памяти сколько, че за мамка, че за ОС? Шумный, нет?
У меня тоже есть и кора и квад и пентиумы, надо ченить из них собрать
Тоже заметил. Хочу попробовать подрубить к нему пару стоамперных от аккумуляторной рохли. Боюсь он не выдаст нормальный зарядный ток.
Как бы не звучало, но достаточно держать его вскрытым.
С каким-то 1100 (модель точно не назову) так и поступил: вскрыл корпус, вытащил аккумы за его пределы, так оставил. Проблемы с аккумами исчезли.
В другом месте стоит 1500ый, так недавно пришлось аккумы в нём менять, потому что ИБП не выдержал помехи в сети.
Вытаскивал аккумы, они были не просто горячими, А ГОРЯЧИМИ БЛЯ, остывали минут 30.
Exegate как ИБП не советую тоже: есть модель - UNL-3000, так в ней такие же два аккума, как в APC 1100/1500 о которых писал выше. Плюс, эта дрянь разряжается когда подключена к розетке.
Сейчас коплю гроши на Powercom, попробую то болото.
Какой то квад в стоке, 2гб рамы, asus p5qc. На нём крутится только софтрейд6 и nfs. Дебиан 13. Шумный оч но чисто из-за дисков, поднимаю/кладу по необходимости чего либо с 18тб.
>тоже есть и кора и квад и пентиумы, надо ченить из них собрать
Смотри чтобы были pci-e шины, обычные pci по скорости хуйня, софтрейд на них будет говно. Мб хардовые контроллеры норм т.к. они сами делают магию, но там может не быть raid6.
>>7826824
У меня cyberpower. 2,5 года полет нормальный. Дороговато, но зато и в нут отдает кучу параметров и хорошо настраивается, напряжение стабилизирует. В моем хруще это актуально зимой, тк напряжение гуляет до 160В зачастую.
> Sun - даже не трогай
А если ну очень хочется заняться некромантией? Фото не моё.
Тогда рядом со стойкой поднимай свою электростанцию и охладительный бассейн для некросерверов
Есть вот такой годный сервер, два зеона 2697v2, 128 оперы, 8 дисков sas, hba, платиновый бп, холодный, не пылится.
Нюанс один - имхо, он много жрёт, 125 ватт в простое, 360 под полной нагрузкой. Я думаю поменять мамку с процом чтобы снизить жор. Требования:
- дешево (сопоставимо с текущей по цене, 10К примерно)
- с поддержкой ecc
- мало жрёт
- под ddr3/4, больше двух каналов (я не потяну ddr5), чтобы было шустро по памяти и можно было много оперы засунуть дешевой.
Все ищу тот самый скрытый гем. Можно даже не x86 если удовлетоворяет условиям выше.
>Да ты траллируешь?
Нет, я же пишу
>имхо, много жрёт
У меня не особо много серверов было чтоб сравнить, но я видел сборки на тытрубе по 18 ватт. Правда я хз абсолютно что там по производительности, особо не смотрел, но там новые железки, а не мой ivy bridge из 2012.
Может просто стоит лишние ядра поотключать?
>>7828715
Это v2 двухсокетный, но ладно.
Нормально жрет. Неча тут. Если тебе только диски в сеть подключить, то и брать надо было не эту ебатень, а какой-нибудь пенек или целерон, практически любой офисник из помойки.
Нейронка говорит поднять tailscale, но мои эксперименты ни к чему не привели, потому что благодетели из ркн блочат по протоколу.
В общем поделитесь решениями, сильно не стукайте за отсутствие каких-то базовых знаний.
Себе написал сервис который торчит в интернет и по кнопке добавляет текущий ip в whitelist на день. Раньше было wg и zt, но они чаще сейчас не работают чем работают
Wg работает в пределах РФ, РКН внутри страны впны почти не блочит. Ты делаешь что-то не так.
Да и зачем tailscale когда есть netbird, который буквально лучше во всём.
На двух держу снаружи, бонусом x2 емкость от параллельного подключения пик3 >>7525335
На этой модели у них явно сделано не для быстрого доступа к аккумам
>по 18 ватт
8 SAS дисков сожрут больше кмк. Там видимо сборки уровня BananaPI+флешка.
Пара дисков уже сожрёт эти 18 ватт. Когда дисков больше десятка сдуть тепло с них реальная проблема
Диск в айдле жрёт 3-5 ватт, т.е. 8 дисков это 24вт минимум, ближе к 30 фактически. Контроллер сожрёт пару ватт. Рама жрёт по 5 ватт на плашку. Кулеры каждый потребляет ватта по три, 12-18 в сумме. Процы в айдле тоже жрут 10-15 ватт, а у тебя их два. Бп даже платина имеет потери, особенно вне рабочего диапазона, и легко накинет ещё процентов 5-10. Вот так и набегает.
Новые железки оч сильно оптимизируют для именно потребления чтобы меньше выделало тепла, там и low power рама, и контроллеры на новых техпроцессах, и процы даже если из мощных линеек то эффективные типа новых nок штеуда. Из старых можешь глянуть пикрилы как самые эффективные но для файлопомойки у тебя оверкил и надо архитектурно менять.
У меня не файлопомойка, анон. Там много чего, просто файлопомойка это одно из назначений. Хз с чего вы решили что это файлопомойка.
Последнее время гоняю сервер по майну и еще нескольким игрушкам, часто играюсь с виртуалками, могу штук по 5 запускать.
А, ты писал типа видел сборки на 18 ватт и текущий жор 125, вот и указал как снизить потребление. Гипервизор/оси какие?
Внутри дополнительно 2 сетевых карточки, итого 3 разъёма на сеть отпущено грехами. Основная цель сего — сетевой шлюз и замена домашнему роутеру, ибо покупать новый за 12 тыщщ не захотелось, а захотелось насиловать железо. Всё настроено на 13 Дебиле, просто потому что. В дальнейшем диски будут использоваться под длительное хранилище музыки (под медиацентр), без особой перезаписи, поэтому ssd не помрут, да и запитаны будут всегда, потому что роутер 24/7 будет работать. Осталось порезать частоту камню в пол, чтобы выше 1600mhz на ядро не давал и всё: это будет самый холодный роутер на всём диком западе.
Да и похуй. У меня всё.
вопрос не в быстром доступе, а в дебильной компоновке внутри
Я тоже думал приспособить комп на x86 под такое дело, оказывается там есть какие-то бюджетные материнки то ли на атоме, то ли на зеоне распаянном под такое дело, а ля pfsense и opnsense, экономные достаточно. Если кто-то встречал - подкиньте в тред, сейчас уже не найду.
Ну целенаправленно покупать лоу-кост под сервер так себе затея, я -то собирал из всего, что было по сусекам. И в целом хорошо так вышло, урезанных мощей в холодильнике хватает на всё задуманное.
Есть старый ноутбук lenovo ideapad 110 15ibr 80t7, 2гб рам + Intel Celeron N3060, процессор и рам к сожалению распаяны. уже поменял старый хдд на 120гб ссд. Хочу из него чет прикольное сделать, что предложите, что накатить интересного?
Я бы поднял торрент-сервер. Лучше всего qbittorrent-nox. Правда ссдшки мало для такого, я бы старый hdd оставил.
пару месяцев назад запустил стоечку.
почти все (кроме самой стойки, аккумов в упсе и 6х6 тб) налутано из списанного. шлюз и хранилка на дебиане, 3 гипервизора на проксмоксе. стоит в шумоизолированной кладовке.
два провайдера, локалка поверх wg туннелей.
один из провайдеров неделю парил мозги, "у вас оборудование плохо работает". на моем свитче флапает порт, и я вижу обрыв в нескольких метрах от их железки. в итоге "мы нашли у себя перетертый кабель", нельзя было сразу?..
Старый хдд уже выброшен на мусорку. У нейронки спросил - грит можно свой типа роутер сделать. Как раз там адаптер 433 мбит поддерживает, даже больше чем на моем нищем тенде
Только ты учти, что роутер будет для беспроводной сети максимум, пока не прицепишь usb-адаптеров сетевых. В ethernet-порт будет приходить кабель провайдера, а wifi-адаптер встроенный будет раздавать беспроводное. Но для беспроводной сети я бы на твоём месте не выбирал такой вариант, потому что у адаптера, сам понимаешь, антенны никакие, так что надеяться на пробивной сигнал не стоит. Как советовали выше, на этом железе торрент-качалка или сетевая шара полезнее по производительности будут. А раздачу вафли можешь прикрутить дополнительно, как приятный бонус.
А над ним тогда что? А то на ойбээм повар похоже. Что-то типа System p5.
Аутично делаю себе домашнюю инфру. Давно бесит проблема с необходимостью вывода узлов на обслуживание для замены системного диска. Технически, можно в LVM сделать move на горячую, переустановить загрузчик и готово. Но я нашёл способ заёбнее - загрузка всего, что можно, через pxe. Шизофрения вырисовывается следующая.
Есть три слоя: bootstrap-узлы, ceph-узлы, proxmox-узлы.
bootstrap-узлы
Единственные 3 узла с локальным системным диском. По железу - малина/тонкий клиент/старый ноут. Задача - держать pxe сервер и кластер ceph (3 mon, 3 osd, 1mgr) с системными дисками других узлов. По pxe отдаётся кастомный initramfs, который обращается к bootstrap узлу и получает данные для монтирования диска из ceph себе в корень.
ceph-узлы
Загружаются по pxe с bootstrap-узлов. Их задача - держать osd. Они тоже заходят в кластер, который стоит на bootstrap-узлах, но настройками будет разделение - системные диски физ. узлов лежат только на bootstrap-узлах, а тут данные для proxmox.
proxmox-узды
Тоже загружаются по pxe. Их системные диски можно держать как на bootstrap-узлах, так и на ceph-узлах, потому что proxmox в любом случае зависит от ceph. В виртуалках поднимаются прочие компоненты ceph (+1 mon, +1 mgr, mds, rgw), чтобы снять нагрузку с bootstrap-узлов.
В результате у нас получается система, где выводить узлы на обслуживание для замены системных дисков может потребоваться только на 3 узлах из всей инфры. Неожиданно умерший диск теперь не проблема. Даже неожиданно умерший хост, скорее всего, тоже. Я понимаю, какой тут оверинженеринг, но нейросетки в целом сказали, что работать должно. Теперь хочу услышать мнение реальных людей именно по поводу каких-то фундаментальных/архитектурных проблем. Потанцевально узлы proxmox также будут и узлами ceph, что в целом систему несколько упрощает.
У меня на работе так грузят ноды талоса. Для дома это какая-то дрочка.
Если быть точным то в нодах есть диски, но бут всегда идёт по pxe и там уже решается грузить систему или накатывать на диск
Интересный подход. Расскажи побольше. Как вы заставляете ноду перейти в режим переустановки, а не грузиться с диска? Мы на работе для этого доступа до гипервизора пробивали.
В остальном - да, дрочка имеется. Я просто планирую через какое-то время поставить свои железки вне места своего обитания. И уже встречался с ситуацией, когда системный диск абсолютно чистый по смарту, уходил по английски. В моей архитектуре смерть любого из диска - просто алерт на мониторинге, ничего не падает. На выходных приехал, заменил, работаем дальше. Просто вся эта ебатня для меня сфера хоть и смежная, но всё же непрофильная. Я бы и рад сделать проще, но не знаю как. Поэтому пока ищу слабые места своего решения.
Я только слушал как они на талос переходили, сам я больше потребитель их кластеров (бигтех).
Как понял все сервера из коробки настраиваются на бут по pxe. Сам pxe пэйлоад самописный который запускается всегда и уже после своей загрузки решает что делать с тачкой. Ещё они говорили что на дисках стоит полноценная ос так что если сетевой бут зафейлится, то тачка фоллбэкнется на следующий сорс (локальный диск) и нормально стартанёт обратно в кластер.
Уже не помню какой из путей они выбрали
- выбирать какой pxe пэйлоад отдавать по src ip
- отдавать универсальный и что бы сам пэйлоад ходил на мастер апи
вполне норм, температура батареек даже невысокая. в отличие от sc1500, где они постоянно горячие... с двумя серверами хватает на 15 минут, со всеми 5 - на 5-6, но свет у меня редко выключают.
заодно вольтаж входящий мониторится - пздц он у нас пляшет...
Крутишь ллмки? Какой тпс? Префил?
Расскажи, поделись с анонами.
Хорошо, что я потихоньку на Blu Ray записываю инфу
Для прикола? Может быть. По перфу это абсолютный калище который даже за бесплатно держать бессмысленно
> Сам pxe пэйлоад самописный
Причём это скорее всего неизбежно. Я как-то из любопытства попробовал винду установить без записи флешки, у меня даже получилось запустить первый экран установщика, затем оказалось что он ничего кроме локального диска дальше читать не умеет и просто не в курсе что запустился с pxe.