Так как компактных и холодных игровых видеокарт не существует, то планирую сборку вокруг NVIDIA RTX 4000 Ada. Не шибко быстрая видюха, но целых 20 гигов памяти, которых даже на RTX5080 нет. Стоит 150к, на что-то дороже денег у меня нет.
Корпус думаю что Jonsbo C6, он отлично подходит для 250мм видеокарт и mini-ITX материнок. Он не такой-то и маленький, а так как жизнь у меня бомжатская с постоянными переездами, то что-то более габаритное позволить себе не могу.
Насчет проца и материнки еще не определился. Но точно будет платформа с DDR5 памятью не меньше 64 гигов, на DDR4 смысла нет.
Хочу сначала спросить анона что он думает об этой идее вообще. Реально собрать небольшой комп для ЛЛМ не дороже 350к рублей сейчас?
Например, такой: https://www.dns-shop.ru/product/0334fbeb0de3d9cb/16-noutbuk-machenike-l16-pro-g2-mars-a-seryj/
Я такой собрал и пожалел - получился компактный шумный самолёт. Лучше наоборот - огромную big tower бери.
Откуда эта тяга впихать невпихуемое? Ты в чулане на восемь квадратов живёшь? Просто других причин собирать такое горячее железо в коробке от ботинок просто нет.
>Лучше наоборот - огромную big tower бери.
При следующем переезде берешь такой и пытаешься запихнуть биг товер в рюкзак. Он не влезает и поэтому просто громоздишь его себе на спину с помощью импровизированных лямок. Правда, остальные вещи хуй знает куда девать.
Если ты не голь перекатная с одной сумкой вещей - один хрен придётся для переезда машину заказывать. Вот туда и погрузят.
>Ты в чулане на восемь квадратов живёшь?
Не поверишь, но одно время жил в студии около 7 м2. За границей, конечно, в Богоизбранной люди в собачьих будках не живут. Комната была практически на длину кровати и окно было типа щели под потолком.
>Просто других причин собирать такое горячее железо
А что горячего в NVIDIA RTX 4000 Ada? Она же медленнее чем RTX5060 и для игр бесполезна. Хорошо работает с ЛЛМ только потому что есть целых 20 гигов памяти.
20 гб очень мало. Ну ты попробуешь и разочаруешься. Если важны именно нейронки и имея такой бюджет я бы смотрел в сторону MacMini или MacStudio. Там уж сколько денег хватит. У них много Unifed памяти, которая гораздо быстрее чем обычная оперативка. Условно мак с 64 гб скорее всего на практике просто разорвет по скорости инференса твой вариант с 20 гб видеопамяти. Еще можешь посмотреть в сторону NVIDIA DGX Spark, но там только если покопаться хорошо за вменяемую цену можно найти
>Если ты не голь перекатная с одной сумкой вещей
Не одна сумка, но комп за 350к я отправлять транспортной компанией не собираюсь. Такие вещи только лично транспортировать. Если на самолете лететь, то надо чтобы в ручную кладь помещался.
>в Богоизбранной люди в собачьих будках не живут
Живут, видос-то я не просто так прикрепил. Но у нас это для тех, кому надо хоть как-нибудь - но в столице.
>А что горячего в NVIDIA RTX 4000 Ada?
130 ватт так-то, у меня трехвентильная 6650ХТ меньше греется.
>>7726574
>Не одна сумка, но комп за 350к я отправлять транспортной компанией не собираюсь.
Кто тебе мешает доехать с ним и проследить чтобы не разъебали?
Спасибо за идею. Я всегда думал что Аппл - оверпрайс для пидоров, но их мини-ПК и впрямь выглядят интересно.
Вопрос только в том будут ли на Маке работать модели для генерации видео и ComfyUI. Мне для картинок/видео в первую очередь надо, а не для кодинга и автоматизации.
>>7726572
>хочешь именно NVIDIA то лучше тогда 3090 или 4090
Б/у не хочу брать, тем более такие горячие видеокарты. За не б/у барыги сдерут три шкуры небось.
Там работает все для инференса. Но вот обучать модельки, насколько я знаю, там нельзя. Возможно что что-то поменялось и обучать сейчас можно, я не изучал
> Б/у не хочу брать, тем более такие горячие видеокарты
3090 не особо горячая. 4090 уже скорее да. Да и какая разница? Он у тебя будет где-то стоять и пусть себе греется
> Мне для картинок
Тут и 16 гб хватит
> Видео
А вот тут не хватит. Тут вообще по-моему все что не облачное ближе к "ну такое"
> За не б/у барыги сдерут три шкуры небось
За 150к ты точно можешь новую 3090 найти. Там что-то около 80-90к обычно, но это редко не б/у. Но я встречал и предложения которые явно не уставшие после майнинга
>3090 не особо горячая. 4090 уже скорее да. Да и какая разница?
При покупке б/у есть вероятность что видеокарта проблемная. Например, хуевый припой и чип отваливается. Топовые и горячие видеокарты особенно этим славятся, бюджетные и холодные почти никогда.
Новую видюху ты можешь легко по гарантии сдать, а с б/у от Васяна что делать?
>Условно мак с 64 гб скорее всего на практике просто разорвет по скорости инференса твой вариант с 20 гб видеопамяти.
Кстати говоря, нигде не могу найти Мак Студио на 64 гб. За 320к предлагают версию с 36 гб. Это же хуйня для современных локалок. На виндовс-пк дополнительно можно 64 или даже 128 гигов навесить без особых проблем и ворочать очень большие GGUF модели, пусть и медленно.
Да никаких гарантий нет. Но это самый дешевый способ получить 24 гб видеопамяти. Новых 4090 и тем более 3090 считай что нет. 3090 очень часто активно эфир копали
> Кстати говоря, нигде не могу найти Мак Студио на 64 гб
Очень вероятно что их скупили тупо все. Ровно с той же целью с которой и ты хочешь. А 36 это мусор для ИИ.
> пусть и медленно
Это не просто медленно, это будет адски медленно. Там что-то в духе 1 токен в секунду будет. На практике только MoE модели адекватно работают при оффлоаде частичном в RAM. Обычные ну прям супер медленно. Допустим у меня есть ноут с RTX 5070. Там 8 гб и 64 гб ОЗУ. Я попробовал SDXL модельку чтобы сгенерировала кошкодевочку 1024x1024. Модель хочет 16 гб, оффлоад наполовину в ОЗУ. Генерация заняла около 24 минут. Та же самая моделька на 5090 где она целиком помещается отработала за 6 секунд. SDXL не MoE, так что учитывай это. Потери от того что в VRAM не влезают катастрофические по скорости
В целом мак студию был и с 256 гб до помешательства на ИИ, но их уже давно в продаже нет, тупо все выкупили
На озоне до сих пор всплывают, но цена уже идет к 300к, раньше дешевле 100к стоили
>Но это самый дешевый способ получить 24 гб видеопамяти.
С этим я согласен. Если бы не был бомжом, собрал бы обычный ПК фулл-товер с б/у RTX4090 и горя бы не знал.
Но я бомж и полноценный большой ПК мне никак нельзя. Готов хоть в два раза переплатить за компактность.
> Допустим у меня есть ноут с RTX 5070. Там 8 гб и 64 гб ОЗУ. Я попробовал SDXL модельку чтобы сгенерировала кошкодевочку 1024x1024. Модель хочет 16 гб, оффлоад наполовину в ОЗУ. Генерация заняла около 24 минут.
Ну это у тебя совсем хуевая видеокарта. Была бы RTX4000 Ada 20Gb, то без оффлоада она бы тоже за десяток-другой секунд справилась, не намного медленнее RTX5090.
>>7726672
Слушай, довольно интересный вариант. Если такая встройка действительно может до 96 Гб может взять, то это же имба которая уделает полноценный комп с RTX4090.
Проблема только в том что это АМуДа. Я в этом не разбираюсь, но разве все популярные ЛЛМ не с расчетом на тензорные ядра Нвидиа адаптируются? Для АМуДы только кое-что по остаточному принципу делают которое криво-косо работает. Не уверен что подойдет для генерации видео.
> Проблема только в том что это АМуДа
Здесь нет проблемы. Подразумевается что инференс будет на процессоре, а там уже не важно какой. Хоть интел, хоть амд
> о это же имба которая уделает полноценный комп с RTX4090.
Это вряд ли. Если бы было так, их бы тоже все скупили как мак студио на 64+ гб
Чем меньше - тем лучше. Многие люди просто не переваривают АТХ говну
> огромную big tower
Лучше вообще с ноутбуком чем с таким говном
все современные AI фреймворки поддерживают cuda, муде и эппл gpu. стрикс даже по уровню как эппл и нвидия за 4к только дешевле в два раза.
так что разницы нет, там полноценное gpu ускорение и памяти можео 120 гб отдать, а не 96 максимум.
ты нубасик, скорость памяти нужна чтоб параллельно выполнять сотни запросов с разным контекстом, если у тебя до 10 запросов в параллели то и и на lpddr5x рост почти линейный, те 500 токенов в секунду или 59 токенов на контекст, что достаточно для любого разумного применения. вот видосики генерить очень долго, да, там нужны миллионодолларовые 800 гб кластеры от нвидии которые для соры использовались, пока опенэйай охуела сколько бабла врали на хлебоходы и пирамиду.
Есть разница. Обрати внимание на bandwidth. Потом сравни это с мини пк на амд
Какую ты параллель собрался затолкать в 24 гб? Там бы одну модель хорошо бы загрузить без оффлоада в ram
Вот именно нахуй, адская скорость нужна для картинок и видосиков, вот только на 32 Гб даже нормальных картинок и видосиков очень сложно нагенерить, все болльшие модели хотят 60+ Гб с компромисами, а самые топовые - 200+
Поэтому видюхи и не сметают подчистую, у них просто памяти недостаточно для реального применения, только бля баловства.
M5 Max быстрее M3 Ultra при в 2 раза меньшей скорости памяти, ебало к остмотру.
Я еще не встречал модели для генерации картинок которые бы в 32 гб не влезали. Для видосиков там да, это для локальной генерации грусть-печаль
>>7727190
Да хоть в 10. Ты дохуя в продаже видишь устройств с больше чем 36 гб памяти? Бизнес тоже в курсе что эпле инференс дешевле получается чем на зеленых картах, их сразу же скупают для этого как только в продаже появляются. А с 36 гб хоть м3, хоть м5 - мусор для инференса
Дохуя очевидно, муда на 128 Гб под всеми брендами за 2-3к, нвидлия на 128 Гб под всеми брендами за 4-5к, эппл на 128 Гб за 5-6к, это стандарт сейчас для локального тестирования и разработки небольших локальных моделей и запуска q4 q8 и эксперементальных fp8 и прочих извращений, ты вообще в курсе происходящего? Счас оптимизируются и стандартизируются форматы, никто уже сранный петухон с куда загрузчиками не использует, все уже идет в сторону ускорения и упрощения, уневерсализации (спасибо эппл в первую очередь, муда как всегда жевала вату 3 года). И большинство решений как раз на относительно медленные системы с большим количеством памяти, которые обеспечивают нормальную скорость 10-50 токенов и до 100-500 при нескольких запросах. Для локального применения этого более чем достаточно.
> NVIDIA на 128 гб
Ты об этом? Воистину народная видеокарта для локальных моделей дома
А, ты про спарк. Ну я анону сразу же писал что можно посмотреть, но она по-моему сейчас дешевле 500к не встречается, что в его бюджет не влезает (если на blackwell)
Генерация видео на AMD Ryzen AI Max+ 395 для модели Wan 2.1 (14B) будет процессом небыстрым, так как это крайне тяжелая модель.
Для стандартного ролика (например, 5 секунд, 720p, 24 fps) примерные цифры будут выглядеть так:
🕒 Оценочное время генерации
Этап инициализации (загрузка модели): 1–3 минуты (зависит от скорости SSD, так как веса 14B занимают около 30 ГБ).
Сам процесс генерации (Sampling):
В режиме FP16 (высокое качество): около 15–25 минут.
С квантованием (INT8/GGUF): около 8–12 минут.
Я бы не сказал что очень медленно. За час несколько видосов можно получить, за сутки пару-тройку десятков.
С помощью Грока за 30-доллароваю подписку лимит в день будет не сильно больше этого. Качество видосов лучше, но ведь и с цензурой ебли будет уйма. Некоторые вещи Грок-цензура вообще не пропустит.
Вопрос, почему тогда все не побежали покупать мини-пекарни на базе этого проца со встройкой и не выкупили их как и продукцию Аппл?
Выкупили, все Framework / Dell / HP - скуплено или барижится по 4к при цене в 2. Для США база это спарк или mac studio, они тоже x2 цена.
Раньше были нормальные производитлеи из китая, теперь они пропали остались мутные.
> Вопрос, почему тогда все не побежали покупать мини-пекарни на базе этого проца со встройкой и не выкупили их как и продукцию Аппл?
Потому что скорость памяти в 2-3 раза ниже чем у эпл. Скупают в первую очередь самое быстрое
Бля, в самом деле. На озоне вижу только какие-то GMKtec WeiMi мини-пк и компактные ноутбуки от Асус.
>>7727436
Судя по магазинам, Аппл сейчас вообще смысла искать нет. Только если у барыги с Авито покупать новый с чеком и гарантией.
Я бы рассмотрел открытый корпус, типа -
https://aliexpress.ru/item/1005009207962239.html?businessType=ProductDetail&sku_id=12000048307146279&spreadType=socialShare&srcSns=sns_More&utm_campaign=sharing_overlay_base&utm_medium=sharing
Хотя бы фактор температуры уберешь. Разобрать / собрать при переезде не будет большой проблемой.
При использовании сверху накроешь чем-нибудь.
Я бы предложил тебе взять китайского франкенштейна. RTX 4080 Super на 32гб. Она турбинная, следовательно небольшая. Ну или 4090 (48гб), если у тебя есть деньги на неё.
ИЛИ MSI Vector - ноут с 5090м, за 270к. Самый дешёвый с 5090.
Смеяться будут потомки с такого кала на мини пк мощнейших или в олед тв вообще встроенных.
>Jonsbo C6
Не лезь оно тебя сожрет. Что-то мощнее райзена 5 ил интела и5, или условной рх6600-3060, нет смыслаа туда пихать, оно там сгорит нахуй. Это мини пека для простеньких сборочек. Тебе лучше посмотреть на маки или всякие райзены 390 или какие там, по мощности как 4060 нвидия. Ну или взять корпус побольше куда хотя бы 240 водянка влезет что для цп что для гпу, и то это будет компромисс, печка, и дорого. В общем готовься за компактную и мощную пеку отвалить дохуя и поморочить себе голову.
>или всякие райзены 390
Сейчас китайцы предлагают пикрелейтед с 96 Гб общей памяти где-то за 250к с таможней. Версия с 128 Гб стоит уже под 400к, лол.
Тоже думаю что мини-пека будет гораздо эффективнее в АИ-задачах, даже с 96 гигами.
Правда смущает охлаждение. Это считай что самый лучший из доступных, с 3 вентиляторами на вход и выход. И все равно в отзывах пишут что проц горячий как черт, 90+ градусов под нагрузкой. Короче, не намного лучше чем игровой ноутпук.
Съемная квартира из которой могут в любой момент выгнать. Удачи в 4 утра впопыхах пытаться унести вещи и огромный гроб весом в 10-15 кг
>Правда смущает охлаждение
Пукнет под ИИ. Если только крышку снимать.
Хз на счёт RTX A4000 Ada, но у меня стоит RTX A4000 прошлого поколения с 16гб врам. И она так себе. Не, в целом, збс, т.к однослотовая, но на этом преимущества заканчиваются. Поставил к ней в пару rtx 3090ti с Авито. Печь подужал по питанию. Работают в паре через ollama. 36-38б денс модели работают нормально. Мое модели с большим числом параметров ещё лучше, однако вылезают в ОЗУ и при росте контекста начинают тормозить.
Если не будешь заниматься обучением/тюном моделей, то я бы на твоём месте посмотрел в сторону мини-ПК на базе ai max+ 395 с 128гб памяти. Туда влезут денс модели 80-90б параметров и будут выдавать адекватные 30-60 ток/сек. И всего 140-150Вт потребления. Кмк имба для локального инференса. Поставил на полочку, поднял сервисы - доступны свои локальные ЭЙ АЙ из любой точки мира страны.
Хуево. А ведь другие мини-пк скорее хуже чем этот. Обычно ставят только один-два вентилятора только с одной стороны.
Может надо на подставку для ноутбука поставить, хз.
>>7729261
А почему ты сам выбрал полноценный большой ПК? Не из-за цены ведь, А4000 вместе с RTX3090ti стоят дороже чем мини-пк.
Я собирал ПК, когда ещё не было рузенов 395. А в последствии добавить бу 3090 было таки дешевле в 3 раза, чем брать новый миник.
Кроме того, все таки я считаю, что минипк не замена полноценному десктопу, а достаточно нишевая вещь. Аргументировать особо мне нечем, кроме мифической "гибкости" и "возможности апгрейда" для обычного пк, чего лишён миник.
Тем не менее, я иногда задумываюсь о том, чтобы продать видимокарты китайцам на авито, докинуть денег с зп и таки взять рузен 395 чисто под нейронки. Останавливает то, что какие бы локальные модели не были классные - им все ещё далеко до облачных решений. А для тыканья палкой в агентов и построения, ради интереса, каких-то пайплайнов с ними, мне текущего сетапа хватает, пусть и не всегда.
Я про эти ваши нейросети не знаю. Но вот опыт использования мелкого пк имею и сборок сделал достаточно. И вот что скажу, за все время видел ровно один раз мини сборка была оправдана хоть как то -поскольку перемещался только системник. А вот всякие натягивания сов на глобус съёмные квартиры четыре утра и прочее... Ты просто хочешь собрать мелкий комп, зачем и почему именно так возможно и сам не знаешь -предположу прогрелся какой то рекламой. Идея вообще сейчас мелко сборки делать на мой взгляд плохая. Если прям сильно надо то смотри готовые минипк типа минисфорум.
Я тоже юзал мини пк и юзер кейс был ровно один - ездить со сьемной хаты на хату, включать его к телику, и смотреть видиво и иногда играть. В итоге проапгрейдил до ам4 и рх6600.
И... потом понял, что это хуйня без задач, рядом есть пека в разы мощнее и моник, куда можно и геймпад подрубить, и эта псевдоконсоль не нужна.
Есть стимдек, для игры лежа, сидя, в дороге, поездок, где угодно. Есть новый ноут тоже на райзене для вывода изображения (с него и пишу). И эта мини пэка нахуй не нужна, и продал ее в итоге.
А так, если нужен мощный пека, и живешь не в будке, то проще полноценный ПК собрать, а не дрочиться с мини залупой, и еще переплачивать за всякие ITX low profile oche mali resheniya.
про нейронки не шарю, там небось у них своя атмосфера
Ты дурак нахер какие апгрейды, что изменится если ты добавишь оперативную память, видеокарты замена это уже не апгрейд, а пол пк если не больше цена, сокет сменится процессора и ничего ты не апгрейдишь, оперативная память тоже сменится сокет, писийа стандарт новый в материнке появится тоже плату новую брать, а под нее все новое, так как лучше брать сразу с новым сокетом и тд, кроме того память на разъемах менее надежная по контактам чем паянная, мини пк идут сейчас с 128 гб 8000MHz, гробов память такой частоте может только позавидовать за такую цену, мини пк не нужно апгрейдить, просто через 3-5 лет или более покупается новый мини пк в котором сразу все мощнее и процессор и видео ядро и оперативная память. 8060S это уже практически 4060, разница 4-5 процентов, следующие мини пк будут еще мощнее, все, хана гробам поджали сильно, бюджетные и средние уже сделали бессмысленными, а до этого еще жаловались что медленными темпами развиваются встройки.
>Реально собрать небольшой комп для ЛЛМ не дороже 350к рублей сейчас?
Его даже собирать не надо, AMD для тебя специально выкатила Ryzen Ai Max+ 395, берёшь мини пекарню вроде этой:
ozon.ru/product/mini-pk-amd-ryzen-ai-max-395-mini-pk-amd-ryzen-al-max-395-ram-128-gb-ssd-2048-gb-hdd-2048-gb-amd-3761168681/
И получаешь комп со 128 гигабайтами быстрой общей памяти, из которой до 112 гигабайт можно выделить для GPU под LLM'ки и прочие ии'шенки.
Дёшево и очень практично. Других способов получить такой объем видеопамяти за такой прайс буквально отсутствует, не говоря уже про формфактор.
Ты цены на эту поебень видел вообще?
К тому же она максимально закрытая, нормально работает только на дистрибе линукса который собран самой ноувидео.
Самое лучшее это с мини пк, а не говноноутами обоссанными, дружбарий.
глянул я сейчас требования по железу. Чет хуйню ОП придумал короче, полную. Не ну если школьник и модные слова где услышал, а цель "комп для учебы" собрать то пусть... и в джонсбо сойдет. И готовая китайская нонейм мини коробка тоже. Везде их сейчас навалом и все советуют. Ведь не будут говно хвалить. Не будут же...
А ты попробуй за 300к собери полноразмерный ПК с новой RTX4090.
Вся это ваша якобы годнота ИТТ почему-то на прожаренном железе от барыг с Авито. Еще и какие-то ебанные самоделки из китайских подвалов с добавлением чипов памяти на видеокарту.
У меня нет ноута. Я упомянул ноут в контексте того что даже он лучше чем нелепый гроб устаревшего формата АТХ