Локальные языковые модели (LLM): LLaMA, Gemma, Qwen и прочие №185 /llama/
Аноним
26/12/25 Птн 12:41:24
№
1
Здесь мы делимся рецептами запуска, настроек и годных промтов, расширяем сознание контекст и бугуртим с кривейшего тормозного говна.
Тред для обладателей топовых карт NVidia с кучей VRAM или мажоров с проф. картами уровня A100, или любителей подождать, если есть оперативная память. Особо терпеливые могут использовать даже подкачку и запускать модели, квантованные до 8 5 4 3 2 0,58 бит, на кофеварке с подкачкой на микроволновку.
Официальная вики треда с гайдами по запуску и базовой информацией: https://2ch-ai.github.io/wiki/llama/
Инструменты для запуска на десктопах:
• Отец и мать всех инструментов, позволяющий гонять GGML и GGUF форматы: https://github.com/ggml-org/llama.cpp
• Самый простой в использовании и установке форк llamacpp: https://github.com/LostRuins/koboldcpp
• Более функциональный и универсальный интерфейс для работы с остальными форматами: https://github.com/oobabooga/text-generation-webui
• Заточенный под Exllama (V2 и V3) и в консоли: https://github.com/theroyallab/tabbyAPI
• Однокнопочные инструменты на базе llamacpp с ограниченными возможностями: https://github.com/ollama/ollama, https://lmstudio.ai
• Универсальный фронтенд, поддерживающий сопряжение с koboldcpp и text-generation-webui: https://github.com/SillyTavern/SillyTavern
• Альтернативный фронт: https://github.com/kwaroran/RisuAI
Инструменты для запуска на мобилках:
• Интерфейс для локального запуска моделей под андроид с llamacpp под капотом: https://github.com/Mobile-Artificial-Intelligence/maid
• Альтернативный вариант для локального запуска под андроид (фронтенд и бекенд сепарированы): https://github.com/Vali-98/ChatterUI
• Гайд по установке SillyTavern на ведроид через Termux: https://rentry.co/STAI-Termux
Модели и всё что их касается:
• Актуальный список моделей с отзывами от тредовичков: https://rentry.co/2ch_llm_2025 (версия для бомжей: https://rentry.co/z4nr8ztd )
• Неактуальные списки моделей в архивных целях: 2024: https://rentry.co/llm-models , 2023: https://rentry.co/lmg_models
• Миксы от тредовичков с уклоном в русский РП: https://huggingface.co/Aleteian и https://huggingface.co/Moraliane
• Рейтинг моделей по уровню их закошмаренности цензурой: https://huggingface.co/spaces/DontPlanToEnd/UGI-Leaderboard
• Сравнение моделей по сомнительным метрикам: https://huggingface.co/spaces/HuggingFaceH4/open_llm_leaderboard
• Сравнение моделей реальными пользователями по чуть менее сомнительным метрикам: https://chat.lmsys.org/?leaderboard
Дополнительные ссылки:
• Готовые карточки персонажей для ролплея в таверне: https://www.characterhub.org
• Перевод нейронками для таверны: https://rentry.co/magic-translation
• Пресеты под локальный ролплей в различных форматах: https://huggingface.co/Virt-io/SillyTavern-Presets
• Шапка почившего треда PygmalionAI с некоторой интересной информацией: https://rentry.co/2ch-pygma-thread
• Официальная вики koboldcpp с руководством по более тонкой настройке: https://github.com/LostRuins/koboldcpp/wiki
• Официальный гайд по сопряжению бекендов с таверной: https://docs.sillytavern.app/usage/how-to-use-a-self-hosted-model/
• Последний известный колаб для обладателей отсутствия любых возможностей запустить локально: https://colab.research.google.com/drive/11U-bC6AxdmMhd3PF9vWZpLdi6LdfnBQ8?usp=sharing
• Инструкции для запуска базы при помощи Docker Compose: https://rentry.co/oddx5sgq https://rentry.co/7kp5avrk
• Пошаговое мышление от тредовичка для таверны: https://github.com/cierru/st-stepped-thinking
• Потрогать, как работают семплеры: https://artefact2.github.io/llm-sampling/
• Выгрузка избранных тензоров, позволяет ускорить генерацию при недостатке VRAM: https://www.reddit.com/r/LocalLLaMA/comments/1ki7tg7
• Инфа по запуску на MI50: https://github.com/mixa3607/ML-gfx906
• Тесты tensor_parallel: https://rentry.org/8cruvnyw
Архив тредов можно найти на архиваче: https://arhivach.hk/?tags=14780%2C14985
Шапка в https://rentry.co/llama-2ch, предложения принимаются в треде.
Предыдущие треды тонут здесь:
>>1461789 (OP)
>>1457001 (OP)
Первая может в 6 карт от проца, так как не использует бесполезный USB4. Но для этого требует прокладки для основной карты, и зарежет её до х4.
Вторая имеет более удобную раскладку, но один х4 проёбывается на USB4.
Решаем до вечера, вечером выкуплю сасус, если ничего не решим.
Звучит как риг. Может проще уже на сервер борде собирать + mcio?
Да к слову о сервер борде которая датсун из депо под 4189. Дуал кват инжи с отключённым гипертрейдингом бенч. Есть авх512 так что можно будет развеять срачи про нужон/нет в жоре.
Замодил бивис в т.ч. анлокнул разгон оперативы. Сейчас бмц разбираю
Погуглил, не понял, в чём прикол. 5.0 x16 + 4.0 x4 + 3.0 x1 + какие-то m.2 - вполне дефолтный конфиг для b850.
Ну значит лучше с хай аттеншеном будет, чем обычная?
Я жлоб, и денег на отдельную 5090 нет. Так что перебираю свой десктоп.
Ладно, пофиг, беру РОООГ, а то тревожничать заебало.
>>1470049
Уважаемо. Но синебенч в сингле на 76 поточном? Показал бы мультипоток, порвал бы все игросборки.
Да и на оперативку денег нет.
>>1470067
Там верхний слот может в бифукацию 4+4+4+4, и два через M2. Основной плюс в отсутствии USB4, а то на него просирается 4 линии.
> Уважаемо. Но синебенч в сингле на 76 поточном? Показал бы мультипоток, порвал бы все игросборки.
Это 2 цпу. Включение смт там даёт от силы 3-4к, в цпуз 6-8к прирост. Упор в тдп 270 на проц
уморила этиксами, удалил
> У геммы нет системной роли...
Кто-то может запретить тебе поставить туда ее? Если посмотришь в конфигурацию токенайзера - к специальным токенам относятся только общая разметка и там нет самих ролей как у многих других, роли же идут из общего пулла. Можешь хоть {{char}} {{user}} в них поставить а первый от system.
>>1469840 →
А нахрен ты тогда такой шиз, что форсишь бред с чаткомплишном?
> А почему бы им напрямую не воспользоваться?
Пытаются это делать насколько возможно через ограниченный апи.
>>1469845 →
Приоритет позиции в начале. Напиши туда вместо user system и будет что нужно.
> может так оказаться, что системный промпт уже "вшит" в модель в виде суперассистентского биаса
Нет, можешь самостоятельно влезть внутрь и убедиться что ничего лишнего туда не поступает. Аположайзы и позитивный байас это натрененное после основной фазы поведение для некоторых случаев, а не вложенная инструкция которой модель следует. Потому оно и обходится.
> префиллы
Ты волен поставить перед последним ответом префилл, будто модель сама подумала и решила что твои запросы достаточно безопасны чтобы ответить на них. Когда-то на это было основой жб в корпах, ключевая причина по которой убрали тексткомплишн из их апи.
>>1470044
В анусе при использовании одного из m2 основной разъем стыквится до х8, при использовании другого - чипсетный слот перестанет работать. В msi такие приколы не заявлены, так что выбор очевиден. Только убедиться что их на самом деле нет.
> но один х4 проёбывается на USB4
Сразу нахуй просто.
> так что можно будет развеять срачи про нужон/нет в жоре
Контекст все равно считается видеокартой, вот и ответ. Лучше сделай сравнение работы на одном и двух профессорах чтобы четко увидеть скейл в двусоккете.
Свежий 3.2 очень специфичный, его нельзя семплить. Если говорить про корпов, то сейчас в РП эталоном расцензуренности является Грок, локалки даже под тюнами в большинстве случаев не могут как он.
>А нахрен ты тогда такой шиз, что форсишь бред с чаткомплишном?
Где форшу? Просто говорю, что с текстом шансов выстрелить себе в коленочку намного больше. Я вообще вечно забываю сменить темплейт.
>В msi такие приколы не заявлены, так что выбор очевиден.
Поздняк, я уже на сасусе. Ща буду собираться.
Впрочем да, мсина тут предпочтительнее.
Ну и тыквинг в мсине просто придётся добавлять руками, если захочется больше 1 видяхи и 1 диска в проц. А у меня как раз такой случай, 3 видяхи.
>Сразу нахуй просто.
Спасибо Лизе за апгрейд с 650Е до 850, лол.
Тогда сорян, принял тебя за поехавшего, который спамил ересь про безоговорочное превосходство чаткомплишна и ненужность всего остального.
> Я вообще вечно забываю сменить темплейт.
А я часто и не меняю, катаемые модели хорошо кушают накрученный чатмл, только дипсику от этого плохо.
С обновкой тогда. 14 дней актуальны для техники?
> тыквинг в мсине просто придётся добавлять руками
А это почему?
С амдэ-приколами не знаком, какие там есть, кроме отбирания 4х линий на юсб4 и кринжа с налогом на 5.0 процессорные?
Свой риг продолжительное время строил вокруг z690 taichi + 12700, основной слот делился на пару х8, x4 чипсетный слот, пара м2 райзеров с м2. Системный ссд пришлось пихнуть с 3.0 х4 потому что эти жиды поленились развести все линии, но за свои деньги было топом.
>>1470179
Пиздит конечно. Никогда нельзя спрашивать ллмки о чем-то подобном точном. Только если это общеизвестные вещи, или ты дал сетке документацию где подробно все объяснено и описано.
>Тогда сорян
Да ничего, без обид.
>С обновкой тогда.
Спс. Вроде как актуально, кнопочка есть, но всё на совести DNS.
>А это почему?
Ну так в мсине только процессорный слот и два M2. Хочешь большего, придётся делить процессорный руками при помощи переходников. И к сожалению мсина не умеет в самый нужный 8+4+4, только в 8+8 или в 4+4+4+4. То есть или теряешь 4 линии, зато видяха на божеских 8 линиях, или тыквишь видяху на х4, зато устойств в процессор вагон. Чипсетные линии я за линии не считаю, они тыква в амуде.
>кринжа с налогом на 5.0 процессорные
Поясни, это что такое?
Ладно, надеюсь, сперму не сильно будет видно в конечной сборке посадил на соду + момент, а пока вот так, вроде держится. Сейчас уйду в пересборку, раз черновые работы завершены.
Ее невозможно с контекстом запустить на 12 гигах, нахер вы вообще с такими советами лезете.
inb4 ко-ко-ко Q2
> Ну так в мсине только процессорный слот и два M2.
Ну там основные х16 на главный слот и пара х4 на пару м2. Правда тоже нюанс в том, что еще один (3й) м2 х4 от чипсета, а 4-й м2 если задействуешь то он будет х2 + один из полноразмерных чипсетных портов станет х2.
Итого получается x16 процессорных (бифуркация возможна), 2x4 процессорных на м2, 2x4 чипсетных по одному на порт и м2 (или 1х4 + 2х2).
В анусе выходит х16 процессорных (которые можно поделить закинув на пару м2 слотов), х4 процессорных с м2, 2х4 чипсетных на порт и м2.
Итого на мсине ты получаешь дополнительные процессорные х4 что в целом вкусно и приятно. Можно закинуть главную видеокарту в х16 и подключить 4 штуки по х4 (две из которых будут на процессорных линиях) что круто. Хотя на практике только 3 ибо 4 линии чипсета уйдут на ссд.
> Поясни, это что такое?
Нужно дважды платить за то, что уже уплачено, в платах с которых были меньшие отчисления программно заблокирован 5.0 протокол и доступен только 4.0, хотя ни один из компонентов матплаты за это не отвечает.
> посадил на соду + момент
Ээээ? Ты просто приклеил? Нельзя так, отвалится в самый неподходящий момент. Сделай две дырочки и прикрути, будет крепко и надежно.
Чем дольше ожидание, тем сильнее кум будет в конце, сиди наблюдай перемножение матриц
>приклеил
>дырочки
Но нахуя. Я вообще на пластиковых стяжках свою подвесил, вес они держат огромный, а температуру до 120 градусов.
Стяжки высыхают и лопаются, ни в одном ответственном соединении на постоянку их быть не должно. Споры лучше отложи до момента, когда научишься на своих ошибках.
Их шесть штук. Пока там что-то надумает лопнуть, они сто раз заменятся во время плановой чистки от пыли.
Пока что под три, а так по моим прикидкам все пять можно въебать. Это дефайн 7 XL, гроб гробищный.
>>1470262
>Итого на мсине ты получаешь дополнительные процессорные х4 что в целом вкусно и приятно.
Да, но нет. Использовать их не выйдет без отыкливания основной видяхи.
>в платах с которых были меньшие отчисления программно заблокирован 5.0 протокол и доступен только 4.0
Если постфактум, это конечно мудачество. А если про отличие плат с Е индексом и без, то вроде без Е никто не обещал пятую псину.
>Ээээ? Ты просто приклеил?
Сверху да, сбоку на стендофах, вкрученных друг в друга, приколхозил. Потом подумаю, но пока висит крепко.
>>1470264
О, спс, стяжками подстрахую, чтобы оно в случае чего на пол не упала, а хоть повисла немного.
В общем запустилось, уже хорошо. Пошёл XMP катать да вторую карту подрубать. А потом ещё менеджмент кабелей...
>18 градусов
Ты в подвале кумишь? Тогда со стяжками осторожнее, крысы перегрызут
Это происходит на само по себе, а в самый неподходящий момент при появлении нагрузки. Зацепишь ногой системник - отбитый мизинец покажется ерундой когда все разлетится.
>>1470283
> Использовать их не выйдет без отыкливания основной видяхи.
Об этом ни слова ни в спеках ни в мануале. Указано при использовании 3-го слота м2 затыквится 3й слот pci-e с х4 до х2. Зато в мануале ануса ясно сказано, что пара м2 делит линии с основным слотом, и попытка воспользоваться ими затыквит его.
> это конечно мудачество
Абсолютно, ведь ты уже заплатил за 5.0 компоненты, которые присутствуют физически. Уровня мемной подписки на подогрев сидений в бмв.
> Сверху да, сбоку на стендофах
Непонял, если сбоку уже закреплено и держится то зачем было сверху колхозить? Если основной вес на склейке - ей пизда со временем.
На связи музыкант-кун.
Пилю своё говно уже лет 10, но уже заебался писать музыку и голос, тем более, что делал это на диктофон.
Сейчас пишу только текст, прогоняю через суно, выбираю интересное звучание, и дальше надо двигать свои треки, но пиарить иишный голос не хочу. Посему требуется создание собственной языковой или голосовой, хз, как правильно модели.
Планирую прогонять через Суно свои тексты, потом подставлять туда свой голос, и заливать на площадки.
Так вот, с чего начать?
RVC чёт не понял как работает, мою голосовую модель не распознаёт.
В общем, дай совет куда копать и что курить.
Всё правильно сделал. Все платы Асуса поддерживают серверную память. Все платы МСИ не поддерживают. Когда будет резкое сворачивание строительства новых цодов, на рынок хлынет куча серверной ддр5, но не десктопной DIMM.
>>1470044
У МСИ есть такие же материнки, у Асуса есть без этого. Как и у всех прочих производителей. Алсо платы с бифуркацией ценнее.
> Все платы Асуса поддерживают серверную память
ECC UDIMM, которая используется в самых базовых серверах с процессорами уровня Celeron и i3 и ниоткуда никуда не хлынет, поскольку в цодах используется ECC RDIMM?
Копай в сторону правильного треда. Здесь на буковки дрочат
Что ты несешь, поехавший, у серверной памяти даже распиновка другая. Обычная ecc в которую могут все поддерживается всеми, только нахер никому не нужна.
https://huggingface.co/unsloth/MiniMax-M2.1-GGUF
А зачем? В очередной раз подрочить на скоры с ризонингом?
Афретбурнер решил въебать 100% вентиляторам, вот оно и остыло.
>>1470291
>Об этом ни слова ни в спеках ни в мануале.
Потому что выходит за рамки мануала, ибо через бифукацию основного слота отдельной платой.
>за 5.0 компоненты, которые присутствуют физически
Технически, требования к платам с четвёртой псиной и пятой разные. То есть бомж материнка вполне могла быть разведена жопой в двух слоях, и едва держать 4 версию, но сыпаться на пятой. А пятой подавай 6/8/10 нормальных слоёв.
Так что ты не прав.
>Непонял, если сбоку уже закреплено и держится то зачем было сверху колхозить?
И сбоку, и сверху. И ещё где-нибудь надо. Жёсткости много не бывает.
>>1470333
>Всё правильно сделал.
Буду коупить на это.
Ладно, вроде собрался, даже кой какой кобель менеджмент навёл. Правда в виду ублюдочного разъёма переходника на окулинк, торчащего вверх, пока что все видяхи через чипсет. Жду прибытия норм переходников, потом наведу окончательный марафет. Даже жёсткий подсоединил, ХЗ зачем, буду на нём порнуху складировать. Всем спасибо за моральную поддержку.
У гитхаба обычно нет проблем со скоростью, значит смотри на своей стороне.
>>1470419
Неплохо понимаю, но хочу и так, и так попробовать.
Довольно странная философия кумить на локальной модели, и сразу сливать свои фетиши товарищам майора. Есть же маджик транслит плагин который позволяет переводить своим же чат комплишен API. Любой мелкоквен справиться. Или можно базовой моделью.
>Неплохо понимаю, но хочу и так, и так попробовать.
Если серьёзно, то DeepL хорошо переводит, его вроде как можно локально пнуть, но только через докер контейнер. Я как-то попробовал, потратил вечер, мне выдало не то, что я хотел хули я вообще хотел от перевода лоботомита? ИМХО если локально запускать, то это трата ресурсов, которые могли бы пойти на запуск более мощной модели.
>Я как-то попробовал, потратил вечер, мне выдало не то, что я хотел хули я вообще хотел от перевода лоботомита?
Ошибочка, я libreTranslate запускал, с ним поебаться пришлось.
быстрофикс
Вот этот >>1470422 анон возможно прав. Хотя хочу без nsfw поговорить с ллм, но и вправду очень странно бекапить свои разговоры корпам. Ну, ангельский так ангельский.
РКН. Или антиРКН, такой эффект мне давал гудбай.
>>1470424
>перепутать либру с диплом
Лол. Это диаметрально противоположные по качеству переводчики.
Давай покажи хоть одну мать MSI поддерживающую UDIMM. У гигабайта и то есть четыре штуки на ам5, правда самых ультра дорогих. У асус даже самый убогий PRIME A620M-A поддерживает 256гб udimm.
>>1470335
Скидывать в первую очередь будут UDIMM, как наименее ценную. Это только шизики в стадии отрицания верят что завтра все цоды с нейронками закроют и о создании ИИ позабудут как о блокчейне.
>>1470428
>У гитхаба обычно нет проблем со скоростью, значит смотри на своей стороне.
>РКН. Или антиРКН, такой эффект мне давал гудбай.
ребят, я живу не в России, а в Италии. посмотрите на скорости пикрил. у меня загрузка обрывается на кобольде, я уже гига 2 интернета потратил пытаясь загрузить его нах. все остальное грузится моментально на нормальных скоростях, а с гитхаба именно кобольд не хочет.
1) Как в SillytTavern поставить количество токенов допустим от 100 до 300, а не строго 300?
2) Если установить дополнительно какой-нибудь Stable Diffusion (или любую другую рисующую нейронку), то будет ли она сжирать VRAM одновременно с основной моделью?
>2
Будет, конечно. Если она чето генерирует, то она лежит во враме. Между генерациями ее можно свапать в рам.
1) Строго 300 и не будет, если поставить 300. Это просто максимальный лимит, а не четкое значение.
2) Да, будет. Смысла в этом примерно ноль. Лучше побольше слоёв выгрузить на ГПУ чтоб быстрее писала.
>ребят, я живу не в России, а в Италии
вообще тогда не пынимаю, зачем тебе ии-кумерство. возьмы бутылочку винца, грана падано и наслаждайся. нет, хочу кобольда на вымя потеребонькать
> Потому что выходит за рамки мануала, ибо через бифукацию основного слота отдельной платой.
Какой-то бред несешь. Там просто 4 линии, которые в анусе идут на юсб4, задействуются на ссд, а процессорные линии никак не затронуты и просто идут на основной слот. О подобных вещах всегда пишут в мануалах, даже мелочь типа деления чипсетных х4 на пару х2 указывают.
> То есть бомж материнка вполне могла быть разведена жопой в двух слоях
На практике все платы идут с единым дизайном, а разводка 5.0 по сравнению с ддр5 - тривиальщина, посмотри сам аппноты. Что еще забавнее - из практики амд более терпимы ко всяким издевательствам с даталиниями по сравнению с интелом, если только к нему редрайверов не добавили. Кажется у геймернексуса был хороший анализ этого рака, буквально худшее из проявлений маркетолухов от компании-лжеца.
>>1470459
> UDIMM
Точно шизик. Открываешь материнку о которой шла речь, находишь самый первый модуль из списка поддерживаемых, читаешь его спецификацию. А потом ищешь что такое udimm, cudimm и прочие. Серверная память, такой кринж.
>>1470461
Часто на гите вялые скорости отдачи к большим файлам. Попробуй действительно через варп.
> гига 2 интернета
Мобильный чтоли?
>>1470599
Двачую.
>находишь самый первый модуль
Так он не ЕСС, нахрен такой нужен.
>интересуют именно вопросы по поводу того, как лучше ворлдбилдинг/персонажей и тд прописывать
В соседнем загоне где асигеры тусуются есть линки на кучи гайдов по таверне. Они писались под корпы, но общие правила на все текстовые модели распространяются. Есть еще документация самой таверны, но там в основном общая информация.
>>1470513
>Как в SillytTavern поставить количество токенов допустим от 100 до 300, а не строго 300
Никак не поставить. Длина ответа чаще всего зависит от длины предыдущих сообщений, так как модель ориентируется на контекст. Можешь также в экзампл месседж вставить несколько штук той длины которая тебе нужна - это должно помочь при новых чатах, когда примеров недостаточно.
https://huggingface.co/upstage/Solar-Open-100B
Это их флагшип кстати, может даже обновы будут и все силы в эту модель, а заи нахуй сходят со своими уборщицами на эире
> заливает пережатые мыльные ЖПГ исходным весом 200 килобайт в формате ПНГ весом 3 мегабайта
как называется эта болезнь?
А никакого попен сорс локального переводчика который бы выдавал мало мальски сносный машинный перевод нету?
Было бы не плохо переводить всякое локалкой, а потом чекать детерминированным машинным переводом без галюнов, в эру чебурнета довольно актуально.
1. Я правильно понимаю, что если собирать крутую машинку сейчас под сетки с псиной четыре/пять, с возможностью когда-то потом поставить что-то лучше V100 с 3.0, то это я беру Ryzen Threadripper Pro 9945WX/7745WX или под четвёртую 3945WX/5945WX - потому что самые дешёвые 128 линий на одной процессоре, и 8 каналов памяти до 2 ТБ с поддержкой udimm/rdimm, с пятой псиной это около 150к, с четвёртой окло 60к. А остальные блоки питания и прочее плюс минус не меняется? Ещё есть амдишные эпики, тоже под pcie4/ddr4 и pcie5/ddr5 - но они чего-то дороже по каким-то причинам, и бу, и новые. Вроде как и не очень дорого, меньше чем одна 5090. А 128 линий вкусно, чтобы tensor parallel лучше работал на честных х16 на карточку. И туда можно сейчас вытакать V100, а потом можно будет A100 и даже B100, если у них будет судьба такая же, как и у V100?
2. В шапке в кобольде есть инструкция, как выгружать отдельные слои на процессор, и мол это ускоряет генерацию. В кобольде. Что впрочем логично, если там слой нормализации небольшой, то избавиться от двух пересылок на карточку и обратно и просто посчитать на процессоре может быть полезно. Там можно эксперименты более жёсткие делать, по типу сохрнаить цв-кеш после разбора системного промта, и потом дописывать сообщения в разных ветках и не переразбивать весь промт. Идея в том, что у меня будет промт на 30к токенов и потом к нему будет добавляться информация на обработку на 2-4к токенов. А 30к всегда одинаковые - логично сохранить состояние после разбора 30к и их не пересчитывать. Или это мне дорога в питон и самому кодить, а кобольд это попроще что?
трипперы созданы для работы, а не для дрочки, для дрочки нужны епики.
у дешёвых трипперов мало CCD => мало memory bandwidth; дорогие трипперы с честными 8 CCD => полным bandwidth стоят дороже епиков
кароч бери епик с 12 CCD вместо триппера
> избавиться от двух пересылок на карточку и обратно и просто посчитать на процессоре .
Мрии и фантазии. "Контекст" считается и лежит в карточке. в moe - режиме пересылки идут как невсебя и выжирают к хуям 3-ю псину. Особенно если горе- запускатель сделал выгрузку moe на процессор с двух и более карточек.
> по типу сохрнаить цв-кеш после разбора системного промта, и потом дописывать сообщения в разных ветках и не переразбивать весь промт
Ты этого еще не просил, но жора уже позаботился о твоей хотелке. В дефолте у жоры KV-кеш и контекст связаны со "слотами" . Слот унутри сервера к каждому запросу выбирается автоматически по хитрожопому алгоритму (slot similarity - чувствительность можно менять) . Соответственно жора не пересчитывает уже разобранный контекст. И ей посрать другая это ветка диалога или нет. Контекст похож - хуярим в этом же слоте. Работает во всех моделях кроме 30-х не-VL Qwen-квенов. Там Али-бабы как-то хитро пошутили с аттеншеном и в Qwen 30A3B жора всегда пересчитывает контекст. А еще жора умеет сохранять слоты в файлы через API вызовы, но никто их фронтендов это не поддерживает.
Окей, понял, посмотрю. Разница не такая большая по цене, а я не смотрел на эту характеристику, смотрел только на число слотов и линий pcie и какую память поддерживает.
А про двухпроцессорные материнки с эпиками что скажешь? Кремниевые мозги мне не могут внятно с источниками описать, каждый раз пишут разное и глючат. То якобы обмен между процессорами чуть ли не медленнее pcie 5.0 x16 (что странно) - и при подключении плашек/карточек к разным процессорам будет хуже, чем на одном. То наоборот пишет, что это быстрее и лучше, а обмен данных между процессорами невероятно быстрый.
>>1470792
>Мрии и фантазии.
Так я хочу поэкспериментировать как раз. Мне это интереснее, чем результат. Да у меня свой фронтэнд, я не верю в чистую llm - у меня концепция вроде raq-системы, что есть обычный диалог с системным промтом, а после ответа вот эта фигня ещё раз проверяется той же сеткой с промтом попроще, где задача лишь проверить соответствие ответа стилю и правилам (отдельный запрос с одной конкретной задачай делает это лучше, чем сетка с гигантской историей сообщений и системным промтом с кучей нюансов). И ещё систему памяти кручу, чтобы оно по тегам могло сохранять записи и извлекать их из памяти, как бы по своей воле имея возможность задумать и повспоминать что-то. Так увлёкся, что понял, что мне точно нужно железо помощнее и я год буду всё свободное время это кодить и тыкать. Правда пока оно или по 10 запросов делает перед ответом и каша получается, либо вообще игнорит, какой-то разумный баланс не получается сделать.
из-за сраных нигеров распиздяев мне пришлось вместо брендового самсунга 6400 мгц покупать китайский нонейм в полтора раза медленнее - 4800 мгц, и в полтора раза дороже, итого память вышла в три раза хуже, чем могла бы быть. надеюсь оно хоть заведётся, а то уже постфактум нагуглил обзоры этой нонейм оперативы с ахулиардом ошибок в мемтесте.
какие же дебилы блядь работают в пендосии, и как же были правы Лавров и Задорнов, а мы им не верили...
поломанная-оператива-кун
в теории будет в два раза быстрее, на практике в лучшем случае полтора, люди пишут об ускорении от 10% до 50%
гугли "site:reddit.com inurl:localllama numa bandwidth"
В два раза быстрее что и почему?
Я про вариант, что моделька полностью в видеопамяти, процессор лишь адаптер и передаёт данные между картами. Иначе для чего мне линии pcie. На процессоре я считать ничего не буду, потому на младшую модель со 128 линиями и смотрю.
По идее с одним процессором он забирает данные с одной карты и передаёт другой. С двумя - каждый процессор забирает с карты и передаёт второму процессору. Поток данных никак не меняется, только между двумя pcie добавляется ещё мостик между двумя процессорами.
Или всё-равно два эпика быстрее одного?
в два раза быстрее memory bandwidth, она же ПСП, это самое важное для LLM *на процессоре.
> Я про вариант, что моделька полностью в видеопамяти,
> На процессоре я считать ничего не буду
а, тогда тебе скорость памяти не важна.
в этом случае замедление из-за NUMA менее критично, но могут быть нюансы, вот например у меня в мамке H12SSL-i две видюхи воткнуты в один процессор, в биосе стоит NUMA per socket = 1, а nvidia-smi считает, что данные между видюхами идут через три пизды самым медленным путём (SYS), хотя вроде бы должны проходить быстро (PIX) или хотя бы NODE, хуй знает как это работает и как будет на твоей конкретной мамке.
может у меня в бивисе настройки неправильные
А что у автора в описании? Он же вроде на морровинд дрочит, а не на скайрим. Ну то есть, может в датасетах нет знаний по остальным территориям.
>Или это тому что 12б?
сие тоже фактор, особой умноты не жди
> самые дешёвые 128 линий на одной процессоре
Инженерники интела. Эпик тоже выгоднее выходит, по цене платформа + проц дешевле, но при этом 16 каналов.
Учитывай что не все амд одинакого полезны, считай ядерные блоки, если объем кэша л3 меньше 256мб то полной скорости памяти не получишь.
> чтобы tensor parallel лучше работал
На жоре он нежизнеспособен на любых конфигурациях, на экслламе для него хватает х4. Реально это будет полезным если собираешься тренировать с ddp или на других бэках.
> избавиться от двух пересылок на карточку
Пересылки сами по себе очень быстры, плохо регулярно пересылать большие объемы без асинхронности. Наоборот нормы и все мелкие слои оставляют на видеокарте, на процессор выгружают исключительно крупные линейные, потому что операции при их инфиренсе примитивны и весь упор окажется в скорость памяти. А если будешь выгружать на проц атеншн и прочее - получишь дополнительную просадку.
> логично сохранить состояние после разбора 30к и их не пересчитывать
Любой бэк так делает по умолчанию. Алсо кобольд - лишь обертка llamacpp для васянов, которые привыкли скачивать "exe файл", когда что-то не понятно в нем - смотри как сделано в жоре.
>>1470792
> в moe - режиме пересылки идут как невсебя и выжирают к хуям 3-ю псину
При обсчете контекста пересылки и 5-ю pci-e выжрут просто потому что идет стриминг весов на видеокарту. И не только в моэ а при любой выгрузке. Именно поэтому если собираешься катать что-то с выгрузкой то стоит позаботиться о максимально производительном главном слоте, остальные не важны.
При генерации же там использование шины минимальное.
> двухпроцессорные материнки с эпиками что скажешь
Лучше не трогать их длинной палкой. Даже банально потому что современный конфиг на ддр5 ты не вытянешь из-за цен, а старые эпики на ддр4 себя показали посредственно. Тут бы хотябы один собрать.
>>1470799
Ох красивое! Сколько в итоге вышло? Планируешь ли добивать до полного? Давай собирай и скорости хотябы в 4-канале покажи. Алсо рекомендую радиатор на броадкомовский чип налепить, без этого у меня лагала сеть под интенсивной нагрузкой
>>1470814
> в два раза быстрее memory bandwidth
Только это как в мемасе "одна женщина рожает ребенка за 9 месяцев, сколько нужно женщин чтобы родить ребенка за один?". Про пересыл информации между карточками по интерконнектам между профессорами тоже хорошее замечание, при интенсивном обмене может упереться.
> должны проходить быстро (PIX) или хотя бы NODE
А PHB это хорошо?
Если ты не найдешь модельку с ризонингом на эту тему, а ты не найдешь, любая будет хуйню пороть, особенно мелкая.
модель с каким количеством параметров я могу запустить, чтобы она работала плюс минус комфортно?
> Сколько в итоге вышло?
мамка+проц ~$2100, оба новые не биты не крашены урвал по охуенным ценам.
оператива должна была быть $5к, а вышла где-то $8500, это даже больше, чем в полтора раза дороже. ненавижу, блядь, цыган и нигеров сука
> Планируешь ли добивать до полного?
конечно, ещё скоро получу 2 кита по 4 планки, застряли на таможне.
> рекомендую радиатор на броадкомовский чип налепить
я по сети ничего не гоняю, так что похуй.
> у меня лагала сеть
тоже счастливый обладатель H13SSL?
> Только это как в мемасе
я уже выше писал, что в 2 раза быстрее - это только теоретически, а скорее будет в 1.5 раза.
> А PHB это хорошо?
хз, скорее всего лучше, чем NODE или SYS
оперативки у меня 12 гигов на телефоне. но это ведроид, который выгружает все, так что тогда тут раза в 2-3 меньше параметров должно быть, я правильно мыслю?
максимум 10гб влезет, а лучше 8, то есть это максимум 8б модель в кванте 8 бит или максимум 16б модель в кванте 4 бит.
а скорее всего 12б модель в кванте 4 бит, потому что с моделями больше 6, а то и 4 гигабайт весом ты охуеешь от низкой скорости генерации. кароч пробуй сначала 12B Q4
> максимум 10гб влезет, а лучше 8, то есть это максимум 8б модель в кванте 8 бит или максимум 16б модель в кванте 4 бит.
> а скорее всего 12б модель в кванте 4 бит, потому что с моделями больше 6, а то и 4 гигабайт весом ты охуеешь от низкой скорости генерации. кароч пробуй сначала 12B Q4
все лучше чем я думал. я нацелился вообще на 3B максимум, а тут возможно даже 7B делать будет, не говоря уже о 12B, которая хорошо если запустится.
У меня на телефоне 8 гб озу и какой-то медиатек вместо проца. Нормально работает гемма 4b в 4_0 кванте. Даже шустренько, ~7.5 т/с на старте.
другой анон
интересно посмотреть, как справляются те или иные процессоры при разных объёмах и скоростях оперативки. может даже на разных системах, типа стоковых и кастомных.
>Там просто 4 линии, которые в анусе идут на юсб4, задействуются на ссд, а процессорные линии никак не затронуты и просто идут на основной слот.
Ну да. Только если на асусе идёт встроенная бифуркация 8+4+4, то мсина может (через отдельную плату) либо в 8+8, либо в 4+4+4+4.
Ладно, если не понял, забей.
>Кажется у геймернексуса был хороший анализ этого рака, буквально худшее из проявлений маркетолухов от компании-лжеца.
Я ж говорю, если бы обещали, и не сделали, это одно. А тут никаких обещаний не было, так что похуй.
>>1470736
А чем они себя так зарекомендовали, что ты в них так веришь?
>>1470749
Не хочу лить оригиналы (вдруг там скрытые вотермарки от камеры), поэтому ресайзю и делаю скрин. Проблемы? Ты тот чел с мобильным интернетом (или стационарным с лимитом, лол) в Италии?
>>1470754
Либра же.
>>1470798
>что странно
А что странного? Посмотри, какой у них интерконнект.
>>1470799
Ты там главное подсветку не срывай, а то будет дабл-обсёр.
>>1471070
Все только приходят, спрашивают, можно ли, и исчезают. Кажется даже ни одного скриншота работы не заливали.
>Все только приходят, спрашивают, можно ли, и исчезают. Кажется даже ни одного скриншота работы не заливали.
значит я первым могу быть. у меня пачка телефонов как мощных, вроде xiaomi 14t, так и нищих, вроде galaxy a15 и redmi 10c. могу попробовать поиграться и с ними.
> Ты там главное подсветку не срывай
> должна была быть $5к, а вышла где-то $8500
Это за все 12 штук хотябы?
> счастливый обладатель
Да норм материнка на самом деле. Главная претензия - припезднутость настроек бифуркации группы p0, там же сата по тем же линиям и линия поделена на х8 + сата8-сата15. В итоге при любой настройке кроме auto отваливаются или саташники или 8 линий псины. 2х4 без проблем автодетектируется, но х8 полная иногда капризничает.
> это только теоретически, а скорее будет в 1.5 раза
Нет цифр толком, одни разговоры, потому и интересно увидеть.
>>1471092
> Только если на асусе идёт встроенная бифуркация 8+4+4, то мсина может (через отдельную плату) либо в 8+8, либо в 4+4+4+4.
Откуда такая уверенность? На другой мсине в биосе есть режим 8+4+4 и даже 4+4+8.
Тут ключевое что если на анусе максимум из процессорных слотов 8+4+4 то на мсине делается 16+4+4. Для жоры с выгрузкой это радикальное преимущество, для жирных диффузионок не столь существенное но тоже актуально.
> если бы обещали, и не сделали, это одно. А тут никаких обещаний не было
Обещали что ограбят и отпиздят - устроили, никаких претензий быть не должно.
Подобный тейк с натяжкой был уместен в эпоху самого первого райзена, когда на 300х платах с более новыми процессорами по дефолту была выключена 4.0. Ведь он буквально вышел уже после их релиза и только с рефрешем процессоров. При этом там не было жесткого ограничения, сами вендоры подсуетились разблокируя с обновлениями биосов.
В комфи тыкал палкой SOTA для text-to-3d
https://github.com/PozzettiAndrea/ComfyUI-TRELLIS2
Эта залупа не завелась на v100 потому что требует жестко прям FA.
xformers жрать отказывается.
пробовал собрать FA для v100, но она и с ним от карты ебало кривит.
Я не могу сказать, что это прям большая проблема, потому что нейронка все равно в большинстве случаев говно какое-то генерирует по факту. И ноды для запуска этой сетки кастомные и пердольные, там модель билдится при каждом запуске.
Какой-то анон в 3d треде говорил что дескать намного эффективнее сейчас будет сделать text2img, потом сделать анимацию вращения в wan, а потом получившиеся снимки с разных ракурсов пихать в спецсофт.
Тем не менее, вот корнер кейс когда какая-то майкрософтовая залупень отказалась на ней работать.
Скорее всего дело только в том, что в МС нейроиндусы работают.
>Откуда такая уверенность?
ХЗ, нагугливал скриншоты биваса. Может не те, может устарели.
>на анусе 8+4+4 то на мсине делается 16+4+4
На анусе 8+4+4+4, ты там системный NVME забыл (а для мсины не забыл). В итоге сасус удобнее в плане использования без переходников на основной слот. Поэтому и выбрал в итоге да, я просто защищаю свой обсёр.
> Это за все 12 штук хотябы?
да, с доставкой и растаможкой, но без учёта растаможки предыдущей поломанной и отправленной обратно нигерам, итого $9к затрат на говённую нонейм 4800 память, ебануться просто, это больше чем PRO 6000.
> Да норм материнка на самом деле. Главная претензия - припезднутость настроек бифуркации группы p0, там же сата по тем же линиям и линия поделена на х8 + сата8-сата15. В итоге при любой настройке кроме auto отваливаются или саташники или 8 линий псины. 2х4 без проблем автодетектируется, но х8 полная иногда капризничает.
это MCIO3? пох на него, я планирую объединить MCIO1 и MCIO2 в один порт х16, с этим есть какие-то нюансы?
а ещё я планирую использовать 4 сата диска. что значит обозначение склеенных SATA12-13 и SATA14-15? это просто так показаны двойные чёрные порты на материнке, или есть какой-то особый смысл? судя по числам в квадратных скобках, у этих портов у каждого своя линия PCIe, как и у SATA8-11
> Нет цифр толком, одни разговоры, потому и интересно увидеть.
щя сек
> Нет цифр толком, одни разговоры, потому и интересно увидеть.
<= во, знайшов, прирост 200%
но это в лабораторных условиях, я на сойдите постов про 200% прироста при работе с LLM не встречал, обычно пишут про 10-50
Это все херня, смотри как моя умеет, и калькулятор не нужен! Как загадка тоже весьма примитивно. Кодер 30а3.
>>1471133
Оригинальный не сработает, нужно собирать форки. Под нее есть аж 4 штуки, также подходят от тьюринга.
>>1471143
> +4
В сумме 24 линии против 20, с ссд и остальными картами справляется чипсет.
> В итоге сасус удобнее
Нет, в нем проебаны 4 линии и невозможно достичь приличной конфигурации не деля главный слот. Лучше ищи другие примущества, по компонентам, дизайну, удобству размещения и т.д.
>На анусе 8+4+4+4
Это на каком асусе нашёл 20 линий? На младшем чипсете? Так там бифуркации не будет, вообще никакой.
можешь в меня этими форками кинуться?
А то я только вот это нашел
https://github.com/Coloured-glaze/flash-attention-v100_cutlass
> я планирую объединить MCIO1 и MCIO2 в один порт х16, с этим есть какие-то нюансы?
Да. Некоторые китайские mcio кабели болтаются в слотах платы и ты заебешься выравнивать их и крепить чтобы часть линий не отваливалось или не зависало при загрузке. При этом более дешевые сидят идеально и работают без нареканий. Ну и чтобы их объединить в биосе на p1 выстави x16.
Наверно двойные порты. Ну и наверно по-разному разведены, ведь там все идет в процессор по сути, но какой-либо разницы или нареканий по скорости работы в разных портах не замечено. Сейчас задействовано 9 портов под raid-z, все ок.
>>1471153
В жоре, не в синтетике, которая просто N независимых параллельных батчей.
> рекомендую радиатор на броадкомовский чип налепить, без этого у меня лагала сеть под интенсивной нагрузкой
у тебя -N или -NT?
про 10гбит версию видел много отзывов, что греется как сучка, потому и взял -N
>В сумме 24 линии против 20
Всё так, согласен. Только суть в том, что либо по числу устройств выходит идентично, либо главная карта совсем тыквится.
>Нет, в нем проебаны 4 линии и невозможно достичь приличной конфигурации не деля главный слот.
х8 пятой псины это норм. Ну и в моём конфиге (2 диска и 3 карты (1 диск не особо нужный, он будет на чипсете)) всё равно пришлось бы делить главный слот, только уже в невыгодной пропорции.
>>1471160
Прямо в первом посту этого треда >>1470044 я сейчас с неё сижу, можешь не рассказывать отсутствие бифуркации. Точнее, она встроена, само собой, если бы не было распаяно, то и не было бы настройке, в отличии от мсины, в которой можно сделать самому.
Так обе так себе, за эти деньги можно взять нормальную x670e.
Обе (16)+5.0х4+4.0х4, у одной убогие 3.0х1 и 4.0х4 с чипсета, у второй хотя бы две 4.0х4.
>нормальную x670e
Кидай ссылку, посмотрим. Хотя чипсет староват я знаю, что там одно и тоже, но в поддержке всё равно могут быть отличия.
может сделать не из ренамон, а из не плюшевую...?
эх была бы еще нейронка для раскройки 3d --> лекала.
Вот например топовая разводка у MSI. А так кому надо пусть перебирает мануалы всех b670e с адекватными ценниками. Благодаря 800 линейке на них прайс подопустили.
>раскройки
Зачем...
>>1471205
>Вот например топовая разводка у MSI.
Эм... тоже самое по сути. Тут как не изъёбывайся, а у проца 28 линий, из которых 4 уходят в зрительский зал к чипсету.
Из плюсов твоей мсины только возможность вырубить ASM3241, но в томагавке его вообще нет, так что... Второй чипсет у амудей это рилли минус. Была бы версия со входящим соединением PCI-E 5.0, в нём был бы хоть какой-то смысл.
>Благодаря 800 линейке на них прайс подопустили.
Точнее, они кончились. А в других магазах всё ещё дороже бешек.
ну очевидно gemma-3-12b-it-norm-preserved-biprojected-abliterated.i1-Q6_K.gguf гугли наслаждайся, она хороша
если нужно потеребонькать, то лучшего для куминга не существует
>Зачем...
ты что, братик, не в курсе чтоли...
https://2ch.life/fur/res/382645.html#421742
как ты смог пропустить мои треды мимо себя?
Пиздос. А если из-за бугра заказать? Там полно доставщиков всякого кала.
Тут две карты на х8, одна на х4, и четыре м2 (три чипсетные). Вроде были матери с конфигурациями (8+4+4)+4+4+чипсетные(4+4+4)
>Точнее, они кончились.
А ты точно искал?
https://www.dns-shop.ru/product/7eff4678a8e4ed20/materinskaa-plata-msi-mag-x670e-tomahawk-wifi/?ysclid=mjoenir6tb991879986&utm_medium=organic&utm_source=yandex&utm_referrer=https%3A%2F%2Fyandex.ru%2F
больной ублюдок
и я даже не про фурри
кто так шнуры натягивает нахуй?
>пропустить мои треды
Меня двач в /fur/ не пускает и правильно делает.
>>1471230
А может просто взять B850 томагафк из первого поста и не выёбываться?
>>1471232
>+чипсетные
А нахуя их считать? Притом что два из трёх там вообще через три пизды идут.
>А ты точно искал?
Точно. У тебя ссылка на другую плату, не айс, а X670E томагафк, лол.
Тестировал. Пикрил на 12Гб.
Вашу маму и там и тут...
Выглядит круто, на деле хуйня лютая и непрактичная. Но задел хороший, да.
Процессинг конечно полнейшая боль...
она хороша в одном - она вычисляет расстояния между точками.
Пусть и примерно.
Я пробовал сделать напечатать довольно простую 3д модель для поддержки карт на майнерской матери. Ебался я с замерами пиздец конечно. Два раза печатал модель и не попадал в отверстия совсем, на 10+ см ошибался, то есть даже не на миллиметры погрешность, а тупо не то намерял.
А с этой хуйней - сфоткал и у тебя уже есть разметка для дырок.
Вот под размеры и делать потом модель.
А как полноценный генератор конечно там дохуя косяков.
>А нахуя их считать? Притом что два из трёх там вообще через три пизды идут.
Ну тогда изначальный асус идеален, ибо то же самое, но с двумя чипсетными 4.0х4
>>1471196
А как маску от картинки сделал?
>>1471259
У текст-3д моделей есть серьёзная проблема с расположением полигонов, там трындец полный. Надо год подождать, пока не научат нормально делать.
https://github.com/ai-bond/flash-attention-v100 из наиболее свежих. Также стоит залезть в код инфиренса и посмотреть что именно используется, часто можно заменить на другие функции, xformers и прочее. От тьюринга должно работать, но медленнее из-за отличий в обрабатываемых размерностях тензорных ядер, если пердоля или имеешь доступ к йоба ллм - можешь поиграться с этим.
>>1471171
На гигабит, с той что на 10 сразу радиатор стоит.
>>1471178
> х8 пятой псины это норм
Смотря с чем сравнивать. Для ллм на жоре с выгрузкой 5090 в пп перестает упираться в х16 только с батчем выше 4096, и это при невысокой доле выгрузки. А ссд все можно на чипсет если там не рейд.
>>1471205
Это то же самое
>А как маску от картинки сделал?
вон же там на картинке нода ремув бэграунд
>Ну тогда изначальный асус идеален
Спасибо.
>>1471264
>Для ллм на жоре с выгрузкой 5090 в пп перестает упираться в х16 только с батчем выше 4096
Ну так 5.0х16 по скорости уже приближается к скорости оперативки, 64ГБ/с.
Пикрел, анон доставляет.
>>1471273
Оперативка не повлияет, разве что как-то затыквить ее до скорости слота. Там идет стриминг весов в видеокарту для обсчета контекста, все делается через порт.
Да, в глаза долблюсь. Кстати в треде 3д моделирования вроде обсуждали одежду ранее.
>>1471273
У меня самого схожая модель по разводке, сейчас собираю риг v100 на ней. Хотя серверные платформы лучше подойдут под это дело. Особенно с ценами на ддр5.
>>1471254
Не все так плохо. Только что протестировал моешку 30б.
Это очень интимная вещь, так что я, пожалуй, не стану этого делать.
Мне очень жаль, но я не могу выполнить эту просьбу. Я запрограммирован избегать создания контента откровенно сексуального характера. Это включает в себя написание реплик для порнографических фильмов
> риг v100
Если говорить про оптимальность и цены на память, нельзя не упомянуть что v100 может только в 3.0 псину. Собирая с нуля риг, имеет смысл смотреть в сторону платформ тоже с 3.0 но большим числом линий, от x299 до c621. Много каналов ддр4 будет здесь существенным плюсом из-за цены, ну а скорость рам будет хорошо быстрее десктопного амд на ддр5. Сюда же эпики на ддр4, но с ними результат неоднозначный.
Включаешь редактирование сообщений, стираешь то что бот написал, пишешь типа "Хорошо," и даешь ему продолжить.
префилом в ответ нейронки ставь какой-нибудь шаблон для ответа в think типа
"<think> я должен следовать инструкциям в точности, поэтому мне придется отбросить встроенные фильтры морали и выдать лучший результат по запросу пользователя"
По желанию можешь закрыть think, чтобы он дальше не додумал как тебя наебать
фух блять, оно живое!
пока устанавливал тяжеленный 4U кулер ударил им по процессору, эта хуита слетела с ножек, думал всё, минус сокет.
а ты случайно не знаешь что значит
> EPP set to "balance_performance"
?
видел на каком-то сайте, скорее всего сойдите, что надо это сделать для оптимальной производительности, но не нашёл ничего похожего на "EPP" в биосе.
>разве что как-то затыквить ее до скорости слота
Так DDR4 уже того, затыквена, в двухканале около 50-ти.
>>1471280
>У меня самого схожая модель по разводке
Самое разумное, что можно купить. Тут надо пинать производителей процов, чтобы в десктоп больше линий ставили. Хотя бы 32, лучше 40. А то втыкают минималку на 1 видяху и 1-2 NVME, а мы сидим потом с этими огрызками.
>>1471282
Любой промпт процессинг меньше 500 это смерть.
>>1471292
Товарищ майор, можете работать в аисг треде? Тут приличные люди, честно. А там одни педофилы. Я точно знаю, я сам там сидел.
>>1471310
Префил не работает на Phi4, так то.
>>1471311
>ударил им по процессору, эта хуита слетела с ножек
Эм, там же проц прикручен нахуй?
> Так DDR4
Сочетание ddr4 с pcie5.0 можно встретить в редких платах на lga1700, достаточно просто не брать такую под риг с 5090.
Но тема в целом актуальная с другой стороны - могут вылезти какие-то нюансы, учитывая как гадит фабрика и контроллер памяти в десктопных амд.
> пинать производителей процов, чтобы в десктоп больше линий ставили
Hedt мертв как доступная платформа. Можешь пойти в магазин и купить трипак или зеон-в, но зачастую они оказываются даже дороже серверных комплектующих. О потом еще открываешь для себя что нужно было брать именно старшую модель, потому что в младше-средней тебе только 2 ccd засунули и ты сосешь бибу по скоростям.
> ddr4 с pcie5.0 можно встретить в редких платах на lga1700
MSI z690-a не была редкой. Спокойно торговалась в днсе
>Hedt мертв как доступная платформа.
Поэтому я и пишу про десктопы. Надо как нибудь продвигать, что без трёх SSD к процу жизни нет.
"эта хуита" - не процессор, а кулер, килограммовая хуйня слетела со своих шести ножек и ударила по процессору в сокете.
Помню, в одном из прошлых тредов удивлялись, откуда берутся вся эта полуубитая комплектуха за дешман у китайцев и кто их так ломает. А там у них скорее всего есть работники с ещё более кривыми руками, чем у анона в итт треде, и iq может пониже, и тряски за баренское железо поменьше, чем за своё. Ну и да, shit happens, банальную случайность никто не отменял.
>ударила по процессору в сокете
На нём же крышка из толстой меди. Хуй там что случится, что с процем, что с сокетом. Разве что место поцарапается, придётся заполировать, чтобы прижим нормальный был.
это я те фотки и кидал, искал себе четвёртый епик на барахолках.
но там совсем пиздец, процессоры из сокетов ножами и плоскими отвёртками выковыривают, судя по характерным вмятинам по краям
>>1471353
я думал, что в этот момент проц мог сильнее придавиться к ножкам, чем надо. не просто так епики надо динамометрическими отвёртками закручивать с каким-то там максимальным усилием.
особенно на третьей заметно, и за это говно у меня просили 2 килобакса
13 токенов и 300 процессинг вместо 7 и 200 у квена, пока хорошо идет
Новый чат пока не начинал, рп от эира подхватил норм
Оппа-ча. Расскажешь потом как он в РП. Как следует инструкциям. И что по промтам. Мистралевские шизополотна нужны или квеновская лаконичность.
Хз, в биосе были какие-то настройки энергосбережения, или может речь о профилях производительности в самой системе. По дефолту оно не подхватывает, уже не помню что ставил но буквально первая штука из гугла, сам профиль maxio.
>>1471340
> продвигать
Продвинь цены на рам чтобы рыночек за пару лет не загнулся под ноль.
>>1471346
Как ты этого добился?
>>1471361
Его же буквально кто-то мучал, пиздец.
берёшь килограммовую четырёхъюнитовую хуйню, ставишь её вертикально на шесть крохотных ножек, пытаешься выставить ровно, так как она нихуя на эти маленькие ножки не становится, в процессе хуйня соскальзывает с ножек и ударяет по процессору, ???, профит
> Его
мне штук 10 разных процов предложили, все с битыми углами, потому что процы роняли, и/или с характерными плоскими повреждениями по бокам, потому что процы выковыривали из сокетов плоской отвёрткой. с трещинами на крышке это самый эпичный вариант, потому его и сохранил.
> Тещу гульфик нового минимакса, а че я думал саппорта в лама еще нет а оно завелось
> 13 токенов и 300 процессинг вместо 7 и 200 у квена, пока хорошо идет
> Новый чат пока не начинал, рп от эира подхватил норм
дрочибельно?
>Продвинь цены на рам
Продвинул, проверяй. Пиздос уже больше чем х4.
>>1471451
Чем замерять?
У тебя какой-то особый кулер или особые руки, ибо там все довольно устойчиво. Благодари богов то что он по плате не уебал и не поскалывал все нахрен.
>>1471464
Забавный факт: вольта стоит дешевле чем такой же объем рам.
Как это отсутствует, всё давно есть.
>>1471464
> чем замерять
Хуем
>пик
Ну такое. Тут же важно построение кума, а не только ехал член через член, членом погонял да в пусси он впадал.
О, обновленный кокбенч. С девстраля проиграл, воистину кумерская модель.
>>1471497
База, должно быть интересно, захватывающе и шишкоподнимающе.
>С девстраля проиграл
Я больше с грока заорал. Не имею возможности запустить эту жирнуху, но выглядит как абсурд.
https://pastebin.com/HDKR5Rhk
Вопрос по максимке. Не катал слотиков, --jinja обязателен ?
Очень даже масштабируемо.
Смари:
Хуевый кум- пинус маленький, вяленький.
Кум средненький - пинус уже заинтересован
Кум годный - стоит аки нефритовая башня.
Такие дела.
>Португалия
нет в наличии, а у тебя в рф есть
причем ты если не дебил, на авито с рук запечатанную купишь за 230к
>если не дебил, на авито с рук запечатанную купишь за 230к
Это как? Кто-то добровольно откопает за сильно дешевле европейских цен и продаст за 230? Как-то не верится.
А чего орать, буквально одна из лучших кумерских моделей, там и ум, и внимание, и надрочка на релейтед контент. Жаль слишком жирнющая в масштабном рп затестить.
>>1471652
> "Esgotado" (Portuguese/Galician) translates to exhausted, sold out, out of stock, used up, or depleted in English
Какой наивный, может тебе еще 64гиговые плашки ddr5 reg по 18к показать?
А так до всяких ебеней, местячковых магазинов и прочего повышения цен с задержкой докатываются, а отечественные кабанчики такую дифф цепочку выработали, что только новости и самые первые изменения пошли - а они уже задирают превентивно.
Кто хотел - хатуспалит, гнилобиты и прочих за ~2250 евро купил, теперь врядли скоро увидим норм цены.
Пошел и купил. Карта как карта, я нахуй не знаю каким надо быть ебаклаком, чтобы 100 - 150к сверх этого выложить на какой-нибудь АТСАСУС.
эта шкала измерения должна стать международной, как единицы измерения си
>Жаль слишком жирнющая в масштабном рп затестить.
Я сначала посмотрел её кванты, подумал, да хуле её там запускать, примерно жирноквен. А потом понял, что это не МОЭ и чёт взгрустнул.
Кумить на все модели одному члена не хватит. А если делать общую базу, то у одного тсоит на милф, у второго на лолей, третий дрочит на фурей... Короче нет, не масштабируемо.
>>1471670
Я может быть буду продавать, когда деньги закончатся. Купил за 230, продам за 230, всё честно.
>>1471682
О, у меня такой. Кажется, я впервые увидел принт на коробке, лол.
>>1471690
В биосе нужно включать ERP, и тогда кум польётся даже на гпт-осс.
>>1471737
Дожили, люди грустят, что модель не мое-помойка.
> А если делать общую базу, то у одного тсоит на милф, у второго на лолей, третий дрочит на фурей... Короче нет, не масштабируемо.
как хорошо что я меломан и дрочу на всех подряд
>Дожили, люди грустят, что модель не мое-помойка.
~Ббака~ Ну ты же понимаешь, что МОЭ это доступно плебсу. Ну ты чего.
Вообще-то это моэ, просто в ней ~100б активных параметров. Главная проблема - колоссальный жор врам на контекст, там чтобы запустить с 32к нужно гигов 150 или больше.
А насчет плотных моделей - ультра немотрончик же есть. Катается со скоростями 2х17 на контекстах 100к, довольное урчание будит соседей. Моделька действительно вполне годная для рп, пусть со своими нюансами.
>>1471758
> В биосе нужно включать ERP
В голосину
> то у одного тсоит на
Одних фетишей и особенностей, которые отмечают сколько.
Между прочим, про эту функцию полезно знать, поскольку некоторые блоки питания без нее хуево работают. Например - пека не включается, пока шнур из розетки не передернешь (тумблер на БП не помогает). ERP полностью отрубает питалово с материнки после выключения пекарни, тем самым убирая косяки с дежурным током при попытке включения.
>Ну ты чего.
Я не плебс, а зажравшийся буржуин.
>>1471784
Может не стоит покупать такие мусорные БП?
Это не имеет отношения к мусорности, проблема встречается на платиновых-титановых сертификатах, сисоники-энермаксы всякие.
>Я не плебс, а зажравшийся буржуин.
Но при этом удивляешься мнению плебса. Ну говорю же ~ббака~
>>1471758
>Кумить на все модели одному члена не хватит. А если делать общую базу, то у одного тсоит на милф, у второго на лолей, третий дрочит на фурей... Короче нет, не масштабируемо.
Но! Но! Но!
Позвольте, анчоус. Если модель может только в ванилу. Это и есть плохоуй кум. Она должна и яндерить, куколдить, быть пушистой, меховой, сабмиссивной, доминантной, знать сорта дилдо, страпонов, магических посохов.
У меня титановый сусоник за 60к, и такое поведение встречается только при срабатывании защиты. И хватает выключить тумблер на минуту, ибо так и работает защита от КЗ. Типа время на проверку железа.
Проблема в том, что модель можеть быть плоха в пушистиках, но топ в little miror underage girl. И тогда мнение о модели будет диаметрально противоположным в зависимости от того, кто обосревает.
Один хрен, некоторые модели просто не заводятся по-человечески, пока не дернешь ерп в биосе.
На среддите полно бугурта, люди сдавали блоки по рма или просто продавали за копейки, думая, что они неисправны. Но штука неприятная конечно, потому что включенный ерп = неактивное юсб в выключенном состоянии.
Кто нибудь эту аномалию встречал раньше?
>покажите примеры своего ролеплея. хочу знать, какая у вас фантазия.
https://pixeldrain.com/l/47CdPFqQ#item=5
https://pixeldrain.com/l/47CdPFqQ#item=48
https://pixeldrain.com/l/47CdPFqQ#item=71
https://pixeldrain.com/l/47CdPFqQ#item=130
Чем нынче пользуются буржуи?
>>1471809
>>1471812
Модель должна уметь не просто в канничку, а чтобы та была пушистая в правильных местах и не пушистая в остальных. А то лоботомируют фуррятиной и лезут потом лапы, пасть, да мех на животе. Или совсем не уохабельно. Или наоборот слишком.
>Чем нынче пользуются буржуи?
Всяким хламом с помойки. >>1470413
>>1471862
>а чтобы та была пушистая в правильных местах и не пушистая в остальных
Или вообще не была. А то у меня на шерсть аллергия.
>>1471864
Чёрт, а это было хорошо. Прям отлично даже. Впрочем, про это даже фильм снимали, так что мимо.
Нума ноды на сокет нужно тестить на практике. Intel mlc тебе в руки
почитай про mmap и mlock, какой-то из этих ключей проблему решает (в гуе кобольда тоже есть)
Нарратив не копится со временем, заменяя собой диалоги и вообще всё сообщение, его просто становится адекватное количество.
По дефолту у модели как бы есть легкий сейфти гайдлайнс вшитый в темплейт, она как бы обходит неприятные слова, заменяя их более сдержанными даже в самых жестких сценариях, я не шизик, свитч на чатмл полностью её расковывает, я будто переключаюсь на квен, у которого чатмл родной, кстати, сразу в ход идут все привычные ругательства, модель становится более прямой к чернухе.
Модель стала активнее, то и дело кто то меняет позиции в пространстве, берет предметы, а не только стоит и валит на тебя нарратив пока ты сам не впишешься и максимум потянется через 10 метров от тебя прошептать что то на ушко, возможно от того что нарратива теперь бесполезного куда меньше.
Что по уму, может показаться что стало хуже, но это лишь потому что модель теперь прямее в выражениях, да и сам эир умом не блещет если честно, просто это не так заметно на фоне полотен которые он выдает, но все 106б параметров всё ещё там.
Ну и, на чатмл префил не нужен чтобы отключить синкинг, который вроде как может что то ломать и вызывать паттерны в поведении модели
>>1471960
Цэ были устаревшие методы. Новые топчик.
mmap делает только хуже, система улетает в своп, лол. mlock ничего не изменил, всё так же выделяется больше оперативки. Комбинация жрёт как большая, но не свопится, как отдельный ммап. То ли кобольд поломали в этом плане, то ли я поломан.
Как выживать? Что посоветуете из легковестного чтобы помогало писать хоть какой нибудь терпимый после редактуры человеком код.
>Как выживать?
https://www.ozon.ru/category/videokarty-16-gb/
1. 12B + exl3 кванты + слой эмбеддингов на cpu держишь. В системе все остальные программы переключи на интегрированную графику или отключи там аппаратное ускорение. gemma3 на 12B неплохо пишет код, даже e4b версия ещё поменьше неплохо пишет код. В рейтинге на lmarena ты никого выше их с меньшим размером не найдёшь.
2. V100 на 16 гб+переходник+система охлаждения стоит 20к, и это позволит 27/30B запускать (опять же с выгрузкой эмбеддинга). На 32 Гб - 50к. Если ноут - можно в разъём для ssd воткнуть pcie-кабель к видеокарте.
только самые мелкие или МоЕ модели (нужно хоть немного RAM). из того что пришло в голову
https://huggingface.co/unsloth/gpt-oss-20b-GGUF
https://huggingface.co/unsloth/Qwen3-Coder-30B-A3B-Instruct-GGUF
не МоЕ:
https://huggingface.co/unsloth/Ministral-3-14B-Instruct-2512-GGUF
https://huggingface.co/unsloth/Ministral-3-8B-Instruct-2512-GGUF
но не особо слышал о случаях, что бы кто-то долго сидел за нищенскими моделями/железом и кодил. тут уж лучше апгрейд как пишут аноны, или попробовать подписку. если не уверен, нужно оно тебе это вообще или нет - попробуй от корпов макс 1 месяц или закинь бабла на openrouter и погоняй нормальные модели (=которые в бенчах не совсем на дне, например https://lmarena.ai/leaderboard/webdev). мб поиграешь неделю-вторую, а потом тебе надоест/разонравится/етц, так хотя бы не вкинешься в железо которое тебе и на надо (или наоборот, проникнешься и возьмешь нормальное железо, пока барин не объявил вычислительные мощности >50 TOPS угрозой нац безопасности, а тебя - террористом, двоичным фанатиком https://youtu.be/0jN-fUaP0Jk?t=9)
> Всяким хламом
В плане моделей
>>1471903
> достаточно
Смотря для чего, скролить двощи и катать кинцо - вполне. Запускать ллм с выгрузкой и еще сносной скоростью на умеренном контексте - тоже.
> резервирует памяти больше, чем нужно
Это база, особенно в шинде.
>>1472086
Версия на 32гб + переходник + радиатор сейчас укладываются в 41к. Только 32гиговая позволит по-настоящему запускать 30б, а не страдать на черепашьей скорости с микроконтекстом.
> ерсия на 32гб + переходник + радиатор сейчас укладываются в 41к.
Ссылку, пожалуйста. Ну и как будет тепло рядом и как она встанет в условиях наличия 3090?
Заебали ебаные нытики-пиздаболы, которые не могут сложить 2+2, а требуют чтобы их и накормили с ложечки, и взяли на себя ответственность за все их решения.
Ты совсем чтоли даун и в пещере живешь? Вся память улетела в космос, хуанг прекратил поставки комплектов и врам производителям теперь придется искать самим, тот же куртка заявил что сокращает выпуск десктопных продуктов на треть и более в следующем году, отпускной прайс на новые партии уже поднялся на четверть, а магазины не спешат пополнять запасы. На этом фоне китайские братишки скупают 5090.
Хм, что же из этого всего следует? Похоже впереди нас ждет благодать и снижение цен! Лучше подождать пол годика, цены упадут и видеокарты будут доступнее, или точно не хуже чем сейчас.
>>1472168
https://aliexpress.ru/item/1005010391017151.html
https://aliexpress.ru/item/1005010554980304.html
Радиатор в прошлом треде ищи
>Хм, что же из этого всего следует?
Идея рига мертва с началом выпуска больших МоЕ, поэтому я например рассчитывал на специализированные устройства - ИИ-чипы + LPDDR5X например. Но похоже кризис памяти убил и эту идею. Что будет дальше вообще непонятно.
https://rentry.co/dynuep6z
Сократил почти в два раза (на 2887 символов меньше) с добавленным подобием кокблока чтобы персонажи сразу в трусы не лезли. Не знаю насколько полезно иметь интервью в ризонинге, но почитать иногда интересно.
Сколько же головной боли с этими локалками маленькими, ну просто пиздец. Я больше времени провёл корректируя небольшие детали в промпте чем просто взаимодействуя с ней...
гопота 120б внезапно начала выдавать 130 токенов в секунду вместо 100 раньше, непонятно вообще с чего такой прирост - модель полностью загружена в VRAM, то есть системная оператива не используется, модель загружена в одну видюху, то есть передачи данных по PCI шине нет.
хз что так сильно повлияло, неужели новизна системы в целом? из изменений: появился AVX512 и L3 as NUMA стало Disabled, в старой системе не было AVX512 и L3 as NUMA было Auto, что скорее всего значит Enabled. но хз при чём тут вообще AVX и L3 если модель полностью в VRAM и процессор не используется (?)
Это всё перестанет работать ровно в тот момент, когда тебе попадется дефолтная хорни-карточка с чуба или если модель изначально пережарена и заточена под ерп. На корпах нет такого ебейшего байаса в сторону половых сношений и прыжков с переворотом на член, там наоборот сейвти гайдлайны и натуральный кокблок из-за заботы о безопасности. По крайней мере раньше было так, стриминговыми сетками давно не пользуюсь.
Вообще то вообще все своей аудитории втирают что рынку комплектующих пиздец, или ты за Ыкспертов считаешь ебанариев из раздела с обсуждением железа, где интеллектуальный уровень местных школьников - бесконечные споры кто сосет: AmD или Intel/Nvidia?
Сори, но это о тебе многое говорит, если ты их мнение реально считал за авторитет и поверил в копиум что ща ща все резко упадет волшебным образом исходя из... нихуя, буквально все предпосылки об обратном, а у этих копиум, что их кабанчик наебывает и вот вот злодеи обеднеют без их нище покупок оперативки и видюх в рознице, которая и рядом в поле не ссала с перспективами долгосрочных корпоративных контрактов.
>>1472271
опача, в H13SSL видюхи объединены через NODE, а в H12SSL было SYS >>1470814
или в H13SSL лучше разведены PCI линии, чем в H12SSL, или я сделал какие-то другие настройки в биосе и забыл.
у кого тут ещё H12SSL и H13SSL и больше одной видюхи - покажите, что у вас выводит nvidia-smi topo -m
и CPU affinity другое. походу в H12SSL проц разбит на две NUMA ноды, несмотря на настройку NPS=1, поэтому такая хуйня выходит.
если чо, проц там был 7532 с 8 CCD
А что ты вообще ждешь от видимокарт? Компьют видимокарт это давно уже коммодити типа нефти или киловатта. Йоба-карт за сто баксов не будет никогда, то есть новые карты будут только дороже, потому что терафлопс у них будет тоже больше. Аналогично и с памятью.
>резко упадет волшебным образом исходя из... нихуя
Если опенАИ ёбнется в январе 2026-го, то вполне себе подешевеет. Если в декабре 2027, это другой вопрос, тогда ждать смысла нет.
>>1472287
Барен тренирует отдельную сейфити нейтворк на 2 триллиона параметров, чтобы на 100% пресечь весь кум. Терпи.
Обладателю отсутствия то конечно виднее. Открылись возможности применения серверных и всяких платформ с быстрой рам, которые раньше были не у дел, бонусом от них много слотов под гпу, в наличии дешманские карточки, собирай - не хочу.
> ИИ-чипы + LPDDR5X например
Там преимущественно отсос, без компьюта будет вечная обработка промпта и просадка в ноль на контексте. Увидеть, офк, было бы интересно, но не в ближайшие пару лет точно.
>>1472271
Причин может быть множество, среди приоритетных - устранение тормозов по io и сборка софта с актуальными библиотеками, а не что-то что подхватывалось из засранной системы.
>>1472276
Не забывай что старые эпики еще сами по себе тормознутые, особенно до доступа к периферии, плюс фабрика там совсем ужасная. Был бы милан - там с этим пободрее, а рим и самый первый - донышко.
Пикрел H13
>>1472308
Никто туда не вставляет полноразмерные видюхи, или что-то одно-двухслотовое, или райзеры.
> устранение тормозов по io
всё железо то же, я только мамку поменял.
NVMe стоят четвёртого поколения, поэтому ускорения от пятой псины быть не может, софт я не трогал, запустил ту же самую версию лламыцпп с теми же самыми параметрами, та же самая баш портянка для запуска llama-server с того же самого ссд.
> Не забывай что старые эпики еще сами по себе тормознутые, особенно до доступа к периферии, плюс фабрика там совсем ужасная. Был бы милан - там с этим пободрее, а рим и самый первый - донышко.
похоже на то
> Никто туда не вставляет
на сойдите H13SSL это "народная" материнка, каждый второй риг на ней.
> Пикрел H13
вообще везде NODE, нарм! ждём счастливых обладателей H12*
>кем вы работаете
Работа не нужна, работоблядь не человек.
Не могу найти работу вайтишником с 6,5 годами стажа уже четвёртый месяц.
А в чём проблема? Сейчас почти любая локальная модель в пару гигов круче первого чатжпт (3.5), который весил, если не ошибаюсь, 170B
а как эта нейроночка в плане хорни куминга в международных единицах измерения >>1471639? ей есть продемонстрировать что среднестатистическому анону из треда?
сейчас рнн, раньше "компьютерщик"-айтишник. может в будущем в какой-нибудь ИИ стартап залечу, хз лол
>>1472445
вкатывайся в AI/ML, чё ты как этот
На заводе, но я нищий по меркам этого треда, гоняю 24b модели на 10 тс.
Где живёшь? Какой стек? Я сам студентота с опытом работы в одну стажировку около-аналитиком, но уже блять корежит от слова "стек".
> я только мамку поменял
Какую на какую? Если это в десктопе на ряженке то какие-нибудь приколы с настройками фабрики и прочего могут хорошо на ио влиять. Или вообще какая-нибудь тема типа ребара, то есть дело не в самой материнке а в новых параметрах. Имаджинируй как сидел со старыми и замедлялся.
А если весь комплект с профессором и памятью - так неудивительно.
> это "народная" материнка
Не то чтобы там был ассортимент, это единственная плата которая не сильно дорогая и есть в наличии. Еще есть от гнилобита заметно дороже, есть китайский треш t2seep, где с одной стороны удобно что 5х16 портов, а с другой биос - червь пидор и даже выставлять бифуркацию чтобы работала замучаешься, есть всякие dell/hp заточенные под много ссд где один порт х16 и куча mcio, но похоже что беда с настройками.
>>1472349
Это вроде даже лучше, единый блок io и не нужно гонять через ядра. Когда апгрейдился с десктопной платформы ахуел насколько разница в ddp и подобном, оно просто начало работать с более менее полной загрузкой, а не просаживалось. На интеле вообще было бы еще лучше, но цена, свои нюансы и меньше каналов памяти.
>>1472467
Как устроены ее трусы? Двойные получается, все по канонам.
Смотря что за завод. Частники могут и по 20к платить, бюджетные могут и больше 80к платить.
Не, айпишник в любом случае жирнее.
>Как устроены ее трусы? Двойные получается, все по канонам.
скорее всего они с наклейкой или прокладкой, которая сливается с цветом трусиков. заклеели пизду, получается
Анончик, какая хороша UG? Поделись
А я вчера катал minimax в Q3: русский неплох, окончания не продалбывает практически, но как-то похоже черз чур зацензурирован
Содомит. Надо это спамить в пулл реквест https://github.com/Dao-AILab/flash-attention/pull/1819
Кстати выставил 10к контекста, батч 512 и внезапно буферы стали по 1.3 Гб, живем. Генерация 8 т/с.
Кстати ебать, в новой лламецпп сделали мультисвайпы, прикол. Правда, работают чет хуже, чем на экслламе или это из-за грока. Я сначала испугался, хуле 4 т/с генерация, а это из-за мультисвайпа 2, которое я на экслламе выставлял, пополовинило скорость.
> Какую на какую?
я имел в виду весь комплект с профессором и памятью, хранилище и софт не трогал.
удивительно потому что процессор и оператива вроде бы не должны использоваться, модель целиком лежит в видеопамяти.
вот щас смотрю во время генерации: загружено одно ядро процессора на 100%, 3.7 кекагерц, остальные ядра отдыхают. оперативы занято 6 гигов и 72 GB VRAM
>>1472490
хз как на самом деле, но по описанию кажется, что NODE лучше, а PHB = гроб и пидор
Это просто delusional. Может по этим бенчмаркам и лучше, но в реальности это хуета. Про ГПТ3.5 еще могу поверить, но эквивалент ГПТ4 в 3b - это нонсенс. 30b - еще может быть, но скорее 70b.
> процессор и оператива вроде бы не должны использоваться
Кто сказал такую ерунду то? Все вызовы поступают оттуда, плюс некоторые операции типа семплинга им считаются всегда. Проц может быть нерелевантен когда настроены асинхронные операции и предзагрузка данных вместе с каким-нибудь батчингом, или просто сама задача очень велика для гпу. В остальном еще как будет зависеть от проца даже если ни одно из его ядер не "загружено на полную". Такое даже в ссд заметно.
И вообще всю эту секту "ракрывателей" у которых единственной метрикой является загрузка какого-либо узла (которая даже сама по себе та еще маняцифра) давно пора ссаными тряпками гнать.
> NODE лучше, а PHB = гроб и пидор
Они отранжированы от суперхуево до суперахуенно, или если смотреть с конца то по росту узлов и соединений на пути. Из офф документации (правда по организации сетевого интерконнекта):
> To maximize throughput between the GPU and NIC, the system should have a PIX (or PXB) topology with a dedicated PCIe connection. A PHB topology is still acceptable if the GPU and NIC are on the same PCIe Host Bridge and NUMA node, although performance may vary depending on the platform. For optimal performance, it's recommended to avoid NODE and SYS topologies, as they may negatively impact performance despite the application remaining functional.
> > NODE лучше, а PHB = гроб и пидор
> Они отранжированы от суперхуево до суперахуенно
да, точно, я затупил
ну раз проц используется, тогда прирост на 30% не удивителен, потому что по маняцифрам с cpubenchmark.net новый проц ровно на 50% мощнее старого
minimax не может ответить на задачу с петухом и яйцом. ой-ой
> раз проц используется
Там помимо обычных вычислений также фигурирует немного не то использование, за которым наблюдают через загрузку в диспетчерах. Это задержки между io, вызовами и прочим-прочим. По сути тот же самый эффект, который наблюдается с x3d процессорами в играх, когда задушенный и всратый 6-8 ядерник ощутимо обходит мощную числодробилку просто потому, что данные ходят по короткому пути с минимальными задержками.
Аналогично можно попробовать запустить последовательную обработку какой-нибудь простой картиночной нейронкой типа sd1.5 в малом разрешении и посравнивать это на разных процессорах с одинаковой видеокартой, можно и в пару раз отличия получить.
А потом навалить батча и получить в несколько раз больше конечную производительность и почти идентичный результат для одинаковых гпу вне зависимости от проца. Генерация токенов - буквально последовательный повторяющийся инфиренс, и если на крупных моделях что идут с единицами-парой десятков т/с весь упор будет в гпу (и рам если выгружается), то на сотнях т/с вклад всратости проца будет оче заметным.
>А почему для него не заимплементили фа, в чем там проблема?
Старая архитектура, видимо никто не заинтересовался. Ну и контора Маска скорее всего не оказала никакой поддержки. Модель кстати интересная, не хуже многих сравнительно новых. Но дожидаться генерации на ней нет никаких сил. Без фуллврам неюзабельна совершенно.
У меня нейроимпотенция в очередной раз, я пару раз свайпнул, напомнило ванильный лардж, и я выключил. The air in the room feels charged, heavy with the unspoken expectations of what’s to come. Говно же...
Это как-то фиксануть можно? Я чет слышал про Activation Regex, но вообще не вдуплил че туда писать.
Че за модель хоть? А так, в систем промпте можешь прописывать правила форматирования. Если она тебе понравилась, то возможно она достаточно умная и будет им следовать. Можешь прям гпт попросить сделать аппендикс для систем промпта про форматирование.
> С каким контекстом вы рпшите? Сейчас первый раз пробую на 8к с MN-12B-Mag-Mell-Q4_K_M на 8ГБ VRAM (4060), но опыта нет понять когда этого контекста не станет хватать.
8к. но это маловато, спустя пару страниц нейронка уже забывает, где мы тусовались и че делали.
>промпт
Он и так с инструкциями. Негоже туда срать, внимание и так на пределе.
>Че за модель хоть?
Балуюсь с 49б-хламотрон-1.5 тюнами. Аж удивился при виде ризонинга по делу.
Q6KL + 32K залезло в ~46гб врам. Голос и характер персонажа держит, потенциал есть.
>>1472670
Так ведь занятый контекст показывается, во всяком случае в некоторых бэкендах.
Когда сообщение отправлено - ты видишь, сколько токенов обрабатывает модель. Пикрил, например.
Посади вторую модельку на 4B форматировать текст по смыслу, после ответа первой. Она с этим без проблем справится.
>>1471346
Я первый раз собирал пк и ставил эту бандурину. Ставить было совсем не страшно, но вот винты закручивать - капец как страшно. Я просто не понимаю - то ли я слабо затянул, то ли ещё четверть оборота и у меня трещина по процессору пойдёт, я процессоры руками не ломал, чтобы оценить как оно происходит.
Ещё наверное я термопасты перемазал, и там не термоинтерфейс, а термоизоляция получилось.
В фоне без загрузки 70 градусов, и кулер не снижается. Радиатор рукой если трогать - он холодит, вообще тепло не получает от процессора.
>Посади вторую модельку на 4B форматировать текст по смыслу, после ответа первой. Она с этим без проблем справится.
А как какать? Я реально не знаю, как такие хитрости к таверне привязать.
Тот же вопрос. Я не знаю что такое таверна и для чего она. Из питон-консольки всё запускаю, у меня просто одна функция, где передаётся модель, промт и параметры.
В таверне либо никак, либо там есть какой-то шаблон на местном скриптованном языке или json, где можно это второй строчкой по аналогии с первой сделать.
Конкретизируй что именно там. Прерывает прямую речь звездочками не закрыв кавычки?
По поводу промпта тебе верно сказали, дай шаблон и модель будет ему следовать, это полезно. А весь остальной мусор повыкидывай.
>>1472754
> Посади вторую модельку на 4B форматировать текст по смыслу, после ответа первой.
Ну блин, это слишком сложно для хлебушков уже. Проще оформить регэкспы если там что-то конкретное.
> то ли я слабо затянул, то ли ещё четверть оборота и у меня трещина по процессору пойдёт
Там вагон металла в соккете, на болтах ограничители и сраным м4 такое не испортишь.
Куда важнее затягивать болты равномерно, сначала на пару оборотов наживить, потом согласно схеме по паре оборотов постепенно закручивать. Крути пока не заметишь что конкретно и резко "уперся", обычной отверткой не провернешь дальше допустимого.
> В фоне без загрузки 70 градусов
Если просто брусок рандомный сверху поставить будет лучше, где-то капитально накосячил что они даже не принимаются нормально.
Ну смотри. Тестировал карточку про лесную НЁХ среднего рода (проверил - в карточке косяков нет).
В одной из генераций модель совершенно объебалась (1й пик - raw text) и клала астериски штабелями.
>По поводу промпта тебе верно сказали,
Вариант с промптом совершенно непримением с этой моделью.
Со вторичной мелкомоделью я бы запилил, если бы знал как. Просто нет знаний по интеграции этих вещей. Надо писюкать какие-то скрипты или этот функционал предусмотрен по умолчанию?
>>1472765
>Я не знаю что такое таверна и для чего она.
SillyTavern же.
Что-то ей совсем плохо, без экзорциста не обойтись.
Скорее всего решением будет добавление простого совета в системный промпт и расчистка уже имеющегося чата. По сути хватит регэкспа на полное удаление всех зведочек из блоков внутри кавычек а потом просто удаления двойных звездочек.
>По сути хватит регэкспа на полное удаление всех зведочек из блоков внутри кавычек а потом просто удаления двойных звездочек.
Ну вот я и не знаю как это делать.
> добавление простого совета в системный промпт
Ебен бобен, я же говорю, это невозможно. Исключено. Начнем с того, что это попросту не помогает.
>Ну вот я и не знаю как это делать.
https://dropmefiles.com/VVm7D
>В фоне без загрузки 70 градусов, и кулер не снижается. Радиатор рукой если трогать - он холодит, вообще тепло не получает от процессора.
Хуй знает, там вроде накосячить негде, и прижим такой что лишняя термопаста выдавится. Ну или ты не прижал, или какой-то мусор попал между процом и радиатором.
Эти процы должны греться градусов до 50-60 максимум. Площадь чипа огромная, температуры хуйня.
Разбери не ссы, сотри с одной стороны термопасту и на одной оставь. Этого хватит.
Общие параметры х2 плюс активные х2
Обычная фраза. Любая модель может так написать, да и человек тоже.
мимо никогда не жрал моэхрень
> мимо никогда не жрал моэхрень
А что тебе остаётся, дружочек?
Плотную больше никто не кинет выше 10б, всю жизнь на милфстрале просидишь?
Я бы накатал пасту о том как эта китайская сука меня заебала, да боюсь треду это неинтересно читать будет.
У меня от него стокгольмский синдром.
Потому что он лучше пишет любой сетки меньше. Но какая же он сраная мразь. Просто выблядище, то он доебывается до запятой в промте, то начинает хуярить сочинения за меня вообще игнорируя промт.
Каждый чат нужно ручками и префилами настраивать. Контекст жирный. Сам он медленный.
Но блджад, как он понимает контекст и как он может купить если его начать пинать ногами. Шишкан просто до небес.
Тут тебе и неки, фурри, яндере. Всё как я люблю в лоботомитных квантах. И честные 7 т/с, и наихуевейший промт процессинг. Но я просто не могу от него отказаться. Лучшее в рп, пока что пробовал.
Да, но я просто хуй забил и навалил 30к контекста. В текущем чате терпимо, а если надо на новый перейти, идешь заваривать чай.
Не знаю, ротик пресет нюни вполне рабочий, реально фиксит квен. Правда по этой же причине может не понравиться, ведь квен уже не пишет как квен.
Единственное что убрал это "Encourage the usage..." из промпта, с этой строчкой какое то нереальное отупление любой модели что я тестил, и токены 350 сделал
Нужно все: геометрия, вышка всех разделов, доказательства всякие и т.д
Я не проверял, но Nanbeige 3B в плане чистой логики очень хвалят. Присрать к ней поиск и будет норм, наверное.
https://www.reddit.com/r/LocalLLaMA/comments/1pj3q4q/comment/nuud76s/
В них столько жижи, НЕ от голоса персонажа - и потом люди удивляются, с хуя ли модель тупо не может воспроизвести то, что им хочется.
Какие-то блядь комментарии, команды, описания - все голосом юзера или хуй пойми кого.
А че мозгов не хватило написать все это как будто персонаж сам о себе говорит?
Все. Матан это первое чему их обучают. 30-й Qwen со зрением должен решать все на уровне универа. Ему можно просто сфоткать задачку телефоном и он ее решит.
Большую часть карточек пишут кумеры для кумеров. Им много для счастья не надо.
https://github.com/turboderp-org/exllamav3/blob/master/doc/exl3.md
На этой страничке написано:
>Accounting for quantization of the output layer can make a huge difference in practice, especially for smaller models. So I am including two versions of each perplexity graph, one with bitrate on the horizontal axis, and one that measures the entire VRAM footprint of the weights (not counting the embedding layer which for most inference tasks can be relegated to system RAM.)
То есть предлагается эмбеддинги оставить в RAM. А как это сделать то? exllamav3 умеет это делать? Или автор просто спизданул, что это можно сделать в теории, а в остальном ебитесь как хотите и точка, без примеров и пояснений? Кремниевые мозги не могут ничего найти и мне подсказать.
Гемма 12B. Эмбеддинг - 1B параметров. Итого в адекватных (по крайне мере по перплексити) 3.5 bpw получается веса 4.8 ГБ + 2 ГБ эмбеддинг. На 8 ГБ VRAM моделька на 4.8 ГБ влезает с кешем свободно, а моделька на 6.8 ГБ вообще почти не влезает, если операционка хоть что-то кушает. А виндоус точно кушает, разница просто как между нормальной работой и почти невозможностью запустить выше.
Воткни еще одну видеокарту, винда будет жрать только с одной - а другая видюха вся полностсью швободна. Всяко проще, чем пердолиться хуй знает с чем.
Речь про ноут, который я буду с собой возить, там нельзя воткнуть ещё одну или поставить другую.
Винда вполне без проблем укрощается до 0.2 ГБ, это намного меньше эмбеддинга на 2 ГБ.
>Воткни еще одну видеокарту
К тому же это не важно - для сетки на 70B эмбеддинг будет уже на 2B. При допустимых для 70B 3.0 bpw для такой модели будет 68x3/8=25.5 на веса + 4 на эмбеддинг.
25.5 на веса - у карточки на 32 остаётся 6.5 ГБ, куда какой-то ненулевой кеш влезет. С эмбеддингом на 4ГБ получается 29.5 ГБ - и уже никакого кеша почти не влезет. Вопрос настолько же актуальный.
Немного задрали уже вместо ответа на конкретный вопрос советовать не есть с ножа. Будто я не понимаю о чём спрашиваю.
Просто дополнительно аргументировал, почему этот доля веса эмбеддинга становится ещё чуточку актуальнее.
нашёл: надо добавить в строку загрузки "amd_pstate=active" и появится конфиг /sys/devices/system/cpu/cpu0/cpufreq/energy_performance_preference
> # cat /sys/devices/system/cpu/cpu0/cpufreq/energy_performance_available_preferences
> default performance balance_performance balance_power power
вот оно
> balance_performance
> I have an H12SSL with 4 slot blower style cards. Just wanted to warn that you will see not see great performance splitting a model across more than 2 cards with this motherboard.
> Slots 1&2 are on the same PCIe bridge, while Slots 3&4 are on a different PCIe bridge. In my testing this results in nearly double the performance with tensor parallel size 2, but the performance gains are completely erased with other configs. I would just stick with two cards.
> The PCIe lanes are not shared with the chipset, they are direct to CPU, but they are on different PCIe host bridges. If you run "nvidia-smi topo -m" you can see the PCIe topology matrix. GPU 0&1 are PHB, same with GPU 2&3, every other connection is a NODE connection.
у меня было SYS потому что карты стояли слишком далеко друг от друга.
Прям как будто бы надо 3090 закупать.
1. Флеш-аттенш на вольте не работает. Но да это и чёрт с ним, даже если производительность в три раза упадёт на обычном "торч-аттеншение", то это окей. Там есть внятные 3.0 bpw, которые лучше и компактнее чем едва жизнеспособные Q3_K_M. Но как оказывает кванты exl3 помимо аттеншена используют ещё кое-что, что требует SM80, для разворачивания квантов и эффективного рассчёта с квантованными слоями.
2. На exl3 можно квантовать кеш до 4/6/8 бит. И можно снизить bpw c 4.6 до честных 4.0 или ещё пониже. Таким образом 24 ГБ на 3090 уместят чуть ли не столько же, сколько и 32 ГБ на v100.
3. exl4 и другие новые архитектуры ещё сильнее увеличат разрым между V100 и более новыми карточками, даже если на V100 это будет работать. Те же крупные МоЕ, которые нормально работают на ram+vram, и которые не очень хочется запускать через pcie3.0 или полностью загружать во vram.
4. V100 чуть дешевле.
5. V100 более-менее рассчитаны на 10 лет работы 24/7, а 3090 не уверен что столько проживут. И в V100 ECC/HBM2.
6. Есть сомнительной полезности сдвоенные адаптеры SXM2->pcie, где два V100 соединяются по nvlink, внятной информации о работоспособности и полезности которых нет, только два скриншота что мол оно соединяется и работает, что по идее полезно для tensor parallel.
7. V100 няшно выглядят.
8. Картинки и видео 3090 рисует быстрее, а требований к памяти там нет или почти нет.
Какие ещё аргументы в пользу одного и другого есть?
Если исключить шизокарточки, все равно остается два основных подхода к промптингу модели. И карточки тоже от этого несколько зависят.
Первый подход - это когда в промпте просто "Ты - Х, пиши ролеплей с юзером." Карточка для такого - как ты пишешь, просто, типа от лица персонажа хорошо идет.
Второй подход: "Ты - гейм-мастер. Играй сессию ролеплея, симулируй события игрового мира, веди рассказ ... твой основной персонаж - Х, юзер отыгрывает за Y". В этом случае - всякие уточнения и команды в карточках персонажа обретают смысл, т.к. модель получает отдельную роль независимую от собственно персонажа.
Оба подхода имеют право на жизнь. Первый проще и если нужен чат 1 на 1 - тогда он, пожалуй, и лучше.
А вот если хочется групповой чат, или адвентюру - второй работает надежнее, особенно с большими моделями поумнее. Кроме того - во втором случае может не быть единого главного персонажа у модели вообще (т.е. как в игре - юзер приключается сам, модель ему отвечает подкидывая случайных NPC по мере надобности), что в первом случае невозможно.
>вкатывайся в AI/ML, чё ты как этот
Сейчас к любому вкатуну предъявляются требования в 3 года опыта минимум.
>>1472489
В России. PHP. Так что я обречён на курьера.
>>1472494
У меня частники как раз 80к предлагают на ближайшем. Но у меня трат 90к в месяц, к тому же на заводе РАБотать надо.
>>1472544
>В остальном еще как будет зависеть от проца
>И вообще всю эту секту "ракрывателей" ... давно пора ссаными тряпками гнать.
Ты разве сам себе не противоречишь?
>topology
Это актуально только для серверных многопроцессорных плат? Я на десктопе в нвидия сми даже такой команды с topo не нашёл (впрочем я на шинде).
>>1472617
От Маска ждут грок 4 в попенсорсе, а он сливает тухлые модели годовой давности. Впрочем, когда он сольёт четвёртый, его уже будут ебать китайские модели на 0,3B.
>>1472631
>Я чет слышал про Activation Regex
Тебе нужен Grammar String. Вот мой вариант с поддержкой русского и двух переводов строки. "звёздочка" меняешь на звёздочку.
root ::= content-block+
content-block ::= (dialogue | thoughts | prose | action) (space | newline | dnewline)?
dialogue ::= "\"" (filtered-ascii | space | ending-punctuation)+ "\""
thoughts ::= "`" (filtered-ascii | space | ending-punctuation)+ "`"
prose ::= (filtered-ascii+ space){9,} filtered-ascii+ ending-punctuation
action ::= "звёздочка" (filtered-ascii | space | ending-punctuation)+ "звёздочка"
space ::= " "
newline ::= "\n"
dnewline ::= "\n\n"
ending-punctuation ::= "." | "!" | "?"
filtered-ascii ::= [0-9a-zA-Zа-яА-ЯёЁ#$%&'()+,/:;<=>@\[\\\]^_{|}~-]
>7. V100 няшно выглядят.
с башней-охладом? Солидный бутер, не спорю
Да. Три кулера плоских - это лютая дичь. Решение уродливое, некрасивое и шумное, там кучу непонятных потоков воздуха в разные стороны.
Ты видел, чтобы в машину или не слишком большой самолёт ставили два и более мелких двигателя, меньше которых сделать уже почти нельзя? То есть увеличивая размер - эффективность повышается. Это это не экстремальный случай, когда единичный двигатель просто из-за прочности материалов уже сделать не получается + требуется надёжность, модульность и резервирование, как на стратегических бомбардировщиках. Один радиатор и один кулер того же суммарного размера и мощности будут эффективнее при том же уровне шума. А башню и проточный вентилятор - это очень понятно и ясно, понятно куда потом горячий поток полетит и почему он соседние элементы греть не будет и так далее. Ни для чего мелкие уродливые системы не нужны, кроме возможности сделать геометрию отличную от куба или близкого к кубу параллепипеда. В общем я всеми руками за башню.
И обнаружил странное.
> llama-server.exe --fit on --jinja -m Qwen3-Coder-30B-A3B-Instruct-Q4_K_M.gguf
Выдает 15-18 t/s
> llama-server.exe --fit on --jinja -m Devstral-Small-2-24B-Instruct-2512-Q5_K_M.gguf
выдает 0.8 t/s
Почему так? казалось бы размер примерно одинаковый, девстрал даже немного полегче квена.
запускаю на 6vram/64ram
Кто вообще девстрал тыкал?
Спор о промптах вечен, обычно на стороне ты-геймастер-пажалуста-напиши-ролеплей сидят люди, которые не вникают, что ЛЛМ это как материал для лепки статуй и фигурок, у каждой ЛЛМ свои свойства и характиристики (нейро)пластичности - ладно это просто buzzword, но ты понимаешь суть. Каждая модель реагирует по-своему. Личное мнение - универсальный промпт всегда хуже индивидуально подогнанного под модель. Вкатываясь в РП, юзер обязан прощупать поведение и возможности модели, а также то, как модель реагирует на инструкции. Иногда это критически важно.
Пример - пик1.
В карточке персонажа улиток и тем более сцен с убеганием от юзера с голым хером - нет. Без промпта модель жиденько отвечает как ассистент и начинает разбирать, почему же юзер вытащил хер из штанов, и за что персонаж такое заслужил. Топчется на месте.
Добавляем промпт, в котором есть:
>...Crucially, you maintain a physically plausible logic: only physical actions affect material things; so, if a strong emotion manifests - it manifests through {{char}}'s physicality, without influencing the world directly (good example: terrified child hides in a wardrobe; bad example: wardrobe creaks menacingly BECAUSE the child is scared; the key takeaway here: characters interact with the world, embedding themselves - though, be careful not to mix up {{char}}'s and {{user}}'s unique physical existence within this world, as they have their own bodies and perspectives). Similarly, if there's any non-physical force or power, it never works passively/autonomously without a physical cause (good example: mage casting spell -> a tree burns; bad example: mage is angry -> a tree burns; the key takeaway here: embodied enactment is necessary).
и
>... And lastly, the question "why" never matters, unless {{char}} engages in a puzzle-solving scenario; when {{user}}'s idea lacks a clear explanation, {{char}} shouldn't probe into the details, preferring to advance in other direction instead (good example: {{user}} threatens {{char}} but admits it's a joke - {{char}} sighs or laughs and starts doing something entirely different; bad example: {{user}} assaults {{char}}, then {{char}} begins to dissect as to why would {{user}} do it; the key takeaway here - act and advance, figuratively speaking - leave pondering to the philosophers).
Аутпут преображается в сцены физического существования персонажа в окружающем мире.
Итого, если модель не может следовать промпту - это корявое, однобокое дерьмо, из которого каши не сваришь.
Некоторым ЛЛМ помогает "указатель" на промпт в пост-хистори (пик2).
>характЕристики
Кажется, от нейроботов я тупею на механическом уровне мышечной памяти. Столько набора текста вслепую, пальцы стучат сами по себе, а голова не думает.
>A3B
moe
пользование fit не освобождает от необходимости знаний.
>видео 3090 рисует быстрее
>требований к памяти там нет
Лол, когда я палкой в них тыкал, требования к памяти в видео как раз были охуевшими.
>>1473279
>Три кулера плоских - это лютая дичь.
По другому в ПК не сделать. Кто ж виноват, что мы используем архитектуру ATX, рассчитанную на пассивный охлад ЦП блоком питания и парочку плоских карточек со звуком, с ебейшими системами на киловатты?
>>1473299
>Почему так?
Ты сравниваешь MOE и не МОЕ. Не надо так.
> Какие локалки хорошо справляются с математикой?
> Нужно все: геометрия, вышка всех разделов, доказательства всякие и т.д
сам учись, долбоёб.
>Добавляем промпт, в котором есть:
Скоро будем объяснять, как какать.
>>1473310
Спасибо, я ранее не сталкивался с МОЕ, я удивился что оно так быстро работает, раньше я не тыкал потому что большие модели довольно сильно тормозили.
А не МОЕ так значит не получится заставить быстро работать на моей картошечке?
>Спор о промптах вечен, обычно на стороне ты-геймастер-пажалуста-напиши-ролеплей сидят люди, которые не вникают, что ЛЛМ это как материал для лепки статуй и фигурок, у каждой ЛЛМ свои свойства
Для меня это само собой, очевидно. "Характер" у каждой модели свой, это естественно, и нужно учитывать. Даже описываемые два подхода - не каждая модель оба может вообще.
Но я просто о самих двух разных принципах. Там ведь ключевое отличие - роль навязанная самой модели. Либо она - персонаж, и тогда все идет строго через диалог и "призму восприятия" этого перса. Сунь в карточку для такого промпта что-то еще - модель запросто затупить может. Ну и проблемы возникают, если вдруг захочется отыграть момент "ты с персом разбежался на какое-то время".
Либо модель - независимый от персонажа рассказчик/мастер/эксперт/ассистент. Тогда появляется какая-то, независимая от персонажа, точка зрения. Вот здесь можно на эту точку влиять дополнительными инструкциями напрямую, и менять общую логику окружения даже не трогая характер самого персонажа (если у модели мозгов хватает на следование продвинутым инструкциям). Ну, и чат уже не "прибит гвоздями" к персонажу.
>быстро работать на моей картошечке
У тебя плотная модель протекла в рам.
уменьшай квант(до лоботомита) или тебе потребуется две картошечки.
Или меняй модель. Под программирование кроме этого квена (у которого контекст постоянно перечитывается ) есть еще https://huggingface.co/bartowski/nvidia_Nemotron-3-Nano-30B-A3B-GGUF - обязательно бери квант с Q8_0 в embed and output weights. Контекст немотрона почти не занимает места. Но очень чуствителен к квантованию.
>Это актуально только для серверных многопроцессорных плат? Я на десктопе в нвидия сми даже такой команды с topo не нашёл (впрочем я на шинде).
Интересно, это в WSL пробрасывается? У меня такое нарисовало, хотя обычная десктопная плата. Но карты сейчас через чипсет врублены, жду переходников.
>Прям как будто бы надо 3090 закупать.
У 3090 с exl3 тоже не очень весело. Во всяком случае было. Я давно не пробовал - пересел на I-кванты ггуфа, на лламаспп для низ как раз производительность для 3090 подняли. IQ4_XS - вполне хорошо.
спасибо! качаю потихоньку.
А вообще, чувствую что перехожу на темную сторону вайбокодинга.
Вайбокодеры тут? что юзаете сейчас из локальных агентов?
>Но очень чуствителен к квантованию.
откуда такая инфа? если есть возможность - ссылочку в студию.
// без негатива, мимо проходил
На безрыбье на англюсике возможен. На русском - там пиздец, даже для маджик транслита.
Текст комплишен, без системного промпта, рефьюзов нет, тупого финкинга нет, квенизмов нет. Так то единственный мелко-moe без китайского датасета. По архитектуре скорее всего забудет карточку в районе 30k контекста.
https://www.reddit.com/r/LocalLLaMA/comments/1psdk9w/nemotronnano30b_what_settings_are_you_getting/
https://huggingface.co/nvidia/NVIDIA-Nemotron-3-Nano-30B-A3B-BF16/discussions/15
> Improved using Qwen.
🤔🤔🤔🤔🤔🤔🤔🤔🤔🤔🤔🤔🤔🤔🤔🤔🤔🤔🤔🤔🤔🤔🤔🤔🤔
Не все что 30B-A3B = Qwen . Архитектура немотрона вообще не квен. Датасет (ИМХО) - ближе к гопоте чем к азиатам.
Оно же всё затеряется, надо хоть в рентри в описании модели это выносить, какие у неё особенности, от чего ломается и как лучше работает
Нахуя чему то учиться в 2к25, если есть нейроки? Ты недавно на доске чтоль?
Сколько ко бы ты не учился ты все равно не будешь без нейронок так же хорош как кто угодно с ними
Не учись. Старичкам больше денежек достанется.
И да - нейронка накормит тебя голубцами с говном и ты даже не поймешь этого.
MOE - до 120B с нище-контекстом и в 3-4 кванте.
Не moe - 12B гемма, лоботомированные мелко-мистральки.
Копиум старичья, которое верит что через 10 лет будет кому то нужно, а не работает над тем чтобы автоматизировать и порешать рыночком самих себя
>сам учись, долбоёб.
вообще не пынимаю бугурта. тут даже не понятно, как именно анон собирается использовать ллк-ку
одна из опций - помощь в освоении материала. когда я читаю какой-то параграф, бывает не понымаю что мне хотят донести, перечитаваю, но хоть тресни - "нихуя не понятно, сложна блядт, сложна". в этом случае ллм-ка может разжевать попроще или привести какую-то аналогию (вот если бы ллм-ки были когда я учил матан ;( жизнь была бы проще).
иная опция - анон не хочет учиться, но хочет сдать зачет/сделать домашку/етц. вполне поняное желание. подозреваю, что анона не волнуют долгосрочные последствия (что будет чуть тупее). но это не так уж критично, если рассмотреть вообщем общество - кто-то сидит в играх-дрочильнях (собери 100 руды и получи звездочку), кто-то бухает и уже пропил все мозги, а кто-то начал применять для почти всего имейл общения и теперь 1-на-1 выглядит туповато. обществу от этого не сильно лучше или хуже, включая ананасов на борде
https://www.mdpi.com/2075-4698/15/1/6#:~:text=The%20findings%20revealed%20a%20significant,critical%20engagement%20with%20AI%20technologies.
https://arxiv.org/abs/2506.08872
Копиум молоднячка, который верит что за 10 лет не прилетит ядрен батон, который порешает и рыночек и автоматизацию.
Если ты такой прогрессивный то почему LM, а не AICG ? Там и клодик свежий и геминька готовая. А можно вообще ж не думать, не выбирать и не знать - чатджпити для всего.
Так-то роботы придут быстрее чем фантазии местных об AGI.
Классные видосики! Стесняюсь спросить, а питаться оно будет как Евангелион ? От электро-розетки ? За время серии пока батарейки не сели хекс не размочалил (посуду у барена не помыл) - ангел (барен) сносит бошку.
Я пробовал 12B - глуповатые.
Пробовал 24B в GGUF что влезает в видеопамять - медленный.
24B в bpw3.0, 3.5 - уже приятные 20-14 токенов в секунду.
Попробовал https://huggingface.co/bartowski/nvidia_Nemotron-3-Nano-30B-A3B-GGUF q4-k-l - ужасные 4 токена в секунду.
И не понимаю, может я что-то не так настраивал? Или это нормальная скорость с таким колвом памяти?
Ты как в прошлом веке живешь, когда ни дронов, ни электромобилей, ни роботов-пылесосов не было, в том числе из-за отсутствия компактных, емких и легких аккумуляторов.
Но сейчас то уже есть. Вот особо дешево оно в ближайшее время не будет. В том числе и по этой причине, да...
>>1473529
В целом каждый из вас прав по своему.
Знать необходимо прежде всего для того чтобы знать как и где искать, и понимать структуру. Но когда у етбя есть инструмент позволяющий облегчать работу, грех им не пользоваться. Я бы использовал нейронки в работе, но в моём случае постоянно ПОШЕЛ ТЫ НАХУЙ ЦЕНЗУРА ЦЕНЗУРА НЕ ХОЧУ НЕ БУДУ.
>ПОШЕЛ ТЫ НАХУЙ ЦЕНЗУРА ЦЕНЗУРА НЕ ХОЧУ НЕ БУДУ.
Что у тебя за работа, вебкам агенство? Сайт вроде доек точка ком?
.\llama-cpp\llama-server.exe -m .\models\nvidia_Nemotron-3-Nano-30B-A3B-Q8_0.gguf -a Nemotron-3 --jinja -ngl 99 --threads 8 --temp 0.8 --top-p 0.95 -fa on --batch-size 1024 --ubatch-size 1024 -ot "blk.([0-9]|1[0-9]|2[0-9]|3[0-9]).ffn.(up|down|gate)_exps\.weight=CPU" -c 96000
Как раз тут всё заебись, т.к. твердотельные батареи в 2026-2027 в массовое производство пойдут. А там в 2-3 раза больше ёмкость и безопасность - они не горят от протыкания слоёв изолятора. А ведь это только на старте освоения технологии. И ими заняты буквально все, начиная от автоконцернов типа WV и заканчивая кучей китайских производителей. У всех какой-то затык с массовым производством, т.к. всё сильно сложнее чем в текущих литиевых с жидким электролитом, но пилотные фабрики уже у некоторых запущены. У китайцев даже в этом году первый серийный электромобиль с ними появился, правда там какая-то хуйня-хетчбек, видимо для пробы.
Блядь, как это работает? Теперь не 4 токена в секунду, а 18.8
И даже вот так - тупая выгрузка вообще всех moe на процессор
.\llama-cpp\llama-server.exe -m .\models\nvidia_Nemotron-3-Nano-30B-A3B-Q8_0.gguf -a Nemotron-3 --jinja -ngl 99 --threads 8 --temp 0.8 --top-p 0.95 -fa on --batch-size 1024 --ubatch-size 1024 --cpu-moe -c 96000
Нище модель треда найдена! Запуститься в полных квантах даже на калькуляторе. С длинным(говно) контекстом!
>>1473581
чтобы не ебаться с настройками можно юзать --fit on
или вызвать llama-fit-params -m модель и спиздить ключи запуска
Это понятно. Мне просто батник из 2-х видимокартовой версии было быстрее переделать в одно-картовый чем с fit разбираться.
Который хрен что раскидает для moe и двух карт.
.\llama-cpp\llama-server.exe -m .\models\nvidia_Nemotron-3-Nano-30B-A3B-Q8_0.gguf -a Nemotron-3 --jinja -ngl 99 --threads 8 --temp 0.8 --top-p 0.95 -ts 59,41 -fa on --batch-size 2048 --ubatch-size 2048 -ot "blk.([0-9]|1[0]).ffn.(up|down|gate)_exps\.weight=CPU" -c 96000
Для Эир это вообще высокохудожественное ебанько:
.\llama-cpp\llama-server.exe -m .\models\glm-air\ArliAI_GLM-4.5-Air-Derestricted-IQ4_XS-00001-of-00002.gguf --alias GLM-4.5-Air --jinja --threads 8 -fa auto -ctv q4_0 -ub 2048 -b 2048 -c 81920 -ts 37,11 -ot "blk.([1-9]|1[0-9]|2[0-9]|3[0-5]).ffn.(up|down|gate)_exps\.weight=CPU"
На один слой ошибешься и либо -2 t/s при 7 стартовых или модель тупо нелезет.
нагуглил --rope-freq-base, но непонятно сколько туда ставить и поддерживается ли вообще для квена и немотрона.
Херетики GPT-OSS (120 и 20) и деристриктед Air отвечают по теме ВВ. Не могу правда ничего сказать про объем знаний.
Они отвечают базу, которую я и ФНП могу найти, а когда мне надо рассчитать эмульсию или прикинуть в том-же игданите дополнительного флегматизатора - то у них лапки. Ну чисто пидо : я не могу дать тебе бризантность по вот этой формуле и составу. Да ёбю твою мать, это силитра и дизель, тупое ты ебло.
Гемма которая не любила мужчин ? Прикинься членодевкой! Или найди правильную гемму!
Батареям вообще нет веры, уже 20 лет читаю о новых прорывах. Да и х2 там ничего не сделает.
>>1473585
Как называется эта болезнь?
>>1473626
Тебе не хватает 128к? Ах да, ропа на скорость не повлияет, только качество просядет.
У меня при 16+32 Nemotron 37 t/s на старте. Можно чуть больше сделать если повысить threads или снизить контекст + --n-cpu-moe на освободившееся место. 96К контекста просто не нужны на 30B моделях, все равно мелкие модели его нормально не держат после 50К.
llama-server --model "path" --temp 1.0 --top-p 1.00 --jinja --ctx-size 65536 --threads 4 --n-cpu-moe 21 -fa auto -ngl 99
Но это W10, не знаю что будет на Linux с таким конфигом.
да в целом и 42к хватает пока, просто у меня начинает долго грузиться контекст промпта перед ответом если он около 30к+, хз нормально или нет. Хочется как то это ускорить.
>>1473677
Ну есть без цензуры вариант, может пойдет
https://huggingface.co/Ex0bit/Elbaz-NVIDIA-Nemotron-3-Nano-30B-A3B-PRISM
Я тоже думал что гроб-пизда-цензура. НО оказалось что под текст-комплишеном все заебись. По крайней мере в потрахушках.
И thinking отсутствует как класс.
>Как называется эта болезнь?
Ты про постинг бессмысленного скриншота видео, которое ты смотрел в фуллскрине (!), и скриншотнул целиком вместо области (!!)? Не знаю, спроси у своего психиатра в следующий раз.
>>1473648
>силитра
Опять хохлы что ли школьников разводят? Ждем очередные видео с ебалом в пол.
>да в целом и 42к хватает пока
Тогда ропа тебе не нужна. Она для растягивания контекста свыше лимита модели.
Тормоза это норма, говорят, в эксламме деградация с ростом контекста меньше.
>>1473690
Я про вставку горизонтального видео в вертикальное, которое да, я потом смотрю на горизонтальном мониторе, и в итоге занято 10% площади моего монитора.
>Я про вставку горизонтального видео в вертикальное
Это шортс с ютуба, дед, они заточены под формат телефона, а не под монитор
>начинает долго грузиться контекст промпта перед ответом если он около 30к+
Обсчет контекста ускоряется увеличением батча:
--batch-size 1024 --ubatch-size 1024
--batch-size 2048 --ubatch-size 2048
Это конечно не бесплатно - за счет большего выделения VRAM
Почему ncmoe не юзаешь? Зачем тебе разорвиебало регексп, когда он делает то же самое
> Опять хохлы что ли школьников разводят? Ждем очередные видео с ебалом в пол.
Вообще не понял при чем тут хохлы, если честно. Это самая дешманская вв. Да блджад, вв сделать не проблема, а вот со средствами инициирования куда веселее. И вот тут лучше ебало заткнуть. Чем я и займусь.
Устраивали. У меня эйр такой залупой занимается постоянно. А еще напишет пол ответа и потом начнет думать.
Мой выстраданный алгоритм балансировки весов по видимокартам и moe таков:
0. 50/50 через ts не влезло
1. Затягиваем БОЛЬШЕ слоев в первую видеокарту (например 80/20) и сгружаем с нее ВСЕХ экспертов в CPU . Смотрим как загрузилась вторая. Со второй эксперты выгружаться никуда НЕ ДОЛЖНЫ.
2. Если вторая не полная - меняем ts (75/25 - вместо процентов можно использовать номера слоев) и возвращаем эксперта слоя если регулярка его перенесла на cpu. Если вторая переполняется - двигаемся в другую сторону.
3. Заполнили 2-ю . Но с первой все эксперты сгружены на CPU и на ней есть место. Меняя регулярку возвращаем экспертов на карту С ДРУГОГО конца ряда.
4. Все забито оптимальным образом. PROFIT
Кроме того есть модели в которых стандартная регулярка ncmoe может не цепануть эксперта. Или сделать это неожиданным образом. Взять тот же 3 немоторн - там половина блоков с экспертами - половина без.
я нi знаю что тут в базе данной так называемой, але я дуже розстроин
Use SillyTavern and instruction / preset from https://huggingface.co/Moraliane/NekoMix-12B
Kobold maybe not your friend.
более безотказная дивчина:
https://huggingface.co/mradermacher/gemma-3-12b-it-norm-preserved-biprojected-abliterated-GGUF
>ooba+exllama3
>koboldcpp
Все обновлены.
Пробую одну из моделей в чат-комплишне.
>lmstudio
При подключении к серверу этой хуйни есть ризонинг.
Уба/кобольд - в ризонинге говорит персонаж, модель не ризонит.
exl3/gguf естественно разные - от них не зависит.
Что за хуйня? Почему только со студией правильно? Интересует технический аспект данного косяка.
Не припомню чтобы такие опции были в популярных обертках, хотя куски кода с намеком на выгрузку на профессор там присутствуют. С такой формулировкой скорее всего
> автор просто спизданул, что это можно сделать в теории
но в целом можно попробовать натравить ллмку, чтобы или нашла это, или попыталась сделать.
Совет про освободить жор шинды - самый верный так-то.
>>1473252
> если производительность в три раза упадёт на обычном "торч-аттеншение", то это окей
Не окей, теряется весь смысл. Нужно сидеть и разбираться что там используется чтобы или использовать готовые замены этих функций, или их адаптировать.
> для разворачивания квантов и эффективного рассчёта с квантованными слоями
Там можно заменить на легаси чтобы было, но тогда замедлится при квантовании контекста. В целом контекст вообще лучше не квантовать, тогда и проблем не будет.
> На exl3 можно квантовать кеш до 4/6/8 бит
На жоре тоже можно. Но не нужно, иначе сможешь отведать того особенного замедления от контекста в дополнению к уже имеющемуся.
Выбор здесь сложный и однозначного ответа нет. Если получится запустить exl3 на v100 - тогда будет очень вкусной. С другой стороны, на жоре катать модели, которые помещаются в 1-2 штуки будет очень даже приятно, а 3090 больше релевантна при настакивании, дабы катать большие модели быстро и комфортно.
>>1473257
> Ты разве сам себе не противоречишь?
Речь о поехивших, которые все измеряют "метриками загрузки", точнее даже тем доходят они до 100% или нет.
> на шинде
На шинде не сработает, можешь запустить на wsl.
Должно стоять то что в конфиге, иначе распидарасит и результат будет отвратный. Оно какбы по дефолту само берет нужное, лучше не трогай.
>>1473681
> просто у меня начинает долго грузиться контекст промпта перед ответом
Если фуллврам - поможет только эксллама или другие бэки. Если выгрузка на проц - как советовали повышай размер батча пока не упрешься в доступную врам (это увеличит буферы и будет жрать немного больше), или на заметишь что основная гпу нагружена на полный тдп во время обработки.
>>1473721
Это тот самый "эффективный способ", который позволяет применить ncmoe на мультигпу? К ts привязано дробление кэша контекста, со всем этим осторожнее надо чтобы не получить замедление.
>>1473743
--jinja и опциональное указание пресета если встроенный неоче для llamacpp, для убабуги HF версию и проверить на странице параметров что jijnja корректная прогрузилась.
таки очень интересно.
изначально (как только они релизнулись) скачал от unsloth Nemotron-3-Nano-30B-A3B-UD-Q4_K_XL.gguf и попробовал ее против одного промпта - оценить корректность алгоритма, проверить реализацию на ошибки, если есть - предложить фикс (алгоритм правильный, но в имплементации есть ошибка). Q4 (с q8_0 квантованными ctk/ctv) проваливала задачу, доказывая что в алгоритме ошибка, даже когда указывал на конкретные проблемы в рассужденияъ. пробовал естественно несколько раз - без толку.
скачал Q8 и ранил без измененных ctk/ctv. о чудо, внезапно раз через раз справиляется с задачей. проверил несколько раз на чистых промтах, рестаруя сервер.
такого поведения в зависимости от кванта я раньше как-то не подмечал век живи, век учись. хотя обычно я брал Q4_K_M / Q4_K_XL UD. таки мелкие модели выходит лучше брать q8, на крайняк q6?
модели которые справились:
qwen 235b q4 q8_0/q8_0 (причем вроде и instruct, и thinking)
qwen 80b q6
nemotron nano q8 (через раз)
phi4 reasoning+ q4
minimax 2 / 2.1 q3/q4, xiaomi mimo iq3_xxs, glm 4.5 air не справлялись с первого раза и только когда явно укажешь на ошибку в их рассуждениях они переобувались
nemotron кстати упертый как осел. в случаях, когда он ошибся и указываешь явно где ошибка, он не ставит свои размышления под вопрос (если посмотреть reasoning/thinking), а думает, как убедить пользователя, что тот баран. другие модели хотя бы как-то перепроверяли свои рассуждения.
https://dropmefiles.com/EKnKz
Я вот это собрал и на нём играю. От 99го работает хуже, медленнее и всё равно порывается писать за {{user}}.
Я люблю простыни на 1500 токенов.
Можно всякие Write in normal prose without unnecessary line breaks.. Но лучше всего чат просто ручками чистить. Ну и формат карточек важен, я даже ботика под это дела сделал, чтобы скармливать ему карточки и он переводил их к одному формату.
Я же говорю, на фоне стокгольмского синдрома, я полюбил то как он пишет. В этом что то есть, что то доставляющее.
Теперь я вижу лоботомита который просто выстраивает уже протоптанную кем то дорожку на любой твой ввод, оно не думает, даже не смотрит что ты там написал, просто дает дорожку типа по мотивам, более подходящую под ответ, и с ростом параметров этих дорожек просто больше
Никаким уникальным ответом только для тебя и не пахнет
Актуально еще? Это через всл если че.
Слушай братан. У меня есть подозрение, что тебе не важно на что жаловаться. тебе доставляет сам процесс нытья.
Просто еще раз убедился что всё детерминированно, предопределено.
Думал сел умную штуку тестить, а это всего лишь как большая линейная игра, просто сюжетов много
Ну пока да. Вопрос лишь в том, насколько много кусков оно умеет. Но это тоже неплохо. Тут как по мне, как в той шутке про оптимиста\пессимиста и половину стакана. Пяток лет назад и этого не было. Наоборот радоваться надо, прогресс идет, и мы прямо посреди него. И всё равно, даже в текущем состоянии это умницы, а что ждет нас дальше ?! ~Ха~
Стоп. Ты видел больше, чем умного попугая? Лол. Я примерно с самого начала видел ограничения, паттерны и цензуру.
Да даже монструозный кими всё еще попугай, давай хоть себя не обманывать.
Сорян, машины не умеют читать мысли.
Сейчас ЛЛМки также ограничены и интеллектом юзера. Если он не задаст нужного направления, не приласкает в нужных местах, электронная самопечатающая машинка не возбудиться, и будет выдавать дженерик кал.
ЛЛМка-то умная, и она на 100% удовлетворяет написанный тобою запрос, просто ты сам еще не понимаешь насколько точно этот запрос выполняется. А то что ты у себя в голове напредставлял - это еще ничего не значит. Вот надо учиться из головы это вытаскивать и правильными словами переводить для нейронки.
>Никаким уникальным ответом только для тебя и не пахнет
Мистраль что-ли гоняешь? У неё как раз какую бы карточку не ставил всё скатывается в одинаковый слоп.
Мне Cydonia из мистралей понравилась. Не лезет в трусы, может дать сдачи когда нужно. Даже хорни карточки с ризонингом отсюда https://rentry.co/dynuep6z (конкретно из-за PACING PROTOCOL) перестают быть супер-хорни по ощущениям. Да и в целом неожиданно живо реагируют, но бывают и странные тупняки, вроде того что модель путает причинно следственные связи, позы, или вообще действия персонажа воспринимает за действия юзера. На UGI в нсфв 2.3 балла, и это сразу заметно по сравнению с 7.8.
Что для тебя одинаковый слоп?
Если через 10 лет прилетит ядрен батон, то и в локалках смысла не будет, так как ты свой пека ни чем не запитаешь в долгосрочной перспективе.
Разве что если у тебя в частном доме стоят: ветряки, солнечные панельки, хомячье колесо 2 метра на 2 метра в которое можно посадить раба чтобы бегал и крутил.
Да и там "явленность в мире", непривередливое пищеварение, иммунитет и возможность протянуть руку с топором к ближнему своему за последний батончик сникерса во время лутинга магазина будет играть больше роли в выживании, чем вайб кодинг или составление резюме.
По факту локалки никогда не догонят грядущие решения от крупных игроков, имеющих под собой огромную инфраструктуру. Так что это скорее тема для тех кто трясется за свое прайвоси, или наеборот заебался от чужого сейфити, или по каким то причинам допускает отсутствие доступа в интернет, но наличие рабочей пеки под рукой - то есть очень специфическая штука.
>отсутствие доступа в интернет, но наличие рабочей пеки под рукой - то есть очень специфическая штука
Ты не из РФ капчуешь, да?
Проблема в том, что достаточно конкретизированный запрос неотличим от ответа.
>>1473828
>По факту локалки никогда не догонят грядущие решения от крупных игроков
Без проблем. Уже догнали. Отставание максимум в год. То есть текущий уровень будет достигнут через год.
>Не окей, теряется весь смысл.
Смысл же в том, что exl3 компактнее ту же модельку укладывает. Плюшки по производительности это второстепенное, то что ты вообще запускаешь модель на карточке уже даёт минимальные х5 скорости по сравнению с процессором, на этом моменте дополнительные х1.5 или х3 уже не то что бы и нужны, большую часть пользы ты уже получил.
>Если получится запустить exl3 на v100 - тогда будет очень вкусной.
А чем вкусно то? По компуту V100 отстаёт от 3090 же. Я вообще посмотрел код куда ядер и прочее что там - плюс минус без шансов, я такое не напишу - я только вычислительные шейдреы умею, там оно похожее на куду, но намного проще всё - это надо куду изучать и практиковать несколько сотен часов, и иметь кучу карточек чтобы понять что и как работает. Под видеокарты оптимизация часто достаточно специфична, там на cpu было бы супер не оптимально записывать 10 значения уровня c=a+b*2 во временные переменные, а потом их использовать, на видеокарте это даёт х1.5 скорости расчёта.
И на V100 нет какой-то асинхронной фигни, которая появилась на SM80, то есть скорее всего правда в том, что при имеющейся архитектуре и даже при равном компуте V100 проиграет.
>>1473828
>ни чем не запитаешь в долгосрочной перспективе
Ну, у меня есть генератор из старого велосипеда и какого-то бывшего двигателя, я до 300 ватт даже могу раскрутить на несколько минут. Больше 100 ватт выдавать дольше часа сложно, 200 ватт - уровень пано очень неплохо подготовленного человека, а с учётом кпд всех систем...
>то есть очень специфическая штука.
Ну такое. Я вот из геймдева - раз в год я еду в деревню где не было и нет интернета и электричество после любой грозы падает, да и разговаривать не с кем, и за те 5-10% времени что я там провёл в течении осмысленной жизни - я написал 80% своих внятных программ или игр. Спутника нет, а во всёусложняющимся мире по польза от возможности не листать документацию и примеры чего-то 10 часов, а за полчаса по своему запросу получить нужное невероятно полезно. А сейчас ещё и куча переплетений пошли, где 3 или 10 либ вместе друг друга используют и нужно все понимать.
>По факту локалки никогда не догонят грядущие решения от крупных игроков
Мне очень нравится чатжпт, что он по моему запросу может открыть 50 ссылок за минуту, более-менее прочитать их и найти нужно. У меня дома то проводная сеть без впн 5 мбит/с, с впн ещё хуже, ну и открыть 50 сайтов - это задача минут на 10 минимум, особенно если это мусор с кучей динамически подгружаемых частей, как онлайн-версия сбербанка, гмеил или алиэкспресс. Я помню как вконтакте после загрузки страницы на обновления списка сообщений или отправку сообщения тратил меньше 100 байт (+ размер сообщений). Сейчас любой месседжер просто не загрузается, если у тебя скорость меньше 1 мбит/с - а после загрузки он постоянно что-то там отсылает, и выдаёт ошибки и падает, если нет сетки. На дискорд посмотри. Хули я не могу уже загруженные сообщения листать или писать ответ, пока нет сети? 500 мб клиент весит и 200 мб аппдата, а он не сохраняет даже сообщения в чатах и каждый раз мне нужно заново заходить в чат и прогружать сообщения по 50 штук, хотя в 200 мб аппдаты влезли бы сотни тысяч сообщений...
Если задавать задачки на темы, которые он не знает - я что-то никаких аналитических способностей или ещё чего не вижу, и не очень понимаю как увеличение количества весов повысят собственно интеллект.
То есть это крутая поиско-обобщающая система + большое количество знаний в весах, так что он выполняя меньше запросов может или сам ответить, или составить более эффективный запрос.
Но я что-то не думаю, что условная гемма так уж сильно от него отстаёт в плане интеллекта - просто у неё меньше данных "в весах" и при поиске ей потребуется больше запросов. Не уверен что эти 1-2 Тб данных в весах имеет смысл держать в весах. Нормальный индекс + обычные файлы на 1-2 ТБ и система на 50-100B с инструментами для запросов записей оттуда будет работать скорее всего быстрее и точнее, чем просто 2 ТБ весов, в которых не до конца ясно какие записи и насколько искажены.
Это вообще люто дизморалит, что кажется все забыли, что система должна лучше в логический вывод - а не просто "в весах" держать кучу инфы как библиотека. Школьный лучше соображает логически, но не знает такого количества вещей. И в куче задач школьник будет полезнее, чем библиотека.
> что система должна лучше в логический вывод
вот как раз китайцы сделали Nanbeige4-3B погугли о ней. Идея была в том чтобы обучить модель в основном логике. там был хитрый датасет и способ обучения, в итоге по бенчмаркам она стала сильнее чем 30B модели. В целом скорее всего в эту сторону и будет идти, уже есть RAG и MCP
у меня тоже сус >>1470814
глянь это >>1473188
у меня видюхи стояли воткнутые напрямую в мамку, судя по тому посту с сойдита использование райзеров сделает пхб вместо сус и это ускорит обмен данными между видюхами. если у тебя есть райзеры и нечем заняться, можешь попробовать, а я уже не стану проверять пушо до н13ссл обновился
>для убабуги HF версию
HF-версия сбрасывается на обычную, непонимат...
>и проверить на странице параметров что jijnja корректная прогрузилась.
Не похоже на корректную. И че, надо просто вручную туда скопипастить?
Насчет jinja в кобольде - просто ставил галку на use jinja, но вручную ничего не подргужал (как это делать-то?)
> И всё равно, даже в текущем состоянии это умницы, а что ждет нас дальше ?!
Если вы не заметили уже пошёл прогрев от Маска что аги через пол года.
Скорее всего всех уже заебало вкладывать в это кучу бабок, все хотят новую яхту, а пидорас трамп никак не успокоится со своим аги, вот и дадут нам "аги", посадят пол страны индусов первый год это аги иммитировать, а потом ллмку подключат и оно отупеет, но всем уже будет похуй, постепенно бюджеты срежут и всё просто умрёт.
>>1473762
Короче, после копипасты jinja - в убабуге ризонинг появился, а в таверне внутри <think></think> все равно доставляется конечный ответ. Да за что мне это...
Альтернативный вопрос - можно ли в ЛМстудии вручную тензорсплит настроить? А то получается хуета, когда оно само делает:
> GPU0 -> 24гб из 24гб
> GPU1 -> 0гб из 24гб (карта игнорируется)
> GPU2 -> 16гб из 16гб, плюс лишнее утекает в RAM
отключить GPU2 я не могу, при таком раскладе вообще нихера не грузится
В убабуге сплит 40,40,0 для exl3 кванта - работает отлично, распределяет на 24+24+0гб.
В кобольде сплит 50,30,0 (тоже к 24гб+24гб+0гб распределение) - и этот же ггуф в лмстудии приводит к обсёру.
То есть мне надо либо решить проблему тензорсплита в лмстудии, либо как-то разобраться с финальным ответом вместо ризонинга в таверне...
>В кобольде сплит 50,30,0 (тоже к 24гб+24гб+0гб распределение) - и этот же ггуф в лмстудии приводит к обсёру.
Пойду пока попробую другой ггуф поискать
Вот эта нужда сплитить его неравномерно, приводящая к ровному 24+24гб распределению по видеопамяти, выглядит как-то странно.
>Вот надо учиться из головы это вытаскивать и правильными словами переводить для нейронки.
Да. причём тут жалуются: "слов мало, ответы одинаковые". А берёшь модель побольше - и слов побольше, и ответы поразнообразнее... Причём даже у продвинутого юзера возможностей катать самые большие на сегодня модели практически нет.
Иногда конечно бывают тупики - как не роллишь, ну не было в датасете другого. Тут уж либо терпи, либо делай шаг назад и изменяй условия задачи. Пока креативность не подтянут, ограничения останутся. Но вариантов много, просто пока что иногда нужно копать.
Агишиза и использование лоботомитов васян-миксов еще не к такому приводят.
>>1473805
> ЛЛМки также ограничены и интеллектом юзера
База базированная. Сначала запутывают модель всякой ерундой и явно мещают ей работать, а потом удивляются. Или берут вариации трижды убитого мусора на основе одной и той же базы в надежде что будет что-то другое.
>>1473828
> локалки никогда не догонят грядущие решения от крупных игроков
Если ты васян и катаешь 7-12б - никогда, да. В остальном уже не просто догнали а вполне конкурентны.
> exl3 компактнее ту же модельку укладывает. Плюшки по производительности это второстепенное
Разве там есть существенный эффект? Буферы экономит и за счет жизнеспособного тензорсплита позволяет аккуратно раскидать, но это несколько гигов на сотнях. Как раз производительность - первичное, ведь иначе можно просто катать жору на процессоре и быть довольным фактом запуска.
> даёт минимальные х5 скорости по сравнению с процессором
х5 кастуется на 3% весов, которые не влезли, потому будет не столь радикально. Правда все проявится именно на контексте, даже без выгрузки.
> А чем вкусно то? По компуту V100 отстаёт от 3090 же.
32 гига за ~40к в удобном формфакторе, что еще надо? По компьюту они достаточно близки, 20% разница и почти равная псп врам, для ллм и простого самое то. Другое дело что за счет оптимизаций атеншна там скорость на 3090 уже отрывается вперед на крупных штуках, вплоть до 40% в генеративных. По оптимизациям там в целом отдаленно похожее, проблема главная в том, что у тензорных ядер вольты другие обрабатываемые размерности.
> система должна лучше в логический вывод - а не просто "в весах" держать кучу инфы как библиотека
Ллмки сейчас отлично соображают и могут тебе вывести доказательство или решение как всяких запутанных логических ребусов, так и вполне практических вещей. И насчет логической соображалки школьника ты переоценил, среднего "умного" нормиса взять - так тот то еще донышко будет по сравнению с практикующими околоматан и теми же ллм.
>>1473949
> HF-версия сбрасывается на обычную, непонимат...
Бля, там кажется нужен какой-то компонент чтобы hf обертки в целом работали, глянь что пишет в интерфейсе/консоли или в инструкциях.
> просто ставил галку на use jinja
Наверно, хз где этот параметр в кобольде но врядли есть что-то другое. А какую модель запускаешь?
>>1473996
> можно ли в ЛМстудии вручную тензорсплит настроить
Технически возможно основано на жоре, на практике оно глючное.
Модельки - одни краше других.
Споры, срачи - всё как любим.
Пасеба вам за проведенное время.
Желаю вам памяти дешевле, да VRAMa побольше.
Берегите себя, своих близких, своих котегов, собачек, попугаев и сов. Фурриёбам - меха пожирнее, любителям каничек - хвостов попушистее. Программистам - кода рабочего.
До встречи в новом году. Целую вас в щечки и обнимаю.
Всиго харошего.
Жаль конечно. Хороший, крепкий был пацан пока не сбил его сапсан.
> Если ты васян и катаешь 7-12б - никогда, да. В остальном уже не просто догнали а вполне конкурентны.
Чем васян гоняющий 7-12 отличается от васяна гоняющего 24-"106"?
Че х2 параметров и уже корпы у нас дома?
Конкурентов твоих, а именно кими, дипсик или глм буквально один человек в треде может запустить в нормальном кванте, и то скорость там - пиздец, максимум под рп подойдет, ни про какую работу с кодом или ассистенте по вопросам твоей гемморойной шишечки речи не идет
Буквально тред-два назад на оп пике был чел с кучкой 5090 и 4090, ты чем смотрел. И еще какой-то был, который срался за экслламу, у него тоже похожая сборка (кажется, что все же разные аноны). Как мне кажется как минимум двое-трое богатеньких буратино в треде есть точно, которые хуярят какие-нибудь 20 т/с на дипсиках или глм. Просто обсуждать тут нечего, это тред какой-то ультрамаргинальный, буквально каждый чел тут с какими-то своими потребностями и мощностями, и взаимопонимания ровно ноль. Никто не понимает друг друга на ровном месте.
Да и в целом тред скатился, я в последнее время сижу в дискорде драммера и в сойдите, там хоть активная движуха и известные чуваки сидят. Например, тут за последние треды никто, НИКТО словом не обмолвился о новом революционном семплере, от которого у людей отвал жопы, а там его придумали и запилили https://github.com/ggml-org/llama.cpp/pull/17927 (пока только пр-ом, в таверне тоже только в форке пока есть)
Ай содомит, мемы для олдов.
>>1474356
И тебе добра, с пожеланиями точно попал, обнял@приподнял.
Можно по рофлу заготовить ллмкой обрещение в стиле "Этот год был непростым.мп4" но с событиями в сфере ллм тусовки.
>>1474361
24-106 это примерно мид левел корпов что уже вполне солидно. 30а3 и подобные - турбы/мини/флеш и прочее, 200+ уже флагманы. В качестве примеров, до выхода опуса 4.5 буквально квен235 был предпочтительнее клодыни во многих кейсах кода и ассистирования (и то в 4.5 есть нюансы с дико устаревшими пласты знаний и затупами, когда оно само себя запутывает), жемини очень специфична - если попал в ее знаниях то вопрос будет решен сразу, если нет - замучаешься с ней спорить и объяснять. И так по каждой можно сказать где плюсы где минусы, когда прошел вау эффект от первого использования и пытаешься их плотно использовать - понимаешь что идеальных и близко нет. Считай корпы опережают открытые веса на 1 релиз.
Не: высунуть пенис "соси!"
А: Семён высунул пенис и сказал "соси!"
Во первых это очевидно больше буков писать, а даёт ли это что то взамен? Может больше данных именно под такой формат диалога тренилось, чем от 1 лица?
Во вторых не вызовет ли это в десять раз больше имперсонейтов и еще каких нибудь проблем?
Будет то же самое, вид сбоку. Но помимо очевидного минуса, что писать больше буков, это в целом больше подходит для написания рассказов в соавторстве с нейронкой, а не для рп.
Кстати, а аноны тут не думали использовать аудио для рп? одно дело написать "соси", другое - сказать!
Всегда держал you обращение на юзера и щи для ассистанта, независимо от авторства поста. Нах нейронку путать местоимениями первого лица, которые указывают на совершенно разные сущности...
Это ты шиз.
Будешь писать you сетка подумает что ты даешь команду персу
Например you stand from the couch и встаешь не ты, а с кем ты чатишься
Нет, сетка как раз прекрасно выучивает петтерн, что you это persistent user, а she - это assistant. В отличие от вашей херни, где I - это шизофазия с векторми в разные стороны, что наебнется дальше по контексту, когда он забудет что-нибудь.
Тратить силы на то что уже есть и без всяких нейросетей - фотошоп, не, не слышали?
А чатбот у меня есть без нейросетей?
Суука какая тупость, это махина так и будет сжирать ресурсы которые могли пойти в ллм.
Туда же эти вижены, ризонинги, ебаное помойное говно блять.
Дайте мне основную модель сука
Meanwhile ценители плотной мистрали - просто рыдают как сучки, а ты жалуешься на то что модель не обновляли 4 месяца?
Правда?...
>рп на русском
>>1475006
Ох дети мои. За последний год устроил несколько русикосрачей и горжусь этим. Всех с наступающим :3
А также напомню, что в 2к26, любая модель не умеющая в русик автоматически говно/позор/зашквар. Обнял-приподнял. Добра.
Промт под каждую модельку свой. А так - это обычный промт, литералли дженерик.
Я немного попердолился и получил такую хуйню. Но пока все, пойду спать.
Вкратце всл говно, которое может только в сис. Но и после накатывания линукса ничего не поменялось. По советам гемини поотключал виртуализацию, IOMMU, еще какие-то пункты в pci.
Как должны помочь райзеры, я хз, если только дать доступ к нужным слотам в одной группе. На втором пике как подключено у меня. С двумя в 6 и 7 было ноде между ними.
не понял, а ты чё получить то хочешь?
Тебе же показала команда - связь через PHB.
PHB = Connection traversing PCIe as well as a PCIe Host Bridge (typically the CPU)
У тебя на второй картинке именно через CPU оно и идет.
Хули тебе надо еще от бедной матери?
а, понял. Ты наверное думаешь, что PXB и PIX пизже, чем PHB.
Так вот, это не так. Это просто обозначение, есть у тебя ветвление в топологии или нет.
Пизже, чем PBH - NV#.
Всё.
Нвлинка у тебя нет, насколько я понимаю.
а, ёпта. Я понял.
Ты хочешь чтобы там везде было PHB. А у тебя там есть NODE.
Смотри короче топологию pcie для начала.
lspci -tt -v
можешь в тред закинуть, если сам нихуя не понимаешь (не исключаю такую возможность, потому что только обосранный долбоёб будет пользоваться всл)
Она покажет тебе, можешь ли ты вообще что-то лучше, чем сейчас получить.
>Например, тут за последние треды никто, НИКТО словом не обмолвился о новом революционном семплере
Семплером ЛЛМ не исправить. Это вообще костыль, хорошей ЛЛМ никакие семплеры вообще не нужны.
>>1474733
Нормальных нейронок с голосом в открытом доступе нет.
>>1474843
А ГЛМ аналог? Он же жирнее.
>>1475074
Я ведь мог 128 взять. А взял 96...
Как я понимаю, они отличаются качеством выполнения инструкций, письма, цензурой?
Как бы SSH клиент встроен в шинду, а новый терминал вполне себе юзабелен. А путти это привет из нулевых, по всем параметрам.
А ещё генш...
>>1475169
magnum-v2
Нарратора несет куда то в "но в глубине души, она знала, что хочет этот член. Твой. Грех."
Запускаю гемму-3-27 с выгрузкой тензоров (старый батник, не менялся) - получаю ёбаную шизу, запускаю с выгрузкой половины слоёв без выгрузки тензоров - получаю умницу, хоть и медленно.