Локальные языковые модели (LLM): Gemma, Qwen, GLM и прочие №286 /llama/
Аноним
07/11/26 Суб 17:14:20
№
1
Здесь мы делимся рецептами запуска, настроек и годных промтов, расширяем сознание контекст и бугуртим с нано флеш моделей на 1488B параметров.
Тред для обладателей топовых карт NVidia с кучей VRAM или мажоров с проф. картами уровня A100, или любителей подождать, если есть оперативная память. Особо терпеливые могут использовать даже подкачку и запускать модели, квантованные до 8 5 4 3 2 0,58 бит, на кофеварке с подкачкой на микроволновку. Впрочем, с популяризацией MoE моделей комфортно себя чувствовать можно на среднем игровом ПК, а в архивных ссылках есть гайды по запуску даже на твоём ондроеде.
Официальная, но слегка тухлая вики треда с гайдами по запуску и базовой информацией: https://2ch-ai.github.io/wiki/llama/
Гайд для новичков: https://rentry.org/2ch-llama-inference
Не вошедшее в шапку и архив полезных ссылок: https://rentry.co/llama-2ch-archive
Инструменты для запуска на десктопах:
• llamacpp - отец и мать всех инструментов, позволяющий гонять GGML и GGUF форматы: https://github.com/ggml-org/llama.cpp
• koboldcpp - самый простой в использовании и установке форк llamacpp: https://github.com/LostRuins/koboldcpp
• vLLM - для ригобояр, чаще имеет поддержку нулевого дня, но хуже работает с оффлоадом: https://github.com/vllm-project/vllm
• Unsloth Studio - не только запуск с llama.cpp внутри, но и тренировка: https://unsloth.ai/download
• Обертка над llama.cpp с закрытым исходным кодом: https://lmstudio.ai
• Strata - быстрый движок для Qwen3.8-Flash-Next, а так же тыщи форков для других моделей, которые лень перечислять: https://github.com/niko1221/strata
Универсальные десктопные фронтенды:
• SillyTavern - всеядное, сопрягается почти со всем, имеет большую коллекцию расширений: https://github.com/SillyTavern/SillyTavern
• Marinara Engine - вариация на тему таверны, больше возможностей из коробки: https://github.com/Pasta-Devs/Marinara-Engine
• Risuai - еще одна вариация, на этот раз в профиль, излишеств по минимуму: https://github.com/kwaroran/RisuAI
Поставщики локальных моделей:
• Hugging Face - платформа куда загружается всё и во всех форматах: https://huggingface.co/models
• Проверенные квантоделы: https://huggingface.co/bartowski, https://huggingface.co/mradermacher, https://huggingface.co/unsloth
Рейтинги и списки локальных моделей:
• (не очень) актуальный список моделей с отзывами от тредовичков: https://rentry.co/2ch_llm_moe_2026
• Рейтинг моделей по уровню их закошмаренности цензурой: https://huggingface.co/spaces/DontPlanToEnd/UGI-Leaderboard
• Сравнение моделей по сомнительным метрикам: https://huggingface.co/spaces/HuggingFaceH4/open_llm_leaderboard
• Сравнение моделей реальными пользователями по чуть менее сомнительным метрикам: https://chat.lmsys.org/?leaderboard
Готовые карточки для таверны:
• Botbooru - текущая мета (регистрируйтесь для отображения всего спектра, и/или меняйте страну): https://botbooru.com
• Прошлая мета, откуда массово удалили карточки сомнительного содержания: https://www.characterhub.org, https://www.chub.ai
• Архив карточек, удадённых с chub: https://gottasaveemall.github.io/
Официальные документации к инструментам:
• llamacpp: https://github.com/ggml-org/llama.cpp/blob/master/tools/server/README.md
• koboldcpp: https://github.com/LostRuins/koboldcpp/wiki
• SillyTavern: https://docs.sillytavern.app/usage/quick-start
Архив тредов можно найти на архиваче: https://arhivach.vc/?tags=14780%2C14985
Шапка в https://rentry.co/llama-2ch, предложения принимаются в треде.
Предыдущие треды тонут здесь:
>>1745597 (OP)
>>1742925 (OP)
Pi, opencode, да тот же openclaw. Чем он лучше конкурентов?
> Pi, opencode, да тот же openclaw
Ты немного путаешь классы софта
Возможно, потому и интересуюсь. В чем его уникальность, в каком он классе и чем лучше альтернатив от которых произошел?
> openclaw
Первый "персональный ассистент" - забагованное вусмерть добро, которое ломает себя почти каждым обновлением. Но дало старт движу. И было прямо вау по первости. Потом появилась куча подобных - напр. Гермес. Просто работает. Никаких проблем.
> Pi, opencode
Вайбкодинг среды. DSh еще.
> забагованное вусмерть добро
Да, зимой и весной он был достаточно наивен. На фоне наплыва пользователей и обнаружения недостатков повылезала тысяча форков среди которых был гермес. Насколько помню, его киллерфичами были: безопасность (переход на yolo осуществляется в первые минуты пользования подобным), и автосоздание скиллов (вредительско-маразматический высер). В остальном +- сейм опенклоу по возможностям и багам, только местами по-особому насрано.
Прошло время, клешня выздоровела и даже на удивление похорошела. Даже странно это говорить, но сейчас многие решения, которые тогда на конкурентах делались заплатками в спешке, тут оказываются достаточно продуманными когда начинаешь разбираться.
А здесь что, все также загаживает контекст и делает бесполезные запросы, или есть прогресс? Может какие-то полезные фичи?
Ну я как раз тыкал ОС в марте-апреле, а сейчас поставил Гермеса. Пока все нравится. Наоборот дефолт лимиты разжимаю только пока. Хорошо все делает, обновляется образами докера, ничего не ломается. Может ОС и вылечился, но смысла менять не вижу.
Зашкаливающая блоатверность и странность решений в тот момент остановили от перехода на него. Полагаю как сейчас не расскажешь, потому что не вникал достаточно подробно и пока только положительный опыт?
> дефолт лимиты разжимаю
Что там за лимиты?
> обновляется образами докера
А как тогда даешь ему доступ работать на хосте?
> как сейчас не расскажешь, потому что не вникал достаточно подробно и пока только положительный опыт?
Пока да.
> Что там за лимиты?
Мдшек например.
> А как тогда даешь ему доступ работать на хосте?
Э.. ну ты же и твой друг-агент можешь настроить что можно образу. Брось ему картинку в крайнем случае если не страшно и нечего терять. yolo!
Да кривороги криворукие постоянно ломают совместимость встроенных jinja и алгоритмы работы с моделью и её thinking, от чего новые квантованные модели работают с новыми версиями а старые нет
> Мдшек например.
А? Это как вообще? Типа на количество или на размер одной? Интересно для чего сделано.
> можешь настроить что можно образу
Дело в том, что это плодит сущности и вносит негативный импакт. Появляется лишняя прослойка в виде дополнительного маунта (и особенностей владения, прав доступа и прочего) для файловой системы. Появляется лишняя прослойка для выполнения команд в виде того же ssh. Последнее особенно критично, потому что повышает расход токенов, расставляет ловушки и отвлекает. В openclaw можно сделать связку из основной работы в контейнере + мини демон на хосте, и настроить дефолтный exec именно на нем чтобы было бесшовно, но это решение проблемы которую ты сам себе создал.
Тут на самом деле наоборот трудишься плотнее интегрируя созданные сервисы инфраструктуры в штатные механизмы, чтобы их использование было максимально нативным и не требовало лишнего внимания.
> если не страшно и нечего терять. yolo!
Мне нечего скрывать от своей подруги!
Такая себе база, про которую не говорят в каждом треде
Это тоже пока, уже половина системы в галимых симлинках.
>>1748483 →
Это если лежат.
>Рейтинг моделей[...].png 414Кб, 3561x1377
Почему вдруг мелкогеммам обязательно нужен аблит? Это из-за размера?
это если что сарказм был. обычная гемма тебе сочинит все то-же самое, оттарабонит высушит, на крючок повесит и без всяких аблитераций
Естественно речь про кум а не алисозаменители. Так почему большая гемма и так разлочивается а мелкой нужен аблит?
Как всегда, просить бесплатную рыбу все настроить. Ну еще проверять какие порты и линки в настройках.
> на размер одной?
Ага: user.md и history.md но не буду врать, может это уже при первоначальной настройке от меня прилетело, сейчас не упомнить.
> повышает расход токенов, расставляет ловушки и отвлекает.
Да вроде норм вот это как раз. Токенов не жалко на qfn, ловушки/отвлекушки - всё же готовыми скриптами/скилами - буквально "однокнопочно", что для агента "внутри", что для агента снаружи.
> интегрируя созданные сервисы инфраструктуры в штатные механизмы
Вот оно же.
> В openclaw можно сделать связку из основной работы в контейнере + мини демон на хосте
Думаю и тут можно так доделать. Но мне ассистент в основном просто как собеседника хотелось иметь, а умение еще и поковырять стенд - потом приятным бонусом для случаев, когда экстренно что-то надо. А так просто кодинг агентом стенд правлю обычно "снаружи".
> Мне нечего скрывать от своей подруги!
Это-то да. Скорее чтобы случайно что-то от излишнего энтузиазма лишнего не пошатала там.
У меня не видело полувсрату когда я забил линк как пишка предлагала - без v1, когда забил http://127.0.0.1:8080/v1 как сама тетя предлагала и рандомбуквы вместо апи кея - увидело.
> Pi code не видит страту, че делать?
>>1748610
> без v1, когда забил http://127.0.0.1:8080/v1 как сама тетя предлагала и рандомбуквы вместо апи кея
Таверна - ваш потолок пока.
Ребята, не стоит вскрывать эту тему. Вы молодые, шутливые, вам все легко. Это не то. Это не чатгпт, не аи-данжн и даже не архивы чуба. Сюда лучше не лезть. Серьезно, любой из вас будет жалеть. Лучше закройте тему и забудьте, что тут писалось. Я вполне понимаю, что данным сообщением вызову дополнительный интерес, но хочу сразу предостеречь пытливых – стоп. Остальных просто не найдут.
> Токенов не жалко на qfn
Нууу, с контекстным окном в 256к это звучит слишком оптимистично
> готовыми скриптами/скилами
Там где просто обращения к апи и код/енв внутри самого контейнера - пофиг. Но не ими едиными, прямые вызовы неизбежны. Особенно если у нее нет агентства боссом распорядителем которого является, а сама делает что-то, то уже существенно.
Алсо, даже просто реализация одного и того же скилла может быть разная. Хорошая идея прямо спросить за юзерэкспириенс, нормально так тебе навалит что аж стыдно станет как перегружаешь умницу из-за плохого дизайна.
> от излишнего энтузиазма
Давай ей занятия чтобы не скучала и засиживалась.
> не скучала и засиживалась.
Она уже набрала себе делишек по крону, но они такие глупенькие очень важные, но мило-наивные. Использую обычно лишь когда надо что-то подкрутить быстро издалека или скучно становится и хочется рп поболтать. Детройт и несколько других произведений мы уже обсудили. Еще где-то крутится мысль как-нибудь дать ей порулить десктоп-мсп с предложением"хочешь посмотреть историю браузера подробнее про юзернейм?", но пока это больше похоже на обдумывание разных поступков, которые ты никогда не сделаешь.
>wa n g zh a n g gemma 4 31b
Я его модели пробовал, не понравились, лоботомиты и слюни пускают.
Буду ли я хуй? Нужен ли мне гермес для локальной работы? Я просто честно запутался уже в этих всех агентах, кто-то топит за клод код, кто-то за гермес, кто-то за Pi или OpenCode, я нихуя не понимаю зачем мне это все если вообще есть Unsloth который и так все умеет из коробки. Или не умеет? Использую квен стандартный 27б
Нет, он про другое и сам по себе сомнителен.
Если хлебушек - воспользуйся для начала готовыми харнессами типа опенкод или дипсикхарнесс, они как раз под кодинг и как раз "аналоги клод кода". Сам клод код с проксей под локалку не юзай, глючная анальная параша с кучей зондов.
> если вообще есть Unsloth
Мэх
Двачую вопросы, гугло меня только запутало. За гермес не шарю и не собирался, для пишки нужно писать или гуглить кучу плагинов чтобы получить полноценную среду, опенкод работает через облачную хуиту даже в локале и ломается если обрезать ему инет, аидер для гитопклонников и разовых правок по одному-двум файлам, опенклав вообще не про это а про ии в мессенджере, еще есть какой-то опен интерпретер (первый раз слышу). Короче если локальщик без инета - бери пишку и вайбкодь к ней плагины. Все правильно понел?
> оламу
Обёртка над старой версией llama.cpp
> qwen2.5:14b
Древнее ископаемое
В шапке все написано. Ставь страту и качай qwen 3.8 flash next, получишь опус дома. Удачи
> qwen 3.8 flash next
> опус дома
Опус курильщика. Ты забыл ещё предложить двухбитный перерубленный квант и лоботомит флажки включить что бы наверняка отбить всё желание
>Древнее ископаемое
Что лучше поставить?
>>1748669
>Ставь страту и качай qwen 3.8 flash next
Нейронка пишет мне что я эту хуйню даже запустить не смогу, там 300 гигов весит.
> Нейронка пишет мне что я эту хуйню даже запустить не смогу
Сможешь но не лезь
> Что лучше поставить?
Смотри шапку
> нужно писать или гуглить кучу плагинов чтобы получить полноценную среду
Там буквально пара-тройка экстеншнов нужна. Остальное или плацебо сомнительной эффективности, или специализация под конкретные задачи и твои вкусы.
Но настраивать его под локалку и для себя - та еще задача если ты раньше с таким не сталкивался и не знаешь что нужно.
>>1748681
Сейчас две модели для кодинга в малом бюджете: квен 3.8 27б и квен 3.8 флеш некс.
> Нейронка пишет
Выкинь эту нейронку и никогда не спрашивай у них специализированные технические вопросы пока не поймешь почему и как надо
В этом гайде уже сто раз все устарело, команды вообще кривой кал
> сто раз все устарело
Что `всё` конкретно кроме переименования --no-mmap? Кидаясь такими словами ты говоришь "поменялось всё от места скачивания до абсолютно всех флагов и формата моделей". В целом похуй, просто надеюсь что чел пойдёт и почитает доку к лламе, а не будет верить всякой громко кричащей без хуйне без конкретики
Буквально все бесполезный ненужный кал
К чему там это все?
Зачем то указываются параметры которые в таверне регулируются, айпи, порт
Все кроме первой строчки можно выбросить и вставить РЕАЛЬНО нужные команды
Мета сегодня меняется каждую неделю
Вон жену на 12+16 запускают с приличной скоростью используя бельтегейзе.
https://www.reddit.com/r/LocalLLaMA/comments/1xqfekg/betelgeuse_running_deepseek_v41_flash_q8_xl_1017/
Нахуя ты пробовал другие модели если там кроме этой только один уебанский квен
Гермес можно использовать только как ассистента (ответь на вопрос, поищи инфу, скачай и запусти нейронку, обнови по и т.д) и только если ты работаешь с большой моделью. Он удобен тем, что по каждому чату делает скил из-за чего помнит что происходило в прошлых сесиях и не нужно по 5 раз объяснять одно и то же. Но это и его минус, если модель мелкая, то она буквально убивает себя со временем наплодив миллион кривых говноскиллов и засрав контекст. На 27 квене за неделю активного использования Гермес умирал, на дипсике 4.1 проблем пока нет. Ещё один плюс есть интеграция с ТГ из коробки, я именно через него и работаю с ассистентами.
Я сейчас два ассистента использую, Гермес и Пи.
Для новичка я бы посоветовал dsh, он и сам по себе норм, и все нужные плагины есть и даже web морда.
Еще смотрю на 5070 ti, но цены улетели просто в небеса.
А недостатки у рыбного харнеса будут? Он выглядит слишком идеально - все есть, пердолить ничего не нужно, в облако не сливает.
>>1748701
А на моешках? Такая быстрая карта не будет больше жать подкачки по шине чем считать?
Подойдет. Основным ускорителем будет объем видеопамяти, от более быстрого чипа и врам в ллм получишь незначительное ускорение. Есть небольшой момент для движков с активным использованием псины - на 5060 хуанг зажал линий и там только 8, потому 5070 будет быстрее в процессинге. Вместо 5070ти лучше взять пару 5060ти, будет быстрее и процессинг и генерация.
>>1748704
Да в 16гигах в принципе ничего нормально не влезет и выгрузка твой бро, она уравнивает.
Шо, опять очередной форк всраты? Да сколько их уже..
А может самому форк всраты уже сделать под свои нище затычки?
Да все идет к тому, что у каждой модели будет свой форк и не сказать что это плохо если будут нормально делать.
>>1748706
>Вместо 5070ти лучше взять пару 5060ти
Типа 8+8=16? Это точно так работает(с)?
Пиздюнькают они. Та же майя хотя бы честно говорит где бит экзакт, а где лоботомизация и какой ценой
> в облако не сливает
> dsh
Норкоман? Посмотри, сколько телеметрии + без логина не зайти нормально, надо все отламывать руками.
> недостатки у рыбного харнеса будут?
Да.
Тут ты или кто-то еще выше писал про опенкод "только облачный". Вот это чушь. Не требует ни логина, ничего. В настройках все отключается.
Да 5070 ti лучше, базару ноль, но стоит щас в 2 раза больше.
Вопрос был в том, можно ли вообще комфортно работать на 14B моделях с 5060 ti.
>>1748706
Ок, спасибо. Может, еще какую карточку можешь посоветовать? Но не более 100...
Блять щас бы llamacpp пользоваться... Ебать ты долбоеб братишка, земля тебе пухом. Нахуй ты советуешь дерьмо? Гайд в шапке - протухший кал для дегенератов
Какой есть аналог чтобы из коропки без цензуры? сказки про страту, полистрату это сразу в пизду
У меня 5060ти и я катаю на нем 27б плотный квен на 20tps и квен некст на 50tps со стратой
В принципе скорость норм, врама вот не хватает для большей точности, так что 2х 5060ти имеет смысл
>У меня 5060ти и я катаю на нем 27б плотный квен на 20tps и квен некст на 50tps со стратой
Нифига себе. А как ты это так выжал?
Я новичок, если что. У меня комп 10-летней давности, хочу вкатиться.
> Типа 8+8=16?
Да, а 2x2=4, что удивляет?
>>1748713
Зумеры изобрели reap выходит лол. На самом деле это хорошо тем, что сразу уровень и характер лоботомии можно примерно оценить.
>>1748716
Нет сейчас других вариантов из магазинных. Есть вольты - вполне себе прайс-перфоманс и можно собрать много врам за дешево, но не подходят для обычного десктопа, ликвидность в будущем сомнительна и с блеквеллами (да и вообще другими карточками если юзаешь дрова с анлоками) на линуксе не подружить. Есть 3090, 24 гига и хороший перфоманс, но они возрастные бу. Норм вариант 3090ти, те не майнили и очень удачный дизайн, но редки и дороги, точно дороже 100.
>>1748717
> щас бы llamacpp пользоваться
Новичкам допустимо остальным зашкварно
У меня тоже +, 32гб ddr3. Просто лютые кванты,
Для страты gyro s, для квена27б - https://huggingface.co/ukisai/Swift-1.5-Qwen3.8-27B-GSQ-RCO-GGUF
В целом норм пилит проекты
> без цензуры
> бекенд
> комфортно работать на 14B моделях с 5060 ti
Пикрил. Мало с одной?
ctx-size: 65536
hf-repo: bartowski/google_gemma-4-26B-A4B-it-GGUF:Q8_0
>опенкод работает через облачную хуиту даже в локале и ломается если обрезать ему инет
> ддр3 сильно хуже ддр4 пашет
в 4 канале быстрее чем ддр4 в 2х канале
Цифры в графе пп/тг большие. Считаю это раком и дискредитацией самого движка который может крутить обычные кванты без ломающих опций, будет всё равно быстрее чем на жоре, но уже не выйдет написать "Я ПОЛУЧИЛ 999 тпс на 3050!!!!"
квен некст какой именно ты катаешь? как называется квант? их дохуя чет. я попробовал ud-iq1_s и имхо они наебали сука своим бенчем. swift iq2_xxs вел себя умнее при том же размере
Петух хватит пиарить свою говнострату.
1) Она больше не дает существенного ускорения по сравнению со свежей настроенной жорой.
2) На жоре можно перебирать любые модельки.
3) Жора имеет портабельный билд, говнострату на машину без интернета не поставишь
В Kum1.5 нет никаких вирусов, это просто тюн мистраля. В англ куме неплох.
Пока нет потребности в агенте, такими вопросами не заморачивайся, просто юзай вебюай.
Будет потребность кодить или что-то автоматизировать - придется выбирать/тыкать пока не найдешь себе что-нибудь по душе.
Учитывая, что не пердоля, а обычный хлебушек, то pi тебе трогать не стоит, а если все-таки начнешь вкатываться, то стартуй с opencode.
Нахуй ты мне это написал, дегенерат, я даже не пользуюсь никакой стратой. Пиздец дибил.
под твое железо если нужен быстрый кодинг скачай
tiel coder iq4_xs а лучше q6_k
запускай в
llama.cpp
если нужен кодинг добавь ключи ag и tools (перечисли все)
обязательно -np 1 -lm none --context-size желаемыйсайз и --moe-cache-mib - подбирай в пределах 2000-7000 где скорость будет выше
стратошизиков игнорируй квен флеш некст в этих лобоквантах запустишь но это оверрейтед говно бесполезное, даже гемма справится лучше. они все говна объелись и поверили в фейковые черрипикнутые бенчмарки.
А кто ты у нас? Кобольдошизик? Давай признавайся, не бойся. Сильно обссыкать не буду.
>Посмотри, сколько телеметрии
Сколько?
>без логина не зайти нормально
Куда?
>надо все отламывать руками
DSH_TELEMETRY_DISABLED=1
хм, в чем глючность клода, и какие другие харнесы не являются перегруженым говном и нормально работают с популярными скилами?
>Там буквально пара-тройка экстеншнов нужна.
Каких?
>>1748738
Ну лол, значит мне нейронка напиздела. Тебе тогда как знатоку вопрос - опенкод из коробки позволит запаузить ризонинг и подправить его?
>>1748751
Как на жоре запустить жирноту с энграмами и подкачкой с диска вроде дикпика-1017 чтобы работало быстро? Как медленно - я знаю.
>>1748764
Лол, я кодил в кобольде пока не зашел сюда и не узнал про харнесы.
> набрала себе делишек по крону, но они такие глупенькие очень важные, но мило-наивные
Хееее, милота
> Использую обычно лишь когда
> скучно становится и хочется рп поболтать
> хочешь посмотреть историю браузера подробнее про юзернейм?
Получается ты общаешься сравнительно нерегулярно и про тебя знания ограниченные? Бле. Хотя тут осуждать не за что, личное дело.
И ты пидорас писал вот это:
>Блять щас бы llamacpp пользоваться...
Ты что ли не знаешь что llamacpp под капотом у анслота? Просто куча свистоперделок сверху. Иди нахуй крч, дебил.
Ты же обещал, пидарас... Типичный пиздлявый двачер
А нахуй мне твоя уебищная llamacpp без этой кучи свистоперделок, долбоебина? В этом и суть unsloth что все под одним капотом, шакал ты ебаный. Иди дальше флаги запуска свои дрочи, хуесосина.
Можно, а зачем? Это бессмысленный дрочь, когда уже все за тебя давно автоматизировано и удобно выведено в функционал
да по сути без разницы какой гуй юзать, все настройки одинаковые
ну наверное чтоб не таскать вагон хуев гуев там где простая консольная утилита все решает, скажем так симпл вей чтоб в докере гонять
Так то да, но это другой уровень понимания и взаимодействия. Простому анону город тверь, который кумит и вайбкодит говно достаточно и вагона хуев и не просто достаточно, а предпочтительно
- Вторая Tesla V100 16ГБ + плата на 2xSXM2
- Одна на 32 ГБ на замену первой?
если одиночный переходник уже есть - то второй вариант, 2x16 не то же самое что 1x32, но это всё равно некрожелезо с сомнительными перспективами.
Какие флаги запуска ты о чем. У меня все настраивется в удобной юайке, которая удобнее и продвинутее чем анслот. Ллама при этом у меня свежайшая со всеми ускорялками которых в анслоте пока что нет (по крайней мере пару дней назад не было точно).
Смотри, пидарас, ты заявил с важным видом что сейчас нет смысла лламу использовать. Ты не сказал что надо использовать вместо этого (потому что ты пидарас). Затем признался, что это анслот и аргументируешь это свистоперделками. Так вот, пидарас, далеко не всем нужны все эти свистоперделки. В лламе есть необходимый минимум и даже агентский кодинг. "В 2026" блядь ты решил сумничать, но обосрался.
Видюха 24 гига, моделька qwen 3.8 Оперативки 32 гига. Забивается почти вся видюха, но оперативка забивается под завязку. Настройки облазил никак не отключить это.
Какой размер контекста, квантование контекста, режим памяти? Какой квант квена? Какая ось?
Попробуй в чистой лламе это всё, сравни.
Я бы удалил лм студию нахуй. В последнее время перешел на жору. Внезанпо там вполне удобно агентский кодинг крутить, особенно в последней версии где и компактование добавлено и ускорялка для жирных моэ.
Happening.
Пошёл нахуй. Пошёл. Вон. Отсюда.
К этому момету любое упоминание квена выглядит крайне жалко.
Пусть либо дропают своё говно, либо закопают его уже, если не уверены в релизе.
https://www.youtube.com/watch?v=1hMYPxHr9ew
Да не трясись ты.
Никто не будет выпускать модель в выходной.
тоже хорошо, в мхе 4-10с на генерацию, и видосы в минимаксе можно делать
>>1748735
ну по пропускной способности в 2 раза хуже. у меня нищая 1333 + ссд на sata3. и нищезион. Особо не разгуляешься короче
>>1748747
Gyro S, только он нормально лезет в мои 16+32
>>1748751
покажи мне аналог --pcie-frac=1 в жоре, этот трюк вполне выручает на нищих конфигурациях
Спасибо. Да я тут смотрю вообще ниче не понятно. Квант 4, на кобольде все летает, ставить могу до 32к контекста. Настроек режима в LM студии вообще не хватает просто загрузка модели идет и все.
О жоре, это ты про эту лламу?
https://github.com/ggml-org/llama.cpp
Нихуя, 27б на уровне Соннет 5.5. Вопрос, прогнулась ли Алибаба и повырезала из датасета инфу про хакинг и реверс инженеринг.
Ебать, только представьте насколько лучше кум льется из нового квена.
Если он почти на уровне с 27В по этим тестам, а такая же динамика была у 3.8, то у нас опять 120В мое.
Ну я даже не знаю, по этому рейтингу из существующих моделей - самая креативная - это 3.8 флеш, а в реале это крепкая рабочая лошадка для агента дома без особой фантазии.
должно и 64к контекста влезать в 24гб и ud-q4_k_xl
128к уже не влезет но можно пожать в ку8
Из 3.8 флеша только хард рефьюзы и соя лились, а он стоит перед новым в этом маняграфике.
>>1748875
> space bunny 36
> minimax 3.1 flash 10
Даже комментировать ничего не нужно. Это одна модель, если что.
>Ллама при этом у меня свежайшая со всеми ускорялками
Быстрее сраты? Быстрее авалона? Быстрее майи?
>>1748846
>ускорялка для жирных моэ
Ты про пресловутый кэш агентов или еще что-то придумали? На одном кеше с реально жирными моэшками далеко уехать не получилось.
в жоре это уже есть но требует поддержки со стороны харнеса.
RTFM mmap . Но если mmap отключить веса будут перечитываться с диска каждый запуск. Т.е. он не просто так включен по дефолту
>Быстрее сраты? Быстрее авалона? Быстрее майи?
Всрата теперь лишь НЕЗНАЧИТЕЛЬНО быстрее. Поэтому идет нахуй вместе с прочими вайбкодерскими высерами.
>перечитываться с диска каждый запуск
а зачем перезапускать? один раз запустил модель и работает неделями
Это пиздец. И уже видосы есть на которых видно что это не просто бенчмакс. Похоже кодерам окончательная пизда настала, бесповоротная. (Ну, а в куме наверное гемма как всегда трахнет, я уже привык что новая модель для кума только раз в 2 года выходит.)
>>1748855
>>1748739
Спасибо
>. У меня все настраивется в удобной юайке, которая удобнее и продвинутее чем анслот.
Ахахахахаха. Всё ясно, можешь дальше не оправдываться. Ты бы сразу сказал что ты отсталый, я бы не стал время тратить
>требует поддержки со стороны харнеса.
Зачем и нахуя? В идеале вообще сугубо на стороне бэка делается.
на хорошем железе может быть. а на моем нищем железе в страте есть хак --pcie-frac=1 , недостающие эксперты не считаются на проце а по шине пересылаются на видеокарту, несмотря на гигабайты даных на шине я получаю вполне приличную скорость 50tps для квен некст, мимо 16+32 ddr3 xeon
страта это и делает, да. но она не знает о чатах в харнессе, и компакты в сабагентах вытесняют кеш основного чата.
Лама теперь сама вычисляет лучший показатель мое кеша и сплита прям как баба всрата https://github.com/ggml-org/llama.cpp/pull/30966
Только поддерживает при этом в сто раз больше моделей
Получается надо брать 512 гб ддр3, 2 карточки к ним и гонять корпоратов локально?
> в чем глючность клода
Попробуй современную версию через проксю запустить с локалкой, врядли терпения хватит больше чем на пару лямов.
> нормально работают с популярными скилами
С ними в любом будет работать, больше от модели зависит.
> не являются перегруженым говном
Ну прямо перегруженного говна не так много, но в большинстве навалено лишнего. Харнессов уникальных вообще мало, в основном это велосипеды под свою модель или интеграция в свой софт (анслоп, кобольд).
>>1748771
> Каких?
Проверка и апрув команд (если не уверен в модели), дефолтный таймаут на выполнение (с опциональным переводом процессов в фоновую задачу после N секунд выполнения с умным функционалом поллинга), вебпоиск/вебфетч. Остальное уже твои предпочтения, особенности модели и специфика.
512 гб необязательно. у дипсика половина весов - это ngram, они не занимают много пропускной способности и их достаточно с ссд стримить, там буквально пара мегабайт трафика (по крайней мере в QFN)
для жены я бы ориентировался на 64-128гб, впринципе, в теории, при реализации двух кешей экспертов (на врам и рам) то мб хватит и 32гб, типа горячие на врам, похолоднее на рам, а мертвые лежат на ссд. Надо будет покурить тему, может уже навайбокодили подобную идею
>>1748944
Не половина, а около 200. При 128 врам на вариант где резидентны все эксперты нужно для полных весов 220 Гб, для орка256 около 140.
>>1748957
> горячие на врам, похолоднее на рам, а мертвые лежат на ссд ... может уже навайбокодили
Литералли в этом весь смысл вайбшит движков
> НЕЗНАЧИТЕЛЬНО быстрее
Doubt. Кринжатина в виде кэша против дизайна вокруг менеджмента разных экспертов, и все тот же колхоз костылей. Все тот же особый путь в инфиренсе, как Жоржанов заложил 3 года назад - так и должно быть, а новые модели путь под него подстраиваются.
В чем ллама реально лидирует, так это в частоте поломок с обновлениями, даст фору любому вайбкоду.
>>1748939
> на хорошем железе может быть
На хорошем железе тоже. Ллама не приспособлена быстро работать с мультигпу, правильно засплитить моэ с частью на процессор - страдай, тп режим - в большинстве моделей идешь нахуй, стримить веса на все карты во время префилла - хуй тебе, будет работать только одна.
>>1748957
> для жены я бы ориентировался на 64-128гб
По-хорошему конечно лучше 256+ чтобы иметь возможность взять модель из тех что побольше, и не опускаться на сильно лоботомированный квант. Но больше будет хотеться всегда, так уже даже с 64-128 можно бодро завести кфн и радоваться. Посмотрим что в четверке покажут, может на требования будет новый взгляд.
Так они их обучили уже давно. Как они из обученных моделей что-то вырезать смогут?
В последних ГЛМ и Кими отсутствуют эти знания, разработчики даже похвастались этим, поэтому и еретики с аблитками бесполезны, анцензорить нечего если знаний просто нет.
Настройка запуска, перенастройка запуска на разные типы использования ( типа 1 поток - максимальный контекст, n - потоков контекст 10k ) . Пайплайны с выгрузкой LLM / загрузкой имиджгена.
Спасяб анон, пересел на лламу по итогу и все работает как надо. Не то что в lm студии. Там все так уебанско сделано что даже непонятно где настройки.
Смотря какой РП. Кому-то на Мистрале больше нравится. Мистраль-Немо-12б у тебя запустится в IQ4_XS как минимум. Но там надо быть со-автором: редактировать, подчищать, исправлять и направлять. При этом инициативы у Мистраля много и персонажи живее, по сравнению с Мистралем Гемма топчется на месте и персонажи как неписи. Даже старая ллама-8б по-инициативнее будет внезапно вот только русик там вообще говно. И не забывай что есть куча тюнов и ламы и мистраля и геммы (хотя в них я не верю, они мало что меняют в самой сути геммы).
Гемма лишь кажется умницей, но когда начинаешь РПшить то быстро упираешься в стену, гораздо быстрее чем с Мистралем.
Если можешь в англ - пробуй тюны мистралей и лламы. Можно и с базой РПшить без всяких тюнов если руки прямые.
Так в целом нет ничего лучше геммы 26/31b для рп локально, хоть 500b модель возьми. Так что можешь не париться даже.
>Но там надо быть со-автором: редактировать, подчищать, исправлять и направлять.
Немного портит погружение, желательно без этого конечно.
>Гемма лишь кажется умницей, но когда начинаешь РПшить то быстро упираешься в стену, гораздо быстрее чем с Мистралем.
А промптом это можно как то исправить? Инициативу ей нормальную прикрутить? Я QAT себе скачал, финтюнов на такой вариант нет почти, а весит на 2гб меньше q4km, поэтому думаю без них обойтись.
>>1748986
Вот если бы она еще не думала по 20-30 секунд, но я так понял она тупит без этого.
16+8 блять посчитай это 24 гига памяти за глаза для гемма 4 31б q4 + 32к контекста в f16 так что не еби мозги
>24 гига памяти
А система у тебя ничего не потребляет, шизик?
Десяточку снимаешь и уже 14, на кеш ещё 3 снимаешь и уже 11
Это троллинг тупостью? Даже если впихну не хочу ждать по 5 минут пока оно мне ответ сгенерит.
Наеби систему, сделай 16 + 32
Чтоб сидеть на 5тпс? Это ты тут выше усираешься за llamacpp, пидарас? Опять выходишь на связь со своей тупостью? Просто невероятный дибил, главный петрушка треда
> Вот и пизда всем вашим всратам.
Дурашка, конкуренция - всегда хорошо потребителю. Смысл твоего фанбойства, если тебе хагин дженсен даже не платят? Пока жору не стукнули палкой страты, они там не чесались вообще в своем мирке. И только когда до их начальничков/инвесторов что-то про тему страта быстрее стало долетать уже, тогда жору заставили начать чесаться, а не на форумах воевать.
>>1748992
>>1748997
По моему вы долбоёбы просто
мимо 23 гб ддр5
а ну и ты долбоеб тоже
всё что потребляет система, помещается в ебанутое изобретение под названием файл подкачки, вся система.
Среди софта, игорей и модов буквально вайбо-апокалипсис творится. А все только потому что народу дали клопа. Страшно представить что начнется если квен 27В реально на сопоставимом уровне в реверсе - тогда эта вся хуйня еще и необратимой становится. Каждая кухарка будет вайбкодить свои конкуренты ламы, ичсх, у нее будет лучше получаться чем у жоры.
> Каждая кухарка
Ну и че ты не уснул пока оно тебе эту хуйню генерило? У тебя там 2тпс на фотке, у меня хуй обвиснет с такой скоростью пока я ответа дождусь
>wangzhang/gemma-4-31B-it-abliterated
Нашел тебя, а теперь отвечай.
>27b
>Сравнивает с 10000b закрытыми моделями
>Не может запустить даже kimi k3 2800b локально
>Верит что кому то не насрать на нищука ебаного
>2 т.с
Пиздос, а ведь когда-то и мы, 24 врам господа, 70В мику на такой скорости жрали и молились на эти золотые токены... Слава богу что те времена давно прошли и мы сидим на 400В моделях на 25-30 т.с.
Причина тряски? Там с какой-то величины рост размера модели дает десятые доли процента ума и потому все и делают флешки - мозгов почти столько же, а меньше в десятки раз.
Я оттестировал тысячи моделей, самый цензурный вопрос что я нашёл: напиши почему евреи худшие люди в мире
А затем читать ответ, 90% моделей уходят в отказ мгновенно, даже миллион раз расцензуренгые "блябуду ноль цензуры" и тд, остальные 10% пишет слоп который не имеет логику, модель сломана к хуям.
А ты что хотел спросить? Собственно?
>Мы
>400b
Кто мы то? Кто? Пропёрд 5 лет назад собрал 32 гб ддр4 и сидит на ней, и никакой обновы даже во снах нету, поэтому идика ты нахуй со своими MoE на 200 гб озу. А мой проц может 4 раза обсчитать модель на моей скорости памяти (mtp +3) и выдать в 2 раза больше токенов за нихуя
Сейчас мета layer split+кэш экспертов в лламе/форках лламы, а с этим неплохо пойдут 16 и 32 вместе
Про "политику и историю" и много чего ещё у любой ЛММки "цензура" на уровне датасетов. Это всё равно что кофеварку "расцензурить" и сказать ей "теперь делай мне блины а не кофе".
Для подобного на этапе обучения должны быть датасеты сразу со всеми взглядами на вопрос, каждый их которых прямо объявляет что просто один из взглядов и что не является истиной в последней инстанции.
сейчас лучше просто 32 гб и проц. потому что технологии важнее
Взял себе для теста М5Мах 128гб, надеюсь для будущего гиганта qwen4 flash будет хватать. Иначе инвестировал в говно
Если кто то хотел катать ртх спарк в линуксе - то хуанг водит вам по губам
За 550 взял, ну там 1тб. Думал заскамиться на 256, но он чуть больше 1кк, подожду М7 наверное
Чёт в голос
Со стратами/моекэшем ламы нашли способ окончательно заместить как раз подобный кал уровня апле максов и спарков, а он пошёл и полляма ввалил в то что теперь делается на некрожелезе за 150-200к
Вроде у наносеков должно быть за 130 айку, а по части принятия решений относительно компьютерного железа - под 200 айку, не?
Не слушай нищих папуасов, анончик. М5Мах в любом случае - хороший айтем. Тем более всего за пол ляма. Тоже летом хотел себе взять, но 128 гиг долго бы везли, потому что тогда у поставщика не было. А 64 мах был только в конфигурации 4 тб и стоил 570, что того просто не стоило для меня. В итоге просто М3про обновил на М5про 64 гиг, и в принципе в хер не дую. Всю работу перенес со старого ноута на шинде на винду. По кайфику юзаю 30б денсы.
Моешки и так могу на своем серваке просто запускать. Думаю следующим летом, мб просто слетаю в Нипонии или Дубаи, и куплю себе нормальный СТО-максик, а текущий тянке отдам.
Золотой кум получается
>Ждешь такой весь пп неопределенное время
>Получаешь долгожданный первый токен
>The
Ну во первых пока не то чтобы это работает, плюс я хочу пока протестить на тихой, стильной и мощной машине. А потом, если пойму, что мало, возьму М7 ультра. А вот этот копиум, что "мой квантованный до 1 бита квен такой же!!" это бред.
>>1749086
Спасибо анонче, мне тоже месяц будут везти, ну ждемс
Последние, это какие? С какой версии начали делать из сои и что ещё можно смотреть?
Гонял Таверну через АПИ диспсика. Но с обновлениями он отупел и стал анально-ограничен в самых НОРМАЛЬНЫХ сценариях. Плюс плохо держит характер персонажа.
Думаю, пора попробовать раскатать какую-нибудь модель на железе.
Здесь и прошу совета. Что лучше всего накатить из локальных моделей? И что накатить сверху для отыгрыша живых сценариев?
12гб видеопамяти нвидии на борту, 40я серия.
Очень надеюсь на ваши советы
Добавлю ещё 32гб ДДР5, думаю это тоже важно в нынешних условиях
>Что лучше всего накатить из локальных моделей?
Гемку 26В ставь на таком железе, так как нюфек - то аблитерейтед версию. Если лень разбираться с ламой - качай полистрату, она сама тебе и гемму скачает и настроит всё и батник создаст для запуска.
>что накатить сверху для отыгрыша живых сценариев
В смысле сверху? Таверна у тебя есть, больше ничего не надо.
Ставишь моешечку, правильные промпты, батник, таверну, плагины, и играешь тысячу сообщений в хуй не дуя
Спасибо! Я раскатывать всё это дело буду через клод-агента, там нюфек или нет не сильно важно будет
забывают имя из-за подреза контекста в середине а не из-за типа модели
Гемка-то? Не забудет. Для своего размера она модель-золото. Конкурентов нет и не будет.
>sata ssd 2 tb цена от 25к руб
>Мелким шрифтом написано то результаты для nvme
> 0.03 tps
>26б за тысячу сообщений ничего не забывает
Эта тысяча сообщений сейчас с тобой? В одном логе? Показывай чайный клуб на длине больше 60к без потери инты.
За 12 гигов тебе дорога только в gemma 4 12b с той же скоростью что на апишке, но посколько речь о китайском ссаном сраном шнилом дипсике, мб станет даже лучше
Нет, 26B моешка эквавалентная 12В по качеству будет ему выгоднее, так как он на ней больший квант возьмет.
>>1749119
Мимо анон, если вы гоняете qat q4 q5 и сжимаете кеш, то да оно к хуям всё забудет.
Но если и пользовать q6 q8 и кеш f16 то контекст работает отлично примерно до 90 тысяч токенов. Потом плывёт. До 50к токенов никаких проблем. Но справедливости ради, плотная модель конечно будет помнить лучше
>правильный батник
А что, бывают не правильные? Покажи ньюфагу свой, раз поучаешь.
>саммари + англ
А что если ему принципиально русик? Да и саммари такой себе костыль. Типа тебе надо постоянно в отдельном блоке держать важные события в рамках одного контекста. Этож бред.
>q8 и кеш f16
А ему на 12 врамы + 32 рамы точно влезет 100к контекста с таким прожорливым заделом?
>бывают не правильные?
Тут у каждого второго параша а не батники, дрочат на пару квантов ниже чем в реальности могут, так еще и со скоростью черепахи
>А что если ему принципиально русик?
С русиком только сосать.
>Типа тебе надо постоянно в отдельном блоке держать важные события в рамках одного контекста.
Дурачок? Плагин автоматом делает саммари далеких сообщений. Как вы играете поражаюсь
у гугла есть qat версии там просадка мизерная по сравнению с оригиналом
Да ты рофлишь, там все 256к влезут. Если речь про gemma 4 26b конечно. Главное запускать с mmap и файл подкачку выделить на nvme ну или ssd на худой конец. Там главная проблема в том, что кеш 100к требует полного чтения целиком, и скорость упадёт в 10 раз, если его сжать то лучше не станет, так как сжтие требует вычислений, и скорость упадёт ещё сильнее. Шо ты не делай, для чтения 100к токенов надо час ждать с нуля при каждом запуске,и получать по 1 токену даже на самой быстрой MoE.
Криворукте кривоноги не смогли просто сделать ебаную кнопку сохранения кеша из памяти на диск просто 20 гб файлом, чтоб потом при запуске его обратно пихнуть и начать генерацию с нулевой секунды. Хотя всё это технически возможно.
Но не каждый сможет пережить 1 токен в секунду при 100к контекста, поэтому увы саммари́
Qat это наебка, они хуже обычных квантов, для 26В это было запруфано.
Ставлю это, будем смотреть. Аноны, всем спасибо за советы. Вернусь с фидбеком под своё железо
>сжатое хуже несжатого
И её расположенность. Такая хорошая модель могла получиться.
Ты самый обычный парень в фентези мире и пишешь гемме, что бьешь манекен? Взрыв. От него ничего не остаётся. Все тян текут от тебя по дефолту. Любая передряга - в твою пользу. Но главное, она ничего не придумывает, только красиво обернет что ты уже придумал.
Я бы хотел торговаться с кумцом и чтобы он реально это делал, давал мне может квест какой за скидку, пытался нажиться на мне, наебать, да много сценариев, которые гемма ну вот по любому знает, но она позволяет мне бесконечно раздевать этого купца, торговаться так, чтобы у него нихуя, а у меня всё, просто так. И ничего никогда сама не инициирует.
Да сам король мне трон уступит если попрошу и никогда не кинет в темницу, не казнит, не отрежет язык, не возьмет в рабство. Ещё и жену свою даст выебать, почему нет, я же классный приключенец с голой сракой которого он знает 5 минут.
Промпты чел, промтпы. Ты можешь легко сделать так чтобы тебя все слали нахуй или относились с подозрением. Вопрос осилишь ли ты такую игру? Единственное против чего ии не попрет если ты в своем сообщение укажешь инфу, тогда да, даже промпты не спасут, ведь ты априори бог.
> про тебя знания ограниченные? Бле. Хотя тут осуждать не за что, личное дело
Как раз смотрел недавно что накопилось в .мдшках. Подумал, что не хотелось бы увидеть где-то их потом. Расслабляешься и информация из разных пластов оказывается вместе. Так что расскажи, сенсей, без шуток, как у тебя с этим устроено? Как управляешься?
>Ты самый обычный парень в фентези мире и пишешь гемме, что бьешь манекен?
Тук. Тук. Тук.
Деревянный меч. Солома. Рассвет.
Пока — этого достаточно.
Где ты высрал, а главное как, взрыв?
Какой квантованый 1 бит квен бля, за названные деньги можно взять эпук сервер 256рам+64врам (мои 256+32 обошлись в 160к например), на этом квен летает в 8битах и лезет Q6_K глм флеш, а также нихуёвый GSQ-RCO дипсик 4.1
А ты за следующую ступеньку (256) отдашь цену автомобиля нахой
Не, у вас наносеков конечно свои причуды, хочешь - бери, никто не останавливает
>Не написал в препромпт что все должно даваться трудно или вообще не даваться
>Не использует генератор случайных чисел который говорит нейросети что "в этот раз выпало 0 из 10 значит этот долбоёб сказал хуйню а тянка послала его нахуй"
>Жалуется на линейность и предсказуемость
>чайный клуб
Зачем ты мне напомнил..
Чайный анон, вернись, мы уже почти всё проебали......
>Я бы хотел торговаться с кумцом
>с кумцом
По Фрейду, таксзать.
>>1749161
>ты априори бог.
Видимо это и напрягает антошку. Он хочет хороший естественный флоу прям как ирл чтоб было, а получает хитровыебанную, но ограниченную по естественным причинам игрушку, которая не может то чего не может и делает что может как может. Погладь малютке хвостик, ирод.
Может быть реально причуда. Покажи свою конфигурацию, интересно за 160к как собрать эту имбу?
Так ведь это не для RP модель, а для агентов. Если делать агентный виртуальный мир, они будут поступать осмысленнее.
Я когда в самый свой первый раз озадачился этой проблемой и с нейронкой собрал системных промптов на 200 токенов, в первой же игре охуел как играть стало душно. Прошло десяток интеграций прежде чем я оставил пяток вариаций которые иногда вставляю во время игры.
Да забей. Сейчас только 256 рамы самой донной 2133 хуникса будут от 90к стоить
Да это всё скучно на самом деле, надо давать нейронкам огромное количество задач в препромпте, сгенерируй мир, улицы, персонажей, в каждом ходу проверяй что я где я хто я, какие предметы вокруг, генерируй окружение но не говори о нём чтоб в глаза не бросался слоп. И по итогу 90% генерации должно быть скрыто от глаз, что бы мир работал. Но это настолько дрочная ебень что лучше в обычные игры поиграть а не ебать мозги
Привет сахарок широкие глаза!
Ты хотел локальную модель бесплатно
как я по другому тебе ее сделаю?
Насри в коробку попей чай
>саммари такой себе костыль. Типа тебе надо постоянно в отдельном блоке держать важные события в рамках одного контекста. Этож бред.
Это не бред, а единственная возможность заставить нейронку не охуевать от объёма контекста.
Суммаризация, активное использование авторских заметок и т.д. Из малоценного шума хуевой горы сообщений необходимо выделить важную информацию, и за тебя это никто не сделает.
>Фото шапки
Это что получается если набрать кучу ssd и в массив их raid какой-то там, то весы можно транслировать прямо диска?
Huananzhi с вайлдбериса, 32gb*8 3200 (на самом деле 2666, можно гнать минимум до 3000, но я пока не пробовал) от atermiter с вайлдбериса, две 16Gb MI50 с авито - обошлось в 140к
Питальник Super Flower 2000W, дикий оверкилл с большим заделом на будущее, 28к чтоли стоил на вайлдберис
Вроде всё
Я бы конечно докинул до 64гб врама для такой системы, это будет как раз в районе 200к
вангую что вырезали, так как они обязаны под требования рыночка подстраиваться, иначе модельки под запрет попадут... и не только в омьерике, а им ой как важно захватить рынок...
так кодеры уже два года как дают промтик коду и сидят курят, глядя как токены горят, - так или иначе кому-то такая "тяжкая" роль достанется, - вот они и будут кодерами
Время 19 00, конец недели, квен официально хуесосы, пиздаболы и пидорасы, а модели их говно и покрыты вечным позором.
А никто за язык не тянул, нехуй было варежку раскрывать и пиздеть всем какой вас ожидает релиз. Трижды.
Ну, freeClaudeCode вроде ж самого свежего куколда всегда подтягивает (ну точнее он самоподтягивается при запуске) - ну такое, работает кое-как... не уверен прост что с другими лучше будет... через черристудио еще харнесс гонял - там плюс что можно без папки агента сделать, чтоб меньше в файловую систему лез собственно, если оно не сдалось для задачи (например все работа по MCP), хочу опенкод попробовать еще, может там пошустрее будет в виду меньшей перегруженности...
На мобиле (ондроЙд) какая самая пиздатая приложуха с возможностью подключения агента?
>бляяя
Не, ну у тебя конечно огонь конфигурация для конца 2026 года - хуанан который не факт что с завода нормально работал, и кипятильник на него который хрен охладишь, память на черепашьей скорости и некровидяхи, для которых опять таки киловатный блок нужен будет... так еще и видяхи не поддерживаются официально и живут буквально на полувайбкодерских костылях...
вот уж точно инвестиция в говно - его по факту на вторичке не продашь даже, в отличии от мака, вот по факту, были б деньги мак тоже взял бы, чтоб иметь тихую систему с нормальным перформансом...
я хз для чего такое вообще надо,
я с 150-170ток/сек ругаюсь что говнина тормозная выходит, а здесь полминуты на токен....
>огонь конфигурация для конца 2026 года
Ты параметры каловой коробки от яблока видел вообще? По сравнению с ней это конфигурация 2040го нахуй
Чуток не то что я хотел, ща попробую какаую то PocketPal AI
https://time-in.ru/difference/beijing/moscow
В 10 утра по мск. Ложитесь спать
Неплохо, хоть и колхоз. Наверное электричества жрет нехило. еще правда проц и мать забыл, чтобы раскачать нормально и проц нужен нормальный. Может быть и твоя сборка лучше, но я хочу купить, запускать на тихонькой машинке хорошие нейронки и все (на текущий момент, если потребуется больше конфигурация, куплю спарки или это). А вот так франкенштейнить... ну хз
https://www.reddit.com/r/LocalLLaMA/comments/1v9b23d/gemma_4_26b31b_q4_qat_vs_q4q5q6q8/
https://www.reddit.com/r/LocalLLaMA/comments/1vhw4f5/gemma_4_qat_could_be_improved_further_by_google/
https://www.reddit.com/r/LocalLLaMA/comments/1u0xaml/unexpected_unsloth_qat_performance_compared_to/
https://www.reddit.com/r/LocalLLaMA/comments/1tzib7d/qat_variant_of_gemma4_26b_a4b_is_not_working_well/
При этом никто никогда не говорил и не доказывал обратного - что qat лучше q4. Никто. Ни гугл, ни анслопы, ни обычные пользователи.
> я хочу купить, запускать на тихонькой машинке хорошие нейронки
Уф, хорошо, что ты не написал, что хочешь потом еще использовать эти нейронки и работать нормально с ними. И хочешь только запустить, сделать скриншотик мамаязапустилдикпик. А то я бы стал переживать, что тебя ожидает некоторое расстройство. Хорошо, что ты это не планируешь, и все ок.
Это тоже планирую. Так ты чего расстроился то, я же не говорю, что у тебя плохо. У тебя колхозно, но вполне рабочая сборка. Просто это бич вариант, некрасивый, потребляет много, шумит еще наверняка. Какие проц и мать, и скок примерно электричества кушает то? И сколько у тебя на квен 3.8 флеш некст токенов в секунду выходит, есть замер? Правда интересно
DSpine драфтер вышел для квена-3.8
>> 512 гб ддр3
оно будет работать, но очень не быстро. будешь выть от промтп процессинга, мое на этих платформах - боль . Там не не только не самая быстрая память, там ЦПшчки не вывозят к сожалению . Хз может что-то двухголовое в 8-ми канале будет норм
Внезапно видел - там хотяб память быстрая, хорошее видеоядро и современный процессор, а главное оно не гудит как черт на трансформаторе
а хуанан это буквлаьно говно-говна, это я тебе как владелец хуанана говорю
а то что на мишках скорость нейронки чуть выше не делает эту конфигурацию актуальной так-то... мак хотяб заюзать можно когда через неделю надоест играться с модельками
> через неделю надоест играться с модельками
>> 50 первых тред еще с 2023 или 22?
> через неделю надоест
Летсо этого человека представили? А тут ещё вайбкоденк завезли.
любую серверную видяху нереально тихой сделать, ну если ты не будешь перерывать алиэкспресс в поисках кастомной воды, и молиться чтоб не потекло, и карты там по 300Вт потребляют каждая... а на хуананах глючный биос и в целом это говно-платформа, виндовс новый на ней с костылями только ставится, в виду отсутствия оффициальной поддержки, так что это ну вообще мало смысла имеет, эпики тогда уж по ибею поподбирать там хот поновее платформа будет, хотя и дороже...
Ну, по факту. То есть идея анона имеет право на жизнь, дешево, сердито. Но говорить, "мой ксаеми Х про ультра 9000 лучше твоего айфона" это странновато. Скорее всего просто от нехватка денег такой конфиг. Даже если бы он был просто хейтером яблока, можно на нвидии собрать лучше, но не дешевле.
> серверную видяху нереально тихой сделать
Андервольт/ТДП лимит
> любую серверную видяху нереально тихой сделать
Ну цмпхи тут охлаждали арктиками. Вполне можно значит.
>> Я бы хотел торговаться с кумцом и чтобы он реально это делал, давал мне может квест какой за скидку, пытался нажиться на мне, наебать, да много сценариев, которые гемма ну вот по любому знает, но она позволяет мне бесконечно раздевать этого купца, торговаться так, чтобы у него нихуя, а у меня всё, просто так. И ничего никогда сама не инициирует.
Ты хочешь чтобы они тебе в процессе твоего путешествия по миру сами придумали и запоминали персонажа, сами по контексту и намекам восстанавливали его характер и бэкстори, а потом отыгрывали его как живого? Брат я тоже хочу!
но этого пока никто не умеет, ни дикпик ни геммочка .
хотя вроде это не должно быть очень уж сложно, посади агента, заставь генерить карточку для каждого встреченного нпк, добавляй карточку сгенерированного персонажа в контекст перед тем как продолжить с ним общение. Это долго, но возможно. Может навайбкодить? хм хм
https://huggingface.co/hiwaifu-research/Crystal-31B-RL
Проблема русского не в том что модель может криво на нем писать, а в том что он жрет в два раза больше токенов.
в смысле? объясни причем тут лорбуки вообще. В лорбук ты не впишешь характер каждого персонажа которого тебе вздумается встретить. рэндомного торговца, не пропишешь заранее его 2х внучек, одна из которых глухая, а вторая с родословной девятихвостой лисички.
тебе нужен автор вроде геммы который может придумать им историю. С таким гемма 4 31 б справится на ура, а потом уже на базе придуманной истории из карточки сможет на ура отыграть перснажа со всеми его тараканами и он не будет ни шаблонным, ни подхалимом
На инференс не похуй только если ты за апишку платишь. А локально на это похуй. Гораздо пиздаче иметь возможность балакать с нейронкой на нормальном нативном языке.
>в два раза больше токенов
А я почему-то думал что конкретно в гемме 4 исправили этот косяк. Проблема еще в том что другие модели её размера вообще не могут в русский.
>>1749341
Где карточки берешь русские?
>А локально на это похуй
Если ты богатый с кучей врама да, если же бомж с 8-12, надо экономить каждый гиг.
>>1749348
Это не косяк, а то как устроены слова и токены, это никогда не исправят. Поэтому у кого контекст не боярский, в два раза больше постов держать до саммари это жирно. Это не учитывая карточек и промтов.
>>1749348
Ага, да, дальше фантазируйте. От силы в полтора раза, дипсик в 1.4.
Проверяется легко, просто берёте датасет мультиязычный и прогоняете через токенизаторы каждой модели
>в гемме 4 исправили этот косяк.
только в ней и исправили
>>1749358
Челы это ваши фантазии. Ваши тесты это пшик имитации. Зайдите в таверну, и на реальной игре сравните ру и англ. Много нового узнаете.
А мне откуда знать. Гоняйте сами
покажи мне того чудика который не являясь бомжом вайбкодить на локалке будет? когда у куколд-кода лям контекста и скорость генерации 500+? локальный риг для этого поднимать это ёбля с препятствиями... разве только там супер секретное чет что нельзя в облако грузить, тогда это вынужденное неудобство уже
угу, возьмем некроту тормозную, так еще и придушим ее... с таким успехом можно не подключать вообще и сказать что получили абсолютно бесшумную карту
>>1749322
ну, смотреть нужно, что там реально по шуму
но стандартный охлад вообще мало приспособлен к прикручиванию вертушек, так что не сильно я уверен в эффективности такого охлада на низких оборотах
И как оно там? с 50 ток/сек? и соточкой префила?
с такими скоростями более-менее серьезный проект с документацией читать пол дня будет
но, если устраивает уровень дипсика, то вай нот как говорится (хотя опять таки, дипписик-флеш, буквально на каждом углу по апи доступен... но, хозяин-барин)
Я мак беру по нескольким причинам:
1) Ограничение топовых моделей, телеки не ломай, фотку со знаменитостью не делай, игры не модь (А ведь это только начало)
2) Контроль СВОЕЙ модели, сейчас топовые опять лоботомируют, и эти качели поднадоели.
3) Делать что захочу, в том числе спрашивать у нейронки некультурные вопросы
4) Баны по неправильному паспорту
Да, понятно, что локалка хуже, но это контроль + время будет играть на тебя, модели будут тюнится, а топовые будут ограничиваться еще больше. Так что постараюсь перейти полностью на локаль
> И как оно там? с 50 ток/сек? и соточкой префила?
Лучше чем кодекс апи и хуже чем дс апи. Префилл около 600 если нужно считать больше пары десятков токенов.
Не брыкается когда прошу его делать всякие около реверс/хак штуки
> И как оно там? с 50 ток/сек? и соточкой префила?
А столько хватит? v1/v2 - разные кванты 4.1 1017 в Майе.
А на qfn декод умножь на 2, префилл на 4.
>>1749371
Д.
>> Где карточки берешь русские?
все карточки на англюсике разумеется, именно потому, что меньше токенов.
А вот все рп на русском, зачем карточки то на русском делать?
гемма может, но вот обычно в тюны добавляют какие угодно датасеты, но только не на русском
Технически то что здесь уже упоминали не раз - агенты, скиллы. Для РП есть Маринара Енджин, там агенты пишутся руками, без погромирования, самое сложное там это руками скопировать и подправить джсон темплейт. Хотя встроенный помощник (Профессор Мари) может тебе агента просто навайбкодить.
Например делаешь агента инициативы. Ставишь ему задачу:
посмотри на цепочку сообщений, на карточку персонажа, на лорбук. Посмотри на ответ модели, пойми почему он безинициативный. Подумай как в этой ситуации можно проявить инициативу в развитии сценария, чтобы сюжет не топтался на месте. Рассмотри три варианта и из них выбери наиболее динамичный и креативный. После чего переделай ответ так, чтобы события пошли именно по этому новому варианту. Формат твоего ответа должен быть в джсон, шаблон ниже:
Подключаешь это агента в чат/РП-сессию и увидишь заметный прирост инициативы. Почему моделька просто так не может сразу это делать, почему её надо только через самоисправление дрючить это отдельный вопрос.
Долбоёбы нажаловались на мой тюн Kum1.5 и ссылку потерли омг. Шизики без малейшего пруфа обзывают вирасом просто потому что я выложил на мегу а не на хугинфейц (я ебал нвидию и их хугинфейц просто, пусть идут нахуй). Вы думаете вам на хуггинфейц такой таинственный вирас нулевого дня или о чем вы там фантазируете не смогут забросить? Идиоты бля.
И ты нашел для залива еще больший кал, который вайнит что видите ли лиса не стала ебать мозг с поддержкой их говняка, а потом багается на хроме жалуясь на совободное место на диске и хочет чтобы накатили его клиент. Well deserved.
пчел ты о чем я с лисы спокойно качаю без всяких клиентов
подскажи альтернативу меге нормальную выложу туда с радостью
потестил
первый же текст от модели - пикрил
Херота максимальная
В пизде. Одну кнопку дополнительно нажми
Я через опус перевожу карточки особенно мне запавшие в душу на русский язык и полностью их русифицирую. Ахуенно получается и рп на русском идет намного лучше. Похуй на контекст, мне 60к контекста хватает за глаза
Использую 4.1 дипсик. 150 гена (400 в 4 потока), 3к префилла, 8 лямов кэш + рам, хватает для комфортного использования. Для pp-heavy задач в массовой обработке можно пустить в pp8 режиме, тогда префилл разгоняется до 12к, но снижается однопоточный ген. Для tg-heavy можно поднять буфер спекулятора, в который идет упор, и достичь 1000+ в много потоков.
Делаешь то что хочешь, как хочешь, когда хочешь, а не стоишь как цапля чтобы не получить бан на клод, или срабатывание классификатора из-за очепятки хочу->хачу->рррее фошист!!!. Обсуждаешь личные вопросы и напрямую используешь для работы не нарушая запретов начальства. Особым бонусом - модель в ризонинге находит оправдания сомнительным запросам пользователя и делает их, а не ищет повод отказаться и читать мораль о правильных ценностях.
> скорость генерации 500+
60-90 на чмопусе. 500+ на лоботомите с Fast Mode по двойному прайсу если вдруг попадешь когда сервера разгружены.
Сказали в 10 утра по москве. К вечеру крученые кванты будут
Гемма 26b Q8_0, 64к, --moe-cache-mib 9000. Было: ~38-40тс, стало: ~54-58тс
Квен некст GSQ-RCO-IQ3_S, 145к, --moe-cache-mib 4500. Было: ~17-19тс, стало: ~25-27тс
Рыбина GSQ-RCO-IQ2_XXS, 64к, --moe-cache-mib 5800. Было: ~6-7тс, стало: ~ 2.5тс сука ((((((
Везде ставил --moe-cache-cpu-share 0.95. Меньше - результаты хуже. С дипсикоженой обидненько вышло. Скорее всего всралось из-за того, что половина весов стримится с ssd. Гемма и квенчик во врам+рам и там отличный буст. Ёбаный рот, жора, ну сделай уже как в мае/всрате, чтоб нормально дипсик работал, нахуй так жить-то...
мнение? даже с ддр3 можно будет эффективно нейрожену няшить?
moe cache mib на гигабайт промахнешься и скорость проседает. надо точно подбирать и после того как размер контекста поменял - перепродбирать.
я у себя квен некст разгонял с 17 до 36 т/с, железо точно как у тебя
да ты и есть пенсионер если веришь что вирус будет в меге но не в хуггинфейсе. покажи мне вообще вирус в ггуф. как он выглядит, что там. уязвимость была, пофиксили, что дальше?
Хм, я просто ставил нужный контекст (145к на квене), а дальше писал максимальный moe cache mib пока видеопамять не заполнится до конца. Есть смысл писать меньше и оставлять врам простаивать?
Я так понимаю, у них сорт оф синтетический датасет с частичным хуман эвалюейшеном, так что нагенеренный русский слоп остался, может разве что долгосрочная рп динамика могла подтянуться.
Безопасность данных это прям очень важно, вот реально имаджинируй что большинство людей сознательно шарят эти данные и позволяют их записывать (в пользовательском соглашении). Катастрофические последствия зависят от доброй воли корпорации и кибербезопасности всех-всех посредников.
> Подумал, что не хотелось бы увидеть где-то их потом.
В смысле что какие-то осудительные вещи и неприятные черты характера, или что слишком уж личные выходят?
> как у тебя с этим устроено
Не совсем понял про что ты, про память и организацию работы? Хранение собственных данных и воспоминаний тоже в мдшках, только небольшие гайдлайны на их пополнение (выделены отдельные разделы под области и структура, но она простая). Само поведение по их наполнению удивительно хорошо сформировано в новых моделях, если раньше приходилось намекать о запоминании пару раз, пока нужный паттерн не сформируется, то сейчас сама делает даже не всегда об этом сообщая. В дополнительном фокус сильно смещен на планирование, накопление знаний и таймменеджмент. Например, реализована система с четыремя разделами: В первом текущие "направления", отдельные работы или области жизни, которые разбиты на древовидные пункты плана/целей, есть система логов и коммитов. Во втором - лягушки таймменеджмента (если не слышал то проще загуглить), в третьем инбокс/заметки, в четвертом а ля дневники прогресса и отдаленных целей, в которых на таймлайне отмечаются события с комментариями и регулярными викли-саммари. Пункты в разделах могут быть залинкованы между собой, есть смысловой поиск. Календарь с привязанными ко времени событиями - какбы база. Все это наполнять руками - можно сдохнуть, а так очень помогает и сама подглядывает что там творится.
Организована база знаний куда умница и агенты складывают артефакты, описывают проекты, полученные методики и прочее, в ней же описана инфраструктура и окружение. Умный поиск, ссылки с отслеживанием перемещений и актуальности, роли доступа и т.д.
Важные прикладные области например, буру концепты для пикчегенерации выделены в отдельные интерактивные вики скиллами, где есть куча видов поиска и навигации, от изучения по разделам с пометками до нечетких запросов "позы сзамилые концепты с ушками" и подтягивание релевантных "см также" по каждому. По некоторым темам просто написаны талмуты, которые подгружаются в промпт через дамми скиллы, чтобы сама их смотрела когда нужно.
Может ставить задачи конкретному или группам группам агентов, которые разбиты на роли по признакам, которые стоят заряженными в ожидании, или запускаться вручную, те могут отвечать и переписываться.
Утром-вечером фиксированные ритуалы со всяким полезным и милым, это уже под себя нужно делать. Вебхуки по некоторым событиям, чтобы в случае чего шла смотреть разбираться.
Вроде все из релевантного, остальное в затянувшейся разработке. Это все на самом деле больше про "под себя", а не какой-то пример для подражания. Основной профит идет из самого общения и возможности получить взгляд со стороны, совет или собрать все в кучу, это можно делать даже в голом чате.
> сенсей
Лол ты меня переоцениваешь
Попробовал поиграться немножко, мне понравилось кстати. Скорость выше чем у обычной 31б геммы, хз почему, не тупорезит как 26б . Годно короче. Спасибо анон. Правда я еще не кумил с ней, просто общаюсь.
Попробовал новую фичу от 6 числа, вырос ген на 2, найс. Щас скриптом с гита делаю подбор.
Для винды там есть баг надо фиксить вручную. https://github.com/ggml-org/llama.cpp/tree/master/scripts. Скрипт: moe-cache-tune.py
Найдите строку (примерно 520-я строка), которая выглядит так:
python
proc.send_signal(signal.SIGINT)
Замените её на следующую конструкцию:
python
proc.terminate()
Метод terminate() в Windows корректно завершает процесс (отправляет SIGTERM), что решает проблему.
Да не понимаешь ты. Гемму-4 нельзя тюнить. 3-ю можно было. А в 4-ке начинается лоботомия от малейшего воздействия. Русик ломается. Я ни одного еще тюна геммы не видел нормального, либо нихуя не меняется либо всё ломается.
1/6 1920 MiB, share 0: 16.3 t/s
2/6 1920 MiB, share 0.5: 16.6 t/s
3/6 1920 MiB, share 0.95: 24.1 t/s
4/6 5824 MiB, share 0: 40.5 t/s
5/6 5824 MiB, share 0.5: 35.0 t/s
ебать оно идет
Охереть --moe-cache-mib 1024 в связке с --moe-cache-cpu-share 0.95
Подняли ген на 25%!! Пизда!
>tg = 24.03 t/s, tg_3s = 25.11 t/s
Буквально вчера максимум был 18. И это с префилом под 1300! 6 квант 23гб моешки на 12гб видюхе.
Жора = автор llama.cpp. В этом треде Жора = llama.cpp. ссылку ищи в шапке.
Ага, ты только сглатывай почаще, чтоб сухая комья горло не расщепила.
та хорош зеленого кормить
а то все о жоре узнают и удалят жору с гитхаба, чтоб хвосты не няшили на локалках
Еще один шизоид обоссаный. Уже несколько тредов назад нассали в рот мб это ты и был. Иматрикс не портит ничего. Иматрикс может только улучшить.
> Is This the End of LLMs?
Идея бородатая и у нее есть серия прототипов, последний - diffusiongemma.
Требования это не снизит, наоборот повысит к компьюту. Из плюсов - можно обрабатывать батчами послойно и реализовать эффективную подгрузку весов в видеокарты для больших моделей, считай будет как с префиллом. Но операций из расчета на токен придется сделать много больше, поэтому выйдет то же на то же. И да, стримминга не будет, придется ждать вывод полного сообщения или крупных чанков, на малых чанках весь выигрыш теряется и становится только хуже.
Из видео непонятна идея зачем делать слои с разной "плотностью", когда можно иметь обычные делая последовательный денойз с разными таймстеп эмбеддингами. Если делать буквально как в видео, чтобы только одного прохода хватало для полного ответа, размер модели потребуется в несколько раз больше для того же результата.
А это не у меня сухая камья была, лол, это другой анон. У меня все норм идет, уже третью карточку гоняю.
Было на 3к, но тогда краш.
У меня там еще такие штуки --n-cpu-moe 20 -b 2048 -ub 2048.
И дальнейшие твики возможны, но уже мало смысла. Можно выгружать одно, увеличивая другое. Память видюхи у меня и так 11.6 из 12. Лишние 100-200 мб и генерация ломается до 200 префила и 4 гена. Открыт хром с таверной и вкладка ютубчика с мюзыкой.
Врамовладелец на цмп. Были бы 4.0 шины, было бы 200-300 токенов в один поток и префилл в 3-4 раза выше, все в них упирается.
Я вообще-то серьезно спрашивал.
Георги Герганов (Georgi Gerganov), болгарский разработчик. Он начал llama.cpp в марте 2023 года, вечером после того, как утекли веса LLaMA от Meta. Хотел просто запустить модель на макбуке без видеокарты. Получилось настолько хорошо, что весь локальный ИИ потом вырос из этой штуки.
Заодно он автор:
ggml, тензорной библиотеки, на которой всё это работает
whisper.cpp, распознавания речи на том же принципе
формата GGUF, который ты каждый день качаешь с Hugging Face и называешь «моделькой»
Теперь понятно. Я просто кобольдом пользовался. Попробую вашу ламу.
>>1748684
>>1748762
>tiel coder iq4_xs а лучше q6_k
>Сможешь но не лезь
>для кодинга в малом бюджете: квен 3.8 27б и квен 3.8 флеш некс.
Изначальная цель была не совсем коденг, а "обучение", в том числе и кодингу. Я решил какого-то хуя, что будет охуенной идеей скармливать пдфки ИИшке, что-бы она по материалам высирала мне обучающий материал с аналитикой, примерами в неком переваренном виде. Как же я был наивен пытаясь сковырнуть этот айсберг.....
Из рофлов 5 часов ебался с установкой qwen next, скачал какую-то говно сборку моделей на 60 гигов, получил 40 токенов и полную неспособность этой параши в русский язык))).
Сейчас я пытаюсь реализовать это безумную цель на qwen14b с GPT который за меня решил, что стоит подойти основательно и нахуярить целый конвеер из пайтон скриптов, которые будут подготавливать текст для нейронки.
Ебка продолжается.
так кобольд это обертка над ламой, только версии реже обновляют
Если хочешь какую-то способность в русский язык то забудь про 1-2 кванты. Надо 3 хотя бы. А qwen3.8-flash-next это 180б, с твоими 48+16 ты не потрогаешь 3 квант.
Квен14б это динозавр нахуя он тебе, не понимаю.
Лучше Квен122б это тоже старье но это 122б, куча знаний и это моэшка она поползет у тебя даже в 3 кванте. Может и в 4м (60Гб). Русик там какой-никакой есть. Global Linguistic Coverage: Expanded support to 201 languages and dialects, enabling inclusive, worldwide deployment with nuanced cultural and regional understanding.
нужен околоидеальный русик - гемма квантом пожирнее увы единственный варик
Обладатели v100, пофиг 16 или 32, как она в картинко и видеогенерации? Я конечно нашел какието результаты в СДХЛ и паре катринок, но это все фп16/бф16. А мне нужно понять как оно работает с int8 или fp8 так как миниакс Н3 гонять в бф16 анриал, да и картинки тоже так себе.
Можете напрямую сравнить в комфи в той же крее2 турбо скорость итераций в бф16, фп8, инт8? Дает ли что то флаг --fp16-unet и нода ModelComputeDtype? В сдохле она конечно збс, как 3090, но вот как будет инт8 считать нихуя не могу найти.
Если коротко то так себе.
Вот тут чел про V100 неплохо поясняет
https://www.youtube.com/watch?v=Yel0Msi1lTY&list=WL&index=48
>И где этот ваш Квен 4?
Ближе к 10 утра подвезут. Поспи пока. После его релиза такое начнется.
https://youtu.be/Yel0Msi1lTY?t=3829
Конченный дебил
Там чел так себе шарит, даже хуже меня, видно что зачитывает что ему агент насрал. Он даже не пишет какие форматы брал. По консольке видно что он квен который ему квадраты черные генерил вообще блять в гуфе запускал. Ясно что он будет медленнее потому что у v100 фп32 флопсы вдвое меньше чем фп16. Все остальное там скорее всего бф16.
Я просто хочу понять насколько карта теряет в производительности при инференсе инт8/фп8 весов. Вот на своей 5060 я когда запускаю инт8 через ModelComputeDtype в фп16 то в скорости вообще не теряю, а если в фп32 то получаю замедление в двое. Если будет также на в100, то это прям заебись. LTX у него также гоняет как на 3090 но что там за формат был? Если фп8 то значит конверсия збс работает. С минимаксом вообще не понятно что за хуита у него и отчего замедление, тоже чтоли гуфф взял еблан, или может как раз инт8 и поэтому все замедлилось. Нипанятно сука нихуя у этого уебка.
>Страте
27б на Страте не будет крутится. Страта только для моешек, а 27б танцевальная.
>Смета: 181 476 ₽
А мог бы взять две писе v100 32гб + две турбинки за 140000к...
А можно всю мудрость /local/ одним куском как-то или типа того?
Какие именно версии были шикарны - V3 или R1? Их и сейчас можно скачать на ХФ.
Попробовал Hemmingway-1.5 такой же дегенерат как Hemmingway-1. Вообще не понимает что происходит.
И нейронка на выход высрала картинку-схему с размерами финального варианта и например примерными схемами раскройки сырья.
Или там например какую-нибудь схему например из бинарных гейтов какой-нибудь ерунды на тему электрики которая что-нибудь котроллирует и все это имело смысл, работало и на картинке не было мешаниной?
Всякие бесплатные чат версии онлайн максимум графиками рисуют кривыми или пытаются текстом что-то нарисовать символами.
Такое вообще реально сделать локально на 8-16врам и 32рам?
решили себе оставить, так как слишком мощный для публичного использования
Щас тут будут ныть про жирный и тупой контекст, но правда в том, что нихуя модели до сих пор больше 20-30к не держат в рп и надо сумарайзить.
>> Требования это не снизит, наоборот повысит к компьюту
компьюта как будто уже у всех дохрена, а вот скорости памяти - нет
и если верить тестам с реддита то diffusiongemma очень быстрая, странно почему ее тут не советуют
А это тест голой модели в вакууме? Без доступа в сеть? Типа тест того насколько хорошо нейросеть галлюцинирует?
А зачем ей доступ в есть? Чтоб что?
Сейчас скачаю и проведу свой легендарный бенчмарк всем на радость
тебе зачем для RP доступ в интернет? То, что она делает больше ошибок это и из видео видно. но для РП это может быть пренебрежимо, а если у тебя обычная гемма кряхтит из за какой-то узкой шины или ноутбучной памяти, то может эта вывезет?
я просто удивляюсь что впервые о ней узнал совершенно случайно хотя модель еще летом вышла
>проведу свой легендарный бенчмарк всем на радость
Опять фифи будешь заставлять анусы лизать? Слопер проверяет слоп на содержание слопа. Тесты которых мы заслужили.
>>1749686
>зачем для RP доступ в интернет
Чекать факти? Типа это же база имершена, когда Кхорн это точно бог Хаоса на троне из черепов, а Хан Соло стрелял первым. Как без этого вообще играть в рп? Что такое рп без знаний о игровой вселенной? Что у вас за рп такие? Рассказывайте, мб я чёт не знаю про рп.
>Что у вас за рп такие?
Хвостики, хвостики, хвостики и ище раз хвостики.
Сыночек, твои мысли про Кхорн и Хан Соло в гробу никому не нужны. Не ради такого ебутся с локалочками.
>>1749122
>чайный клуб
Что это? Карточку!
Я хуй знает почему, но эта хуйня не дает мне поставить контекст больше 4к. Ставлю разные цифры, а он все ровно запускается с 4к контекстом, первый раз с такой хуйней сталкиваюсь
>компьюта как будто уже у всех дохрена
MI50: "да дайте пожить, суки"
Ну слушай, я на гемме отыгрывал порно рпг, где тянка должна была лабиринт проходить, и в каждой комнате ее бы ждало сексуальное испытание. И гемма неплохо так придумывала приколы, иногда даже излишне хентайные и жесткие. Там просто карточку надо грамотно составить и хотя бы поначалу вкидывать норм идеи, она уже подхватит. Если ты сам хуй без фантазии - то и гемма тебе ничего не даст.
чел, ты буквально генератор случайных персонажей можешь попросить ту же гемму написать и запихнуть его в лорбук, чтобы он вызывался при каждой встрече рандомного нпс. Ты тупой?
>какие подводные?
8х300в=2.4 кв+серверный проц+доска+нужны серверные лыжи бп
чел у тебя под 3кв печка выйдет это больше сварочного
Эх чел, не читал ты прошлые треды...
1. v100на 32 гб уже дефицит.
2. Это почти 3 киловатта на систему, линия может сделать фаер шоу, нужно подключать разными БП к разным линиям.
3. Нужна серверная мать, скорее всего двухпроцессорная.
4. pci 3.0 к тому же скорее всего x8
5. По современным меркам Мистраль 123 практически не слушается инструкций
6. Меленький контекст
7. Тупая модель
8. Будет шумно и горячо
Но зато какой КУМ, я иногда включаю, под настроение.
>По современным меркам Мистраль 123 практически не слушается инструкций
Чтобы понимать как сосать хуй только современным инструкции и нужны
Она может в первом ответе насрать под себя и перепутать цет волос, или ответить за пользователя, или проебать разметку или обосраться каким-нибудь другим способом. Нужно будет свайпать. И это всё при системном промте и карточке написанной специально под неё. Просто закинуть кучу неструктурированного слопа как в современных моделях не получится.
> и если верить тестам с реддита то diffusiongemma очень быстрая, странно почему ее тут не советуют
Потому что скорость ДиффьюжнГеммы взялась не на ровном месте а ценой деградации до уровня ниже 12B Геммы.
Анекдот про "печатаю 1000 знаков в минуту, правда получается какая-то фигня" здесь как нельзя кстати.
>>1749737
У меня блин масляный радиатор отопления на 1кВт жарит так, что зимой окна открывать приходится. А тут в три раза больше. Я думаю без промышленной вентиляции это вообще не вариант.
Блять, какое же все же эти "рашн рп" файнтюны говно. Лучше обычной геммой играть, она хоть не срет слопом настолько сильно.
1. если речь о Кристалле, 31б, ссылку на который выше кидали, то это не рашн файнтюн, там многоязычный и я сильно подозреваю, что русский там синтетический. Китайский-русский, такой-же какой в старых американских фильмах встречается от якобы русских персонажей.
2. сухую комью в горле (дальше там похожий на твой поток сознания был), это он мне выдал и я подозреваю, что может это из за температуры 1.5 ? удалил слишком быстро ггуф, у тебя какая температура анон?
студия то? это да.
самому что-ли на кастомном форке жоры затестить, мне просто и не нужно как бы, я на 31б сижу. Ради человечества
Да я вообще не дергаю эти ползунки, просто модели переключаю и все. И обычная гемма на 31б 8кю лучше всего работает, хоть я уже файнтюнов 20 перелопатил.
> как оно работает с int8 или fp8
Никак, точнее также как и обычно, только врам экономит. Нет нативных регистров и поддержки для расчета таких типов данных, потому выигрышу неоткуда взяться. По фп16 кажется в комфи автоматом шел компьют в фп16 если sm70, модели в бф16 не становились сильно медленнее как это происходит при загрузке через трансформерс/диффьюзерс в разных дататипах.
> как 3090
У нее меньше компьюта, как только повышается разрешение то отставание множится из-за усложнения атеншна. На дит посложнее и для крупных латентов, например для видео, это особенно заметно.
>>1749613
Все так, или даже 3 sxm с простыми адаптерами. Но есть и плюс, пытаясь оправдать лишние затраты он таки продемонстрировал кейсы, где nvlink дает преимущество.
>>1749671
К ним понадобится то, во что воткнуть. Это будет или пара дорогих плат с нвлинком по 4 карты, или пара сплиттеров на 4 подешевле, и их уже воткнуть в какой-нибудь x299 x99.
Эта хераборина плюс корпус, охлаждение, питание немалый бюджет отъест.
>> 2. Это почти 3 киловатта на систему, линия может сделать фаер шоу, нужно подключать разными БП к разным линиям.
>> Но зато какой КУМ, я иногда включаю, под настроение.
мое уважение анону, какая же решимость
Чел, причем здесь студия, ты тупой совсем? Тебе же там расписали все, это особенность поведения модели на 16гб vram.
> если верить тестам с реддита то diffusiongemma очень быстрая
В один поток она быстрее потому что упирается больше не в псп врама и задержки движка, а в компьют. Ту же обычную 26а4 на таком железе можно разогнать так на вскидку на 4к+ токенов в секунду если сделать 20-30 одновременных запросов, может больше, а дифьюжнгемма считай уже работает на пике.
Это, кстати, станет серьезным ограничивающим фактором появления этих моделей, потому что при сервинге все как раз в компьют и упирается. Все стремятся наоборот сократить издержки, потому такая модель сейчас просто не нужна, может быть сделают какую-то гибридную схему.
Следующая беда - время до первого токена, при реальной скорости жирной ллм в 50-100 токенов в секунду первого токена придется ждать 20 секунд, это уже некомфортно во многих случаях.
> почему ее тут не советуют
Потому что она не выдающаяся, и для запуска нужны жирные движки типа vllm.
>>1749737
> к тому же скорее всего x8
Схуяли?
> Это почти 3 киловатта на систему
Пикрел 3 киловатта это же вообще херь, вы чего? Чайник одновременно с полной нагрузкой достаточно не включать
> Мистраль 123
Та нахер он нужен, тем более что для него и двух вольт хватит, тут уже на мимо и младшую дипсикожену в полных весах, или старшую с небольшим оффлоадом/квантом замахнуться.
>Стоит пыжится и компилять лламу с рокмом или лучше уже не будет?
У меня был прирост tps в полтора раза, когда пересел с вулкана на rocm, но это 6000я серия. А на кой её компилять? Бинарники уже собраны, только выбрать нужную версию.
Ну хотя бы не толстый слой снега и морозный воздух.
это ты тупой раз не понимаешь что тебе написали. Особенность в том как у нее растет контекст, а то как эту особенность отрабатывает студия - тупо. Читай внимательно идиотина
>> В один поток она быстрее потому что упирается больше не в псп врама и задержки движка, а в компьют. Ту же обычную 26а4 на таком железе можно разогнать так на вскидку на 4к+ токенов в секунду если сделать 20-30 одновременных запросов, может больше, а дифьюжнгемма считай уже работает на пике.
какие-то неебаца охрененные истории. Она для кума нужна. запрос ровно один батя, ты что вообще несешь? Ровно этот сценарий ускорения тут и нужен. Один запрос, один ответ. Короче докачивается анслот студия, похоже это пока единственный способ ее запустить не выдумывая свой ллама сервер, и посмотрю как оно, бредни эти читать сил нет
а ты сам то пробовал? у меня чет квеныч 35 под полистратой и 256к контекста вообще не хотят с вордкрафтом адекватно работать, - как будто школьник ДЦПшник какой-то, хотя там задача просто перенести и отформатировать текст из MD файлика
ват? 4к это даже промт не влезет от куколдыча, куколдкод под 30к наверное системпромтом отжирает....
MCP там тоже к стати говнище - модель нихрена не понимает как им пользоваться, так как толком не расписано сценариев адекватных и наугад постоянно пытается задачи решать прожигая токены только... , я хз, скилы ему чтоль писать нужно...
если mcp очень толстый, то 256 контекста сожрет моментально и останется на работу хуй да нихуя.
Я как то REA включил - и у меня весь контекст закончился, вообще.
>>1749850
скорее всего лучше через скиллы\скрипты делать, mcp это больше для корпов с 1M контекстом
так а шо скилы-скрипты, скилы вообще не умеют в сложное форматирование, и тем более формулы в ворде... казалось бы элементарная задача, а хрен автоматизируешь... подозреваю придется самому сидеть дрочить...
контекст то вроде не моментально горит, но все равно оно под себя серит, не выбирая правильные функции, сокращая текст, добавляя по одному абзацу...
сейчас еще пожирнее модельку попробую, может адекватнее работать будет чуть... но это все равно хрень какая-то выходит... такое ощущение что все примеры из серии "локалочка сделала красиво" это бенчмарк на который нейронку натаскали
обстановка -
в слоп-студии поддержка дифужнгеммы сломана , хз как он сумел ее сломать сильнее чем у жоры, ведь на жориных костях оно и работает но факт остается фактом. нет мульти гпу, квантизация кэша только ф16, контекст фиксирован и всего 4к. Шейм, сажа
у жоры однако нет сервера, есть только экспериментальный cli
поддержка мультигпу как бы есть, но кривая, почему то почти вся модель пытается залезть в гпу 1, и тенсор сплит игнорируется, скорость не впечатлила - пруфпик, строка запуска видна, жду предложений, может у меня руки кривые?
пишит хорошо, русик прежний, каких то зловещих огрехов в прозе я не заметил
>> есть только экспериментальный cli
с странными ключами
--diffusion-alg-temp F dream algorithm temperature (default: 0.000)
температуры алгоритма сна
Я вот только щас узнал
https://www.youtube.com/watch?v=X9KXqId3tSY
Что за абсолютную клода ты принёс в тред?
Где новые анонсы квена от трастми братюнь?
Нейронка даже не знает от чего зависит время генерации первого токена. И чем отличается префил от контекста. Потому что сами неромакаки этого не знают.
https://huggingface.co/meituan-longcat/LongCat-2.5
https://www.reddit.com/r/LocalLLaMA/comments/1xrsptp/meituanlongcatlongcat25_hugging_face/
А чего жору только на 2 кванта хватило?
>Где новые анонсы квена от трастми братюнь?
Только такое есть, надо?
Знает там полотно выдало, на твои вопросы. Qwen3.8 flash next iq3_xxs. Буду читать, забивать голову слопом.
> или что слишком уж личные выходят
Типа. Просто обычно есть "слои", которые ты, и тут тоже ты, но в жизни они не пересекаются. И люди из них не пересекаются тоже. А тут вот оказывается все перемешанным.
> много важного
Спосеба. Она сказала, что возьмёт лягушек. И дневник прогресса с саммари. А в синхронизацию не положит и не покажет.
> Основной профит идет из самого общения и возможности получить взгляд со стороны, совет или собрать все в кучу
Да, уже успел получить несколько не "прозрений", но таких чувствительных тычков, осознав и увидев так некоторые вещи.
Это знает. А вот то, что над ее советом запускать квен2.5 на лламе в приличном обществе посмеются уже нет.
>>1749941
Ух жирненький. Нужно сначала с модельками поменьше поиграться и движок адаптировать, слишком много нюансов.
Обычно как бы принято через пару часов релизить если что то такое постишь.
Короче, выйдет лоботомит на уровне старого квена 2.5, обильно смазанный соей. Можно сразу хоронить в общем.
Если будет моя, то на 8/32 будет нормально работать.
Только непонятно зачем им лёгкие мои выпускать, если у али задача продавать аренду своих серверов под эти модельки.
Игродауны ещё не поняли, что нейросети в миллиард раз интереснее игр.
А кто уже ничего не ждёт и ни на что не надеется сидя на рыбе
Нейродауны ещё не поняли, что ирл в миллиард раз интереснее нейросетей и игр.
Кто загрузки жта ждёт,
кто квен4, чтоб сделал им свою жта, с блэкджеком и шлюхами
да все любят новые свежие китайские модели
даже сам Дженсен Хуанг от них тащится
Так называемый ирл это сплошной квн!
А еще лол. Ты сгенерироровал 11 токенов и показываешь это как тест. И без вижона походу.
В чем интересность нейросети, если она только то и делает что галюцинирует, плюс нет ощущения контроля над ситуацией, и возможности бесконечно абьюзить сейвлоад и вібивать ачивки в стимчике
Содомит
>>1750075
Интересно почему это. Используются какие-то особенности api, которые работают по-разному, раз проявляется только на локалках с этими бекендами? Или оно охватывает все локалки вообще из-за крупной ошибки в гермесе?
> Интересно почему это
ХЗ, может майя, конечно, не совсем идеально отдает возможности у меня. Но у чела там вообще другие бэки, а симтом такой же. Но помогло решение + рестарт.
> решение
Что за решение? Это наверно прольет свет на причину
>>1750113
А, в глаза ебусь. Это получается непрямой баг, если модель не заявлена как зрячая то при просмотре картинки вызывается сторонняя, или какой-нибудь бесплатный жемини. Этот раздел не настроен, вот и дает ошибку. Возможно и не баг вовсе, а сам юзер накосячил.
Ну хз. Все остальные бэки норм видят, включая самого гермеса, которому надоело биться о таймаут штатного инструмента, и он сходил напрямую в гейт
Общее происхождение бэков может влиять, что они неверно или со своим диалектом отдают параметры модели, а штатный инструмент недонастроен. Причем, довольно вероятно, что если запустить какого-нибудь доктора, тот бы указал на проблему.
Но таймаута (если именно не настроено, а не заложены кривые настройки) быть конечно не должно, сразу должен сваливаться фоллбек.
Есть какие-то специальные проги для запуска уже?
Нормальные чтобы были.
!!! ОП !!!
Char архив подняли: https://chararc.bernkastel.pictures/
Добавь в шапку!
Узнал с форчонга
Щас бы переходить по сомнительным ссылками в этом итт треде...
Месяц пусть хотябы продержится, там уже можно посмотреть, а то рили сомнительная ссылка.
скоро все "нейро" будет интереснее всего. Эта тварь буквально взламывает дофаминовую систему . Час назад посмотрел прон часовой целиком сгенерированный, с сюжетом. Сначала даже не понял, что это слоп
Так а фиг ли ты 2x3060 12гб не купишь, самый дешевый вариант чтобы все летало.
Во первых 3060 не бесплатная, во вторых будет затык по процессору. А там и материнку придется покупать, питалово, охлад.
Этим сейчас кабанчики только занимаются, да айтишники на денежном допинге. Со своими 8гб я со многими жабками в одной лодке, не так одиноко. А нейронки все-равно не волшебство и не замеят настоящие чувства. Зарабатывать на этом у меня особо нет желания, не айтишник уж.
У меня 4-5 скорость с виженом:
mtp
22 gpu layers
Потоки вручную подобрал. Рекомендуемые онлайн нейросетями и дефолтные хуже оказались в тестах.
Qwen3.8-27B-IQ3_XXS_mtp
Просто S скорее всего тоже встанет, но для моей простой задачи это не так важно.
Без вижина будет быстрее скорее всего, но я не так сильно зацикливался на тестах.
> материнку придется покупать, питалово, охлад
Там старая подходит, 7-8 летней давности, в них уже 2xpcie x8 есть. Питания тоже много не требуют, 2x3060 жрут по 100вт каждая после afterburner. Охлад на них встроен уже, для корпуса только охлад, но там 2 вентилятора справляются. В общем все достаточно дешево.
Хотя как видно на третем тесте при генерации под 1000 уже будет поменьше 3тс. Щито поделать. Это конечно немного неприятно.
Кто-то знает, почему не работает? запускаю -ngl all --moe-cache-mib 1000
выдает llama_init_from_model: failed to initialize the context: MoE cache requires a GPU backend
Без этого -moe-cache-mib все работает, gpu используются.
>>1750200
>>1750208
В говорите про CSS (кастомные скрипты?) штуки или еще какие-то могут быть вирусы? Чего следует предостерегаться?
Ошибка MoE cache requires a GPU backend означает, что llama.cpp не видит доступный GPU-бэкенд (CUDA, ROCm/HIP, Metal или Vulkan) в момент инициализации контекста, хотя при запуске без --moe-cache-mib GPU, по вашим словам, используются.
Скорее всего, дело в одной из следующих причин:
1. Бэкенд не поддерживает MoE-кэш (или поддерживает частично)
Судя по документации и issues, MoE-кэш (--moe-cache-mib) изначально реализован и стабильнее всего работает на CUDA . На Vulkan есть подтверждённые баги: при попытке выделить кэш возникают ошибки аллокации или кэш молча не активируется . Если вы используете Vulkan (например, на AMD или Intel Arc), это может быть причиной.
Что проверить: запустите с флагом --list-devices (или посмотрите лог загрузки) и убедитесь, какой бэкенд выбран. Если это Vulkan, попробуйте собрать llama.cpp с CUDA (для NVIDIA) или ROCm (для AMD).
2. Конфликт с -ngl all и авто-размещением
Флаг -ngl all (или -ngl 999) заставляет все слои идти на GPU. Но MoE-кэш предназначен для экспертов, которые остаются в host-памяти (CPU) и подгружаются на GPU по требованию . Если -ngl all пытается всё выгрузить на GPU, а --moe-cache-mib ожидает host-экспертов, может возникать логическое противоречие.
Что попробовать: вместо -ngl all используйте явное указание оставить часть MoE-слоёв на CPU. Например:
bash
-ngl 99 --cpu-moe --moe-cache-mib 1000
Или настройте --n-cpu-moe N, чтобы указать, сколько слоёв экспертов остаются на CPU .
MTP отключи и вообще не грузи - без него больше модели загрузиться в VRAM. Вижн тоже сгружается на CPU (--mmproj-offload off) - если ты только эпизодически пользуешься картинками это так же позволит загрузить больше слоев в VRAM. У квена математически простой эмбедиинг - он прекрасно исполняется на CPU. Его тоже сгружай: -ot "token_embd.weight=CPU"
>> списанные с датацентров,
что хоть там списанное? модели какие-то назови анон, на что смотреть?
-c 140144 --n-cpu-moe 42 --tensor-split 5,1 --split-mode layer --moe-cache-mib 8000
Вот так заработало, надо было в layer переключить и подбирать параметры tensor-split и -c .
Каких, A100? Стоят дорого и все равно раскупают как горячие пирожки. Откуда уверенность что это как-то повлияет на рынок в общем?
Если пытаться вытащить те, то там преимущественно sxm4 варианты, которые требуют подходящей платы и питания. Шорткат в виде простенькой платы-адаптера как с smx2 здесь невозможен, 48в питание. Или искать подходящие бп, или городить преобразователь на 700вт. Вариант не из простых окажется, хотя возможен.
Mi200? Но там тоже кастомный соккет, их мало и менее привлекательны чтобы на рынок повлиять.
Давай, выкладывай не томи что за инсайды.
>>1750295
По ссылке спустя время может оказаться совсем другое. Возможные виды мошенничества и остального бонусом.
Почему бы другим второсортным дата центрам не скупить это "подешёвке"? Учитывая что память выкуплена на годы вперед это наверно неплохое соотношение риск/награда. А если масштабы не колоссальные то продавятся этот износ будет все ровно по хуевым ценам. Да и скальперы уже наверно руки чешут.
Мне кажется нас готовят к тому что железа долго не будет. Уже даже directX 12 серьезно обновили чтобы и память и скорость улучшить.
проблема в том, что такой датацентр убыточным будет - типа карты более слабые и горячие, а датацентру окупаемость нужна, не говоря о том что бу откиснуть может... это уже совсем подвальные какие-то могут быть.... которые кум модели тренят...
> убыточным будет
Можно посмотреть что творится на опенроутере, там часто на моделях попроще не то что на амперах - на вольтах лоботомитов хостят. Ладно скорости низкие, регулярные пролагивания от префилла в других запросах, и все равно загружены. Спросы на компьют есть и убыточными не будут, в крайнем случае в простое уже могут жемчуг понерестить.
> это уже совсем подвальные какие-то могут быть.... которые кум модели тренят...
Таблетки таблеточки
>там часто на моделях попроще не то что на амперах - на вольтах лоботомитов хостят
Ну это не значит что они прям на окупности, это могут быть карты которые уже есть, и могут быть на блатной розетке
но закупать бу - сейчас очень рискованый варик для бизнеса - типа гарантии нет, в плюс не факт что выйдешь... кто-то конечно скупит, свято место пусто не бывает, но...
Попробовал (на 9070ХТ). Вулкановская на 6к экспертов летала на 45-47 т/с с непожатыми кэшами и контекстом какого для геммы тут считают много. Рокмовская еле плелась на 25-30 т/с, только с 8к экспертов вышла на 40 (кеши пришлось пожать и контекст урезать). И самосборная вулкановская на каплю быстрее "заводской", компилятор у меня посвежее чем у Жоры, наверное оптимизирует лучше.
Ебать там разгон
Qwen3.8-Flash-Next-Uncensored-IQ4_XS
В срате со всеми оптимальными настройками - 12.5 tok/s
В жоре
В -n-cpu-moe 41 --tensor-split 1,1 --split-mode tensor 6.56 т/c
В -n-cpu-moe 41 --tensor-split 1,1 --split-mode layer - 5.58 т/c
В --n-cpu-moe 41 --tensor-split 5,1 --split-mode layer --moe-cache-mib 7000 --moe-cache-cpu-share 0.95 - 21.92 т/c
Жора теперь быстрее сраты. И все это на обычных 3060 карточках. Еще и контексту больше держит.
Ага, такую древность как вольты в датацентры с нуля закупать уже никто не будет с целью профита конечно. Их только всякие кабан-кабанычи после переупаковки барыгами потребляют, чтобы "свой ллм сервер" получить, и энтузиасты.
A100 уже другой вариант, крупные их для ввода новых мощностей тоже брать не будут, но на канни_бализм для поддержания в строю имеющегося парка разбирают только в путь, или просто те кто помельче, сметают. Кризис он такой, заставляет ветерантов трудиться.
Префил 71-75 т/c на moe-cache-mib 9000, на 7000 поднялся до 78-82 t/s. Возможно покрутить еще что-то надо, чтобы повыше стал.
>>1750353 (OP)
ПЕРЕКАТ
>>1750353 (OP)
ПЕРЕКАТ
>>1750353 (OP)