Локальные языковые модели (LLM): Gemma, Qwen, GLM и прочие №281 /llama/
Аноним
20/10/26 Втр 23:05:34
№
1
Здесь мы делимся рецептами запуска, настроек и годных промтов, расширяем сознание контекст и бугуртим с нано флеш моделей на 1488B параметров.
Тред для обладателей топовых карт NVidia с кучей VRAM или мажоров с проф. картами уровня A100, или любителей подождать, если есть оперативная память. Особо терпеливые могут использовать даже подкачку и запускать модели, квантованные до 8 5 4 3 2 0,58 бит, на кофеварке с подкачкой на микроволновку. Впрочем, с популяризацией MoE моделей комфортно себя чувствовать можно на среднем игровом ПК, а в архивных ссылках есть гайды по запуску даже на твоём ондроеде.
Официальная, но слегка тухлая вики треда с гайдами по запуску и базовой информацией: https://2ch-ai.github.io/wiki/llama/
Гайд для новичков: https://rentry.org/2ch-llama-inference
Не вошедшее в шапку и архив полезных ссылок: https://rentry.co/llama-2ch-archive
Инструменты для запуска на десктопах:
• llamacpp - отец и мать всех инструментов, позволяющий гонять GGML и GGUF форматы: https://github.com/ggml-org/llama.cpp
• koboldcpp - самый простой в использовании и установке форк llamacpp: https://github.com/LostRuins/koboldcpp
• vLLM - для ригобояр, чаще имеет поддержку нулевого дня, но хуже работает с оффлоадом: https://github.com/vllm-project/vllm
• Unsloth Studio - не только запуск с llama.cpp внутри, но и тренировка: https://unsloth.ai/download
• Обертка над llama.cpp с закрытым исходным кодом: https://lmstudio.ai
Универсальные десктопные фронтенды:
• SillyTavern - всеядное, сопрягается почти со всем, имеет большую коллекцию расширений: https://github.com/SillyTavern/SillyTavern
• Marinara Engine - вариация на тему таверны, больше возможностей из коробки: https://github.com/Pasta-Devs/Marinara-Engine
• Risuai - еще одна вариация, на этот раз в профиль, излишеств по минимуму: https://github.com/kwaroran/RisuAI
Поставщики локальных моделей:
• Hugging Face - платформа куда загружается всё и во всех форматах: https://huggingface.co/models
• Проверенные квантоделы: https://huggingface.co/bartowski, https://huggingface.co/mradermacher, https://huggingface.co/unsloth
Рейтинги и списки локальных моделей:
• (не очень) актуальный список моделей с отзывами от тредовичков: https://rentry.co/2ch_llm_moe_2026
• Рейтинг моделей по уровню их закошмаренности цензурой: https://huggingface.co/spaces/DontPlanToEnd/UGI-Leaderboard
• Сравнение моделей по сомнительным метрикам: https://huggingface.co/spaces/HuggingFaceH4/open_llm_leaderboard
• Сравнение моделей реальными пользователями по чуть менее сомнительным метрикам: https://chat.lmsys.org/?leaderboard
Готовые карточки для таверны:
• Botbooru - текущая мета (регистрируйтесь для отображения всего спектра, и/или меняйте страну): https://botbooru.com
• Прошлая мета, откуда массово удалили карточки сомнительного содержания: https://www.characterhub.org, https://www.chub.ai
• Архив карточек, удадённых с chub: https://gottasaveemall.github.io/
Официальные документации к инструментам:
• llamacpp: https://github.com/ggml-org/llama.cpp/blob/master/tools/server/README.md
• koboldcpp: https://github.com/LostRuins/koboldcpp/wiki
• SillyTavern: https://docs.sillytavern.app/usage/quick-start
Архив тредов можно найти на архиваче: https://arhivach.vc/?tags=14780%2C14985
Шапка в https://rentry.co/llama-2ch, предложения принимаются в треде.
Предыдущие треды тонут здесь:
>>1732083 (OP)
>>1729909 (OP)
Аноны, несколько вопросов:
Я правильно понимаю, что кастомные модели что на Полистрате, что на Майе не запуститьть без допиливания агентами?
А то у анона вроде неплохой квант Deepseek v4 flash vision был, https://huggingface.co/BahamutRU/DeepSeek-V4-Flash-Vision-Exp-Q8_0-MXFP4-Q3_K-Q2_K-mixed-GGUF
Deepseek v4.1 flash в 128RAM не лезет никак в разумном кванте?
Также, вон на той же Майе есть вроде приличный GLM 5.3 flash, но KLD 0.188 - как-то хуевато, не? Плюс весит оно 156 гигов, так и не понял из описания, нужно ли RAM на весь его размер.
Как вообще у Майи и Полистраты с разнородными видеокартами? Они позволяют запускаться на сборной солянке из всякой хуйни?
EXL3 просто юзай и все, уже сто раз тредовичками проверено. А ггуфы с заоблачным клд нахуй
По глму 3.05 bpw и 4.05 от турбодерпа точно хороши, по дипсику 2.9 bpw (который в ссылках описания Maya) и 3.5 bpw отлично работает.
>>1734660
А стоп, ты про V4 дипсик, а не про 4.1... Тут не знаю. Я про 4.1 говорил, если что.
>>1734657
По нынешним временам это уж древность.
Я думал, что в теории можно впилить это в какой-то движок (или запилить движок под эту модель), но зачем? Разве использовать 4.1 не лучше?
> Deepseek v4.1 flash в 128RAM не лезет никак в разумном кванте?
Ну, IQ3/IQ2 который, по сути, он чуть хуже, чем мой (у меня там первые и последние слои q4, а тут iq3.
Но я делал квант под llama.cpp, чтобы процессор не тормозил на IQ-квантах. В случае с project-maya это уже, как-будто, не так критично. Большинство экспертов в видяху будет выгружаться.
На том дипсике у меня 15 тпс, и на новом дипсике 4.1 в майе тоже около того же. А если нет разницы по скорости — может лучше взять 4.1?
160 гигов модель + 160 гигов энграмма
Из них 120 гигов в оперативе (и видяхах), а 40 гигов на диске, и по необходимости грузятся в оперативу и в видяху.
Но в треде все советуют EXL3.
Я еще не запускал, они размером пожирнее.
Но, может быть, они лучше качеством и не медленнее — хз, не подскажу.
>На том дипсике у меня 15 тпс, и на новом дипсике 4.1 в майе тоже около того же. А если нет разницы по скорости — может лучше взять 4.1?
Ну дык на том дипсике pp и tg будет больше, при условии запуска его в полистрате или майе, не?
Опять же, насколько 4.1 flash лучше 4 flash? Если как небо и земля - то да, тут без вариантов, лучше 15 tg терпеть. А если разница не то чтобы огромна - то не лучше ли вытянуть больше tg?
> но зачем? Разве использовать 4.1 не лучше?
4.0 вполне себе умница и он более чем в 2 раза меньше. Если нужен не хардкодный кодинг или что-то на стыке, где 1017 реально круче, а милый ассистент - то что доктор прописал.
Переквантовка на дипсике=оварида, кажется что от 4.1 мало что останется и он будет хуже чем вижнэксп, хотя конечно попробовать стоит при случае.
Чуть поебался с настройкой, причем даже нейронка подсказала лишь за темплаты, но не за постобработку промпта. Пишет неплохо, но особой разницы не заметил со своими херетик моешечками.
Они такие тупые что им даже отключение ризонинга не поможет. Забей хуй, даже не пытайся им помогать. Охуевшие пидарасы будут визжать на три треда корчить из себя умных. Пусть сосут хуй дальше.
Иди погуляй, даунёнок. Возвращайся когда сипсик 4.3 про на бф64 запустишь.
Ты там видимо сам одебилел, на людей кидаешься без причины
Нихуя себе заявочки у даунёнка, к людям себя причислять вздумал.
Он ее быстро решил, но долго думал об альтернативах. Системный промпт пустой.
Да нихуя он не решил.
Сколько хуилиард параметров надо вхуярить в модель чтобы она догадалась взять гоблина с собой вместо того чтобы ездить пустым?
Берешь гоблина, везешь на тот берег.
Возвращаешься пустой.
Отвозишь на тот берег принцессу, гоблина снова садишь в лодку.
Забираешь пажа, гоблина оставляешь там.
Отвозишь пажа, потом назад едешь пустой и забираешь гоблина.
Таким образом предотвращаем один неблагоприятный исход, потому что гоблин и принцесса не останутся наедине.
"Задача неразрешима блядь". И это 3.5bpw жирная унитазина нахуй. Позор.
> догадалась
А в тебя сколько надо вхуярить чтобы ты понял что такое ллм?
Сильно прохладная история?
> Ну дык на том дипсике pp и tg будет больше, при условии запуска его в полистрате или майе, не?
По идее — да. Просто важно, сколько весит работающая часть модели, если малую модель не квантовать, а большую сильно квантовать — то размер активных параметров может быть одинаков, и скорость не будет сильно отличаться.
У меня V4.1 (551B+196B) оказался в ролеплее быстрее GLM-5.3-Flash (320B) на 1 токен в секунду. Хотя, казалось бы, в два раза больше модель же!
>>1734722
Ну, если вас вижн устраивает…
Опять же, был отзыв от кого-то, что из версий первая-0731-эксп какие-то плохие, а какая-то хорошая. У меня только 0731 и вижн лежат, не знаю, может кому-то еще и первая нужна.
Но времени запилить поддержку или сделать движок для инференса этой модели у меня будет только через три недели, работы дохуя, простите.
Так что, или сами, или обождать придется. Раньше никак не смогу заняться.
Соевичок сопуха. Дипкок просто не упустил шанса трахнуть принцессу дважды, а ты сиди дальше на своём cuck chair и смотри.
>сопуха
Не знаю как это слово высралось, но задумывалось "спокуха" лол
Меня лоботомировали
А мне нравится идея что твоя мама заедет вечерком и возьмет мой кобольд поглубже.
Бля, ну типикал ютуперы.
Какой нахуй 122б, какой нахуй 235б, им уже столетия.
Qwen3.8-Flash-Next (125B+51B).
Strata.
12 врам, 32 рам — достаточно.
Контекст хоть 256к, просто скорость пострадает.
На 5060 ti 16 + 128 DDR5 получаю 45-50 tps UD-Q4_K_XL с 256K контекста.
Норм.
Но IQ3_S не тоже самое, что UD-Q4_K_XL, по отзывам одного знакомого, у него в работе он показал себя хуже. Хз-хз.
На другом компе у меня именно он, потому что 90 тпс показывает, а Q4 — всего лишь 50.
Прикольно, а что оно вообще умеет в таком сетапе? Хочу примерно понять уровень, который можно достичь если докупить 12\16 карту и добрать до 64 оперативы. Там дальше заливали со всякими дуал 3090 сетапами или покупкой мини пука-коробок с юнифаед памятью, но это все не для этой страны + ценники даже в правильной стране от 2,5тыщ долларов выходят.
А насколько хорошо кодит, в плане, что ты сам что-то пишешь и она подсказывает, или уже полностью можно описать задачу и оно что-то сварит и оно будет работать и справится даже студентик за рулем?
Сам проверь и нам расскажи.
Ебурит как надо, если агента настроить там и 27b все пишет, флеш заменяет корпов. На моем опыте ud-q4 как-то душнит что ли или просто раздражение от недостатка скорости iq3_s так ментально сказывается. У меня на двух в100-16 ud-q4 1600/60 iq3_s 2500/75. Скоро третью подкину, попробую тонкий тюнинг и еще рза потещу ud-q4kxl.
Поскорее бы уже qwen4 вышел и был вариант поднакаченней чтобы все 128гб рам забить, от йоба будет.
https://github.com/deepseek-ai/DeepInfer
Не имеет отношения к нам. Посмотри какие GPU поддерживаются
> но это все не для этой страны
Страна-то причем, просто ты в неудачное время вкатился. 48гб видеопамяти (2х3090) оформлялось за 80к (продавашки ПК на лохито радостно сливали ненужные им видеокарты любому, кто интересовался в покупке GPU по-отдельности) или за 100к, если ты ленивый и просто смотрел обособленные GPU объявы.
А теперь на фоне развивающегося пиздеца с памятью, ты даже одну 3090 за 100к не купишь. Тупо на годик опоздал.
Двачую этого. Пиздец с ценами почти на все железо сейчас везде. Есть надежда что через пару лет пойдет на спад.
Охуенно кодит, в целом, ну, тот самый уровень Opus 4.6-4.7.
Но «можно ли дать задачу» тут скорее о харнессе.
Codex, DeepSeek Harness, ZCode, Pi и прочие агенты — подпихиваешь туда и оно работает, да. Хорошо работает достаточно.
Но насчет студентика — вопрос. Это инструмент, которым нужно уметь управлять. Либо самому строить архитектуру, либо задавать вопросы.
А после стадии Plan, там он уже заебца сам справится, да.
Про страну это с мини пука эти с юнифаед мемори, их не завозили практически. 3090 всякие то понятно, но к ним надо и охлад приличнее и питалово, заморочек побольше чем с готовой коробкой.
>>1734905
Прикольно, получается щас даже самый около днарь можен в разработку какой-нибудь ебалы в одну каску и делать это +- эффективно без корп подписок?
Мне знакомые разрабы и около мишура вокруг вроде тестеров все уши прожужжали, что больше половины на мороз выпнули, все интересно насколько иишка в этом плане сыграла роль или это скорее от проблемной экономики.
Лохито завален DGX Spark или как их там. Хочешь - пл0ти 600к
>насколько хорошо кодит
Всю бизнесуху / перекладывание бумажек / сайтики тянет. Но если тебе там страту под новую модель запилить, или дрончик к вероятному противнику по фоткам отправить - откиснет.
>справится даже студентик за рулем
Студентик должен разуметь в корректную постановку задач и осознание их объёма и декомпозицию.
Гоняю Flash-Next_Q2. Я кстати не сказал бы чтобы он был лучше 27b_Q6. У них различающаяся психология и разные паттерны поведения.
Квантизация Flash-Next до Q2 бьёт по разному по разным способностям модели. У 27b две самые сильные черты - computer use и programing. Он в этом очень хорош. У Flash-Next сильных черт больше, он более генерализированный, но в Q2 он точно не лучше 27b в programing и заметно уступает в computer use.
Flash-Next имеет более широкий корпус знаний чем 27b. Он легко компенсирует готовыми знаниями те места где 27b приходится думать в процессе решения.
Flash-Next размышляет сильно меньше 27b. С одной стороны это хорошо, но с другой стороны 27b в процессе размышлений делает более активный синтез решений и прокручивает в своей башке большее количество проблем. Как итог 27b прыгает выше своей головы и даёт более стабильный результат.
У 27b намного выше тяга проверять и перепроверять как свой результат, так и входные данные. Если в процессе размышления он засомневался хоть в чём-то, то он проверит эту ниточку. Его дотошность делает его стабильней например в OCR, или работе с документами.
Проблемы MoE vs Dense. Flash-Next более чувствителен к квантизации KV кеша. 27b в Q8 кеше вообще почти не теряет в памяти по сравнению с F16. Помнит почти идеально весь 256к контекст, притом даже если он забит всякой хуйнёй. Flash-Next в Q4 кеше если он забит программированием то довольно неплох до 130-160к. выше уже замечаю что может забывать детали из середины. Благо он понимает что что-то забыл и перепроверяет себя. В Q8 кеше он хорошо помнит 256к контекст если он забит программированием, но например может забывать детали брейншторма какой-то проблемы, если он был ближе к середине.
Flash-Next лучше владеет разными стилями писанины. 27b всегда пишет как программист в три часа ночи.
В целом они взаимозаменяемы. Flash-Next лучше подходит для обсуждения какой-то идеи, написания документации. 27b лучше когда надо именно сесть программировать. Он более стабилен на долгих погружениях в проблему. Всё проверит, всё протестирует по десять раз и отказывается отдавать непроверенный результат. Он дотошный. Очень дотошный. Пролезет в каждую щель и в этом его плюс. Но например Flash-Next лучше в более широком спектре задач. Например в геймдеве он заметно сильней.
Я не вижу смысла платить корпам на Flash модели, если можно запустить хоть одну из этих моделей. Они у меня работают 24/7 и бэклог их задач только увеличивается.
Зачем вы этого глубокого ссикуна ковыряете, он же слабоумный совсем.
GLM-4.6V IQ3_XXS решил за одну минуту избежав изнасилования принцессы. Около тысячи токенов.
Вот это я называю "решил" и "быстро".
>Flash-Next_Q2
Так используй Q3_s раз у тебя тянет 27b в Q6
У меня только 32 рам, увы. Лол у меня I7-2600k вместо проца, 32гб 1600 ддр3 и 3090+3060. притом 3060 висит на очень потешном pci-e. В итоге 27b_Q6 сидит себе, в 16-22 тпс что-то делает и нормас. И примерно аналогичная скорость у Flash-Next_Q2.
Q3_s не так сильно ситуацию менял в лучшую сторону, кстати. В среднем по палате лучше, но не слишком. programing почти не поднялся, computer use поднялся, но не на уровень 27b_Q6.
Сейчас так и есть. Но рам все равно требуется
>>1734847
Кто-то вроде писал что пирвая лучше чем 0731, но хз довольно странно и видимо ему что-то там сильно понравилось. Еще были шизы, которые говорили что добавления вижна все испортит, но вижн-эксп по сути является апгрейдом 0731, он чуточку умнее и вылечен от некоторых багов.
На самом деле вопрос по кванту 4.1 не такой однозначный, на днях таки затестирую его в сравнении с экспом в тех же задачах в условиях лимита 256гб, ну и заодно сравню с полным 4.1, который та еще няшечка.
> У меня V4.1 (551B+196B) оказался в ролеплее быстрее GLM-5.3-Flash (320B) на 1 токен в секунду.
Фулл или кванты? В 4.1 всего 8б активных + 8б нграм, которые считай бесплатные.
> времени запилить поддержку или сделать движок для инференса этой модели у меня будет только через три недели
А что пилить хотел?
>>1734868
О, привет deepgemm с сегрегацией по правильной форме тензорных блоков. На самом деле ничего не стоит присрать туда тот же тритон и марлин, но это получится тот же vllm.
Как мимокрокодил могу сказать, что квантованный 4.1 не всирает личностный промпт (30к токенов) и держит роль, следуя правилам, тогда как оригинальные веса V4 на любой версии клали болтище и становились персонажем лишь в общих чертах. Очень схожие по стилю и генерализации (т.е. 4.1 видит ту же общую картинку, что и V4, но не игнорит нюансы так жестко) модели, однако все-таки разные по возможностям.
>Q3_s не так сильно ситуацию менял в лучшую сторону
Как вышла страта так сел на этот квант и больше не слажу, буквально всё делает в 3-5 раз быстрее, да еще и с полным контекстом в int8, кодит как минимум не хуже 27b (Q4 и Q5 пробовал) ну и по качеству вроде все же повыше, если нужна работа с документами то 27b вроде чуть по лучше с русским языком, но настолько незначительно что даже не уверен что это может просто рандом сида решает.
Коробасы то попроще есть до 5к долларов
>>1734911
Каеф. А что на счет например впиливания каких-нибудь модов для игр например? Когда код самой игры не известен и максимум есть какие-нибудь api тип форжа в миникруфтах?
Так-то жирно получается, что фактически каждый крокодил может у себя локалку запустить и навайбкодить какие-то повседневные вещи (собственно большая часть потребности софта) если все так лухари, как описываете.
А там что-то специфическое было в том личностном промпте?
Мне не для рп, а ассистентку гонять. Эксп справлятся очень хорошо и отыгрывая ее, и используя доступный инструментарий, и отлично помнит все, связывая прошлые события, делая из них предложения и новые выводы, что прямо круто. Причем все это вплоть до полного контекста, а за счет того что активно пользуется памятью, компакшны выходят бесшовными.
Все кванты четверки что были раньше - полнейшая лоботомия, где как раз происходит что ты описываешь и еще хуже с игнором контекста и забывчивостью, здесь это фатально. Сейчас, конечно, и кванты похорошели, и можно использовать нормальные движки вместо жоракала, но ожидания уже подпорчены.
Ты проводишь аналогии с биологией. Меньше мозг - меньше нейронов - меньше возможностей. Хотя это не всегда так даже в биологии.
Крысы не могут разбираться в схемотехнике или в знании философии Аристотеля так, как модель уровня 30B и в сотнях других вещей, они не могут широко рассуждать и делать выводы за исключением узких решений вроде установления простых причинно-следственных связей вроде нахождения выхода из лабиринта.
30B - это миничеловек по уровню развития, со своими тупизмами и заскоками. А вот миничеловек ли ты с такими заявлениями или помесь скумбрии с тушканом? Ну, тут хороший вопрос.
То, что моделька не попадает в твои критерии кума, тут уж извините, люди заняты не только этими моментами в жизни, а модели и подавно.