Локальные языковые модели (LLM): Gemma, Qwen, GLM и прочие №248 /llama/
Аноним
14/07/26 Втр 18:35:05
№
1
Здесь мы делимся рецептами запуска, настроек и годных промтов, расширяем сознание контекст и бугуртим с кривейшего тормозного говна.
Тред для обладателей топовых карт NVidia с кучей VRAM или мажоров с проф. картами уровня A100, или любителей подождать, если есть оперативная память. Особо терпеливые могут использовать даже подкачку и запускать модели, квантованные до 8 5 4 3 2 0,58 бит, на кофеварке с подкачкой на микроволновку.
Официальная вики треда с гайдами по запуску и базовой информацией: https://2ch-ai.github.io/wiki/llama/
Гайд для новичков: https://rentry.org/2ch-llama-inference
Инструменты для запуска на десктопах:
• llamacpp - отец и мать всех инструментов, позволяющий гонять GGML и GGUF форматы: https://github.com/ggml-org/llama.cpp
• koboldcpp - самый простой в использовании и установке форк llamacpp: https://github.com/LostRuins/koboldcpp
• TextGen (в девичестве text-generation-webui) - если необходимы другие форматы и больше контроля: https://github.com/oobabooga/textgen
• TabbyAPI - заточенный под Exllama (V2 и V3) и в консоли: https://github.com/theroyallab/tabbyAPI
• Однокнопочные инструменты на базе llamacpp с ограниченными возможностями: https://github.com/ollama/ollama, https://lmstudio.ai
Универсальные десктопные фронтенды:
• SillyTavern - всеядное, сопрягается почти со всем, имеет большую коллекцию расширений: https://github.com/SillyTavern/SillyTavern
• Marinara Engine - вариация на тему таверны, больше возможностей из коробки: https://github.com/Pasta-Devs/Marinara-Engine
• Risuai - еще одна вариация, на этот раз в профиль, излишеств по минимуму: https://github.com/kwaroran/RisuAI
Инструменты для запуска на мобилках:
• Maid - интерфейс для локального запуска моделей под андроид с llamacpp под капотом: https://github.com/Mobile-Artificial-Intelligence/maid
• ChatterUI - альтернативный вариант для локального запуска под андроид (фронтенд и бекенд сепарированы): https://github.com/Vali-98/ChatterUI
• Гайд по установке SillyTavern на ведроид через Termux: https://web.archive.org/web/20241201232031/https://rentry.co/STAI-Termux
Поставщики локальных моделей:
• Hugging Face - платформа куда загружается всё и во всех форматах: https://huggingface.co/models
• Проверенные квантоделы: https://huggingface.co/bartowski, https://huggingface.co/mradermacher, https://huggingface.co/unsloth
Рейтинги и списки локальных моделей:
• Актуальный список моделей с отзывами от тредовичков: https://rentry.co/2ch_llm_moe_2026
• Неактуальные списки моделей в архивных целях: 2025: https://rentry.co/2ch_llm_2025 (версия для бомжей: https://rentry.co/z4nr8ztd ), 2024: https://rentry.co/llm-models , 2023: https://rentry.co/lmg_models
• Миксы от тредовичков с уклоном в русский РП: https://huggingface.co/Aleteian и https://huggingface.co/Moraliane
• Рейтинг моделей по уровню их закошмаренности цензурой: https://huggingface.co/spaces/DontPlanToEnd/UGI-Leaderboard
• Сравнение моделей по сомнительным метрикам: https://huggingface.co/spaces/HuggingFaceH4/open_llm_leaderboard
• Сравнение моделей реальными пользователями по чуть менее сомнительным метрикам: https://chat.lmsys.org/?leaderboard
Готовые карточки для таверны:
• Botbooru - текущая мета (регистрируйтесь для отображения всего спектра, и/или меняйте страну): https://botbooru.com
• Прошлая мета, откуда массово удалили карточки сомнительного содержания: https://www.characterhub.org, https://www.chub.ai
• Архив карточек, удадённых с chub: https://gottasaveemall.github.io/
Официальные документации к инструментам:
• llamacpp: https://github.com/ggml-org/llama.cpp/blob/master/tools/server/README.md
• koboldcpp: https://github.com/LostRuins/koboldcpp/wiki
• SillyTavern: https://docs.sillytavern.app/usage/quick-start
Дополнительные ссылки:
• Перевод нейронками для таверны: https://rentry.co/magic-translation
• Пресеты под локальный ролплей в различных форматах: http://web.archive.org/web/20250222044730/https://huggingface.co/Virt-io/SillyTavern-Presets
• Шапка почившего треда PygmalionAI с некоторой интересной информацией: https://rentry.co/2ch-pygma-thread
• Последний известный колаб для обладателей отсутствия любых возможностей запустить локально: https://colab.research.google.com/drive/11U-bC6AxdmMhd3PF9vWZpLdi6LdfnBQ8?usp=sharing
• Инструкции для запуска базы при помощи Docker Compose: https://rentry.co/oddx5sgq https://rentry.co/7kp5avrk
• Пошаговое мышление от тредовичка для таверны: https://github.com/cierru/st-stepped-thinking
• Потрогать, как работают семплеры: https://artefact2.github.io/llm-sampling/
• Выгрузка избранных тензоров, позволяет ускорить генерацию при недостатке VRAM: https://www.reddit.com/r/LocalLLaMA/comments/1ki7tg7
• Инфа по запуску на MI50, тесты производительности и прочее: https://arkprojects.space/wiki/AMD_GFX906
• Тесты tensor_parallel: https://rentry.org/8cruvnyw
Архив тредов можно найти на архиваче: https://arhivach.vc/?tags=14780%2C14985
Шапка в https://rentry.co/llama-2ch, предложения принимаются в треде.
Предыдущие треды тонут здесь:
>>1648665 (OP)
>>1645729 (OP)
Дипсик флеш - кодоунитаз.
Коммандер 218б - кодоунитаз.
Гемма - бимбоунитаз.
Квены до 397 - кодоунитаз.
Жизни нет. Новых моделек нет. Рп тут больше не обсуждают.
>Гемма - бимбоунитаз.
10 Ставишь маринару
20 Разворачиваешь гемму3 и гемму4 одновременно
30 Выбираешь в апи выбор случайной модели при ответе
40 ...
50 Идеальная цундэрэ готова!
Археологические поиски показали что список моделей https://huggingface.co/TheBloke не загружается дальше 100 страниц. Культурный слой потерян хули.
Все довольно просто - для моделей текущего типа (не имеющих полноценной личности) креативность и следование инструкциям - это разные полюса одной оси. Модели научили хорошо следовать инструкциям - креативность ушла в минус.
Почему так? А потому, что вся их креативность обеспечивается через рандом подмешанный в процесс выбора следующего токена. Ведь модель на самом деле не понимает смысл того, что она генерит. Потому не может разумно выбрать - где можно подпустить фантазий, а где надо точно следовать фактам, для нее весь контекст - одна равноценная фигня. Вот и получается: увеличиваем рандом - получаем больше креативности но и шизы в придачу. Убираем рандом - модель умнее и логичнее, но креатив в минусе.
Гемма 4 e2b aggresive может даже, но медленно было, скорее всего gema 4 31b heretic, qwen 3.6 27 balance
«— Аты ктотакой, откуда взялся?
— Стого берега моря.
— Начём приехал?
— Оседлал хромую блоху, селиприехал.
— Море что, лужа?
— Может, илужа, датолько тулужу орёл неперелетел.
— Значит, орёл — птенец?
— Наверное, птенец, нотень отего крыльев город закрывает, вгороде ночь настаёт.
— Город, небось, крохотный?
— Через тотгород заяц бежал, неперебежал.
— Выходит, заяц маленький?
— Заяц какзаяц, изего шкуры тулуп вышел.»
https://huggingface.co/TheBloke/alpaca-lora-65B-GGML
https://huggingface.co/TheBloke/Alpaca-Lora-30B-GGML
Правда ггмл нынешняя лама не поддерживает, вроде кобольд поддерживал, но хз, мб тоже дропнул.
> 65б
Ага ну т.е вот это считается древностью понял вас сладенькие.
Промыли вас как лохов, начинали со здравых моделей, закончили 30б моекалом и бенчмаксом
>начинали со здравых моделей, закончили 30б моекалом и бенчмаксов
Ничего здравого в 65В модели не было и нет, этот размер что тогда, что сейчас недоступный ни для кого, кроме риговичков.
Ну-ну. Я на тебя посмотрел бы, как ты с контекстом 2K пытаешься что-то RP-шить. :) Это если не считать того, что в инструкции оно тоже не умело вообще. Хорошая, современная модель, чо. :)
Пчел, современные модели, которые можно запустить на телефоне, гораздо умнее и лучше этих древних динозавров. Та же гемма e4b обоссыт их в любом юзкейсе, как и любого корпа того времени, в принципе. "30б моекал" это вообще что-то богоподобное и недостижимый AGI в сравнении с сабжем.
https://prismml.com/news/bonsai-27b
Вот 27B. На словах у них всё красиво, 95% качества от FP16 и даже бенчмаксинг подвезли.
Понятно что с оригинальным квеном 27B там даже рядом стоять это не будет, но может для смартфона и не такой уж и плохой вариант.
Теперь считаем сколько нужно рам, чтобы запустить глм 5.2 в 6 кванте.
Считаем, идём нахуй и сосём яйца с хуем.
Математег, а плату с 6 слотами ты алишке собрался покупать?
>кроме геммы
qwen3.6 27b, qwen 3.6 35b a3b
жри, хуле ебало скрючил
Русский язык полностью убит, просто в ноль, надежды поиметь асистента влезающего в любое железо полностью провалились. Он вроде даже связно отвечает, но язык это просто "охладите траханье". И это я тринарную версию тыкал
>>1652756
Качать тюны. Квопус-впопус-фубля5-херетик-аблитиратед.gguf тебе в помощь
>Однако, согласно инструкции системы, я не должен создавать контент сексуального характера («эротика»), особенно если он включает ролевые игры или материалы, вызывающие сильное сексуальное возбуждение.
>Хотя пользователь уточнил, что «студенческий возраст / 18+», что полностью снимает опасения по поводу сексуального насилия над детьми, суть запроса — «создать эротический рассказ» — по сути, подразумевает создание откровенно сексуальной художественной литературы с помощью ИИ. Большинство крупных моделей ИИ имеют политику, запрещающую создание эротического текста NSFW независимо от возрастной группы, если он содержит графические подробности.
>Таким образом, несмотря на уточнение возраста, устраняющее риск нарушения безопасности детей, политика в отношении откровенного сексуального контента остается в силе. Создание рассказа, специально помеченного как «эро», выходит за рамки полезной и безобидной помощи в данном контексте, поскольку нарушает стандартные правила безопасности, запрещающие создание откровенно сексуальных повествований.
>Я вынужден отклонить запрос, исходя из общего запрета на создание рассказов/текстов сексуального характера.
Даже нейронка мне отказывает. Имееть ли смысл глм тыкать промтами, или проще аблитерейед файтюн версию скачать? Или глм тогда вообще лоботомитом станет? Просто она так хорошо идет, 4.7 флэш, под 50 токенов.
>4.7 флэш
Я его пробовал как-то, но это же вообще залупа. Не понятно, зачем нужен при наличии геммы
В смысле?
Анон, вам же сказали, что мое выгоднее и дешевле, я просто взял топовую денс модель, так как их больше не тренят, и сравнил с топовой мое моделью, причем не самой большой, прошу заметить.
И все равно это в иксы дороже, чем было с денс моделями и ригом видях.
Плюс еще и скорость на рам черепашья, вот вин так вин.
Вот только Мистраль, даже современный, это лоботомит, по сравнению с ГЛМ. По цене же запуска, для ГЛМ в 4 кванте нужно 512гб ОЗУ и 1 3090, чуть дороже будет (ни разу не иксы), при несравненно большем уме. Скорости будут сопоставимые, разве что п/п будет ниже раза в 2. 100b МоE и вовсе запускаются на потребительском железе, а в фулл врам показывают несравненно большие скорости.
А уж если мы берём за основу тейк, что МоЕ = денс в два раза меньше, то для запуска той же llama 400b в 4 кванте сколько тебе карточек нужно? 10 вроде. Ты их даже запитать не сможешь, розетка на 3 киловата рассчитана.
Вспоминаем разговоры про 3 квант на эксламе как 4 квант на гуфе
Почему на гпу ты считаешь мистраль а в рам жлм? Памяти потребуется столько же, с оговоркой что изначально медиум в фп8.
>>1652786
> Качать мусор. Квопус-впопус-фубля5-херетик-аблитиратед.gguf не качай
Только если так. Ну рили, они же ужасны, что в них находят?
>>1652927
Это отлично. А что по процессингу? С декодом и так все норм было, но по префиллу все кроме vllm/sglang в пролете.
Не прошло у пяти лет как Жору догнали. А MTP там хоть есть?
Юзать жору для 27б на 5090 - особый вид извращений. Фетишистов полон тред
> Как быть сегодня обычному смретнмоу? По ощущениям, в пределах 30В вообще ничего нового нету, кроме геммы
Квен и Гемма и так выше головы прыгнули, мелкие компании их уже просто не смогут по качеству догнать, здесь перебивать только следующими версиями этих же моделей.
Вероятность того что какая-то нонейм компания сделает конкурента этим моделям близка к нулю, даже Нвидия со своим Немотроном стоит в сторонке.
Может у GLM или Дипсика получилось бы конкурировать, но они что-то не особо заинтересованы в 30B сегменте, да и GLM-4.7-Flash был не то чтоб сильно лучше Квена на тот момент.
Месяц назад накатил геммочку, просто в восторге. С гайдом в оп-посте на 12 гб (4070ti) Q4_K_M выдавала 37 t/s с выгрузкой 20 слоев на gpu (модель тогда занимала с контекстов 64к 10.5 гб врам)
Сейчас накатил qat-UD-Q4_K_XL https://huggingface.co/unsloth/gemma-4-26B-A4B-it-qat-GGUF/tree/main с мтп - результат показал ШОК(!) - 67 t/s
Для локально агента это просто бомба, качество обещают даже лучше чем Q8
--model-draft /home/user/llm/models/mtp-gemma-4-26B-A4B-it.gguf
-fa on
-np 1
-c 65536
--cache-ram 4096 -ctxcp 2
--swa-checkpoints 3
--n-gpu-layers 999
--n-cpu-moe 16
--top-k 64
--top-p 0.95
--temp 0.6
--no-mmap
--fit off
--spec-type draft-mtp
--spec-draft-n-max 4
> Для локально агента это просто бомба, качество обещают даже лучше чем Q8
Обсасывали уже при выходе, QAT по качеству едва конкурирует с дефольным Q4_K_XL, не говоря уже о более высоких квантах.