Локальные языковые модели (LLM): LLaMA, Gemma, Qwen и прочие №188 /llama/
Аноним
10/01/26 Суб 18:53:06
№
1
Здесь мы делимся рецептами запуска, настроек и годных промтов, расширяем сознание контекст и бугуртим с кривейшего тормозного говна.
Тред для обладателей топовых карт NVidia с кучей VRAM или мажоров с проф. картами уровня A100, или любителей подождать, если есть оперативная память. Особо терпеливые могут использовать даже подкачку и запускать модели, квантованные до 8 5 4 3 2 0,58 бит, на кофеварке с подкачкой на микроволновку.
Вниманиеблядство будет караться репортами.
Официальная вики треда с гайдами по запуску и базовой информацией: https://2ch-ai.github.io/wiki/llama/
Инструменты для запуска на десктопах:
• Отец и мать всех инструментов, позволяющий гонять GGML и GGUF форматы: https://github.com/ggml-org/llama.cpp
• Самый простой в использовании и установке форк llamacpp: https://github.com/LostRuins/koboldcpp
• Более функциональный и универсальный интерфейс для работы с остальными форматами: https://github.com/oobabooga/text-generation-webui
• Заточенный под Exllama (V2 и V3) и в консоли: https://github.com/theroyallab/tabbyAPI
• Однокнопочные инструменты на базе llamacpp с ограниченными возможностями: https://github.com/ollama/ollama, https://lmstudio.ai
• Универсальный фронтенд, поддерживающий сопряжение с koboldcpp и text-generation-webui: https://github.com/SillyTavern/SillyTavern
• Альтернативный фронт: https://github.com/kwaroran/RisuAI
Инструменты для запуска на мобилках:
• Интерфейс для локального запуска моделей под андроид с llamacpp под капотом: https://github.com/Mobile-Artificial-Intelligence/maid
• Альтернативный вариант для локального запуска под андроид (фронтенд и бекенд сепарированы): https://github.com/Vali-98/ChatterUI
• Гайд по установке SillyTavern на ведроид через Termux: https://rentry.co/STAI-Termux
Модели и всё что их касается:
• Актуальный список моделей с отзывами от тредовичков: https://rentry.co/2ch_llm_2025 (версия для бомжей: https://rentry.co/z4nr8ztd )
• Неактуальные списки моделей в архивных целях: 2024: https://rentry.co/llm-models , 2023: https://rentry.co/lmg_models
• Миксы от тредовичков с уклоном в русский РП: https://huggingface.co/Aleteian и https://huggingface.co/Moraliane
• Рейтинг моделей по уровню их закошмаренности цензурой: https://huggingface.co/spaces/DontPlanToEnd/UGI-Leaderboard
• Сравнение моделей по сомнительным метрикам: https://huggingface.co/spaces/HuggingFaceH4/open_llm_leaderboard
• Сравнение моделей реальными пользователями по чуть менее сомнительным метрикам: https://chat.lmsys.org/?leaderboard
Дополнительные ссылки:
• Готовые карточки персонажей для ролплея в таверне: https://www.characterhub.org
• Перевод нейронками для таверны: https://rentry.co/magic-translation
• Пресеты под локальный ролплей в различных форматах: https://huggingface.co/Virt-io/SillyTavern-Presets
• Шапка почившего треда PygmalionAI с некоторой интересной информацией: https://rentry.co/2ch-pygma-thread
• Официальная вики koboldcpp с руководством по более тонкой настройке: https://github.com/LostRuins/koboldcpp/wiki
• Официальный гайд по сопряжению бекендов с таверной: https://docs.sillytavern.app/usage/how-to-use-a-self-hosted-model/
• Последний известный колаб для обладателей отсутствия любых возможностей запустить локально: https://colab.research.google.com/drive/11U-bC6AxdmMhd3PF9vWZpLdi6LdfnBQ8?usp=sharing
• Инструкции для запуска базы при помощи Docker Compose: https://rentry.co/oddx5sgq https://rentry.co/7kp5avrk
• Пошаговое мышление от тредовичка для таверны: https://github.com/cierru/st-stepped-thinking
• Потрогать, как работают семплеры: https://artefact2.github.io/llm-sampling/
• Выгрузка избранных тензоров, позволяет ускорить генерацию при недостатке VRAM: https://www.reddit.com/r/LocalLLaMA/comments/1ki7tg7
• Инфа по запуску на MI50: https://github.com/mixa3607/ML-gfx906
• Тесты tensor_parallel: https://rentry.org/8cruvnyw
Архив тредов можно найти на архиваче: https://arhivach.hk/?tags=14780%2C14985
Шапка в https://rentry.co/llama-2ch, предложения принимаются в треде.
Предыдущие треды тонут здесь:
>>1480267 (OP)
>>1475911 (OP)
Смысла обновляться с GLM 4.6 нет, улучшений в плане РП не замечено. Вроде как должны быть улучшения в плане агентности и кодинга, но тоже вилами по воде.
Ну, я не согласен, по крайне мере для моделек от 4 до 15B.
Разницы между fp16 и 4.5 я не замечаю в принципе. При 4.0 оно отвечает "по другому" это заметно, но это ни разу не хуже. При 3.5 проблемы минимальные и лишь при 3.0 едет круша заметно. Во всех случаях эмбеддинги оставлял в fp16. Честный тест по перплексити, дивергенции и чего там ещё насоветовали пока не доделал.
Я про честный bpw всего кроме эмбеддингов, то есть Q3_K_M это выше чем 3.0 и я нахожу его вполне юзабльным.
>Во всех случаях эмбеддинги оставлял в fp16.
А как квантануть самому из исходника чтобы оставить эти компоненты в нетронутом виде?
Вроде все кто кванты задивает сжимают все слои. Или есть кто делает так?
сам сделай, хуле.
>>1485479
>Q3_K_M
сто тыщ раз писали, ниже 4 кванта в 12b жизни нет, хуле вы. Я сомневаюсь, что 24b жизнеспособен на q3, а вы насилуете беднягу.
Ну все, базу обсудили, давайте теперь о чем-то интересном поговорим.
Если через llama-quantize, то в параметры дописать --tensor-type token_embd\.weight$=f16 (или bf16)
Название слоя эмбеддингов может быть иным, но почти всегда такое.
Ещё можно отредактировать существующий gguf подменив только один из слоёв, но это уже иди у дипсика или кими спроси, они ответят быстрее и точнее. Это если ты какой-то Q3_K_XL кастомный хочешь попробовать.
ага, не то, что общегадюшник, где все обсуждения сводятся к тому, кто круче - клод или гемини. Как и срачи. Не говоря о карточках, в которых водят клода с гемини.
>Q3_K_XL
Спасибо. То есть на 4-6 квантах такие махинации не дают ощутимого выйгрыша?
>сто тыщ раз писали, ниже 4 кванта в 12b жизни нет, хуле вы. Я сомневаюсь, что 24b жизнеспособен на q3, а вы насилуете беднягу
24B работоспособен, но еле-еле. Буквально пограничное состояние с полной шизой. Сидел пару недель, пока p104-100 ждал к 3060, чтобы потом Q4 и Q5 запускать на них. Успел по сравнивать - или Q3 но быстро, или Q4 но медленно. :) Разница весьма заметна, но в первую очередь - детали контекста проёбываются, текущий ответ на последний запрос сам по себе - практически не страдает. Но если там обращение к "что было раньше" - туши свет.
Анон, проверь, пож, Qwen RpR-v4-Fast-30B-A3B, чисто на p104 и на 3060, где скорость выше будет? У меня 3060 меньше токенов дает, не пойму в чем дело
Дайте промт/семплееры для геммы 27b, пожалуйста.
Т.к. это MOE, и в отдельную карту она не влезет - такая проверка ничего не даст сама по себе, т.к. скорость будет зависеть и от остального железа. И от того, как именно грузить части модели. У меня первые попытки грузить Qwen30b-a3b давали около 25T/s на пустом контексте, а пошаманив с выгрузкой разных тензоров я ~40 выжал. На двух картах вместе, в кобольде.
Занимательная картинка. Если дипсик весит 671 гигабайт, то сколько же там параметров? Может от их количества тоже чет зависит? хз.
> у него и SD и обучение на п40
Больной ублюдок. Интересно, просто хайп собирает или хочешь стимулировать продажи запасов?
Вспоминаем барыг, которые их сами закупали чтобы продать по 30+, улыбаемся.
>>1485612
> на самом деле квантования эмбеддинга влияет слабее, чем мне хотелось бы
Да, за исключением микромоделей там разница минимальная. Чтобы получить деградацию от квантования в целом, нужно или оценивать метрики, или прогонять какие-либо бенчи в нормальном масштабе. Просто в рп чате, учитывая рандомайзер ответов в целом, разницу можно и не заметить, а то и вообще наоборот искаженные выводы получить.
Но в целом вывод о том, что большинство сеток можно квантовать до 4-5 бит и не испытывать серьезных проблем справедлив.
>>1485652
V100
Почему так? Еще генерация как бы продолжается, но текст не идёт, я баг словил или что? Перезапуск не помогает
> 100-200 токенов когда стоит 400
Где стоит? Заставить выдавать нейронку строгое количество токенов ты можешь только включив игнор eos и токен лимит. Просто токен лимит будет только резать при попытке вылететь за него
>Почему
В ответ на : я ебу
Ты получаешь : да, ты ебешь.
Семплеры посмотри, бака.
Что значит "стоит 400"?
Сетки почти все не умеют учитывать лимит, они генерируют по своему разумению, а генерация прекращается когда сетка выкидывает "стоп-токен".
Лимит может посреди генерации обрезать текст, и всё. Если ты с одинаковым сидом погенерируешь с лимитом 10000 и 50 - начало будет одно и то же в обоих случаях.
Самый универсальный и умерено надёжный способ, если ты сетке в промте скажешь "отвечай кратко" или "ответь за 50 слов".
Если ты хочешь в каждом ответе свою длительность, то это надо в системном промте договориться с сеткой, что ты получаешь сообщения в формате <limit=400, text="...">, где limit нужно интерпертировать как ожидаемая длина ответа. Но это надой свой UI писать какой-то для этого с ползунком, или чуть править бекэнд, чтобы он все сообщения оборачивал в такой вид, причём лимит который обычно выставляется был без ограничений, а тот что получен от UI вставлять в такой json.
> В ответ на : "текст любой креативности и длины"
> Ты получаешь : "да, ты ебёшь"
Пофиксил
>Еще генерация как бы продолжается, но текст не идёт
Смотри в консоль кобольда. Возможно, открылся какой-то тег, который таверна обрезает.
Всё же пиздец странно на чужом для модели темплейте сидеть, на котором её не тренили и бенчи все тоже на глм были
О, свет моих очей, о нерешительный анон. Скажи, сейчас в эпоху гопоты, клода и прочей срани. Что вызывает у тебя проблемы с ГЛМ ?
Context Template? Ты можешь, блять, просто скинуть ему что у тебя и попросить это объяснить.
Если у тебя проблемы с SystemPromt. То.. эмм.. Экспериментируй. Ну вот условно - пробуй, модель нерешительная. Значит надо добавить указаний по продвижению нарратива. Не нравится слайсовость, добавть ГРИМДОРКА, только будет осторожен со всякими cruel. Не используй терминологию в духе do not (лучше avoid тогда уж)
>чужом для модели темплейте
Это не так работает, если кратко. Откуда вы вообще эту хуйню в тред тащите?
Я обожаю уборщика просто за годнейшие идеи.
Скайнет посылает киборга в прошлое чтобы закуколдить тебя.
Кукинатор
Не знаю почему, но я орал с этого как ебанутый.
>Дайте промт/семплееры для геммы 27b, пожалуйста.
Gemma 3 Presets for Silly Tavern
https://pixeldrain.com/l/Hoeb83g8
Некоторые штуки там с выходом normpreserved устарели.
Но там уж под себя подрихтуешь.
За что мне это всё...
>Сетки почти все не умеют учитывать лимит, они генерируют по своему разумению
Ну не знаю, я когда пишу в карточке: "Ответ не должен превышать 1000 токенов" модели (разные) как правило это учитывают. Я люблю и поощряю полотна текста, так что не в том дело, что им нечего сказать.
токены сетки действительно считать не умеют, а вот слова - могут
по крайней мере квены
На кобольде и студии были такие же проблемы, на жоре с пресетами нюни - нет.
>>1485931
Я кстати смотрел в консоль студии, ничего криминального так и не нашёл. Но поскольку никто больше с таким не сталкивался, то забил. А теперь и вовсе не актуально.
И каждый раз угадываю, будто общаюсь с 8б лоботомитом, одна реакция абсолютно
Очевидно если ты гигашлепа от мира ллм тебе вообще промпт не нужен, у тебя пиздатая карточка где всё нужное уже есть и в голове знание как писать много и что модели нужно а что нет.
У новичка такого нет, он просто будет выдавать "Я вынул член до колен и наступил жесткий секс" и получать хуевые ответы с коротким промптом, большой промпт как бы делает всю работу за тебя выдавая больше описаний, которые модель потом подхватит и ответы в одну строчку уже не так сильно навредят
Хуйню несёшь, дружыше. Есть модели которые разваливаются от больших промтов, им похуй новичок ты или нет.
>Очевидно если ты гигашлепа от мира ллм тебе вообще промпт не нужен
Да я вообще не стебусь, я в первый раз вижу, чтобы модели было похуй SP. Ну не похуй, но от его наличия выдача становилась хуже. Это какой то ебанный абсурд и причем это только на квене работает.
Я могу это запруфать. Префила для него достаточно, ну для атмосферы. Просто общими мазками задаешь сеттинг и как НАЧИНАЕШЬ ПРИКЛЮЧАТЬСЯ.
сторителлер-лайт на ~350 токенов который
идеально, и ничего лучше пока не было
Дублирую из прошлого треда.
Если 4-бита плюс-минус достаточно, и их завезут на аппаратном уровне, так то кванты не нужно будет деквантовать на каждом слое в fp8/fp16/fp32/tf32 - то это по идее х2 минимум даст за счёт сокращения числа инструкций. И ещё х2 за счёт того, что 4-битная операция меньше транзисторов требует.
Кремниевые мозги пишут, что 5090 уже содержит нужные ядра, необходимые для этого nvfp4, и то есть на любой 5090 это заведётся.
Вот бы 6090 была хотя бы с 64 ГБ памяти, 4-way nvlink, и съёмным охлаждением, чтобы можно было башни поставить...
>будто общаюсь с 8б лоботомитом
Ну так почти так и есть. С 12б. Каждый раз проигрываю с этих "удивительных" открытий.
Если есть упоротые, кои таки решатся брать аналогичную, прошу обратить внимание на отсутствие термопрокладок вообще - память и микросхемы рядом не охлаждаются.
И на самом гпу хз какое говнище намазано.
Понятно, почему всё моментально уходило в троттлинг.
> память
Память на одной подложке с чипом, с ней все ок, а вот прокладки на мосфеты крайне желательны. Хз триггерят ли они тротлинг, но радиатор выглядит микроскопическим и ужасно неэффективным.
> всё моментально уходило в троттлинг
Нужно было просто не выкобениваться и брать стандартную sxm2 башню под 4u
Картинка доказывает древний тезис что для крупных моделей понижение кванта не столь понижает качество и в случае дипсика - 3 бит на 99% сохраняет качество 16 бит модели. Но уже на 2 бит падение качества по сранению с 3 бит составляет ~15%, а на 1 бит - 30%. Но в целом это также доказывает другой древний тезис - что если модель заметно лучше/больше другой в 16 бит, то лучшая модель и в 2-3 битах будет лучше худшей иодели в 16 бит и потому использовать более высокий квант худшей модели никогда не имеет смысла.
Возможно я в конце-концов приду к этому от безысходности, но пока у меня по плану поставить термопрокладки и сделать новый кожух под нормальный кулер вместо турбины, исходя из имеющегося места в корпусе.
Но в целом да, всем остальным я бы рекомендовал именно вариант с родным радиатором и длинным райзером, а видюху положить на днище корпуса.
https://huggingface.co/CrucibleLab/M3.2-24B-Loki-V2
https://huggingface.co/mradermacher/M3.2-24B-Loki-V2-GGUF
>Сами не спешат делиться пресетами и находками
Почему так?
А что за карточка развалилась? 3090?
Я потому и подумал, что лучше V100 наберу. Устаревшие, да, но они по пять лет 24/7 могут работать и для этого проектировались, а вот потребительские карты вряд ли рассчитывались больше чем на год чистого времени работы...
Но это не точно всё, само собой.
>А что за карточка развалилась? 3090?
Она. ИЧСХ, в киберпуке 10 минут норм, а в осст сразу вырубилась. Как и в нейронках.
>они по пять лет 24/7 могут работать и для этого проектировались
Но ведь они эти 5 лет уже отпахали два раза...
>>1486305
Да какие там подробности. Сидел пердел, начались вылеты нейронок, мигание экрана, зависание ПК. Нашёл виновника.
На поверлимите в 28% пока работает, лол.
Кстати, ведь я же спрашивал, где бы посмотреть ошибки псины. А вот же они, в ОССТ, теперь понятно, как райзеры на вшивость проверять.
>>1486315
Питание проверяй. Подобные проявления проблем с чипами - крайне редкие, зато питания, причем скорее всего даже не врм а внешнее - оно.
>>1486320
> где бы посмотреть ошибки псины
Куча ответов про это было.
> Подобные проявления проблем с чипами - крайне редкие
Да банально карточку жарили в майнинге
>Питание проверяй.
Платиновый сисоник на 1600 ватт. Хуй его знает что в этой вселенной надёжнее. Да и другие карты не жалуются.
А вот ВРМ карты может быть, надо разбирать и смотреть. Я правда в этом полный ноль, даже мультиметра нет, чтобы с умным видом щупом потыкать.
>Куча ответов про это было.
Ни одного упоминания ОССТ не помню. Были советы ставить люнупс да замерять по замедлению. Ладно, может я и забыл.
>>1486326
Офк, других на рынке нету. Сам я грешу на врам, он больше всего страдал в майнинге, те же чипы на спине карты нихуя не охлаждались. Да и в нейронках как раз тоже память больше жарится.