Локальные языковые модели (LLM): Gemma, Qwen, GLM и прочие №235 /llama/
Аноним
18/05/26 Пнд 22:53:40
№
1
Здесь мы делимся рецептами запуска, настроек и годных промтов, расширяем сознание контекст и бугуртим с кривейшего тормозного говна.
Тред для обладателей топовых карт NVidia с кучей VRAM или мажоров с проф. картами уровня A100, или любителей подождать, если есть оперативная память. Особо терпеливые могут использовать даже подкачку и запускать модели, квантованные до 8 5 4 3 2 0,58 бит, на кофеварке с подкачкой на микроволновку.
Официальная вики треда с гайдами по запуску и базовой информацией: https://2ch-ai.github.io/wiki/llama/
Инструменты для запуска на десктопах:
• Отец и мать всех инструментов, позволяющий гонять GGML и GGUF форматы: https://github.com/ggml-org/llama.cpp
• Самый простой в использовании и установке форк llamacpp: https://github.com/LostRuins/koboldcpp
• Более функциональный и универсальный интерфейс для работы с остальными форматами: https://github.com/oobabooga/text-generation-webui
• Заточенный под Exllama (V2 и V3) и в консоли: https://github.com/theroyallab/tabbyAPI
• Однокнопочные инструменты на базе llamacpp с ограниченными возможностями: https://github.com/ollama/ollama, https://lmstudio.ai
• Универсальный фронтенд, поддерживающий сопряжение с koboldcpp и text-generation-webui: https://github.com/SillyTavern/SillyTavern
• Альтернативный фронт: https://github.com/kwaroran/RisuAI
Инструменты для запуска на мобилках:
• Интерфейс для локального запуска моделей под андроид с llamacpp под капотом: https://github.com/Mobile-Artificial-Intelligence/maid
• Альтернативный вариант для локального запуска под андроид (фронтенд и бекенд сепарированы): https://github.com/Vali-98/ChatterUI
• Гайд по установке SillyTavern на ведроид через Termux: https://web.archive.org/web/20241201232031/https://rentry.co/STAI-Termux
Модели и всё что их касается:
• Актуальный список моделей с отзывами от тредовичков: https://rentry.co/2ch_llm_moe_2026
• Неактуальные списки моделей в архивных целях: 2025: https://rentry.co/2ch_llm_2025 (версия для бомжей: https://rentry.co/z4nr8ztd ), 2024: https://rentry.co/llm-models , 2023: https://rentry.co/lmg_models
• Миксы от тредовичков с уклоном в русский РП: https://huggingface.co/Aleteian и https://huggingface.co/Moraliane
• Рейтинг моделей по уровню их закошмаренности цензурой: https://huggingface.co/spaces/DontPlanToEnd/UGI-Leaderboard
• Сравнение моделей по сомнительным метрикам: https://huggingface.co/spaces/HuggingFaceH4/open_llm_leaderboard
• Сравнение моделей реальными пользователями по чуть менее сомнительным метрикам: https://chat.lmsys.org/?leaderboard
Дополнительные ссылки:
• Гайд для новичков: https://rentry.org/2ch-llama-inference
• Готовые карточки персонажей для ролплея в таверне: https://www.characterhub.org
• Перевод нейронками для таверны: https://rentry.co/magic-translation
• Пресеты под локальный ролплей в различных форматах: http://web.archive.org/web/20250222044730/https://huggingface.co/Virt-io/SillyTavern-Presets
• Шапка почившего треда PygmalionAI с некоторой интересной информацией: https://rentry.co/2ch-pygma-thread
• Официальная вики koboldcpp с руководством по более тонкой настройке: https://github.com/LostRuins/koboldcpp/wiki
• Официальный гайд по сопряжению бекендов с таверной: https://docs.sillytavern.app/usage/how-to-use-a-self-hosted-model/
• Последний известный колаб для обладателей отсутствия любых возможностей запустить локально: https://colab.research.google.com/drive/11U-bC6AxdmMhd3PF9vWZpLdi6LdfnBQ8?usp=sharing
• Инструкции для запуска базы при помощи Docker Compose: https://rentry.co/oddx5sgq https://rentry.co/7kp5avrk
• Пошаговое мышление от тредовичка для таверны: https://github.com/cierru/st-stepped-thinking
• Потрогать, как работают семплеры: https://artefact2.github.io/llm-sampling/
• Выгрузка избранных тензоров, позволяет ускорить генерацию при недостатке VRAM: https://www.reddit.com/r/LocalLLaMA/comments/1ki7tg7
• Инфа по запуску на MI50, тесты производительности и прочее: https://arkprojects.space/wiki/AMD_GFX906
• Тесты tensor_parallel: https://rentry.org/8cruvnyw
• Доки к LLaMA.cpp со всеми параметрами: https://github.com/ggml-org/llama.cpp/blob/master/tools/server/README.md
Архив тредов можно найти на архиваче: https://arhivach.vc/?tags=14780%2C14985
Шапка в https://rentry.co/llama-2ch, предложения принимаются в треде.
Предыдущие треды тонут здесь:
>>1612868 (OP)
>>1610759 (OP)
гемму и квен я видел че за эйр как его трогать сидите здесь в засохшей сперме хуй поймешь о чем пиздите
Ну понятно нюфажка, стал бы спрашивать, если бы был изможденным липким мастурбатором как аксакалы треда
Спасибо, сейчас заценю.
Теоретически, bf16 должен быть лучше, но работает только на Аде и новее. Разницы на своей 4090 по скорости я не заметил, по эффективности тоже. Как будто и не изменилось ничего.
Я уже могу загрузить новую ламу и сам отквантовать?
Гемма 3 тоже интересует. Не могу осмыслить комментарии в гитхабе что там пишут об этом.
Пока ничего нет. Для Геммы 3 вряд ли кто-то будет заморачиваться, архитектуры разные, значит и решение нужно другое. Жди.
Блядь, типа глм это ваш айр и есть? В очко я думал и правда откровение какое-то глм-то я тоже видел вообще нихуя не понял, это ж чисто китайский кал. Хуй знает вы там кумите на англюсике может но в русике глм же просто пиздец какой-то, просто мерзость нефритовый стержень Xi словно ее на переводах с алика обучали
Тупее в языке или генерации текста в целом? Вообще насколько пострадали мозги мое в отношении к плотняше?
Тупее во всех отношениях. Это не тотальная тупость, но разница с плотной видна почти сразу.
А там уже каждый решает сам что для него важнее мозги или скорость
С ии ассистентом не гейство. А вообще он первый начал.
Надеюсь это потрут
>типа глм это ваш айр и есть
Нет, когда в треде говорят глм - имеют ввиду большой glm 4.7 или glm 5, а аир всегда называют аиром. А вообще срыгни в аицг, тут тебе не рады.
Большие глм умеют в русик. Квены 235 и 397 умеют в русик.Из моделей поменьше - Glm 4.6V.
>Суммарайзы каждого сообщения через https://github.com/rivey404/ST-MessageSummarize
Честно - как-то не очень по описанию, я так понял что суммарайз сообщения в короткой памяти и так прикреплен к самому сообщению, тоесть в короткой памяти - бесполезен, а в длинную память надо вручную каждый суммарайз сообщения вносить. С таким же успехом я и ручками автосуммарайз таверны править могу.
>затем суммарайзы суммарайзов по дням, чтобы не проебать историю.
В ST MessageSummarize есть такая автоматическая функция? Или ты вручную пердолишься?
Да мне то что, сиди, просто если ты хочешь чтобы тебе дальше помогали и не давали вредных советов - то вот так >>1615058 больше не пиши.
Сорян, зря так залетел в тред, соглашусь, это было лишнее. Не та атмосфера. Тут серьезные люди высокой культуры с мускулистыми волосатыми ладонями (это не рофл, а восхищение в комплекте с отвращением), буду стараться быть достойным коллектива.
>суммарайз сообщения в короткой памяти и так прикреплен к самому сообщению, тоесть в короткой памяти - бесполезен
Нет, там указывается глубина, дальше которой сообщения скрываются, и вместо них подставляются их суммарайзы из короткой (или длинной) памяти.
У меня полностью нормально последние три ответа нейронки, дальше суммарайзы - но у меня по 5-15к токенов ответы нейронки.
>в длинную память надо вручную каждый суммарайз сообщения вносить
Можно просто нажать кнопку у сообщения, и суммарайз пометится для длинной памяти
>В ST MessageSummarize есть такая автоматическая функция? Или ты вручную пердолишься?
Вручную, т.к. расширение не знает, когда день заканчивается.
Я просто группу суммарайзов переношу к одному из сообщений, оборачиваю в [ Events of xx.xx.xxxx: Суммарайзы] и помечаю как суммарайз для длинной памяти, ненужные уже короткие скрываю.
Можно почистить вручную получившийся текст, а можно напрямую попросить нейронку последним сообщение. "Стоп ролеплей! У тебя в контексте (текст только что собранного суммарайза в длинную память), выкинь лишнее, чтобы ничего не потерять" и получившийся результат вставить вместо вышеуказанного длинного суммарайза вручную. Результаты обычно норм.
Коупинг это всё. У них деревянный, скучный русик с кучей англицизмов и кринжа. Даже у Геммы он такой, но не настолько позорный
А нахуй ты вообще терпел на плотных если у тебя есть рам?
Таких шизов был полон тред когда эир вышел, где они все сейчас - большой вопрос, ведь ничего лучше так и не вышло в его (и не только) ренже, эир был королём локалок в рп за доступность (рам стоила пачку чипсов) и давал реально новый уровень после плотных 30б.
Моя теория - просто сдрочились, буквально вымерли от передоза кумом, высушили простату в ноль. Ну либо 10 месяцев в ллм это уже новички не знают олды не помнят.
Они хвалят какой-то говноЭйр когда даже глм 4.7 (пусть и на третьем кванте) ощущается хуевенько.
Я купил память и жалею, лучше бы вложился в +2 ртх3090, пока они по 50к стоили. А теперь пизда полная, у меня 256+48 и лучше бы это было 64+96.
Все из этих моделей проебывают падежи и окончания. Думаю, подойдут в пользование только отчаянным лоботомитам. Гемма хотя бы грамматику почти идеально держит.
Че будет если 3090 совместить с 5060 ти? Как на скорость повлияет? Тестил кто-нибудь на практике подобное?
Совмести и расскажи.
Никто не знает что ты там задумал и что там у тебя вообще за кудахтер. "Совместить" их можно минимум двумя способами, а если при этом модель все равно не поместится в картонках и будет вытекать в RAM, то это еще третье.
Спроси у гугла рассказать тебе про pipeline parallelism и tensor parallelism, он тебе там все расскажет.
Короче памяти у тебя в любом случае станет больше, а остальное как попрет.
>>1615198
Меня интересуют обычные ггуфы в обычном бомжекобольде.
Везде пишут, 5060 ти намного медленнее. Я не понимаю как это переведется в скорость процессинга и генерации по сравнению с тем, когда модель сидит в одной 3090.
> RAM
Это вообще исключено из обсуждения, речь про заселение бота в VRAM полностью
скорость будет как на ядрах от 3090 при их количестве как у 5060ти
Слишком сложно. Понять бы, просто насколько медленнее станет. Вдвое, в полтора раза, или что вообще.
как 4 3060 будет. Говорю по своему опыту миксования 4090 и тесел.
>>1615075
Вы угораете что ли? Берёшь васянофорк, получаешь MTP, получаешь турбокванты. Живёшь в будущем уже сейчас, а mainline ллама там только через год будет в лучшем случае.
Мне это ни о чем не говорит, я не знаю что такое "как 4 3060" по скорости.
Епт, неужели ни у кого нет 3090 и 5060 Ти сразу. Хочется услышать реальных циферок с той же 4й геммой (dense)
Это очень полезная штука. Позволяет сжимать историю чата раз в 40. Я так использую. Последние пять сообщений в оригинале, всё что старше затирается этим саммери. У меня ограничение на ответ 3к токенов, выдает около 1к чистыми без мышления. Саммери заменяет 1к на одно два предложения, 40-60 токенов. Можно держать меньше контекста (у меня 12к) всего. А значит лучше квант, больше слоев на видеокарту больше скорость. Не говоря о том что это лучше чем обычное саммери которое по сути есть собачья вода.
И у тебя форк. Лучше оригинал истопльзовать https://github.com/qvink/SillyTavern-MessageSummarize
Я уже забыл что старую пидорнули и квену крах предвещали
Я уже и не помню, почему именню эту версию взял.
Помню, что перебирал расширения для суммарайза, и все через жопу работали - кто-то нормально не суммарайзил, у кого-то коннекшен-профиль не определялся, у кого-то ещё что.
Менять расширение я конечно же не буду.
Ты угораешь что-ли, сам берешь кодекс, пишешь там - "совмести форк турбокванта с последними комитами жоры и с PR с мтп, и заодно с правкой разрешающей префилл в чат комплишене, потом сбилди" - и получаешь сверхжору. Раз в пару дней говоришь повторить процедуру.
Я в ахуе что люди еще не поняли в каком мире оказались. Сегодня мне кодекс за час создал экстеншен к таверне делающий суммарайз по блокам текста, соответвующим окну контекста истории, потом сшивая их в один. За час!
А твой слопчанский умеет вычислять аттеншен напрямую в WHT-координатах, без предварительного обратного поворота? Не отвечай, я и так знаю, что ты не знаешь.
>ты решаешь пойти ва-банк, когда вторая рука
Ну-ка, ну-ка... Что за диско элизиум с тебя там происходит?
Или только завод доп питания снаружи колхозить?
> atomic llama
Я тупой или это только для macos? Не шарю в этих ваших гитхабах, в релизах какой-то кал для яблопидоров
У меня работает на CUDA. Я релизы не смотрел (потому что поддержку квенчика завезли буквально на днях), сказал нейронке, чтобы она докерфайл написала, в котором при сборке всё тянется из репы и компилируется для CUDA, всё нормально собралось.
Да просто что то обсуждали, а пришло к миру воображения и всякого непотребного с девочками волшебницами и футами.
Что там было между и дальше сами думайте 🫣
На гемме 4 оно работает? В смысле в рп а то я слышал мнение что ускорения дает на говнокодинг и на рп не дает.
Гемма была 34т стала 28, пидорасы!
Навайбкодили мне хуйни в жору которой я даже не пользуюсь, зато кодоунитаз получит +3 токена
Не пробовал, меня только говнокодинг на квене интересует.
У квена еще с 3й версии действительно неплохой и подвержен стилизации.
>>1615177
> Они хвалят какой-то говноЭйр
Это один шизик и боты
> лучше бы вложился в +2 ртх3090
И что бы было? Все равно ничего прорывного туда не поместится, квен 122 разве что. А так можешь катать дипсикфлеша, минимакса, жлм4.х, моэквенов, причем как белый человек.
>>1615185
Можно оценить время генерации одного токена по скорости врам и размеру модели, которая сидит на гпу. Потом сложив все времена - обратная величина будет скоростью.
Что ты хочешь услышать? На фуллврам будет быстро, если поделишь ту модель, которая помещается в одну 3090 на две - будет медленнее. Если будешь пускать модель, которая до этого не помещалась и выгружалась в рам - будет значительно быстрее. Разные карты объединяются последовательно без проблем.
> У квена еще с 3й версии действительно неплохой и подвержен стилизации
235 даже окончания и падежи не вывозит в Q5.
Здесь же шесть токенов должно быть скорости. Опять спиздили. Хуйня какая то. Так, точно, точно! Здесь, здесь, здесь была скорость на гемме! А где она? Один, два, три, четыре, пять-шесть-семь-восемь-девять-десять-одиннадцать-двадцать восемь… А было тридцать четыре, было тридцать четыре! Спиздили! Это говно на жоре спиздило шесть токенов, шесть токенов спиздили на гемме! Суки, им нельзя ничего доверять, нельзя накатывать свежие коммиты, говно!
> Что ты с ним сделал что он таким стал?
Ничего, просто использовал на рекомендованных сэмплерах. Он даже в чатике с ассистентом без промптов упускает окончания и падежи. Плохо справляется с русским.
https://www.youtube.com/watch?v=SEuo9oTcoCw
Буквально одна из первых моделей с умом и не в размере дипсика, где русский не то что без грубых ошибок, а может быть художественным и стилизованным, с некоторыми оговорками.
В 3.5 русик может быть уже лучше, не чекал.
>>1615400
> Буквально одна из первых моделей с умом и не в размере дипсика
Да.
> где русский не то что без грубых ошибок
Нет.
Пожалуй, он и в BF16 может не вывезти. И дело не только в датасете.
Я три часа ебался в попытках сделать норм русик в рамках специальной долбоебической олимпиады имени меня. Пришлось анус пса — семплеры — нещадно дёргать.
На рекомендованных разработчиком искать русик супер хуёвая затея. Там и токенизатор кал, и датасет тоже охуительный. Одной модели надо температуру выкручивать, другой понижать, но чаще понижать, конечно. С штрафами за повторы тоже проблема: без них может лупиться, с ними ломается язык.
Короче, покайфовал я так и забил.
Разумеется, тыкал в BF16 qwen 3.5/3.6 27b и 35b-a3b, а не в толстого.
В итоге гемма 4 всё равно лучше, если именно язык нужен. Ну и гигачат 10б, ололо.
Имеет ли смысл безжопить на локалке? Или это лучше делать через text completions? Сквашить и отправлять без думалки можно таким образом. Или это на локалках нахуй не надо?
>Имеет ли смысл безжопить на локалке?
Большинство итт даже не знают о чем речь
>Или это лучше делать через text completions? Сквашить и отправлять без думалки можно таким образом. Или это на локалках нахуй не надо?
Тут есть один анон энтузиаст который видимо только так и играет, хз. Остальные вроде на стандартной сжоп разметке и бед не знают. Тут другой уровень рп в сравнение с копротредом
В чём не прав бот на картинке? Как заинпучено, так и зааутпучено.
https://rentry.co/LLMCrutches_NoAssistant
На локалках можно и без чат-комплишна безжоп организовать т.к. есть прямой доступ к разметке из таверны.
> безжопить на локалке
Да, если локалка от 600б в хорошем кванте.
На корпах безжопят ибо там невозможно заметить отупление на модели с квинтилионом параметров.
На локалках это сразу заметно, но вместе с отуплением могут и другие проблемы модельки уйти
Поясни за это тупление. Схуяли оно есть? Звучит как пиздёж
Сжоп это часть обучения, нельзя просто выдрать сжоп и сказать что у тебя та же моделька
Пробовал ли на дипсике в3.2 безжопить? Вроде как он не совсем лоботомит. в4 про поднять локально вообще нереально без терабайта памяти
Челидзе, на текст комплишен безжопе разметка не ломается. Ответ на одно длинное сообщение юзера это тоже часть обучения
>Да, если локалка от 600б в хорошем кванте.
И ведь насерьёзе заливает эту хуйню.
> Там и токенизатор кал
Как ты его оценивал?
> и датасет тоже охуительный
Где достал его?
>>1615438
Лол, так-то база
>>1615445
Ахуеть что несет
Это когда пихаешь всю историю чата в одно сообщение от лица юзера/ассистента, а не разбиваешь историю стандартной чат-разметкой с ролями user+assistant (no assistant = no ass = безжоп). Это убирает определённые байасы в пользу юзера, позволяет более адекватно реализовывать рп с несколькими чарами. По сути это эквивалент как если ты ассистенту кусок книги скинул и просишь продолжить.
В чат-комплишне в таверне это реализуется внешними расширениями. В текст-комплишне без проблем реализуется встроенными в таверну инструментами. Хотя в случае локалок можно и шаблоны попробовать просто редачить, но так, по моему, никто не делал.
Аицг-дыхота прорвалась в тренд и стала обсуждать свои костыли для копросеток
Это для пердолей кому мало пердолинга с промптом и карточками.
Плюсы сомнительные, минусы жирнее
Просвещайся, сыридзе.
>>1540653 →
No-assistant -> no-ass - без жоп
Попытка в оригинальный инстракт через чаткомплишн. Убирает структурный байас и позволяет сместить акценты внимания сетки, за счет чего меняет ответы. Может быть как в плюс так и в минус в зависимости от сетки, чата, промптов. Но если в конце насрешь дурной инструкцией с полотном что черное это черное, а белое это белое - получишь лоботомию.
На локалках с тексткомплишном и не таким изгаляются, можно еще частично поломать разметку или иначе объединить чат в блоки.
Копроманьки через костыль ломающий разметку пытаются устранить дообучение для выполнения инструкций, говоря языком локальщиков - вернуть instruct модель к состоянию base модели. Если бы хоть один из аицгшников хоть раз запускал бы base модель в своей жизни и сравнивал бы её с инстрактом этой же модели - то они бы конечно такой хуйней не занимались.
>>1615527
>>1615523
А, так это я знаю. Как-то в голову не пришло, что это прозвали безжопом. Лол
Ваще никогда не чуял от этой хуйни ни плюсов, ни минусов. Включал и будто без толку.
>сам берешь кодекс
Нету кодекса.
>>1615508
>Это убирает определённые байасы в пользу юзера
Кстати гемма 4 у меня всё равно выкупала, что Анон это юзер, и нужно ему лизать. Чисто по тому, что сообщение от Анон было последним, лол.
>>1615508
Как модель может не знать где пишет юзер если {{user}} привязан к персоне, а в персоне указано "джон" и ты от его лица пишешь. Нихуя вы анонимусы
Не все занимаются маня-селф-инсертами, у меня персона называется Author с пустыми дефами, а пишется всё от от третьего лица.
Можешь просто блок с персоной не указывать напрямую в разметке систем-промпта. Вместо этого добавь себя в какой-то общий список со всеми чарами, это хоть через те же лорбуки организовать можно.
>>1615578
Ну т.е выбираешь в персоне Жора, position none (выключаешь) и пишешь в гритинге Вася и даёшь описание, вместо {{user}}, а потом префилишь за Васю не писать?
Это ж пиздец работы каждый раз всё это менять в карточке
Сразу видно что чел никогда не заглядывал в консоль чтобы посмотреть как таверна форматирует запросы. Двачую анона выше, изучай работу разметки.
>а потом префилишь за Васю не писать?
Никогда не юзал этот шизобред, GM-а в ролёвке тоже будешь просить "про тебя не говорить" (даже для оглашения результата твоего броска) ? Насрут в промт, а потом удивляются что модели тупят...
>>1615590
>Это ж пиздец работы каждый раз
GIGO
Да да уже открыл всё изучаю изучаю простите подождите пожалуйста освежу знания Да он нам и нахуй он не нужон, безжоп ваш.
На деле локалкам действительно безжоп не нужен, ну разве что кто поpierdoлиться захочет как бобр. На корпах юзают для пробива цензуры.
>префилишь за Васю не писать
Не, одна из задач безжопа как раз писать за всех персов, чтобы Вася никак не выделялся. Нужно, чтобы были включены имена и стопстринги по именам. Тогда как только модель захочет за юзера написать, то её остановит и как бы передаст ход юзеру. Из-за этого потенциально могут получаться более короткие ответы сетки без всякой дополнительной воды в конце сообщения и вопросов к юзеру как отыгрывающему {{user}}, что для некоторых тоже плюс безжопа.
Аааааааааааааа, так вот оно чё, Михалыч. А я то думаю что за постоянные знакомые звоночки проскакивают, уж думал - кажется. Не, не казалось. Либо та же копроскотина что на другой доске меня заебала, либо все шизы с этой темкой в башке шизуют абсолютно одинаково на любую тему.
Использую этот квант
AesSedai_Qwen3.6-35B-A3B-Q6_K-00001-of-00002.gguf
Стоковый - 108.06 t/s
МТП - 90.67 t/s (--spec-type draft-mtp ^ --spec-draft-n-max 1 ^)
Я тестировал все параметры --spec-draft-n-max 0-6, 1 даёт самую высокую скорость на моём пк, но она всё равно ниже дефолтной лул.
Обычно проблема не в модели, а в кривом парсере или темплейте. Обнови лламу если старая, попробуй подключить другой темплейт, довольно вероятно что
> AesSedai
что-то нахуевертил. Ну и используй базовую модель вместо васянизаций.
Если ничего из этого не помогло - пиши ишью чтобы наконец в лламе обратили внимание на трешанину вместо парсеров.
>>1615654
Что за железо и какая скорость пп?
3060 12gb. Не знаю что такое пп.
>>1615688
12gb и какая разница если модель полностью влезает, она 1.2 гб весит.
Потрогал этот mtp, для геммы, плотной.
На 16vram он бесполезен. Третий квант без mtp 15тс c ним 21тс.
Но вот с четвертым квантом он дает 7 а кобольд под десятку. Оно работает если всё в vram лежит. Третий плотный кван слюнявый даун, моешка и умней и быстрее, теряется смысл в этом предсказании на 16vram.
> Не знаю что такое пп.
Пропмт Процессинг, скорость обработки. Довольно странно, на 3060 должно давать ускорение. Возможно или у тебя где-то что-то не так, или из-за кривой реализации в лламе лишний оверхед и задержки съедает все ускорение на таких скоростях, при том что на каких-нибудь 20-40 оно было бы заметно.
> она 1.2 гб весит
Когда у тебя влезает впритык - лучше эту штуку не использовать
>>1615693
> Третий квант без mtp 15тс c ним 21тс.
Это что за железо, а чего такие скорости грустные при фуллврам? Или не понял что ты запускаешь.
prompt eval time = 181.02 ms / 22 tokens ( 8.23 ms per token, 121.54 tokens per second)
eval time = 7921.42 ms / 725 tokens ( 10.93 ms per token, 91.52 tokens per second)
--flash-attn on ^
-c 32000 ^
--n-gpu-layers 999 ^
--spec-type draft-mtp ^
--spec-draft-n-max 1 ^
-rea off
У меня есть qwen mtp 35b и оно выдаёт всего 20 токенов что очень грустно после геммы 26b которая выдаёт 30 токенов без всяких мтп. А обычный мне лень качать, это 40 минут ждать и кажется мне что стоковый опять выдаст не 20, а 25 токенов каких-нибудь.
Хз что не так, я уже скачал ласт лламу и скачал ту на которой пишут что у людей скорость выше, разницы 0.
>Как, зачем и почему?
Потому что у мтп модели свой draft контекст, плюс она сама по себе весит. Абсолютно каждый человек в треде забивает всю врам моделью и контекстом. Модель остается та же, а вот в том врам что раньше шел на контекст теперь надо вместить два контекста + мтп модель.
Не совсем. Скажем, у Мистраля 3.2 24B на стандартной разметке таверны часто образуются специфические лупы - он начинает повторять сообщения целиком, если в чате возникает похожая ситуация. Увидел "Наступило следующее утро" - пишет копию первого сообщения которое было написано для прошлого утра. И т.д. А безжоп эту его проблему решает радикально, с ним так не лупится. Потому, что проблема привязана не к самому чату а повторяющимся тегам в history блоке - чем их там больше накапливается, тем больше у него желания повторять дословно.
Так что иногда - полезен и локалкам.
Если упростить, мтп работает следующим образом: вместо обычной головы, которая дает распределения вероятностей токенов, стоит более сложная модель, которая дает N наборов этих распределений для следующих токенов. Они семплируются по стандартному пайплайну, и далее для выбранных токенов идет обработка контекста. Обрабатывая контекст получают распределения вероятностей для всех прошлых токенов, включая набор "новых" предсказанных. Далее вступает простой математический аппарат, который на основе уже реальных распределений обеспечивает математическую эквивалентность семплирования. Утрируя если совпало - предсказанный токен принимается и оценивается следующий, если расхождение - все останавливается на текущем моменте. После того как произошла остановка или все предсказанные токены были приняты и закончились - начинается новый цикл форварда.
По времязатратам самое большое здесь - сделать обработку предсказанных токенов. Хз есть ли специальные оптимизации для этой операции или графы для мтп в лламе, но если нет, то
> prompt eval time = 181.02 ms / 22 tokens ( 8.23 ms per token, 121.54 tokens per second)
говорит что на малых количествах токенов накладные расходы и задержки все убивают.
>>1615720
> у мтп модели свой draft контекст
На это пренебрежимо мало и никаких
> надо вместить два контекста
там нет. Скорее для 12 гигов сам вес дополнительной модельки и буферов будет заметен.
А то что он лоботомируется при этом ты решил не упоминать, ладно.
В связи с чем он лоботомируется? Можешь объяснить свою эзотерику или ты повторяешь как попугайчик?
Мистраль лоботомируется как раз на родной мультитёрн разметке, потому что INST перед каждой репликой персоны юзера - это полнейший бред. Этот формат инстракта очевидно рассчитан на чат с ассистентом, где каждый запрос юзера - это своего рода инструкция, а в рп эта шняга выглядит дичью. Понятно, что "Вася: я тебя ебу" не должно превращаться в сраный запрос ассистенту и иметь префиксом служебный тег во всём чате.
Так что делать то в итоге? Квен 35b 4_k_xl так и должен 20-25 токенов работать с мтп на 3060? Я сейчас качаю обычную версию, буду сравнивать. Но звучит очень грустно. Я надеялся хотя бы на 35-40 токенов чтобы код генерировать, а не по 10 минут ждать на 20.
(То что ты написал слабо понял, как и статью от гугла и к счастью машин лёрнинг специалистом становиться не собираюсь)
Вот был я один, а теперь со мной и все остальные, я прям вижу как вам хочется сбежать с глм 4.7, а некуда, как и мне с эира. Тестите там всякие мимо, квены, минимаксы, вот на дипсик надеетесь, а всё не то да не то, глм лучше, и я так же чувствую с моделями поменьше. Мы уже даже до одной геммы докатились. Не думаю что заи вернутся к 300б, но ~180б эир мы можем увидеть и вновь будем сидеть на одной модели.
>mtp, для геммы
А его хоть реализовали?
>>1615700
>--spec-draft-n-max 1
До 4 повышай.
>>1615720
Так считали, выходило примерно плюс гиг врама. Это никак не уполовинивание размера контекста.
Как ты заебал,шиз. Все давно сидят на гемме или квене. Изыди из треда нахуй.
>А его хоть реализовали?
Да, файл на 350 мегабайт нужно докачать и запускать вместе.
Терпеть, катать модели что помещаются, осознать что мтп для фуллврам за редкими исключениями. С 3060 и альтернативных вариантов бэков для таких моделей нет.
> качаю обычную версию
Что за обычная версия? Если не указывать аргумент на мтп то доп слои не должны загружаться в память вообще.
Ты не один, чел. Вахтеры типо сенкошиза могут срать на тебя и твои взгляды сколько угодно, но я тоже сижу на старых моделях. И мы не одни. Мне этот агентослоп нахуй не сдался. До сих пор катаю иногда 02 Еву Квена 72б, пару тюнов Лламы 70б, реже но всё же старого Коммандера и конечно Эйр. Катал бы 4.7 да не лезет он в моё тухлое железо. Я как то несколько тредов отписался и предложил сравнить аутпуты старых моделей и нового дерьма, в итоге был послан нахуй за то что шиз и вообще модели там старые а значит хуйня. Естественно никто не стал проверять, зачем.
Сижу, жду новые народные модели от Зай или ещё лучше Кохерек. От остальных уже ничего не жду, мб какой нить хидден гем выстрелит разве что.