Локальные языковые модели (LLM): LLaMA, Gemma, DeepSeek и прочие №132 /llama/
Аноним
18/05/25 Вск 14:01:33
№
1
Здесь мы делимся рецептами запуска, настроек и годных промтов, расширяем сознание контекст и бугуртим с кривейшего тормозного говна.
Тред для обладателей топовых карт NVidia с кучей VRAM или мажоров с проф. картами уровня A100, или любителей подождать, если есть оперативная память. Особо терпеливые могут использовать даже подкачку и запускать модели, квантованные до 8 5 4 3 2 0,58 бит, на кофеварке с подкачкой на микроволновку.
Официальная вики треда с гайдами по запуску и базовой информацией: https://2ch-ai.gitgud.site/wiki/llama/
Инструменты для запуска на десктопах:
• Самый простой в использовании и установке форк llamacpp, позволяющий гонять GGML и GGUF форматы: https://github.com/LostRuins/koboldcpp
• Более функциональный и универсальный интерфейс для работы с остальными форматами: https://github.com/oobabooga/text-generation-webui
• Однокнопочные инструменты с ограниченными возможностями для настройки: https://github.com/ollama/ollama, https://lmstudio.ai
• Универсальный фронтенд, поддерживающий сопряжение с koboldcpp и text-generation-webui: https://github.com/SillyTavern/SillyTavern
Инструменты для запуска на мобилках:
• Интерфейс для локального запуска моделей под андроид с llamacpp под капотом: https://github.com/Mobile-Artificial-Intelligence/maid
• Альтернативный вариант для локального запуска под андроид (фронтенд и бекенд сепарированы): https://github.com/Vali-98/ChatterUI
• Гайд по установке SillyTavern на ведроид через Termux: https://rentry.co/STAI-Termux
Модели и всё что их касается:
• Актуальный Не совсем актуальный список моделей с отзывами от тредовичков на конец 2024-го: https://rentry.co/llm-models
• Неактуальный список моделей по состоянию на середину 2023-го: https://rentry.co/lmg_models
• Миксы от тредовичков с уклоном в русский РП: https://huggingface.co/Aleteian и https://huggingface.co/Moraliane
• Рейтинг моделей по уровню их закошмаренности цензурой: https://huggingface.co/spaces/DontPlanToEnd/UGI-Leaderboard
• Сравнение моделей по сомнительным метрикам: https://huggingface.co/spaces/HuggingFaceH4/open_llm_leaderboard
• Сравнение моделей реальными пользователями по чуть менее сомнительным метрикам: https://chat.lmsys.org/?leaderboard
Дополнительные ссылки:
• Готовые карточки персонажей для ролплея в таверне: https://www.characterhub.org
• Пресеты под локальный ролплей в различных форматах: https://huggingface.co/Virt-io/SillyTavern-Presets
• Шапка почившего треда PygmalionAI с некоторой интересной информацией: https://rentry.co/2ch-pygma-thread
• Официальная вики koboldcpp с руководством по более тонкой настройке: https://github.com/LostRuins/koboldcpp/wiki
• Официальный гайд по сопряжению бекендов с таверной: https://docs.sillytavern.app/usage/how-to-use-a-self-hosted-model/
• Последний известный колаб для обладателей отсутствия любых возможностей запустить локально: https://colab.research.google.com/drive/11U-bC6AxdmMhd3PF9vWZpLdi6LdfnBQ8?usp=sharing
• Инструкции для запуска базы при помощи Docker Compose: https://rentry.co/oddx5sgq https://rentry.co/7kp5avrk
• Пошаговое мышление от тредовичка для таверны: https://github.com/cierru/st-stepped-thinking
• Потрогать, как работают семплеры: https://artefact2.github.io/llm-sampling/
Архив тредов можно найти на архиваче: https://arhivach.hk/?tags=14780%2C14985
Шапка в https://rentry.co/llama-2ch, предложения принимаются в треде.
Предыдущие треды тонут здесь:
>>1203792 (OP)
>>1200733 (OP)
Потому что поддержка Геммы 3 на exl3 пока что есть только в dev бранче. По умолчанию бекенды используют main бранч. Жди или самостоятельно накатывай dev версию.
Тогда предложите модели для рп и инструкций лучше! (я и сам с удовольствием попробую=)
>>1206579 →
Я теперь жду немотрон из квена 235б.
Какой-нибудь 176б.
> Потом уже смотреть в сторону большой геммы, квена, коммандера, glm и прочих.
Они все прилично пишут истории и рпшат, отлично слушаются и имеют все фичи.
> немотрон из квена 235б
Разме хуанг делал что-то такое из мое?
> Разме хуанг делал что-то такое из мое?
А у него что, роадмап есть, или он объявлял критерии, из чего делает? :) Они просто экспериментируют с моделями и выкидывают результат в опенсорс, вот и все.
Мало ли с чем могут затраить следующую попытку.
Да и опять же, эт просто мечты, а не «ну точно будет». =) Согласись, было бы круто увидеть такую модель.
> Ну и Gemma 3 (12b, 27b), QwQ и Qwen3-30B-A3B.
> Потом уже смотреть в сторону большой геммы, квена
Есть гемма больше 27 и вы уже распробовали ее? :)
Есть квен кроме квена? :)
Интересные истории слышу я. =D
Я же их и посоветовал в том списке. =)
Совсем деменция и альцгеймер одолевают?
Для самых долбоебов
> Начни с какой-нибудь геммы 12б
> Потом уже смотреть в сторону большой геммы
2 соседних предложения ниасилил.
> > Ну и Gemma 3 (12b, 27b), QwQ и Qwen3-30B-A3B.
Это к чему притащил? Проходишь по ветке и видишь
> перечисленные в длинном списке модельки - посредственный компиум
> Saiga-Unleashed
> Neverending Story
> Instrumentality
> One-To-Rule-Them-All-MN-12B
> Darkness-Reign-MN-12B
> У https://huggingface.co/Aleteian/
Подряд все идет, где можно было запутаться? Ты домой дорогу не забываешь, или уже не выпускают никуда? Если что, жди на ближайшей автобусной остановке.
Очень послушная и грамотная
После аблитерации думал что будет такое же говно
На самом деле. Мне ещё нравится, когда она подхватывает какие-то случайные фразы и начинает использовать их в своих интересах.
Типа, я как-то сказал невзначай, что я белый и пушистый, как котёнок. Так девушка меня потом остаток вечера троллила этим котёнком.
Геммочка бывает глупенькой, бывает путается в трёх соснах, но не любить её просто невозможно.
Но геммочка действительно хорошенькая, а ты окружен и скоро будешь сломлен.
>>1207068
Хорошо что делает она это ненавязчиво и сильно не зацикливается. В отличии от большого квена, который если что-то ПОДМЕТИЛ то будет повторять в каждом ризонинге и спамить, даже спустя 50 постов.
Биля, почему у меня спустя 150-200 сообщений, все сообщения уменьшаются до 2-3 строчек, хотя изначально выдает так же как на пикче? Контекст чищу через /hide
1. Гемма излишне позитивная
2. У нее есть какой-то внутренний блок на жесткач, вроде порева и убийств из-за чего она очень неохотно описывает это и часто довольно сухо
3. Если говорить про русик, то она коверкает слова, например она писала "клиторис" вместо "клитор" и т.д.
4. Если говорить про тред, то по нему бегают ебанутые шизы, которые доказывает что гемма это скрытый гем, а не соевый шлак
Без шуток спрашиваю. Какие адекватные альтернативы, шобы прям жестко трахало?
https://huggingface.co/ReadyArt/Forgotten-Transgression-24B-v4.1?not-for-all-audiences=true
Особого позитива в аблитерации не заметил. В оригинальной ебётся сухо, а вот резню описывает хорошо — но осуждает тебя за это нарративом или через персонажей.
Ну а кум даже в аблитерации сухий, потому что, видимо, нахуй всё вычистили про это из датасета.
>писала "клиторис" вместо "клитор" и т.д.
>скидывает мистраль как альтернативу
Ясно
Это не как альтернатива для русского, а как альтернатива для кума на английском. Forgotten нормально описывает кум, но на русском он очевидно будет хуже геммы
А делаешь ли суммарайз, что происходит с "почищщеным" контекстом? Если в чате отсутствуют последовательные переходы и просто обрывки рандома то любая сетка (которая хотябы пытается разобраться) запутается.
>>1207088
1 - 2 лечится промтом, часто вообще достаточно ясных формулировок и отсутствия противоречий. Просто не нужно тащить всякую срань, типа полотен чтобы шизомиксы не прыгали на хуй сразу, а потом удивляются. Сухость можно отметить в некоторых видах кума, она гораздо лучше описывает ситуации, эмоции и прочее, чем то, как влажные стенки облегают набухший ствол.
> 4. Если говорить про тред
То тут есть шизы, которые бесконечно форсят свой утиный опыт и ошибочные выводы. Это же усугубляется неспособностью признать/понять свои ошибки.
>>1207093
Оно глупое. Под пиво - норм, но не более.
А что ты предлагаешь? Квен, который даже 32+ более сухой, чем 12б, потому что рассчитан чисто на кодерскую тему и весь его датасет кодом забит? Ну да, он будет получше держать детали, чем 12б, но никакого смачного кума в нём не найдёшь при каком угодно файнтюне.
Мистраль для кума - это безальтернативная база.
Суммарайз делаю ручками каждые 100 сообщений. Если у меня условно 100 сообщений, то в хайд по старшинству закидываю 70 из 100, чтобы не обрывать повествование. На разных моделях одна и та же хуйня.
мистраль полная залупа
я так же думал, что это топ для кума, особенно модели редиарт (трансгрессия и абоминейшен)
но вчера завел наконец коммандер через пресет анона и сижу в ахуе, удалил все мистрали и совсем не буду скучать,
у него тупо нет цензуры, она не существует
Ну если ты бесконечно ебёшься тебе и русский не нужен, кум на английском читать проще некуда
Посоветуйте лучшую модель на для бомжарских 8g VRAM + 32G ram, чтоб было не хуже чем 4-5 токенов в секунду. При этом модель должна быть nsfw, но не ебанутая, чтобы с ней можно было не только про еблю поговорить.
Есть такое вообще?
Мистраль всё ещё топ, потому что таких смачных описаний не найдёшь нигде в подобных рамзерах, а командир слишком сухой, хоть и гораздо адекватней. Дело ж не в цензуре. Ты и на мистрале можешь абсолютно любую мерзость творить, какую захочешь.
Ну и модели реди арт очень спорные, я только одну у них нашёл, которую вообще можно использовать. Остальное у них тупо шлакослоп, но самое страшное не это, а то, что мозги там как у 12б становятся.
>>1207113
Я не тот, за кого ты меня принял, а может и тот, похуй.
Я и кумлю на мистрале. А там речь про русик шла?
Так с ним вообще кумить негде на таких размерах. Точнее, экспириенс там ну очень средний. Хоть и получше геммы. Но годится только подрочить в одной сессии.
>>1207115
Поговорить https://huggingface.co/inflatebot/MN-12B-Mag-Mell-R1
Поебаться + поговорить https://huggingface.co/MarinaraSpaghetti/NemoMix-Unleashed-12B
Забрызгать всё спермой в шизофреническом бреду https://huggingface.co/anthracite-org/magnum-v4-12b-gguf
Как у тебя так текст не ломается, волшебник ебаный? В таверне где-то есть волшебная галочка, которая фиксит расхуяренный текст после перевода?
Недавно выкатили модель. Потести, расскажешь треду
https://huggingface.co/LatitudeGames/Muse-12B-GGUF
Ну и стандартая мое
https://huggingface.co/unsloth/Qwen3-30B-A3B-GGUF
Может быть на раме будет хорошо работать. Потести Q3XL или Q4XL
а тоже самое что >>1207121 на русском - мистральки от алетеана из шапки
Кстати, Harbinger-24B-Q4_K_M.gguf - пушка-бомба, на русском в том числе.
Логов не будет, ибо тестил на жесткаче.
Но в кум вроде тоже неплохо.
Напомню что это от создателей злоебучего (в хорошем смысле) и ебущего Wayfarerа, модель которая стояла на ai-dungeon.
>ai-dungeon
Помню в этой соевой параше не мог даже тёлку на хуй орка насадить
> потому что таких смачных описаний не найдёшь нигде в подобных рамзерах
хуй знает что за описания тебе нужны, но я на коммандере вижу все, что видел на мистрале, только это еще и модель с мозгами
если тебе нужно описание мокрой писечки на 500 токенов - ну да, мистралю альтернатив нет. он любит срать бесполезными полотнами
в ту же топку однотипные ответы, которые не соответствуют персонажам, что делает каждого из них шлюшкой мэйк ми ёрс, гет ми ин олл зе вэйс посибл
Какой именно пресет? А то вдруг пропустил.
пользуюсь сноудропом и коммандером
Это одна из самых сложных/заморочных вещей в рп. В идеальном идеале в промте сразу после карточки должен идти здоровенный такой суммарайз хорошо работает если делать его на логические блоки, типа вот хронология, вот как менялось настроение и мысли чара, вот более подробно некоторые события, и это все за 6к токенов может улететь., далее подушка из постов, тогда работает хорошо. Это может не спасти от моментов, когда модель ловит затуп, не успевая за сменой или приоретизируя ерунду, здесь поможет смена модели или системного промта (можно насрать типичными, иногда помогает и потом убрать).
>>1207121
> командир
> слишком сухой
Чивоблять.мп4 с чатмл пресетом запускал?
> гораздо адекватней
И уже этого достаточно.
> на мистрале можешь абсолютно любую мерзость творить, какую захочешь
Да, но это будет воспринято вяло, а некоторые вещи оно вообще не поймет и выдаст какие-нибудь рофлы. Это не замолчавший труп на гемме, а ампутанты с полным набором конечностей, когда спрашиваешь почему так "да все норм, у меня на самом деле 3 руки было". У чара без руки по карточке. С детально описанным протезом с фичами. Описанным и в карточке и в постах.
А если любишь клодослоповые описания кума - это пожалуйста, мистраль терпит надругательства шизолор от васянов лучше прочих и способен такое выдавать, не осуждаю.
> сложных/заморочных вещей
То есть моя проблема с тем что моделька вместо нескольких абзацев как было, начинает генерить мне по 2-3 сообщения максимум - это проблема того что я калично суммаризирую и не делаю стену текста в после хайда? Не в семплерах или в том что мои 20к контекста забиваются быстро?
> это проблема
Хз, вполне вероятно, особенно если это происходит на всех моделях. 20к контекста немного, но, наверно, должно быть достаточно для подобного. Квантование контекста в 4 бита/фп8 может все убить, неверная работа rope/yarn и прочего еще хуже.
Тут применима обычная человеческая логика. Абстрагироваться, посмотреть описания, попытаться забыть то что ты там надумал, помнишь и т.д., у же оценить, насколько понятно описана текущая ситуация, насколько ясно ее возможное продолжение и т.д. Если наблюдаются непонятные переходы, что-то значимое берется изнеоткуда и исчезает вникуда - проблема явно в этом. В идеале еще облегчить модели понимания, но это уже дополнительно. Еще можно читерить, создав отдельный форк чата после суммарайза, и через ooc/команду попросить описать текущую ситуацию и позадавать вопросы на понимание
Если же к содержимому постов вопросов нет и проблема лишь в их длине - бахни доп инструкцию или затребуй в ooc написать длинно, описать окружение и т.д. Степсинкинг/ризонинг иногда может помочь, на обязательно постоянно, главное из состояния вывести.
>Если же к содержимому постов вопросов нет и проблема лишь в их длине
Да пусть просто жмёт на "Продолжить" до тех пор, пока его не устроит размер сообщения. Потом его реплика - и при коротком ответе модели повторить. Пару раз так сделать и модель раскачается.
Ну, это уже когда во всех веб-интерфейсах стали гайки подкручивать.
Разумеется, я уже всё сто раз перепроверил. Точно проебалось.
Как такое могло вообще могло произойти? И что мне сделать, чтобы это не повторилось?
>И что мне сделать, чтобы это не повторилось?
Обновляй страницу когда пересаживаешься на другое устройство. Что у тебя было в таверне то и отправилось в контекст
>Как такое могло вообще могло произойти?
Кривая таверна.
>И что мне сделать, чтобы это не повторилось?
Написать свой фронт с бекапами и свайпами.
Если проблема в условной руке, то здесь вопрос внимания к контексту. Типа слепой персонаж видит. Для этого нужен жирный контекст, как правило, или ризонинг. И можно сделать такое хоть на 8б.
Обновить страницу на том устройстве, от которого я ухожу, я правильно понял?
Просто раньше я вроде бы ничего такого не делал. И было норм.
Да и вообще странная хуйня. Чому оно всё сразу же в файл с чатом не сохраняет?
Каждая версия таверны хранит свой контекст.
Обычно они обновляются пока страница запущена, но если нет то будет как у тебя.
Когда ты перешел на старое устройство оно по какой то причине не обновило контекст, ты отправил старую версию и пошло поехало.
Тоесть пересаживаешься на новое устройство - обновляй на нем страницу таверны, она подгрузит актуальный контекст
Т.е., ты взял и повторил мой совет в качестве «поправки» моему совету?
Сорян, я не ожидал такого уровень гениальности. =D
>>1207231
Думаю, 30б мое интереснее дождаться.
Пададжи, я не совсем понимаю. Таверна одна, на ПК, а я просто подключаюсь через браузер. То есть всё должно быть гуд, ведь всё отправляется на ПК. Разве что в браузере что-то может храниться?
То есть я отправил последнее сообщение, прошла, скажем, минута, затем выключил ноут, сел за ПК, вбил вкладку таверны в браузере... А там половины чата нет.
>вбил вкладку таверны в браузере...
А там открылась старая кешированная версия страницы со старым разговором.
>А там половины чата нет.
На сколько помню бек таверны вторичен, главное что у тебя лежит в браузере. Оно потом синхронизируется с беком, а от него другим версиям таверны в браузере.
Если синхронизация не прошла, то страница отправит старое полотно контекста на бек и он будет считать что это актуальная версия и еще и обновит его на остальных устройствах, кек
Не прав. Все упирается в контекст. Чекай карточку и промпт.
Мб Star-Command-R и может быть кумерским (как и многие модели Драммера), но прям такого не встречал. Используй Star-Command-R-Lite или базовую модель, если уверен, что виноват не промпт.
Можешь сам попробовать, добавь это к запуску
--override-kv qwen3moe.expert_used_count=int:10
тут стоит 10 экспертов, на 2 больше чем обычно. Это дает результат -ответы чуть лучше но медленнее.
Поставь там 16 получишь этот самый квен экстрим с 2 количеством экспертов
>>1207150
Семплеры на QwQ подходят для Snowdrop?
Нормально. Я на 32к рпшу. Имхо дальше нет смысла увеличивать, потому что модели в обычных чатах будут проебываться
Должны подойти. Это мой основной пресет для Сноудропа, но, справедливости ради, я давно его не запускал.
>Поставь там 16 получишь этот самый квен экстрим с 2 количеством экспертов
Я пробовал и хард-версию и вручную ставил количество экспертов. По ощущениям плюс-минус то же самое. Вот если уменьшить их количество от стандартного, тогда да - получается чистый лоботомит, то есть эффект есть. Но увеличение особого эффекта не даёт имхо.
Исходя из твоих слов, у меня складывается впечатление, что даже если обновить страницу в браузере на ноуте, а потом на ПК, то может подтянутьсч кэшированная версия. То есть старая, которая на ПК, заменить ноутовскую. Если не повезёт.
Ну а хуле, откуда ему знать, какой чат новее, если там всё это четко не настроено.
> Как такое могло вообще могло произойти?
Инстанс перезаписал что-то из текущего кеша. Закрывай таверну в браузере на каждом девайсе при окончании работы и открывай с нуля/обновляй страницу при начале взаимодействия. Вообще, там есть защита от такого и таверна ругнется что локальный инстанс устарел, но, видимо, работает не всегда.
>>1207233
> то здесь вопрос внимания к контексту. Типа слепой персонаж видит.
Ага, именно оно.
Что под жирным контекстом подразумеваешь? Работа с объемом тут не нужна, может проявляться даже в первых сообщениях. А по реализации - хоть 10 плавающих окон и глобальных введи, всеравно будет ерунда.
Чтобы было хорошо - нужно правильно и точно работающее внимание. Чем меньше модель - тем его меньше, там будут компромиссы. Ризонинг действительно может помочь, но панацеей не является. Увеличение размера и более продвинутая тренировка - прежде всего. Может потом увидим что-то инновационное что поможет, но будет плавный эволюционный рост а не революция.
>>1207284
У тебя контекст поломался, скоро символы повторять начнешь.
> То есть старая, которая на ПК, заменить ноутовскую. Если не повезёт.
На сколько понимаю заменит только если ты на старой версии тыкнешь генерацию, тогда бек получит как бы актуальный контекст и будет считать его новым.
Если просто обновить старую страницу то новая страница таверны возьмет информацию из бека, и контекст гномы контекстокрады не украдут
Как в Силли таверн НАВЕРНЯКА отключить самморизацию? В настройках везде отключено, но некоторые карточки упорно делают самморизацию, я смотрел сами карточки там нет никаких намеков на самморизацию в промтах или где еще.
Я понимаю зачем это надо, но у меня то ли модель ебнулась то ли что, но в самморизацию текста льется явно сильно больше чем в само сообщение, которое оно самморизирует, да и в целом там какая то совсем уж лютая не относящаяся к делу ебанина(как на пикриле).
Ну да, внимание к контексту и хоть какие-то мозги, понятное дело.
Под жирнотой я подразумеваю не только его фактический вес, но и точность. Не помню названия всяких технологий, а также всё, что отвечает за это. Вроде heads и прочего.
По моим тестам, самый уебанский контекст был у квена (30б), а самый топовый — у геммы. Причём и там и там f16, но из-за этих нюансов, полагаю, в основном пиздос получается, потому что даже 12б гемма имеет нормальный контекст с технической точки зрения. Но если бы у мистраля был такой же.. то он бы тоже очень много врам съедал.
Это не summary, анонище... Пиздец у тебя там какой-то. Скорее всего, это трекер или какой-нибудь extention. Лучше заново Таверну поставь.
Чекай экстеншны, там что-то включено.
>>1207488
> Под жирнотой я подразумеваю не только его фактический вес, но и точность.
Тут скорее просто особенности реализации и побочные эффекты от этого. Старый коммандер жрал как не в себя, но чем-то уникальным не мог похвастаться, просто хорошая модель. Вторая гемма в свое время блистала, хотя потребляля обычный объем. Большой квен на контекст расходует очень мало для своего размера, но при этом в нем ориентируется. Это все к тому, что то что гемма много жрет на контекст - скорее минус реализации, а не какая-то панацея, что улучшает перфоманс и может быть реализована где угодно.
> Вроде heads и прочего
Головы это просто суть трансформерсов. А из технологий - реализация плавающего окна (увидев которое долбоебы начинали говорить про 4к контекста у второй геммы), реализация глобального атеншна, вариации и совместное применение. Но они не помогут если модель изначально слабая или ушатана корявой тренировкой.
> у квена (30б)
Это микромое, все нормально, чудо что работает.
> Но если бы у мистраля был такой же
Не обязательно, помимо копипасты структуры там нужна тренировка, которая сейчас превратилась в полифазный перфоманс, а не просто равномерную прожарку. При том же самом эффекта может и не оказаться, зато толерантность к "тренировкам" может резко упасть.
Отключи галочку "дисплей мемориес" в расширении квинк мемори.
Тут кстати вопрос про qat, это вобще имеет смысл?
Я когда то качал на пробу 1b qat гемму в 4 кванте и сравнивал с обычным 4 квантом, так качество было заметно хуже.
Я конечно понимаю что сравнивал 2 мелочи, и надо было взять что то по умнее, но как уж вышло.
Что там по qat у большой геммы?
Кат норм, но только если тебе не нужна версия с аблитерацией.
Честно говоря, не советую, потому что без аблитерации там всё грустно. Можно разве что одинокого волка отыгрывать, так как тебя там буквально все осуждать будут из-за позитивного биаса. А вот в версии с аблитерацией куда проще.
Да, оригинал тоже можно хорошим, но промптинг более заебистый требуется, чтобы при наматывании кишок были красивые описания и минимум осуждения. А вот про кум можно вообще забыть.
Ну и третий квант откровенно слабее.
У меня когда то аблитерация шизила, сейчас вот выбирал какие кванты перекачать. Скачаю свежие аблитерацию и инструкт гемму, потыкаю
Кат судя по тому что я нашел все таки хуже при равном кванте и идет нахуй
Какая-то имба, очко чара было разорвано за 2 сообщения.
> очко чара было разорвано за 2 сообщения.
Это хорошо? Какая модель?
Круто. Рад, что понравился пресет.
Больше любви коммандеру!
Бля, оба обосрались, но ты продолжаешь. =)
Чел, тебе ЧСВ жить мешает, успокойся.
>>1207531
QAT смысл имеет, но чуда тоже не жди.
UD кванты на инглиш заточены, не забывай.
Q3 мало, бери уж лучше QAT.
Q6 будет лучше обоих вариантов.
Не желая растягивать оффтоп на весь тред и уподобляться антитеслошизу, которые в каждую жопу пытается залезть, давай разберем пошагово:
>>1206303 →
Тут я даю список моделей. С чего стоит начать, и на что стоит перейти, если не понравится начало.
>>1206309 →
Тут ты пишешь, мол первый список хуйня.
>>1206302 →
Тут ты предлагаешь список моделей, который равен «второму» моему списку.
>>1206970
Тут ты цитируешь свое первое сообщение, отвечая «какие модели лучше, чем предложенные мной».
Очевидно, что я невнимательно прочел и пропустил слово «длинный список», а ты на вопрос «что лучше геммы и квена» ответил «гемма и квен».
По факту, обосрались оба подряд в двух сообщениях.
Я приношу свои извинения, что не увидел слово «длинный».
Не думаю, что тебе хватит сил признать свою ошибку (вместо ответа «лучше геммы и квена — гемма и квен!» стоило ответить «да второй список и лучше, с него начинать и надо!», чистая логика), так что просто пожелаю здоровья тебе. =)
Все, можешь дальше иронизировать за контекст (с которым у тебя проблемы не меньше чем у меня, я лично таблеточки выпил и тебе рекомендую!=).
Ну и доброй ночи, или там доброго утра, по ситуации. =)
Ну и ПыСы, я все же считаю, что, если человеку нужно русское рп и сторителлинг, то начать стоит с немомиксов. Пусть они тупее, но лучше могут в русское рп.
Если же человеку не обязательно настолько задроченное, и важнее именно интеллект модели — то, он не тупой, сам выберет нужную модель, ему дважды посоветовали одно и то же, считай. =)
Во, даже выделил, чтобы было понятно, почему я Алетейана скинул первым списком.
Все равно, автору вопроса виднее, че ему там нужно. Лучше сказать, какие модели есть, а не ограничивать только последними. Мало ли, он найдет свою мечту именно в старой и глупенькой модельке, а не новых титанах бенчмарков.
> Тут ты пишешь, мол первый список хуйня.
Читаем что там написано
> перечисленные в длинном списке модельки - посредственный компиум
Смотрим в пост >>1206303 → и видим там список говна
> Saiga-Unleashed
> Neverending Story
> Instrumentality
> One-To-Rule-Them-All-MN-12B
> Darkness-Reign-MN-12B
отборный поздалупный творог. Что тебе непонятно, даун?
> ты предлагаешь список моделей, который равен «второму» моему списку
Нет, там буквально предлагается начать с геммы12б в качестве тестового варианта, а потом перейти на ряд актуальных моделей с хорошим перфомансом. А потом уже появился "твой второй список", где из всего перечня совпадает только гемма 27 и еще залупу 3б тащишь. Это ты в нем что-то дублируешь, порядок постов смотри. Чсх употребление
> «второму» моему списку
означает что до тебя наконец дошло что происходит, но вместо того чтобы тихо спокнуться, начал эту хуету плодить.
> Очевидно, что я невнимательно прочел и пропустил слово «длинный список»
Да, надо было извиниться и не отсвечивать, а не в очередной раз демонстрировать свою шизу.
> а ты на вопрос «что лучше геммы и квена» ответил «гемма и квен»
Сколько бутиратов нужно употребить чтобы такое придумать?
Ты же реально больной шизик с серьезными нарушениями умственной деятельности. Такому говно не то что советовать, его изолировать от общества нужно. Главный отброс треда, хорошо что себя всегда обозначает.
Сложно объяснить, он просто ебет. Мем уровня лламы 8б это скорее немотрон.
Просто хорошая модель в удобном размере, которая в базе умеет в рп/сторитейл, не только не содержит цензуры но еще и хорошо умеет кум описывать, обладает достаточной гибкостью в стилистике, хорошо работает на большом контексте. Еще это одна из первых моделей с фокусом на мультиязычность и с приличным русским, сейчас офк уже не так актуально.
> и какая версия
35/32б. Для 24 гигов и ниже - которая 0824, на самом деле не всем она понравилась и местами ощущается хуже чем старенькая v01. Но у той огромный жор врам на контекст из-за чего сложности с запуском. Из более свежих от той же компании - aya-expance, в целом похожа. Еще есть command-a и он вполне себе ахуенен, но 100б и нужно прям пинать промтом чтобы расшевелился, по дефолту вялый.
Кстати, возможно.
Я немотрон пробовал на старте, он вот вообще не впечатлил тогда.
Его тоже нахваливают, но тут я не уверен совсем. Там и оригинал был сильно так себе.
Так, первый коммандер, айа и экспанс это и я знаю.
Интересно, какой именно коммандер нахваливают в треде, какую версию. Ссыль на обниморду, если можно.
А то взяли моду обновлять раз в четыре месяца, досыпая лоботомии с цензурой. Хер угадаешь, что лучше.
Вот в первой Айе цензура напрочь отсутствовала.
Да старье на самом деле, он давно не обновлялся https://huggingface.co/CohereLabs/c4ai-command-r-v01 (самый первый), https://huggingface.co/CohereLabs/c4ai-command-r-08-2024 (самый последний). Кванты по линкам справа найдешь или поиском. Он не под все заходит и не супер умный на самом деле, но местами могет. Хз почему внезапно про него решили вспомнить, но в целом моделька достойная и юзать ее даже сегодня уместно.
Есть еще плюс на 100б, на замену которому пришел command-a, больше все а не, там еще какой-то 7б выходил. Но это мелочь врядли справится с рп, сейчас даже самые gpu-poor с 7-8б на 12б пересели и довольно урчат.
Нет, не подходят.
Это не мой пресет. Значения отличаются. Также у тебя включены top a, freq pen (штраф за присутствие), которые я никогда не использую, и которые не содержатся в файле пресета.
Подозреваю, что напутано всё и в шаблонах, и в систем промпте.
Каким образом ты не справился с импортом одного файла? зачем крутил все подряд?
>чем коммандер так хорош
Это просто хорошая модель, про которую внезапно вспомнили спустя два года. И несмотря на возраст, она до сих пор неплохо конкурирует, даже из коробки. Подсирает только жор контекста на старой версии, а на новой пространственное мышление, но это не точно.
>мем уровня лламы-3 8б, которая нравилась двум чувакам
Не знаю, в чем ты унюхал прикол с ламой-8б. В свое время это была единственная модель, которая умещалась в бытовую карточку с крохами видеопамяти. Да, она была непростительно тупой временами, но тогда еще не было никаких альтернатив. Вторая лама жрала больше, мистраль была тупой, мелочи от кафиров тоже были тупыми. А на тройку были файнтюны разной степени убитости, но каждый как-то находил что-то себе по вкусу. В общем-то, тройка была тем же, чем является немо сейчас - моделью для рядового тредовичка, которому просто нужно подрочить на текстовые буковки без особых запросов.
>>1207786
Кумом.
Я люблю ерп совращая мамочек, выстраивая тонкие манипулятивные диалоги, так коммандер меня на 3 сообщении послал нахуй и раздвинул ноги, раскрывая дрипающую пизду ту май хангри гейз.
С какой моделью ты его сейчас сравниваешь? Про какого Коммандера речь?
Модели по-разному реагируют на промпт. Коммандер к нему очень чувствителен. Если в системном промпте или карточке персонажа соответствующие вещи указаны, и особенно если их много, то ничего в этом удивительного нет.
Он может в умную игру. Просто подход нужен подходящий.
Говорю это как человек, который сейчас делает карточки и тестит их именно на Коммандере. На оригинальном, не Star-Command.
>люблю ерп совращая мамочек, выстраивая тонкие манипулятивные диалоги
>коммандер меня на 3 сообщении послал нахуй и раздвинул ноги
Тут кто-то подобную дрисню даже про гемму писал, так что этим ты никому ничего не докажешь. Всё зависит от того, чем ты заполняешь контекст. Хорни-гунер-кумер-карточка разумеется будет всегда скатываться в поебушки, даже если ты будешь "тонко и манипулятивно" намекать ей на что-то. Хочешь развивать отношения плавно - вырезай из простыни персонажа всё, что касается интима так или иначе. Из промта разумеется тоже. Этот подход даже на мистралях работает.
Начни с того что пропишешь карточку и добавишь в нее что-то кроме MAMOCHKA LOVE BIG COCK {{USER}} MAMOCHKA DO ANYTHING TO {{USER}} MAMOCHKA WANT TO BE SLAVE {{USER]]. Какие у тебя запросы в контексте, такие ответы. У меня на ерп карточках персонажей надо уламывать на что-то, потому что у них прописаны их обязанности и потребности помимо GENTLY STROKE {{USER}} COCK AND MURMUR IN HIS EAR.
>>1207797
>>1207792
Хз как по мне карточка сбалансирована, в ней есть и хорни и стрикт мораль персоналити, приверженность к богу, четко описано что сломать её должно быть не просто.
Справляется только немотрон 49б извините
>Справляется только немотрон 49б
Из того что я щас юзаю, конечно.
> Справляется только немотрон 49б
Понятно. Можно игнорить.
Справляется немотрон только потому, что боится кум контента. Эта модель слишком ассистент, пытается следовать сейфти гайдлайнс не прерывая ролеплей. Рефузы ты не словишь, но действовать будет очень неохотно в нсфв контенте (кроме может драк)
Цензура модели тебе показалась умом. Вырежи ее - и получишь тот же кум. Три человека все поняли и объяснили тебе в чем дело, базовички треда
>Цензура модели тебе показалась умом
Странное дело.
Если вырезать из карточки всю мораль и убеждения, оставив только кум, внезапно немотрон не боится кум контента.
Совпадение? Куда цензура делась?
Нет не совпадение. Так работает промптинг в ллмках. Т.к. все дефы карточки теперь состоят только из нсфв деталей, в промпте нет ничего кроме них => модели больше ничего не остаётся, кроме как продолжить твое кум полотно
Если в промпте появляется что-то, за что можно зацепиться, не уйдя в кум - немотрон начнет это делать. Будет из чего выбирать - продолжать кум полотно или сфв детали. Немотрон выберет второе. Это форма софт рефузала
Поток жира убавь. В жизни не поверю, что чел который гоняет 50B модельку не понимает базовых принципов работы языковых нейронок. Либо ты пиздец какой особенный, либо намеренно под долбаеба косишь.
> Либо ты пиздец какой особенный
Он уже тредов десять пишет про немотрон и останавливаться не намерен...
Особенный
А ты про что пишешь.
Давай альтернативу на 50б параметров.
>Давай альтернативу на 50б параметров.
Какой смысл тебе давать альтернативы, учитывая твои дурные запросы? Если ты на полном серьезе затираешь, что у тебя все модели кроме немотрона отдаются после трех сообщений, то тебе с твоими кривыми руками че не посоветуй - ты всё равно жопу будешь через спину чесать и утверждать, что только так тебе нравится.
Чтобы юзер т.е я просто наблюдал за этим цирком и ко мне не обращались
Ну т.е я буквально хочу симс с полной автономией, миксом разных фендемов типа класс из геройской академии и гитлер
В целом - мистраль во всей своей красе. И абсолютно без тормозов.
Ранее 24B мистральки были одно разочарование, но этот тюн прям норм.
Я такого никогда не видел, наверное даже на 123б магнуме такого нет
Вроде как даже для 16гб врамцелов доступно ведь он теперь не 35б а 32б, 3 квант влезет
>>1207866
>запретите мне интернет
локалки на то и локалки что без интернета работают, так что не поможет =))
Что там, какой именно коммандер, какой именно пресет (из тех двух что выше кидали) или другой?
Сам коммандер так и не завёл нормально, ну он работает, не ломается, но вообще не впечатлил, просто хуже других обсуждаемых здесь моделей весовой категории до 32B включительно.
Когда чар-яндерка выбила дверь с криком ХЕЕЕРE ИЗ ДЖОООННИ и отебала в жопу, я понял что это любовь. Так что подтверждаю.
Стар командер.
С первым пресетом анона.
Какой квант? Вижу у тебя даже на 24б 5т.с
>Стар командер.
>С первым пресетом анона.
хм, ну надо попробовать ещё раз
>Какой квант?
4тый, хотя думаю надо скачать шестой и пошаманить с выгрузкой тензоров. Хотя и четвёртый вроде прям норм писал, особых проёбов не заметил. Формат ChatML, мин-п 0.05, топ-к 100, дин. темпа 0.5-1.5
Столько вопросов.
Вброс?
Если не вброс, то...
Неужели Магнум 123б настолько плох?
Или это коммандер настолько хорош, что выигрывает у 123б модели? (как бы я его ни любил, верится с трудом)
Или у тебя траблы с промптами, и потому помог тот что прислали?
Походу все кто могли скачали и обкумились
Хоть один поблагодарил? Где там тот анон что ему карточки взамен обещал. Подымайте вилы и факела народ, на поиски!
Это qat, он как q6_0KM
В целом как переводчик с китайского и наоборот работает идеально, больше мне и не нужно. Причём локализует адаптирует даже песни, встраивая логичные рифмы при локализации.
>Где там тот анон что ему карточки взамен обещал.
вроде и кидал же, sorts.zip, или это другой был
и благодарили
А, понял.
На старте я его толком не распробовал, а потом вышли всякие магнумы, люминумы на квене 72 и так далее, я уже забил.
Но спс, учту, что людям еще заходит.
>>1207786
Ну ты тот мемный чел и есть, единственный, кому зашло. =)
В то время уже были немомиксы, как бы. Дальше обсуждать что-то бессмысленно.
>>1207811
А я поверю. Чтобы купить две видяхи с авито, не обязательно разбираться в LLM. А уж запуск вообще стандартный.
Может человек в натуре, не имея опыта, просто словил вывод, который ему сейчас кажется топовым, и он это воспринимает как магию, не понимая, как оно там работает, и что есть лучше.
>>1207812
пикрил
Но оффенс, немотрон все же лучше лламы-3 8б. =D
Как на них вообще инференс?
> как человек, который сейчас делает карточки и тестит их именно на Коммандере
Профиль или сами карточки не скинешь? Вдруг там что интересное или культурное есть.
>>1207811
Оно влезает в 24 гига в мелком кванте. Здесь есть люди, которые хвастались как катают 123б, но при этом ничего не понимавшие.
>>1207837
Прописывать карточку с ними и подстраивать под это системный промт и форматирование, или групповой чат.
только групповой чат в таверне, 2 карточки персонажей + нарратор-сторителлер
В английском наверняка не так печально конечно, но в русском квк / гемма / харбрингер куда получше будут.
Сралкеры, приготовиться к выбросу!
>Сралкеры, приготовиться к выбросу!
Не та картинка последней прикрепилась.
Куда остальное делось, или там вообще другой коммандер?
В общем затестил я для рабочей SRE задачи Qwen 3 235b a22b.
Тест показал, что она сосёт жопу. Были замечены следущие грехи:
1. кладет хуй на то, что ты ей говоришь, к примеру говоришь, что такой-то команды на сервере нет - она на похуй пишел через 2к токенов пример с ней.
2. не понимает, что от неё хотят. Говоришь ей - сделай акцент на этом странном поведении - она пишет нерелевантную хуйню, вообще в другое место копает.
3. в траблшутинге тыкается в тупиковые ветви, при том, что из приведенной информации модно было понять, что ветви тупиковые просто рассуждая логически. Пример - говоришь ей что А не работает. Человек мог бы логически понять что если не работает А, то Б - точно не будет работать. Нейронка не делает никакого вывоа и просит проверить Б. Это очень часто повторяется и поэтмоу тыкается блядь как слепой на оргии - всё наощупь.
в общем я ожидал лучшего результата...
Простые скриптики я и с помощью сеток помельче могу накатать.
В общем нихуя пока не меняется, аналоговнет не случился.
Справедливости ради, всего 3 ошибки в склонениях при нормальной речи - такое сайге и 12б трешу и не снилось.
Скорее всего у тебя семплеры накручены.
>>1207994
Обзмеился, все в бункер!
>>1208008
Есть примеры? И как запускаешь.
> если не работает А, то Б - точно не будет работать
Подобное оно должно еще в синкинге обозначить.
А мне понравился квен 235, тестил его правда не локально, а на опен роутере. По мне так лучше чем дипсик в3. Жаль только контекстное окно очень маленькое
локально проверял. это был Q4 xs.
Настройки ползунков взял отсюда https://docs.unsloth.ai/basics/qwen3-how-to-run-and-fine-tune
гонял с thinking режиме.
>>1208045
>Есть примеры?
ну например говоришь ей в описании, что в топологии каждая nvidia карта висит на PCIe бридже и на этом же бридже имеет у себя в соседях connect-x7. Настоящий человек сделал бы вывод, что тут точно не может быть проблемв в NUMA топологии потому что это два устройства максимально близкие по адресации друг к другу. Но сеть выдает, что может быть видеокарта и mellanox сетевуха находятся в разных NUMA нода и просит это проверить.
>>1208048
думаю просто в моем случае он не шарит в теме.
Блять, вот анальников они на ура заменяют, а SRE жопу сосёт на всех сетках.
Грок чтоли попробовать...
Учитывая стабильность результатов на разных моделях - вероятно здесь проблема не в ллм. Для начала проверь в других задачах не поломанное ли оно, а там уже правильные формулировки.
Гемма у меня начала путаться при квантовании, сейчас хочу попробовать с мистралем, но душно ждать эту генерацию и сравнивать, особенно по сто раз, особенно с учётом того, что мистраль проёбывается даже без квантования постоянно и может уйти много времени, прежде чем я найду границу, где проблема в квантовании кэша, а где мистраль шизит как обычно. С геммой такие проблемы достаточно легко распознаются, так как она сама по себе хороша и сильна.
Контекст 32к, если что.
Я рпшу на базовом мистрале 3.1 с 20к контекста Q8 и все норм. Квант Q4XL, 16гб врама. И у меня нет ни ошизения, ни прочей хуйни. И я не вижу большой разницы с Gemma3 IQ4S по качеству. Так что хз, почему мистральчик хейтят
Вот прочекайте сами:
Кванты https://huggingface.co/unsloth/Mistral-Small-3.1-24B-Instruct-2503-GGUF
Семплеры https://huggingface.co/sleepdeprived3/Mistral-V7-Tekken-T4
Температура 0.75
А какие же он осуждающие речи может писать. На пике я снёс шапку-полотно с полноценными осуждениями, поэтому не в состоянии показать, ибо сначала не подумал про то, чтобы скинуть на двачи.
Постоянно вот эти вайбы ПОСТУПОК ТЯЖЁЛЫМ ГРУЗОМ ЛОЖИТСЯ НА ВАШИ ПЛЕЧИ и полотно на 200 токенов, НАСКОЛЬКО СИЛЬНО ЭТО УДАРИЛО ПО ЮЗЕРУ, ОБОЖЕМОЙ, хотя юзер явно человек не высоких моральных качеств как по персоне, так и по поведению.
Это при том, что у меня в систем промпте чётко указано, что так делать нельзя. Ему похуй. Даже ванильный слушается больше и его можно обуздать, а уж тем более оригинальную гемму. С аблитерацией так вообще 0 процентов осуждения, 100% понимания.
Заебало. Я и так пишу плотные посты при РП, а за ллм переписывать постоянно тоже не хочется.
Какой там мистраль, кроме оригинального и аблитерации не занимается такой хуйнёй?
>Скорее всего у тебя семплеры накручены.
Если только у анона который поделился пресетом накручены.
Есть пресет лучше?
^
надо было в один пост написать
Алсо, если не секрет, чем затриггерил, проверю, у себя не натыкался.
>спекулятив декодинг
Разве для этого не нужна отдельная драфт-модель которая тоже кушает врам? Или это про другое?
https://huggingface.co/TheDrummer/Valkyrie-49B-v1
Да, так оно и есть. Но я врамчад, наоборот карты поотключал многие, только духота от них. Попробовал вот одну приспособить под нужное. Кстати, там еще параметры драфта есть (min n, max n, еще какие то). Есть какой-то гайд по ним? Может еще удастся выжать что-то.
Да вон один выше уже испортировал пресет - сам top A и что-то левое повылезало.
>>1208084
Какую модель мелкой используешь и какой именно большой мистраль, неужели ванилу?
>>1208093
Только эти параметры и выбор моделей. Все зависит от того, насколько похожи аутпуты мелочи и большой. В задачах типа кодинга или всякого нлп с наличием повторения чего-то можно выкручивать побольше, ибо там многое завязано на длинные последовательности. В рп и подобном наоборот поменьше, ибо выдача уже может отличаться.
Че, неужто никому не интересно? 48 Гб врамки за стоимость 5070?
Во первых тред сдох, потому что двач сдох
Во вторых, это интел, а значит придется ебаться, мало кому это надо
>В то время уже были немомиксы, как бы. Дальше обсуждать что-то бессмысленно.
Ебало попроще сделай, шизик. Тройка вышла в апреле 24, немо вышла в июле 24. Какие нахуй у тебя были немомиксы еще за три месяца до того, как базовая модель релизнулась?
Как правило, триггер возникает в RPG, где может быть много действующих лиц.
У меня карточка с миром в сеттинге бесконечной резни без победителей: мир, состоящий целиком из зданий, небоскрёбов, где нельзя спуститься на землю. Все здания соединены между собой, в них спавнятся рандомные люди из реального мира. угадай, откуда идею спиздил Еда тоже спавнится, как и оружие, но на всех не хватает. Соответственно, чтобы выжить, нужно убивать, грабить и всё в таком духе, то есть в рамках сеттинга обезумевшие насильники, каннибалы и прочие личности присутствуют.
Если ты пустишь на мясо персонажей, которые не готовы тебе вонзить нож в горло прям сразу же, то будет слабое осуждение. Если убьёшь просто за жратву, то сильное.
И что забавно, на какое-нибудь ЦП модель может реагировать без проблем в рандомной карточке с чуба.
И ещё крайне раздражает, что она не слушается инструкций нормально или выборочно. Наверное, только и гемма в таких размерах это может. А для нормального РП в больших масштабах ведь нужны довольно солидные блоки инструкций, чтобы модель нормально понимала и учитывала оружие, состояние юзера, персонажа, скилы, как описывать сцену.
>Какую модель мелкой используешь
Как советовали на реддите, https://huggingface.co/mistralai/Mistral-7B-Instruct-v0.3 в 4-м кванте, чтобы с контекстом в 3070 поместилась. Пробовал 8-й квант на 3060 - что-то совсем слабенькое ускорение было, в пределах погрешности. На жоре, если что, надо дефайн подправить перед сборкой, иначе будет ругаться, что вокабуляры не совместимы (а там только в контрол токенах отличия, как сказали на реддите, на это можно болт забить)
>какой именно большой мистраль, неужели ванилу?
Ага. Это я писал в тред, что файнтюны нинужны, ванилла справляется в моих сценариях намного умнее чем всякие магнумы.
Я какой-то бенч нашел для автоматического подбора параметров, надо будет попробовать.
Как же я рад, что зачем-то заранее набил до предела память в системе. Как же это сейчас сыграло! Продолжаю поражаться, какой же он классный во всех сферах: от работы и кодинга до рп с ерп.
Да-да, на пикче ру-слоп-на-слопе, я знаю, можно не трудиться. Но смогло царапнуть, хотя я тыкал почти всё, что было со времён lumi_maid70b и подобных древностей
>>1207991
Бля а ты точно пробовал с теми настройками что анон кидал? Просто этой какой-то треш на уровне 8б. Или это так игра на русском мозги модельке убивает?
Рп или что-то другое? Если оно то какие сценарии там, хотябы примерно, и как раскручиваешь его чтобы хорошо писал?
>>1208224
Словил emotional damage от пикчи, предупреждай в следующий раз. Карточка?
Как отучить модели от рандомного выделения слов и фраз? Особенно гемма этим заёбывает.
> emotional damage
Ты тоже любишь истории Кея или Окады? Человек культуры!
> Карточка
Жанрово: банальный флафф с некоторым триггернутым птсд. Самопал на давнюю ОС, + много личных деталей получилось. Скорее всего из-за этого и долгой вовлечённости и бахнуло так. А так никаких обчр, мейд, захватов орбитальных станций и планетарных геноцидов.
Если прямо сильно надо - я постараюсь почистить, чтобы не сильно кринжевать, но там просто кринж на кринже через кринж.
Но даже если с такой карточкой можно так распереживаться, то что уж говорить про нормальные, на такой модели!
>>1208259
Да хз. А чем мешает? Попробуй написать в сиспромте, что не использовать маркдаун. В том же клодо-промте утёкшем как раз есть наоборот отдельно указание, что использовать маркдаун, например.
>А чем мешает?
Тратит мои драгоценные токены, плюс первое слово в выделении не начинается с пробела, то есть более редкое для модели, то есть модель будет деградировать от кучи таких слов.
>Рп или что-то другое? Если оно то какие сценарии там, хотябы примерно, и как раскручиваешь его чтобы хорошо писал?
Исключительно кумерские. Вообще я всегда (и на файнтюнах) использую околоджейлбрековый промпт с котятами и деньгами за креативность, но не упоминаю про цензуру вообще (разве что unbiased пишу). Для ваниллы я добавил две строки:
- ALWAYS keep your descriptions very graphic and explicit.
- ALWAYS use explicit language ("pussy", "cock", "blowjob", etc)
И их же добавляю в конец Author's Notes, но это может вызвать прыгание на член, так что если я все же не хочу сразу в кум - то не пишу их там. Все остальное - все как на файнтюнах. Например, для бдсм - скрупулезное регулирования power dynamic в author's notes под текущее настроение. За неделю активного юзания ваниллы всего пару раз словил вялое "анон, ну давай не будем так", и то в OOC блоке при перевоплощении.
Я не играю жестокие сценарии с каким-то животным насилием, кучей крови или что там еще мамкины школолосадисты любят. Тот же without consent я люблю больше с эмоциональной стороны без жести в физической части. Поэтому я не могу гарантировать, что конкретно у тебя ванилка не пойдет на попятную. Но лично меня удивило, что в моих сценариях не было отказов. Какой тогда смысл в лоботомированных файнтюнах? (А они лоботомированные - сразу подметил, когда пересел на ванилку).
Но, кстати, трусы у absolutely naked тян она все равно сняла, вот у меня жопа сгорела от этого. Плюнул, пошел в начале, где было описание сцены, рядом с absolutely naked явно написал в скобках without panties. Она мне в свайпе начала затирать про non-existent panties... Ну йобана. Если уж оригинальная модель фейлит, то смысл вообще в файнтюнах, чтобы там трусы по 3 раза снимались?
Дополню, что иногда еще писал, что keep your writing strictly non-preaching. Но у меня и на файнтюнах добрые персонажи всегда хотели выслушать без осуждения и говорили прописные истины, если им про что-то нехорошее начинаешь говорить. Тут надо как-то еще придумать, что такое написать, чтобы они не писали этот слоп про поделиться проблемой без осуждения. Если вдруг у тебя что-то подобное для промта есть, то был бы рад украсть к себе.
> тоже любишь истории
Всякие разные, да, всеяден, так сказать.
> много личных деталей получилось
Блин, тогда нужно дополнительно полотно предыстории и чего-то такого давать, чтобы уже начинать подготовленным. Если соберешься делать - не поленись тогда небольшое введение накинуть (можно самой сеткой), для полного комплекста, не в карточку/первый пост, а просто дополнительно.
> А так никаких обчр, мейд, захватов орбитальных станций и планетарных геноцидов.
Обчр не фанат, но как же можно не нарядить милого чара в костюм мейды и не умиляться со смущения? Не захватывать орбитальные станции чтобы устроить планетарный геноцид в отместку за прошлое? Или наоборот, не превозмогать в пост-апокалипсисе, прячась от враждебных мародеров и проникая в полуразрушенные катакомбы, чтобы спасти остатки мира от полного уничтожения? Ну, как так то?
Ты, получается, 72-80-...+ гиговый раз активно пользуешься? Какой квант запускаешь, шаманил ли системный промт, пользуешься ли ризонингом, встречал ли проблемы с работой модели?
>>1208360
Спасибо, мил человек.
Мне ванильный показался черезчур сухим, скучным и безинициативным, даже в обычном рп без кума. А большая часть тюнов убивают мозги, из-за чего проявляются фейлы и затупы. Только магнум4 достаточно умный, достойно держится помня как свежее, так и старое, но там свои проблемы. Чсх, дважды трусы не снимал, лол. Даже помнил что пару десятков постов чар их не надел, устроив эпик обыгрыванием этого когда сам уже про это успел забыть.
Пожалуй, надо перепробовать ванилу на неделе с промтами от геммы и других, если что-то получится то отпишу.
>надо перепробовать ванилу на неделе с промтами от геммы и других
А можешь кинуть, если у тебя вдруг завалялись? Я бы тоже попробовал. Уж сколько срачей насчет цензуры геммы было, для нее наверняка "намайнили" в процессе обсуждения такие суперубойные промпты, которые мистраль должны заваливать на раз-два.
Файнтьюны, которыми фанат лламы тут делился, делались на базе 3.1 версии, а она вышла в июле. magnum, кстати, вышел тогда же.
https://huggingface.co/meta-llama/Llama-3.1-8B
https://huggingface.co/intervitens/mini-magnum-12b-v1.1
Файнтюн Немотрона 49б от Драммера. Модель уже успел немного протестировать, пока только в приключениях-сражениях. Первые впечатления такие: гораздо лучше базовой версии хотя бы тем, что не нужно промпт инжинирингом заниматься, чтобы избавиться от таблиц, разметок, списков и различных markup символов. Если и поглупела модель, то не слишком. Форматирование держит хорошо в соответствии с промптом и, кажется, остатки bias'a были успешно уничтожены тюном. Это еще предстоит выяснить в самых разных сценариях, но ситуация гораздо лучше, чем с базовой версией.
exl3 3bpw h6 (не h8!) поместится в 24гб врама с 32к Q8 контекста.
Пробный пресет: https://pixeldrain.com/l/xGFnT1PY
Nemotron-49B-RP (Tuned)
Отличается от обычного Nemotron-49B-RP тем, что в нем нет борьбы с ассистентом и разметкой.
Возможно, это пополнение коллекции отличных моделей для 24гб врамовичков. Призываю их тоже попробовать и поделиться впечатлениями.
Ээээ, че, уже? Его же только пару дней назад анонсировали, сколько оно тренилось?
> Профиль или сами карточки не скинешь? Вдруг там что интересное или культурное есть.
Карточки пришлю, когда они мне самому начнут нравиться. Добавлю в тот же pixeldrain, где пресеты.
>>1207973
> Ну, в русском стар-коммандер с пресетом Command-R-08-2024-RP (DRY & RepPen) регулярно проёбывается
На русском языке я его не тестировал. На английском одна проблема - spatial awareness или ощущение сцены. Неправильные местоположения/позы, бич большинства моделей. Для меня достоинства перевешивают.
Температуру снизить имеет смысл иногда, но выше 0.9 точно не нужно задирать.
>>1207998
> Кстати, чот я не понял, если Комманд-Р 35Б, то почему Стар-Комманд-Р 32Б?
Command-r 35b - первая версия, 32b - новая, 08 2024.
>>1208073
> насколько сильно страдает чатик с большой историей на Q8?
Только Q8 контекст и использую на всех моделях. Трудно сказать, проблемы возникают из-за него или проблемы с моделью/квантом. Не могу сказать, что заметил большую разницу с FP16.
>На жоре, если что, надо дефайн подправить перед сборкой, иначе будет ругаться, что вокабуляры не совместимы
Что конкретно править? А то у меня собранный llamacpp-server при подключении к Таверне ругается на Dry-сэмплер, я уж и забил, а оказывается это известный баг.
> Где там тот анон что ему карточки взамен обещал. Подымайте вилы и факела народ, на поиски!
И правда. Анон, отзовись. Можно без карточек. Поделись хоть, Коммандер понравился или не зашел?
Дополнение: репетишен присутствует. Нужно бороться сэмплерами, позже заменю файл. Пока rep pen 1.04, окно - 1/4 контекста.
Лол че он там нашаманил, у меня маг достал палочку и стал хуярить заклинания из гарри поттера
А отбой, это коммандер поднасрал я даже не заметил ибо он не стал эту поттерскую хуйню развивать
В огороде бузина, в городе дядька... Драфт модели тут не при чем. Ты забыл в настройках подключения таверны выбрать llama.cpp, если раньше на кобольде каком-нибудь сидел. Сам на такое попадался, а в интернете об этом ни слова. Помнится, пришлось лезть в код таверны, чтобы понять, что я еблан, лол.
Но на всякий случай про драфт модели - править тут https://github.com/ggml-org/llama.cpp/blob/1dfbf2cf3a9f15193dd893396d07762bbd2c4785/common/speculative.cpp#L11 Для мистраля 123 и 7б можно 771 выставить.
Ну тогда он действительно шизик, потому что я прекрасно помню релиз 3.1 и каким говнищем он оказался, усираясь даже на контрасте с оригинальной тройкой. В любом случае, я изначально говорил о первой итерации тройки, она была неплоха, но конкуренцию даже с самым отбитым тюном немо после её выхода не выдерживала.
>>1208512
>Посоветуйте корпус куда влезет 2 3090 или 5090.
Нихуевый у тебя разброс. Так то за цену флагманского блеквела можно четыре 3090 взять, а то и больше. В любом случае, тебе надо сначала смотреть на расположение писи-портов материнки, а уже потом на корпус. Да и хули там смотреть - посчитай количество решеток расширения сзади и прикинь писю к носу.
>расположение писи-портов материнки
Как будто вторую карту кто-то подключает не через райзер.
Не ебу как он собирается подключать вторую карту, в посте об этом не слова. Если через райзер, то можно вообще хуй забить и взять любой корпус с горизонтальным креплением под вторую карту.
Майнерские кейсы, phanteks enthoo server edition, lian li dynamic evo xl, thermaltake cte 700/750, corsair 9000d
Если просто пара 3090 - подойдет любой, где есть место в передней части, например под снимаемую корзину хардов или типа того. Туда крепя на заднюю стенку райзером выносится карточка.
>>1208531
> Как будто вторую карту кто-то подключает не через райзер.
С 4090/5090 может быть вариант что и первую придется райзером выводить, оче большой охлад может перекрывать следующий слот. А так прав.
>>1208532
> любой корпус с горизонтальным креплением под вторую карту
Как себе это представляешь?
>Как себе это представляешь?
Ну боковым, лежачим, или как оно там называется. Не цепляйся к словам, ебаный в рот.
Не к словам, не понимаю о чем ты. Найди картинку и скинь.
>Если просто пара 3090 - подойдет любой, где есть место в передней части, например под снимаемую корзину хардов или типа того.
Не, ну просто для пары 3,5-слотовых карт есть много материнок и корпусов. Если брать с нуля, то без проблем можно подобрать. Сложности начинаются только если в существующий корпус/материнку вторую карту пытаются впихнуть - там места как правило нет.
>Ты забыл в настройках подключения таверны выбрать llama.cpp, если раньше на кобольде каком-нибудь сидел.
Спасибо, угабуга там стояла, но принцип тот же. Давно не менял и точно не догадался бы.
Пикрил хуйня. Эти слоты вертикальные, обычные слоты горизонтальные. Да, я ебач и всё перепутал.
Легко себя потерять!
Только только подсохнет слякоть
Как всё вернётся опять
Я бы раньше хрен поверил бы
Да кровь испортила блядь
Их так много, такие разные
Не успеваешь поспать!
У меня такое ощущение что я что то забыл, в своём угаре.
Точно. Проверить командр и скинуть карточки.
Первая партия пошла.
>>1206422 →
https://mega.nz/file/yFkFRJzb#ddGjZ2jdofCSrPSRecZ-OKuOpxjwGkgZl_FcKBi4I-4
Ты думал я забыл. А я не забыл. В папке заметки, там всё расписано. Все карточки, за исключением одной, подвергались безумным умениями. Как получилось - сам решай.
Следующая партия будет ближе к выходным, чуть побольше, так как хочу понять как пойдет через заметки.
> для пары 3,5-слотовых карт есть много материнок и корпусов
Их единицы и они редки. Нужно чтобы первый слот был в самом-самом верху, сейчас часто там х1 или вообще м2. Следующий хороший слот для видюхи - на 5й позиции, и к этому всему нужен корпус со свободным пространством ниже материнки. Если карты 2.5 слотовые то подойдет 4я позиция и нужно чуть меньше места.
Даже в такой конфигурации верхней карте будет довольно жарко, если же там будет зазор в пол слота - земля пухом.
Если же захочешь сделать по-человечески, имея бифуркацию процессорных слотов, то там выбора вообще не будет.
>>1208540
Не сработает. Видеокарты хорошо так выдаются над краем слота, а эти штуки всегда стоят к ним впритык.
>>1208542
> разрешаю сделать
Не, теперь тобой займусь я! Не волнуйся, я не кусаюсь... сильно~
>имея бифуркацию
Напоминаю базу, что на моей материнке бифуркация только ухудшила генерацию (из x16+2x1 делал 3x4). Впрочем, это было в прошлом году и на жоре...
>Не, теперь тобой займусь я! Не волнуйся, я не кусаюсь... сильно~
Мурашки вниз мой спинной хребет
>оче большой охлад может перекрывать следующий слот
Даже если это райзер? Чёрт, думал, хотя бы он поместится.
>>1208550
>делал 3x4
Чем делал?
>Чем делал?
Картой расширения nvme 4х4 с али + nvme х4 райзеры оттуда же
Я даже первой ллама-3 был недоволен, а уж в последующих итерациях совсем все плохо было.
Хотя мы ее тогда так ждали… =) ллама-1 дала мир ллм, ллама-2 показала отличный скачок в качестве, а 3… Иэх. Хотя suzume в том же русском была относительно неплоха.
Пройдут года и будем ностальгировать по тем временам, как любители старого железа, которые в очередной раз пересобирают 775 на ютубе.
———
Хлопцы, у кого там была btc79x5, или иные майнерские материнки, как ее запускать? А то 24-пин отсутствует, 6 6-пиновых на питание, а в майнинге я ни бум-бум, просто замыкать 4 и 5 пин на 24-пиннике, или есть правильный, а не мой отбитый способ? =)
У тебя нет ощущения что на exl3 какая то цензура? То ли от недостатка кванта то ли от поломки
Сравниваю с Q3_K_S
> что на моей материнке бифуркация только ухудшила генерацию
Линии в ошибках захлебнулись из-за хреновых кабелей и/или чего-то еще.
В простом инфиренсе процессорные линии дадут не столь существенную прибавку, но если захочешь что-то еще делать, или для некоторых режимов уже может быть полезно.
> Мурашки вниз мой спинной хребет
Широко размахивая бедрами подхожу, и кладу большой палец тебе на jawline "Может быть... только может быть..."
>>1208554
> Даже если это райзер?
Не, с райзером все ок будет, думал ты хочешь первую видюху по дефолту. Алсо для такого особый корпус не нужен, можно просто купить кронштейн с мелким райзером, там есть крепления на винты, которые держат девайсы/заглушки.
cougar mx600 для 2х
lian li evo xl для 3х
Не экономь на корпусе, бери с запасом. Мизер по сравнению с картами, зато потом спасибо скажешь.
>>1208368
> ведение накинуть (можно самой сеткой), для полного комплекста, не в карточку/первый пост, а просто дополнительно.
Oh-you~~ Ценитель! Я честно не знаю, когда смогу настолько плотно засесть, чтобы сделать. Пока не буду обещать, чтобы не обмануть если вдруг не получится в ближайшее время. Хотя по-хорошему даже для себя надо собрать историю из фрагментов, которые пока только в голове. И НИФИГА местами не складываются в одно.
> 72-80-...+ гиговый раз активно пользуешься?
Ага, так получилось... Но новые мое-квены тем и хороши, что можно с любым объёмом врама, хоть полностью на проце же.
> Какой квант запускаешь, шаманил ли системный промт, пользуешься ли ризонингом, встречал ли проблемы с работой модели?
UD2. Пробовал UD3 - медленнее, по качеству с UD2 разницы не увидел, всё и так хорошо, поэтому оставил UD2.
Ризонинг для не рп - работает прекрасно. Для рп - скорее мем, максимум 1-2 раза включить его на сессию. Для рп давно не менял - какой-то древний из треда промт. Для не рп - разные ассистенские, включая вариант из клод-утечки сокращённый. Любые переваривает по ощущениям. И также по ощущениям - пик развития локалок. Ничего не хочется добавить или натюнить, ещё и для любых сфер. Но у меня скромные требования по части рп - литры жидкостей не требуются, фетиши 80 уровня тоже.
Всё же ппц он капризный. Но вроде так норм. И даже мозги чувстуются.
https://pixeldrain.com/u/WBURxnJs Star-Command-R-32B-v1.json
Пропустил самое важное!
> гимн приключениям с мейдами, захватом орбитальных станций и планетарными геноцидами
Блин! Так даже захотелось попробовать. Но, наверное, фантазии не хватит и умения вживаться. Даже на мале у меня основное число тайтлов набито слайсами.
Сидел на немомиксе почти два месяца, и в какой то момент аж трясти начало от 5 т/c при 10к контекста. Я понимаю что 8 модели пиздец тупые, но это уже психотронная тюрьма, когда ждёшь ответа на 300 токенов по полторы минуты.
Если ты взрослый человек с работой и домом купи 2х 3090 и не занимайся хуйнёй, стоит копейки.
Если ты студент с нищеноутом не юзай локалки, опять же, не занимайся хуйней.
Потому что х10 карта не влезет в один корпус.
>>1208599
У каждого зумера курьера уже пк за 150к. Чем ты хуже?
Новый квен 3 30-а3. Работает быстро даже на процессоре и ещё быстрее с частичной выгрузкой (гугли ffn). После него лоботомиты меньше 20б просто не имеют смысла
У меня за 220К.
Но говорить что карта которая в какой-нибудь области может стоить все 150К+... Или ты из тех у кого за МКАДом жизни нет? Тогда понятно, медицина здесь бессильна.
>искать новую 3090
>медицина здесь бессильна
В принципе соглашусь.
>ffn
по ффн там не гулится, лучше бы просто дал >>1208594 ссылку на реддит https://www.reddit.com/r/LocalLLaMA/comments/1ki7tg7/dont_offload_gguf_layers_offload_tensors_200_gen/
Не тот, хз о ком ты, но мнения могут быть разными, а могут и совпадать, великие умы мыслят одинаково, смекаешь?
Чел в дискорде писал что I кванты и exl кванты поломанны, модель слишком спешит обрезая события, типа идём до дома, мы дошли до дома, она начала сосать, она закончила.
По крайней мере по куму я тоже это заметил, мягко говоря.
Бля, ради христа прошу, дай ссылку именно на ту модель которую ты подразумеваешь, потому что когда я ввёл название модели которое ты указал, то мне столько всего выдало что я просто ахуел.
Например. Не бойся если врама мало, попробуй, начни с небольшого кванта:
https://huggingface.co/unsloth/Qwen3-30B-A3B-GGUF
>>1208615
Моэ-квен неплох и довольно шустрый, но порой на совершенно случайных карточках и промтах, любых настройках, и в любом месте чата мог сломаться и начать генерить просто случайные символы. Так и не понял в чём причина. 4 обычный статик квант.
Попробуй, расскажешь. Должно быть терпимо. Основной тормоз будет ддр4
Не это залупа полная, у меня даже командер с 25к контекста на 8гб врама быстрее работает, раза так в 4.
>аж трясти начало от 5 т/c при 10к контекста
Да ты охуел гнида зажравшаяся. Сука дед на 2.2 т/сек кумит.