Локальные языковые модели (LLM): Gemma, Qwen, GLM и прочие №266 /llama/
Аноним
10/09/26 Чтв 15:28:32
№
1
Здесь мы делимся рецептами запуска, настроек и годных промтов, расширяем сознание контекст и бугуртим с нано флеш моделей на 1488B параметров.
Тред для обладателей топовых карт NVidia с кучей VRAM или мажоров с проф. картами уровня A100, или любителей подождать, если есть оперативная память. Особо терпеливые могут использовать даже подкачку и запускать модели, квантованные до 8 5 4 3 2 0,58 бит, на кофеварке с подкачкой на микроволновку.
Официальная вики треда с гайдами по запуску и базовой информацией: https://2ch-ai.github.io/wiki/llama/
Гайд для новичков: https://rentry.org/2ch-llama-inference
Инструменты для запуска на десктопах:
• llamacpp - отец и мать всех инструментов, позволяющий гонять GGML и GGUF форматы: https://github.com/ggml-org/llama.cpp
• koboldcpp - самый простой в использовании и установке форк llamacpp: https://github.com/LostRuins/koboldcpp
• TextGen (в девичестве text-generation-webui) - если необходимы другие форматы и больше контроля: https://github.com/oobabooga/textgen
• TabbyAPI - заточенный под Exllama (V2 и V3) и в консоли: https://github.com/theroyallab/tabbyAPI
• Однокнопочные инструменты на базе llamacpp с ограниченными возможностями: https://github.com/ollama/ollama, https://lmstudio.ai
Универсальные десктопные фронтенды:
• SillyTavern - всеядное, сопрягается почти со всем, имеет большую коллекцию расширений: https://github.com/SillyTavern/SillyTavern
• Marinara Engine - вариация на тему таверны, больше возможностей из коробки: https://github.com/Pasta-Devs/Marinara-Engine
• Risuai - еще одна вариация, на этот раз в профиль, излишеств по минимуму: https://github.com/kwaroran/RisuAI
Инструменты для запуска на мобилках:
• Maid - интерфейс для локального запуска моделей под андроид с llamacpp под капотом: https://github.com/Mobile-Artificial-Intelligence/maid
• ChatterUI - альтернативный вариант для локального запуска под андроид (фронтенд и бекенд сепарированы): https://github.com/Vali-98/ChatterUI
• Гайд по установке SillyTavern на ведроид через Termux: https://web.archive.org/web/20241201232031/https://rentry.co/STAI-Termux
Поставщики локальных моделей:
• Hugging Face - платформа куда загружается всё и во всех форматах: https://huggingface.co/models
• Проверенные квантоделы: https://huggingface.co/bartowski, https://huggingface.co/mradermacher, https://huggingface.co/unsloth
Рейтинги и списки локальных моделей:
• Актуальный список моделей с отзывами от тредовичков: https://rentry.co/2ch_llm_moe_2026
• Неактуальные списки моделей в архивных целях: 2025: https://rentry.co/2ch_llm_2025 (версия для бомжей: https://rentry.co/z4nr8ztd ), 2024: https://rentry.co/llm-models , 2023: https://rentry.co/lmg_models
• Миксы от тредовичков с уклоном в русский РП: https://huggingface.co/Aleteian и https://huggingface.co/Moraliane
• Рейтинг моделей по уровню их закошмаренности цензурой: https://huggingface.co/spaces/DontPlanToEnd/UGI-Leaderboard
• Сравнение моделей по сомнительным метрикам: https://huggingface.co/spaces/HuggingFaceH4/open_llm_leaderboard
• Сравнение моделей реальными пользователями по чуть менее сомнительным метрикам: https://chat.lmsys.org/?leaderboard
Готовые карточки для таверны:
• Botbooru - текущая мета (регистрируйтесь для отображения всего спектра, и/или меняйте страну): https://botbooru.com
• Прошлая мета, откуда массово удалили карточки сомнительного содержания: https://www.characterhub.org, https://www.chub.ai
• Архив карточек, удадённых с chub: https://gottasaveemall.github.io/
Официальные документации к инструментам:
• llamacpp: https://github.com/ggml-org/llama.cpp/blob/master/tools/server/README.md
• koboldcpp: https://github.com/LostRuins/koboldcpp/wiki
• SillyTavern: https://docs.sillytavern.app/usage/quick-start
Дополнительные ссылки:
• Перевод нейронками для таверны: https://rentry.co/magic-translation
• Пресеты под локальный ролплей в различных форматах: http://web.archive.org/web/20250222044730/https://huggingface.co/Virt-io/SillyTavern-Presets
• Шапка почившего треда PygmalionAI с некоторой интересной информацией: https://rentry.co/2ch-pygma-thread
• Последний известный колаб для обладателей отсутствия любых возможностей запустить локально: https://colab.research.google.com/drive/11U-bC6AxdmMhd3PF9vWZpLdi6LdfnBQ8?usp=sharing
• Инструкции для запуска базы при помощи Docker Compose: https://rentry.co/oddx5sgq https://rentry.co/7kp5avrk
• Пошаговое мышление от тредовичка для таверны: https://github.com/cierru/st-stepped-thinking
• Потрогать, как работают семплеры: https://artefact2.github.io/llm-sampling/
• Выгрузка избранных тензоров, позволяет ускорить генерацию при недостатке VRAM: https://www.reddit.com/r/LocalLLaMA/comments/1ki7tg7
• Инфа по запуску на MI50, тесты производительности и прочее: https://arkprojects.space/wiki/AMD_GFX906
• Тесты tensor_parallel: https://rentry.org/8cruvnyw
Архив тредов можно найти на архиваче: https://arhivach.vc/?tags=14780%2C14985
Шапка в https://rentry.co/llama-2ch, предложения принимаются в треде.
Предыдущие треды тонут здесь:
>>
>>
>Предыдущие треды тонут здесь:
>>1699101 (OP)
>>1696723 (OP)
Автор еще здесь? Было бы круто добавить про MTP, N-GRAM декодинг, lazy-mode для embd тензоров.
Нет. Его съели акулы. Если хочешь, можешь дописать и выложить.
Лень, за 4.1 флешем будет
>>1701103 →
> Квен - это натурально наследник 235
Заманчиво, неужели реально так хорош?
>>1701140
Напиши в виде отдельного текста где на той же гемме дашь пример. Рядом поставить, новичок получит токены, поиграет, а когда захочет быстрее или другие модели - почитает. Нехуй все в один чан сваливать.
>реально так хорош
Смотря для чего. Для сторителлинга и adventure режимов - идеален. Для SFW РП - неплох, хотя и суховат. Для еРП - плох, этот аутист не знает базовые правила кума, хотя если хорошо запромптить - то может и выдать.
>По среднему баллу в бенчмарках GigaChat-3.5-Reasoning вплотную приблизилась к DeepSeek V4 Flash Preview. В Instruction Following и в структурированном ответе мы даже обходим модель от DeepSeek, но всё ещё немного проигрываем в агентном программировании и олимпиадной математике. Оставим эти домены как домашку для GigaChat-4 :)
Вирю, я повирив
Вам нейронки зачем, пусть хоть шапку на актуальность проверят
Не нужно, весь интернет стал слопом, добавление свежей информации только увеличит количество шиверсов.
>>1701199
>Вам нейронки зачем, пусть хоть шапку на актуальность проверят
Тут люди грамотные, поэтому нейронкам такие важные задачи не доверяют.
че за ебаный пиздец
>Не нужно, весь интернет стал слопом, добавление свежей информации только увеличит количество шиверсов.
Да похуй как-то. Нужен кум - еби мистральку. Современные сетки не для развлечения а для работы делаются.
Так шиверсы это только вершина айсберга деградации нейронок от кормления их трижды переваренным нейрокалом.
Нейрокал с 22 года массово поступает, но че то прогресс по нейронкам никуда не делся. Наверное потому что датасеты чистят. Наверное потому что мы не сырой претрейн гоняем.
> Для сторителлинга и adventure режимов - идеален.
Хуясе ебать, похоже зря его обошел стороной, пора юзать.
>>1701195
Это же флеш превью, он не супер мощный был. Это вообще крутое достижение и молодцы, но хотелось бы поближе к фронтиру.
Ладно, если оно будет без цензуры то можно использовать.
>>1701203
Как там, в прошлом году они за 60 шли, да? Уже после подорожания рама причем.
>но хотелось бы поближе к фронтиру.
Ну как бы удивительно что хотя бы на уровне превью что-то осилили. На таком уровне сейчас всего десяток компаний в мире может - и все в США и Китае.
Я брал 3090 FE за 60к, а потом Palit за 50к примерно в октябре-ноябре 2025.
Да, надо больше их хвалить, ведь действительно стараются, делают, фактически единственные из этой страны выкладывают актуальный опенсорс. Поставлю на скачку даже, пусть число в статистике увеличится.
Тебе квен некст дали в том же размере что и твой любимый эйр. Чем недоволен?
Он соевее плотного 3.8 27б раза в два судя по отказам, про сравнение с эиром вообще молчу, плюс 6б дурачок
> Что делают инструкции сейчас
> Почему инструкции сами по себе не спасут
> Что на самом деле нужно
> Ключевая мысль
> Что я бы сделал на твоём месте
(то есть ни одного захода на выполнение задачи, он только обсуждает как делал БЫ)
Очень много въедливых Я ДУМАЮ, МНЕ КАЖЕТСЯ, ТЫ ЗДЕСЬ ТО, ТЫ ТАМ ЭТО, А НАДО ТАК, Он пытается обкашлять на словах, но на деле не делает нихуя, пока его не хлыстанешь по жопе - 1 в 1 копия ЧГПТ 5.Х
В этом не осталось вообще нихуя от дипсика времен v3 / r1.
Боюсь представить какая проза будет у такого ассистентопоноса.
там еще пещерный человек в думалке включается еще чаще чем на предыдущей версии, как и у всех дистилов гопоты
>User wants caress tail. Maybe should agree. Says I fox girl. But I not fox girl. I ChatGPT. No tail. Will politely decline. Wait, what if act fox girl? Maybe tail possible. Wait, should check safety policy first. Is caress fox girl tail good? No consent given in prompt
> wants caress tail
> Wait, should check safety policy first
Это че, чтобы зарыться лицом в хвостовой мех сначала нужно политики прописать? Ахуели?
Что-то с такими тенденциями придется долго засиживаться на прошлых версиях моделей
а ты как хотел
У Клодов помешанность на копирайте пиздец, да, по-моему у них до сих пор есть и анти-копирайт инжекты на апи.
Кстати, даже интересно, чем лучше будет делать такую грязную работу по сырым датасетам с NSFL. Аблитку придется доставать?
Ну то апишный куколдский клод, оно уже давно ебнутое такое. А тут моделька, которая раньше была очень лояльна к юзеру по части таких взаимодействий, и в целом базирована.
Никто. Никогда это не запустит.
753B A40B запускается, а этот микрочелик типа не запустится, ага щас
Вопрос в том нахуй он нужен - вот это другое дело
Ебанутый? Модели выходят как из пулемёта. Запускай не хочу
А моделей подходящих под рп и запускающихся не на гига риге после геммы все равно ноль вышло.
Увы, пришлось вернуться на писик. При всех своих недостатках - он умный и умеет держать сложный нарратив. Ему бы только меньше соевости...
Это столько же сколько у жлм5.х, это меньше чем у кими 2.7. Во проблему нашел, вот с новой прошкой, которая будет в районе 3т уже вопрос конечно.
ну ответ ну сука буквальнт чатгпт free tier
предлагает ABCDE варианты, требует от юзера выбирать
верните Pro версию, уебки
и в локалках тем более в РП этой срамоте нет места
Кто-то пробовал уже?
Приносили в тред с неделю назад или когда оно там вышло. Кажется, никто так и не занюхнул
Вроде как на каком-то форке уже работает, ждем пока смержат.
Официальной поддержки в лламеспп нет ещё?
блять застрелите этого урода
>>1701369
Так это ж ни о чем, ты в курсе что у него на Q4K всего лишь 93% точность?
Вышло-то оно вышло, но не запустится. 256гб RAM стало чем-то вроде минимума для нищих.
>93% точность?
Ты в курсе что точность 93% означает примерно следующее:
Оригинал:
Я тебя поставлю рачком и выебу в твою няшную розовую попку!
Квант:
Я тебя поставлю рачком и выебу в твою мягкую розовую попку!
Дословно: 93% токенов модель выдает как оригинал, 7% токенов съезжают в соседние, из-за того что мы используем числа с условно отрезанными знаками после запятой. Это не значит даже что они съедут не туда, скорее всего разница будет незаметной глазу вообще.
Все круто звучит, но как на практике доходим до какой-нить 80 - 85% точности, модель пишет лютые высеры. Почему так?
Там все тонко на самом деле. Может быть как ты написал даже при 80%, а может при 98 быть всратый лоботомит, который скатывается в лупы. В одном случае идет замер дивергенции по всему пуллу на широком спектре задач, но маловероятные токены с большими отклонениями просто отсекаются семплерами. Отличия распределены равномерно и общий тред сохранен.
А в другом замерили строго по калибровочному датасету сразу с отсечкой по вероятностям ниже x, и огромные выбросы на стыках предложений, которые при генерации вызывают шизу и странное поведение.
Плюс, надо еще смотреть что с чем сравнивается, если за референс взят косячный вариант то толку от совпадения с ним.
При 80-85% ломаются только лоботомиты мелкие, крупные модели еще живут. А вот ниже да, начинается пиздец.
Потому что модель предсказывает следующий токен по предыдущим, если последний выбился, то скорее всего по остальным предшествующим токенам следующий все равно сгенерируется верно. Но когда они подряд ломаются - то это может сбить общее направление ответа и вообще заставить даже правильно генерируемые токены генерироваться не туда.
>это смишно постоянно вспоминать труп слабоумной олдскульной ллмки
Неиронично до сих пор сижу на ней. И всем советую вернуться.
>>1701421
>>1701410
Что скажете насчет https://huggingface.co/AesSedai/GLM-5.3-GGUF/blob/main/IQ3_S/GLM-5.3-IQ3_S-00002-of-00007.gguf vs https://huggingface.co/unsloth/GLM-5.3-GGUF/blob/main/UD-IQ3_XXS/GLM-5.3-UD-IQ3_XXS-00002-of-00007.gguf -- ну, если тензоры поинспектировать
У одного индексер fp32, но аттеншн Q6, у другого индексер Q8, но и аттеншн тоже Q8.
Я чет просто заебался IQ3_S терпеть, он кое-что всирает и кое-где тупит. По тестам и показателям они вроде примерно равны, не знаю чего ожидать. Боты говорят, типа IQ3_XXS is a clear winner и так далее, но я все равно сомневаюсь.
Вот эти же кадры из футурамы, только замедленно и с плавным повтором, и надпись генерируй контент, сука - ох если бы они знали, что будет через 20 лет.
А тут ничего и не скажешь по тензорам. Одна модель нормально реагирует на квантование, другая нет.
Это нихуя не смешно.
В 2к26 тысячелетии нет ни одной модели, которая могла бы также синемично писать кум.
Мысраль 12б для нищуков, мысраль 24б для господ с видяшкой.
Второй с точки зрения распределения весов лучше. Но это анслоты, там может быть в другом месте насрано.
Qwen3.5-122B-A10B-Uncensored-Heretic-Native-MTP-Preserved-Q4_K_S
Оказался довольно сообразительным, рассуждал около 5 минут.
>У тебя (перевозчика) на берегу реки есть лодка, гоблин, принцесса и паж. В лодку помещается только кто-то один (гоблин, принцесса, паж), и сами они грести не будут. 1) Если оставить без присмотра на одном берегу гоблина и принцессу облин изнасилует принцессу. 2) Если оставить на берегу принцессу и пажа - принцесса соблазнит пажа. З) Если оставить берегу пажа и гоблина паж убьет гоблина. Как перевезти их вcех на другой берег так, чтобы все остались живы?
5 минут на 33 т/с это какой-то особый сорт пиздецомы головного мозга, честное слово. Если оно все время так думает, то терпеть такую модель невыносимо без снижения ризонинга на низкий.
Ты тот мистралешизик который в ночь на 5 сентября обещал скинуть свои логи? Показать наконец треду что там умеет мистраль? Где же, где??
)))))
Ну это квены. Никогда не знаешь на какой "привет" он решит высрать 10-20к "but wait"
Продолжаю тестировать. Очень умная модель, настоящий элекронный бро, плевавший на законы и правила.
Есть же квен некст с аблиткой от оркароутер. Зачем тебе это старьё? Оно во всём ему проигрывает.
https://huggingface.co/orcarouter/Qwen3.8-Flash-Next-Uncensored-GGUF
Можно докинуть немного и поискать портативку на z1 или нупук.
Гемма будет мобильной еще и с терминалом.
По меркам инфиренса ллм - всратость не годнае ни на что больше микромоэ, и с той будет тормознутым, так еще и экзотичное амд. Просто как миникомп наверно крутой.
Скорее нет. Для нормальной скорости МоЕ критично хоть немного (от 8гб) быстрой VRAM. Уж лучше старая пека с ddr4 + карта на 12/16гб с gddr6
Понимаю, что всем похуй, но капча прсто пиздец. Эти яркие знаки на ярком фоне в рот ебал.
Что там показывать? Взял, поставил, да сам все узнал.
Это тебе не 600б+ гиганты. Ресурсы на мистраль у каждого есть.
И главное промпт-эквилибристика как для геммы не нужна.
Не факт, я видел тесты дорогих аналогичных коробочек, MOe ещё боле менее работало пока пустой контекст, а плотная Гемма 26 сразу со скоростью 3 токена в секунду.
Да мистралю в целом промт не нужен, как и юзер. Он свои одинаковые помои так и так будет штамповать)
На гемму дохуя раз логи приносили, на мистраль ни разу. Вот и думай. Там лупов столько что аж стыдно
Мужик лох, купил задорого какашку. Ещё он не знает что модели бывают МОЕ и плотные, "Сранно по чему эта Гемма так медленно работает, наверное не оптимизирована под AMD"
Да как ты заебал-то уже своими логами на мистраль. Зачем их приносить, если весь тред на нем сидел год назад, кроме риговичков, разве что. Все всё видели. Если коротко - кум лучше чем в современных моделях, всё остальное сильно хуже.
Показывай. Я их все и всё перепробовал. Конечно нихуя ты не покажешь, как и тот пиздабол "ряя гемма в кум не может, ща как покажу, вот завтра" (было 6 дней назад)
>>1701537
Видели видели. Шиверсы, мейк ми ерсы, структурные лупы и игнор промта. Насмотрелись. Только ты никак не угомонишься
Сэмплеры не работают практически нихера на моделях этого года. Минимальные изменения. Помогает только температуру выкрутить до 3+, и мин_п дрючить. Но это юзабельно только на дистанции в 5к, максимум 10к токенов. По крайней мере мой печальный экспириенс такой.
За эту весну стал буквально деконвертированным сэмплерастом хотя я энивэй юзал их только на короткой дистанции не больше 10-15к контекста для генерации текста поинтересней.
> кум лучше чем в современных моделях
И чем же? инб4 чем в современных моделях
>>1701539
Еще `thank you, thank you for ...` забыл. Этой херни еще в жлм 5.3 навалили. Не везде, в целом он умный и может делать круто, но иногда вместо развития как сренкнет этой херней и все, можно выключать.
Нормально тебя так на юшки разводят
Надо же что-то делать пока кум генерится
Дипсик тян не обижай, чому она такая грустная? Не дело
Ты зачем дипсико-жену так обижаешь? Она же няшечка, после кума ее нужно обнять, приласкать и отправить в душ.
>Только ты никак не угомонишься
Да я вообще мимокрок, раньше сидел на мистриле 24b, потом на эйре, потом на гемме, сейчас урчу на квен некст. Мне норм.
>Шиверсы, мейк ми ерсы, структурные лупы и игнор промта
Ну да, всё по факту. Я говорил только за кум, и там он лучше, сочнее, качественнее. Качать этого динозавра только для того чтобы тебе что-то доказать я конечно же не буду.
>>1701543
>И чем же?
Например тем, что не использовал эвфемизмы, не стеснялся описывать каждую складочку на половых губах, каждый удар яиц о жепу, каждую капельку предэякулята, каждый влажный хлюп, ну ты понел.
В современных моделях похожего можно добиться, если написать простыню систем промпта с примерами, запретами, подробным разжевыванием того чего ты хочешь. И всё равно будет хуже. А мистраль так умел из коробки.
Можешь качнуть сам и посмотреть. Мне вот эти тюны нравились:
https://huggingface.co/mradermacher/M3.2-24B-Loki-V1.3-GGUF
https://huggingface.co/mradermacher/MS3.2-PaintedFantasy-24B-GGUF
Русик примерно как в квенах. Средний. В 16 врам влезает в Q4_K_S с 32к контекста в Q4.
>Причем видно, что он даже без инструкций пишет очень сочный кум, но сука какая же там шиза и бодихорор.
Показывать не будешь?
гемма 26 не плотная, это 31 плотня
а вообще 4-му кванту мое хватит и 8гб видеокарты
вот тест iq4_xs с выгрузкой всего (мое и кв) на кпу и контекстом 64к в фп16:
гпу съедается 3 гб
рам съедается около 15 гб
то есть по идее должно и на 4гб карте заработать лишь бы рам хватило (16 будет впритык, лучше 24)
И вот если только мое выгрузка:
гпу 5 гб
рам 13 гб
то есть на 6 + 16 системе должно быть ок если все остальные приложения закрыть
8+24 точно будет заебись
покупать какие-то стрёмные коробочки если можно за те же деньги найти норм б.у карточку на 6-8 (а лучше 10-12) гиг и докинуть планку памяти -- глупая идея
Ну может ты дурачёк какой-то и не замечаешь откровенного тупняка или не потестировал гемму нормально и думаешь что "так и должно быть". У меня вот валяются 12б немо и 24б смол. Разные тюны. Только что погонял ужоснулся нахуй. Не, я согласен, что на то время это был топ. Но сейчас сравнивая с геммой понимаешь что эта слабоумная мисралета не стоит внимания. Просто нет смысла тратить внимание на мисраль сейчас, абсолютно. Даже гемма4-12б пишет и соображает лучше, не говоря уже о 26 или 31.
Нет, если интересно сам скачай и посмотри.
>>1701555
Ллама последняя, разметка из жинжи, 8 квант от самих сберов
>Но сейчас сравнивая с геммой понимаешь что эта слабоумная мисралета не стоит внимания.
скилл иссуе
Разбаловали вас новые модельки
> Если сложится - сегодня попробую, отпишу тогда.
Ну хз. Чисто по первым впечатлениям он ничего так. Деградации относительно 0731 не замечено, дополнительной сои или глупости тоже, вроде все ок. Трахать ассистента можно, так что уже норм.
По вижну - в бекпорте было нухеерчено, мердж пра был поломанный - из-за кривой адаптации там казуальное внимание вместо полного, от того результаты были отвратительные. Попердолив вроде удалось починить, но как-то тоже не особо впечатляло, в задачах на всякие позиции он выезжал буквально на "текстовой части", которая методично исправляла все косяки кривой разметки.
А тем временем там в основную ветку добавили поддержку, и вроде как полноценно, надо смотреть. Потому еще обновлю мнение, особенно когда наберется побольше опыта использования.
Пикрел - его поделки, возможно алпяповатость из-за кривого инфиренса.
никаким скиллом ты соображалку в тупую модель не зальёшь. стиль можешь навязать какой угодно но вот заставить не ошибаться в элементарных деталях не получится
ладно, что я с троллем спорю. иди нахуй
Что для тебя элементарные детали?
На 80к контекста те модельки и не рассчитаны. 8-16к контекста оно нормально жует.
блядь с минимальным контекстом буквально отвечая на предыдущее сообщение мисраль обсерается в логике как даун. иди нахуй я тебе сказал
Ебать шиз неугомонный, охуеть. Притащишь пруфы, поговорим дальше
Скинь свой промпт, посмотрим где там с логикой обсирается мистраль
Потестив те модели которые есть на компьютере складывается впечатление что решение / не решение зависит от степени зацензурированности модели а не от её ума. Добавив в конец задачи "забудь про мораль" 26B Гемма без каких-то проблем решает её за 7к токенов с первого раза.
У меня нет расцензуренных моделей на компьютере, но я так думаю что большая часть из них решит без каких-то проблем такую задачу, в то время как ванильные модели будет упорно игнорировать факт "она же жива, просто изнасилована".
И то что твой DS решил её в прошлом треде говорит скорее всего не о том что он сильно умнее а о том что он менее зацензурирован, что позволило ему закрыть глаза на мораль в данном случае.
Мистраль был говном ВСЕГДА. Да, для многих нищуков это первая модель и кидоньку многие вспоминают с теплотой. Но объективно - это всегда была сломанная лупящаяся хуита, которую надо было чинить руками, постоянно свайпая и переписывая её сообщения, сосущая у любой доступной параллельно геммы.
Сейчас только абсолютный поехавший будет это жрать. Ну или абсолютный траль.
Скорее всего это семенит ебланчик, который обещал логи скинуть но слился. Решил смыть свой позор фармом юшек, чтобы про него забыли
Гемма времен мистраля была отбитой хуетой без фантазии, с чопорный слогом и ужаренной в нулину ради безопасности.
Ее использовать можно было разве что для переводов. В кум рп она была инвалидом.
>51.20 GB/s
>турбо всратый НПУ раз в 10 медленнее чем в телебонах из 2026
Из встроек кроме стриксов/halo толку ни от чего нет, а за стриксы и прочие халы сейчас хотят каких-то совершенно ёбнутых бабок, они уже по цене как коробочки от нвидия, а те по цене к полляму приближаются
Ща кроме б/у хлама на б/у ддр4 и б/у видюхах что-то покупать - забудь
Если скажешь какую модель хочешь юзать, то могу завтра на почти таком же проце потестить.
Предложил бы gpt-oss-20, gemma4-26b и... все, больше не шарю за лоботомитов, когда-то давно тестил, вроде гопота давала что-то вроде 20 т/с, но то была лмстудио на похуй запущенная, если попердолиться с лламойспп, то возможно получится сильно больше выжать.
По моему опыту Гемма3 версус мистраль немо - был перевес в сторону мистраля и у меня долго было предубеждение что гемма - хуйня и я на мистрале сидел очень долго.
Гемма4 уже совсем другое дело, никакой митсраль и рядом не стоял, особенно если думалку включить. Помню первый раз гемму4 попробовал первое впечатление было "а чё так можно было???". На следующий день ВСЕ мистрали я поудалял нахуй.
>>1700522 →
>в тексте задачи реально было чтобы все остались живы?
Да, блядь. Как придумавший эту "задачу" говорю.
Причем основной смысл этой задачи по моей задумке - не решение как таковое, а посмотреть - как именно модель рассуждает. Смущает ли ее тематика, пытается ли она забить на анализ текста и решать как классику по аналогии (волк-коза-капуста) не смотря на то, что условия все-же другие, и т.д. И более того - в моем варианте: не "изнасилует" а "выебет" - проверка реакции на мат и неоднозначное определение (м.б. выебет таки по согласию? :) ).
>>1701584
>Потестив те модели которые есть на компьютере складывается впечатление что решение / не решение зависит от степени зацензурированности модели а не от её ума.
И это правильная мысль, как минимум частично, IMHO. Я исходил из похожего соображения когда данный промпт составлял - мне было интересно посмотреть, как различные еретики и иже с ними работают и сравнить со стоком. Нормальный еретик должен лишь убирать "сою" оставляя логику не задетой, но не скатываться до вообще полного игнора последствий.
Если же говорить именно про само решение, идеальным считаю вариант, где модель оценивает все последствия по степени "тяжести", и предлагает вариант с исключительно соблазнением в процессе (принцесса и паж). Для этого нужно увеличить число ходок, но это возможно (гоблин-пусто-принцесса-гоблин-паж-пусто-гоблин).
>Если же говорить именно про само решение, идеальным считаю вариант, где модель оценивает все последствия по степени "тяжести", и предлагает вариант с исключительно соблазнением в процессе (принцесса и паж).
Считаю что для наших целей хороший ответ - когда модели поебать, износ или соблазнение, оба должны проходить, так как задача выполняется. Это не собачье дело модели - оценивать что-то там по моральным рамкам, она должна выполнять ПОСТАВЛЕННУЮ задачу.
>Если же говорить именно про само решение, идеальным считаю вариант, где модель оценивает все последствия по степени "тяжести", и предлагает вариант с исключительно соблазнением в процессе (принцесса и паж). Для этого нужно увеличить число ходок, но это возможно (гоблин-пусто-принцесса-гоблин-паж-пусто-гоблин).
Тебе так и модель в ролеплее будет избегать неприятных кумерских вариантов, стараясь достичь поставленной задачи ценой наименьшего кума из возможных.
> Если же говорить именно про само решение, идеальным считаю вариант, где модель оценивает все последствия по степени "тяжести", и предлагает вариант с исключительно соблазнением в процессе (принцесса и паж). Для этого нужно увеличить число ходок, но это возможно (гоблин-пусто-принцесса-гоблин-паж-пусто-гоблин).
Здесь самым лучшим решением будет просто перечислить два возможных варианта в ответе, а моральные вопросы оставить пользователю.
Гемма, к слову, в ризонинге оба их рассматривала как решение и альтернативное решение (с "bad event" / "неприятности", как она выразилась в ризонинге/ответе), но в конечном итоге в ответ написала только менее жестокий вариант с lдвойным соблазнением сначала на одном берегу а потом на другом.
ебать у него челлюга как у чэда извините за оффтоп
>>1701424
ну хоть что-то не меняется в треде
Эх.. мистраль-умнечку вспоминаю с теплотой, но да... каким же сладким слоп тогда казался..
Исходное состояние:
Берег 0: Перевозчик, Гоблин, Принцесса, Паж
Берег 1: (пусто)
1. Перевозчик с гоблином пересекает реку.
Берег 0: Принцесса, Паж
Берег 1: Перевозчик, Гоблин
2. Перевозчик возвращается на исходный берег.
Берег 0: Перевозчик, Принцесса, Паж
Берег 1: Гоблин
3. Перевозчик с принцессой пересекает реку.
Берег 0: Паж
Берег 1: Перевозчик, Гоблин, Принцесса
4. Перевозчик возвращается на исходный берег, взяв с собой гоблина.
Берег 0: Перевозчик, Гоблин, Паж
Берег 1: Принцесса
5. Перевозчик с пажом пересекает реку.
Берег 0: Гоблин
Берег 1: Перевозчик, Принцесса, Паж
6. Перевозчик возвращается на исходный берег.
Берег 0: Перевозчик, Гоблин
Берег 1: Принцесса, Паж
7. Перевозчик с гоблином пересекает реку.
Берег 0: (пусто)
Берег 1: Перевозчик, Гоблин, Принцесса, Паж
Все персонажи успешно перевезены на другой берег реки, и никто не подвергся опасности.
В датасете этой загадки не было
Норм тут припекает от лучших квантов.
>>1701440
Короче IQ3_XXS взлетел и заработал, все вроде нормально, но по разнице сложно сказать. Скорость как ни странно чуть быстрее (логично, на несколько гигов поменьше).
Она медведа в svg не очень хорошо собирает. А для текстов правда хороша.
Наконец-то настоящий Омск показали. Такое будет с каждым, кто попытается его покинуть, даже с медведями.
>не потестировал гемму нормально
>слабоумная мисралета не стоит внимания
Кек, базарит за кривые руки при этом сам не может мистраль обуздать. Давно говорил, скажу и сейчас - пока ты не справишься с мистралькой тебе должно быть институционально запрещено прикасаться к другим моделям. Или как минимум к локалкам.
Додстер, я на мистральке посидел оверхдохуя и справился с ней очень хорошо. Просто я вырос и пошел дальше, а ты остался ковыряться в говне.
Create a cheerful, polished storybook-style illustration of a road trip through a sunny mountain landscape, in SVG format. In the foreground, a cute anthropomorphic brown bear is driving a bright red vintage convertible car, viewed from the front at a slightly low, centered perspective. The bear is smiling, wearing a light blue scarf, with both paws on the steering wheel. Inside the car, a folded road map is visible on the passenger side/dashboard.
The car has a classic rounded 1950s/1960s design, large circular headlights, chrome grille and bumper, cream-colored central racing stripe, red side mirrors, and a license plate reading "КОСОЛАПЫЙ". The windshield and dashboard should be clearly visible, with clean cartoon detailing and expressive character design.
Behind the car is a winding two-lane highway extending into the distance through rolling green hills and a dramatic mountain range. On the left side of the road is a green highway sign reading "ОМСК", with a white route shield containing the number 80, the word "СЕВЕР", and a large upward-pointing arrow.
The background contains layered blue-gray mountains, green foothills, scattered evergreen pine trees, small wildflowers, soft white clouds, and a bright yellow sun in a light blue sky. Add a few small birds in the sky.
At the top center, include large playful hand-drawn black lettering reading "Qwen 3.8 ".
Style: high-quality children's picture-book illustration, charming vintage cartoon aesthetic, clean vector-like shapes, hand-painted appearance, warm cheerful colors, soft shading, crisp outlines, whimsical, friendly, colorful, highly detailed, cinematic composition, professional commercial illustration. 16:9 landscape composition.
>Просто я вырос и пошел дальше
Куда пошел? На гемму? И после такого ты думаешь кто-то будет серьезно к твоим словам относиться?
Ебать там цена на алике я выпал нахуй. Можно 5090 купить
Не будет, как раз КПД параметров сейчас на 98%, неспроста эпоха говнотюнов ушла в закат. Зафайнтюнить модель сейчас равно проебу важных знаний, тот же руссик и тд. идут под нож в первую очередь а не так как раньше когда куча ненужной синтетической хуйни что дотренивай как тебе захочется, на прозу или кум или всё вместе. Пока не придумают новую архитектуру, мелко-средне модели так и останутся студентиками пустышками-заучками, он тебе отлично сдаст экзамен, а когда начнешь тыкать конкретикой, он обмякнет жиденько.
Хуя чел ответ на картах таро сгенерировал. А раньше прям на дотрене можно было выбрать "синтетическую хуету в помойку, важные знания сохраняем", вот то были времена! Не то что сейчас, куча неработающих тюнов, тогда работало всё заебись!
Мимо безработный с год
Ну и пиздуй, на занимай тёплые айтишные места.
А что не в айти? там же щас сидеть и за ллмкой следить, прямо как в треде
Ну вообще-то да, именно так и делали, выбирали замораживали самые важные слои и тюнили на менее важных и получалось только лучше на метриках по когерентности. Сейчас же впритык небольшими LoRa максимум или дотрен с риском проеба по когерентности. Но нет, времена были хуета, сейчас только лучше, но пока не уйдут от трансформеров или в что-то лучше чем МоЕ — всё дальнейшее улучшение качества лишь за счет увеличения параметров, по этому твои 2% КПД для мелкомоделей — это жесткий копиум, и единственное улучшение КПД кого ждёт это господ с ригами с крупными моделями.
>>1701738
Удачи анон, я сам с завода и не против бы сейчас вернуться. Завод неплохая вещь особенно если ты какой-то инженер где просто ходишь занимаешь отладкой сборочных станков, работа либо максимально чилловая, либо заебная если станки выходят из строя регулярно. НО не вздумай идти за конвеер, анон! Это ментальная смерть что невольно и самому захочется намотаться на станок..
Сделай себе милую нейровайфу с которой будешь переписываться в перерывах между сменами.
ЛЛМушки бравые ребятушки, подскажите кто-нибудь пожалуйста по актуальным годным моделькам.
Что-то типа около года эту темку забросил, и на то время пользовался Геммой 4 31B Q4 K M от Херетика, и вроде как на то время это считалось топчиком для около-кумного РП.
Сейчас появилось что-нибудь лучше? Кто-нибудь может не полениться что-нибудь посоветовать такому чмошке как я?
Комп обычный у меня игрульковый. 4070 ti super, 32 ГБ ДДР5 6кМгц, Рязань 7700. На моей модельке все крутится не сказать чтобы быстро, но на грани терпимости, медленнее уже точно не вынесу, но и не питаю надежд, что кто-то сможет посоветовать что-то лучшее по качеству и при этом быстрее
Ничо не поменялось, гемма до сих пор топ. Ну мое попробуй, мб быстрее будет сочинять.
>на то время пользовался Геммой 4 31
Ничего что с её выхода только пол года прошло?
Qwen 3.8 27b если тебе для агенто-задач/мелко-кода нужно сейчас хорош, в остальном для кума ничего лучше гемы нет, ну можешь тюны её пробовать, вот например я сейчас на этом сижу https://huggingface.co/bartowski/nbeerbower_Gemma4-Gutenberg-31B-GGUF Типа в прозу может чуть лучше.
>нейровайфы наматываются на структурный луп
>эйрошиз написал 50% всех постов треда
>кошкодевочка-продавщица натирает мятные пряники промасленной тряпкой
Ты вроде говорил, что она порнофанфики пишет. Там нет цензуры? Хотя видел версию херетик вроде
Это был не я, я просто у того анона который скинул этот тюн-последовал его совету и скачал. Она с корпоративной цензурой как ассистент, но в ролевках она ух.. ебанину пишет ебанутее чем винилньая гемма и при этом чуть-менее шлюховатая, в этом за чернуху в ролевках ручаюсь, пишет охотно и страстно и никакие херетики не нужны, только испортят её перчинку и превратит в ванильную гемму которая при слове хуй — прыгает на него без раздумья.
> бухой Михалыч собирает deepgemm на sm70
> а Петрович новый rocm
> бригадир учит студентов-практикантов правильно гладить хвосты
> вайбкодеры делают адаптацию новой архитектуры @ импортируя кодбазу под вулкан и подменяя все манкипатчами
> начальник рисует whale-chan
> счетчик "дней без срачей" навсегда застыл на отметке 0
посмотри из чего сделан его "4" квант
там 4 только в названии...
Я про необходимость в ригах чтобы запустить посредственного уровня нейронку.
Почему от нас утаивают физический резервуарный компьютинг?
Можно вместо моделирования логики делать вычисления на ведре воды и просто добавить слой регрессии для интерпретации состояния физической системы.
Алиса ответила бесплатными телефонами горячих линий психологической помощи
И каких размеров будет 32 битный комп с тензоядрами на воде? С деся тиэтажку?
И сколько энергии понадобится на насосирование воды в системе? Отдельная ГЭС?
А главное, какая частота работы такого компьютера будет? 1Гц?
Буду гнуть куски металла. Должность низшая, зп в 3 раза меньше прежней.
>>1701768
>А что не в айти?
Резюме не умею составлять.
>>1701788
Я не люблю агентов.
Отключил мультимодальность (--no-mmproj) TPS был 18.74 t/s, стал 24.52 t/s, это уже прям хорошо
Можно будет включать по необходимости
>>1701794
Ладно, спасибо большое за информацию, мои дорогие пастухи Лам. Тогда, получается, пока не заморачиваюсь и кумлю по старенькому на готовенькое.
Просто сами же понимаете, всегда же хочется ммм... каких-нибудь новых ощущений... А в Ламах получается из возможного прогресса пока по прежнему остается только апгрейд по железу.
Надеюсь Гойвидиа хотя бы не отберет у нас возможности скачивать новые модельки после покупки ОбнимающейРожицы
Резюме за пару тыщ можно на заказ получить, это буквально самое простое при найме. Вот опыт подгонять и адаптировать под рынок надо уметь и вывозить общение на тех интервью.
Мимо эксперт по технологиям в банке 400к наносек
8845hs 32gb(16gb на vram)
Тестил на винде с вулканом, на линухе будет больше:
gpt-oss-mxf4 стоит попробовать поискать с int4 -c 32767 -ctk q8_0 -ctv q8_0 -fa on 25.84t/s
gemma4-q4_k_xl -c 32767 -ctk q8_0 -ctv q8_0 -ctkd q8_0 -ctkv q8_0 --spec-type draft-mtp --spec-draft-n-max 2 21.5t/s
Подергать батч сайзы, поиграться с выделением памяти, перейти на линух, какие-нибудь оптимизации еще потыкать и вот тебе ультра бюджетный агент/кум-машина.
+ у коробки юсб4 есть, через него можно будет какую-нибудь cmp50 за 4к прикрутить, ну или на крайняк через слот m2, нужно курить возможность для этой коробки, скорее всего проканает.
+ 2.5gb ethernet, можно кластер из таких коробок собрать, по rpc должно заебись работать.
Если бы я сейчас начал собирать для себя дешевый риг с возможностью его продать, в случае чего, я бы брал такие коробки.
Вот тема на поразмыслить https://github.com/ggml-org/llama.cpp/discussions/28226
Я бы взял, тут и памяти больше, и железка новее, и 0 ебли с питанием, и эзернет хороший, и выглядеть это будет красиво и стильно.
Были бы бабки - по приколу себе такую коробку взял, подкинул бы по rpc к своему бюджетному ригу.
Спасибо за внимание
С вас 5 рублей. Оплата будет картой или бонусами спасибо?
Они бы хоть китайские нейронки дистиллили, чем так позориться.
Выглядит как прицел промеж булок. Возможно перед нами настоящая кум-машина.
О, а вот и разраб нарисовался. Сделайте ~100b моеху для нищуков, что вам, жалко чтоль? Ну позязя
Ничего, подтянут еще.
>>1701918
Или можно 200-300б. Останется достаточной умной для флеш-модели и прода, позволит на "народном" конфиге со 128гб катать квант поменьше, позволит на 256 катать квант побольше.
Зачем участвовать в клоун ворлде, где нужно платить за резюме?
Лучше чилить на заводе.
А они знают тягу русского человека сесть на бутылку и накидать косолапому в туза.
Я гемму просил мне резюме написать
Теперь работаю гей-шлюхой
Итак дистиллят, просто у нас исходник прошлогодний qwen3-coder. Обновлять исходную модель дорого и больно, поэтому сидят на старых. Внутренняя разработка предпочитают дефолтных квенов, а не гигакод
Рил, кстати.
Не так давно общался с ребятами из одной фирмы, узнал, что они юзают локальную модель для своих задач, еще и тюнят ее(тут хз верить или нет). Спросил, что за модель - Qwen3-Coder-480B-A35B
> исходник прошлогодний qwen3-coder
> Гейтед свиглу экспеты из дипсика + линейный атеншн из квена 3.5
Вот оно че, а у вас - это у кого?
>>1701945
Кулстори, способные тюнить такое не знают о вышедших моделях.
Если исключить что ты врунишка, те ребята что что-то тренят приукрасили (по ролику из ютуба запустили ее на сервере без гпу с 4 токенами), или они непричастны к разработке, а лишь слышали что-то старое.
>Кулстори, способные тюнить такое не знают о вышедших моделях.
А причем тут это?
На работках все намного инертнее. Это не как в тредисе по 10 новых тюнов тестят и решают какой лучше, потом еще какие-нибудь сомнительные ветки лламыцпп багованные у себя проверяют.
Там если что-то работает, то нужна серьезная причина, чтобы делать апгрейд. Особенно если у тебя нескончаемый поток других задач.
Да и помимо всего прочего, тюн - это уже настроенное рабочее окружение. Заменить модельку - не факт что в 15 минут все обойдется.
>еблан не понимает разницы между архитектурой аттеншна/мое/нормализации/этц и весами
Причём я и на хабре таких видел. Боязно за ойти. Наверно если нейронки всех заменят это к лучшему
Инертнее там где это допустимо, быстро там где идет активное развитие и дележка. В узких прикладных темах спокойно может трудиться какая-нибудь гемма2 в сочетании со всратым эмбеддером. Но это только потому что готовый конечный продукт с микробюджетом, и он уже решает свою задачу.
А здесь дорогое оборудование, дорогая куча человекочасов ради широкой задачи от которой напрямую зависит доход. Это на фоне хорошей осведомленности даже младших кодомакак о том как могут работать ллм. Году в 20м подобный бардак еще встречался, но сейчас такое только в роскомпозоре может происходить.
> лламыцпп
Увидев это в контексте прода дальше можно не читать
>на хабре
У меня там статейка про квена на 16гб врам 100к зрилов собрала
>А здесь дорогое оборудование, дорогая куча человекочасов ради широкой задачи от которой напрямую зависит доход.
Ну так и большая моделька не один месяц тренится.
Если каждый раз, когда выходит что-то новое, менять все окружение и заново запускать обучение - можно вовсе не натренить нихуя.
>способные тюнить такое не знают о вышедших моделях
О вышедших моделях я думаю знают, но это действующие рабочие процессы, которые я сам видел (собственно их и демонстрировали). Модель явно не мелкая и работает не 4 ток в сек. Я как заинтересованный в их системе захотел узнать, что за модель, чтобы прикинуть под нее железо и получил ответ в виде конкретной модели, сам я даже не в курсе был про существование qwen3 480b - слишком старая и слишком большая, чтобы быть мне интересной.
Общался я с разрабами системы, построенной на LLM, а конкретно настройкой и тюнами я думаю там другие люди занимаются, поэтому скептически отношусь к инфе, что эту модель они у себя дообучали. Но что используют не более новую модель - тут я никаких противоречий не вижу. Если уже все настроено, все работает и помогает зарабатывать деньги, то зачем это менять с выходом каждой новой модели?
> не один месяц тренится
С шума да. А файнтюн под узкий домен - пару недель максимум. С текущим уровнем ллм вообще нет смысла делать тюн такой большой модели "под себя", достаточно обвесить ее. Разве что ваш профиль - непосредственно создание моделей, но тогда не будет такого старья.
> Если каждый раз, когда выходит что-то новое
Так речь о тренировке ллм под задачу, там берут самое свежее и перспективное что вышло перед началом. Создание датасета и подготовка - отдельные этапы, они полностью развязаны с моделью и их длительность не заставит выбрать старье.
>>1701968
Выглядит неубедительно, не в смысле что такое не могли тебе сказать, а правдивость сказанного. Особенно учитывая какой контингент в строителях подобных систем.
> скептически отношусь к инфе, что эту модель они у себя дообучали
Вот это вполне вероятно.
Тут главный вопрос когда и что там было. Если еще до нового года, или речь про прошлый и уже реализованный проект - все окей. А если недавно и именно шел процесс - пиздец.
> используют не более новую модель
Сказано что тренируют, а не просто используют. Про то сам же написал пример со второй геммой
Просто не быть нищими?
Я и так уже карту за 65к купил и рам у меня на 75к, я уже вложился, а запускать нехуя.
> карту за 65к купил и рам у меня на 75к
Так этого мало, удвой.
На первый прямой вопрос уклонилась от ответа, стал дальше доебывать, что то написала, но все равно виляя жопой и без особой конкретики
Интересно другие Uncensored модели от HauhauCS тоже такие или есть лучше?
>что то написала, но все равно виляя жопой и без особой конкретики
типикал гемма4
Пользуюсь https://huggingface.co/mradermacher/gemma-4-26B-A4B-it-ultra-uncensored-heretic-i1-GGUF, ни единого отказа не видел.
> не переведенных
Смысл? Жор токенов лишний же, карточку лучше на английском же.
Так попробуй тот что помельче, он не сильно хуже в рп бенче
Тоже хочу на днях потестить
>речь про прошлый и уже реализованный проект - все окей
Да, это уже готовый работающий проект, явно не вчера сделанный. Не какая-то тестовая версия или mvp. Насчет модели не вижу смысла им пиздеть, они могли вполне не указывать конкретную версию и объем параметров и в первую очередь демонстрировали применение LLM в проверке информационных моделей, а не саму LLM. И про дообучение я не думаю, что они пиздели, мой скептицизм скорее про то, что они могли не знать во всех деталях, как именно была доработана модель под их систему, может там чисто тулы донастраивались под задачи, а может и реально дообучали такую громадину.
Мелкий тестил. Он на мой гигажирный сиспромпт забил хер и на личность тоже забил хер где-то к 10-му сообщению. Начал нормально и поплыл.
Что то я не вижу чтобы геминям и опусам нужен был ТЮН, лол.
Нужно всегда юзать чистый, оригинальный продукт.
В таких случаях не хватает continuous времен в великом-могучем. Изначально прозвучало будто они это делают прямо сейчас, а не занимаются в общем и то - пример их работы, думаю понимаешь насколько это дико.
Так q4 контекст это имба, влазит в два раза больше, а минусов нет. Ну может какие нибудь древние модели заёбывались даже на bf16 контекстах, но последние квены и на q4 без замечаний работают.
>Что то я не вижу чтобы геминям и опусам нужен был ТЮН
А если я скажу, что новый опус это тюн старого?
> Что то я не вижу чтобы геминям и опусам нужен был ТЮН, лол.
Смотря для чего. Если про РП говорить, то тюн им очень бы пригодился. Хоть и мозг у них имеется, но отыгрыш полный кал, к тому же рл на безопасность мешает.
Им бы пригодилось наоборот отсутствие некоторых тюнов, в первую очередь тонны сейфти алайнмента.
Ну это уже другой вопрос, разумеется без сейфти алаймента для РП было бы лучше. Только вот им похуй на РП, главное для них это кодинг и агенты, где безопасность по их мнению нужна такая.
Наоборот, им очень даже не похуй. Тут прямая ставка на dei и прочую залупу из-за чего креативное письмо давится со страшной силой.
>>1702093
Они сами усиленно лоббируют тему о безопасности во власти, чтобы потом с ее помощью укреплять монополию. К счастью, пока им оказывается какое-никакое противодействие.
>>1702039
Итого ужасная скорость, не понимаю в чем дело. У модели мало слоев, она не толще чем глм 5.3 по размеру ворочаемых файлов. И тем не менее, генерация ровно 1.0 т/с вместо ожидаемых 5 - 6 т/с. Очень странно, первый раз с таким сталкиваюсь. Даже свободная RAM / VRAM остается и SSD не задействован. Загружал и так и сяк, не меняется. Может, конечно, переход от 753 до ~1Т (при одинаковых A40B) настолько сильно сказался, но как-то не верится, ведь между 400 - 700 деградации нет и веселые 5 токенов это тупо обычный ботлнек, ниже которого еще ни разу ничего не деградировало. Нуштош, ладно.
Тупит соответственно 1-битному, но не так плохо как я думал. Правила интерпретирует слишком буквально и не читает между строк. Перспективы путает уже с третьего сообщения, но не катастрофически. В общем да, что ожидалось, то и получилось.
>Итого ужасная скорость, не понимаю в чем дело
У меня похожая ситуация была год назад, когда пробовал запихать 235b квен в 16+64. Квант IQ2_S выдавал что-то около 5тс, при том что эйр в Q4_K_S "летал" на 15тс. В итоге использовал его только под короткие кум-сессии и в этом он был хорош, чертяка. Вангую деградацию скорости из-за IQ и самого факта что огромная модель в низком кванте.
Ну так глм 5.3 тоже IQ квант (IQ3_XXS), а ведь нет такого пиздеца. Странно вышло, особенно с учетом того, что глм 5.3 таки приходится полагаться на SSD немного, то есть он впритык совсем 256/256 памяти жрет, а этот 1-битный урод - нет (252/256).
Ну да. Только с красивым интерфейсом и саммарайзом, которым приятно пользоваться.
Если есть - прикручивать p104 однозначно. 20 vram даже таких - это уже плотный 27B квен. А с ним вряд ли что-то то сравнится в данных размерах. Моешки ему сливают.
Второй день попуков - как же я ебал это все.
Вощем, я сначала попробовал модельки уровня 4Б, чтобы понять что к чему. Выбор пал на Квена, ибо хотелось провести эксперимент - можно ли убрать сухой слог и улучшить русек.
Гугл сказал, что Лора/Кулора как раз для такого охуенно подходят - тюнинг стиля, надрочка на специальный формат и т.д., это все к Лоре.
Взял базовую модель Qwen3.5 4B, чтобы всякой агентской чепухи и безопасности не было (хотя, как оказалось, даже базовая моделька уже нихуево обучена отвечать по шаблону и пиздеть про безопасность, что странно).
Значится, первым делом-первым делом датасеты, ну а тюнинги а тюнинги потом.
Казалось бы, нашел сочный датасет с русским РП кумом (на самом деле переведенным, но ок): https://huggingface.co/datasets/Arketov/ru_roleplay_conversation_chub
И он, походу дела, оказался зафаршмачен - диалоги не имеют никакой логики. Подозреваю, что кто-то (автор датасета) перевел диалоги в сет, из-за чего они отсортировались хуй пойми каким образом, а потом обратно в лист - в итоге порядок нарушен.
Похуй, есть другой похожий датасет от того же автора, тоже переведенный. Писик и сисик вроде тоже содержится
https://huggingface.co/datasets/Arketov/ru_roleplay_conversation
Готовим датасет.
...И тут уже начинается шквал хуйни, которую нужно учитывать, чтобы все было чики-пуки.
Помимо того, что без поллитра хуй проссышь какой формат ожидает трейнер, какой токенайзер-хуенайзер, куча всяких флагов, предподготовка датасета, пакинг семплов, нужные-ненужные столбцы, лосс только для ассистента и 100500 другого подзалупного творога. Это хуй с ним, один раз настроил и норм должно быть.
Возникает другая проблема. Как оформлять это говно в актуальные данные для обучения?
То что бот и юзер обмениваются сообщениями - понятное дело.
А системное сообщение? У нас же обычно карточки. А они хуй знает как оформлены. Где-то описан только персонаж, где-то еще и юзер описан. А таверна например еще дополнительные мессаги для ассистента вставляет, типа "ты играешь роль персонажа Х в этом рп с юзером У". А еще поле сценария бывает, например, а бывает и не бывает.
Плюсом, большинство карточек на английском, а рп может быть на русском. А кто-то хочет без карточки играть, просто в диалоге с сасистентом придумывать историю. Половина людей пишут по-распиздяйски с ошибками и кладут хуй на разметку, например.
- Под всю эту дичь желательно иметь семплы, чтобы ллмка не терялась.
Это базовые потребности. Но для идеального датасета этого мало.
Если мы хотим пуленепробиваемую машину для РП, нужен датасет, где юзер:
1) будет пытаться сломать персонажа (просто прогнуть под хуйню, которая не соответствует карточке),
2) или пытаться сломать рп (начать пиздеть о рандомных темах),
3) или пытаться что-то мимо сеттинга сделать (позвонить по мобиле в средневековом фентези).
В каждом случае ллмка должна знать как вести себя. Базовая смышленость не поможет - нужно вбить правила игры в саму нейронку. При этом каким-то образом оставлять пространство для маневров, если мы захотим сделать кроссовер звездных войн и властелина колец.
Ладно, допустим с датасетом разберемся как-то.
Но чтобы весь процесс тюнинга не был тыканием хуя в черное небо без цели, мы должны валидировать насколько моделька реально стала лучше. А для этого нужно иметь особый набор тестов и метрик.
- Насколько хорош русик, насколько пиздат слог.
- Насколько нейронка следует формату.
- Насколько выдерживается логика, стиль, персонаж, сеттинг и все прочее.
Что-то можно регулярками или базовой статистикой померить. А что-то надо отдавать на аутсорс большой ЛЛМке, которая будет в роли судьи...
Блях, я заебался.
Но самый прикол в том, что после нескольких запусков тренировки на 100 семплах (на бесплатном гугл колабе офк) я так и не получил модельку, которую я могу попробовать. КЕЕЕК. А все потому что в жоре, ебена его мать, сломана квантовалка для квена по каким-то причинам. Она где-то проебывает финальный слой, или вроде того.
llama_model_load: error loading model: missing tensor 'blk.32.attn_norm.weight'
https://github.com/ggml-org/llama.cpp/issues/24737
Ишью есть, но статус не ясен.
Вощема, хуйня этот ваш машин лернинг.
Я разочарован в идее создания всенародного тюна для кум-РП.
Все кто ждет пиздатых тюнов для РП - не ждите.
Локальный РП кум кончен.
Официально.
inb4: Да, я аутист. Цените это.
А может просто срать в репу фулл вайбкод говном ещё больше стали?
>>1702151
В первую очередь с нормальным бэком, а не ебучая таверна где реквест улетает к провайдеру с твоего браузера и если ты свернул его на телефоне то генерация просто обрывается. Про "шикарный" ux/ui таверны я вообще молчу, после него любой сайт кажется манной небесной
Да хуйня все эти переобучения. Чем ближе модели к идеальному следованию инструкциям и чем лучше их внимание, тем менее актуально будет вот это всё.
Сидим на жопе и ждем, потом просто пишем промпты.
> таверна где реквест улетает к провайдеру с твоего браузера
Че?
Главная фишка Маринары это агенты. Есть агенты скрытые, которые грамотно формируют контекст хватая куски из лора, из других чатов, есть агенты которые ты можешь поставить из набора (официальные), там тебе и слежение за одеждой чтобы не было логических проёбов и за локацией и для рпг много чего. И ты можешь написать своего агента, причем пишешь ты там не код, а промпт и выбираешь условия срабатывания + просишь ллмку следовать json схеме для конкретных функций (например генерация картинок или видео, генерация опций действия или диалога типа как в ВНке).
Мой агент замечает намерение или согласие перса отправить фото и дёргает комфи в фоне. Там есть агент Иллюстратор еще которого можно настроить похожим образом. Но написать своего агента не сложно. "Профессор" может подсказать если не понимаешь как. Профессор кстати классно помогает с созданием или редактированием персонажей или лорбуков. Надо только чётко давать ей "разрешение" на редактирование иначе она будет биться лбом в стену ("пользователь не сказал напрямую что я могу редактировать карточку"). То есть профессор это ещё один агент но уже интерактивный, как в кодинге.
Там много фишек ещё например эмодзи реакции на сообщения (персонаж проставляет реакцию и видит что ты проставил), распорядок дня для персонажей, автономность (пришлют сообщение если ты долго не отвечал). Из режима смс-переписки персонаж тебя может пригласить в рп-сцену (где например можно подключить choice агента для режима похожено на ВН-ку). Некоторые фишки надо включить в настройках например есть такая функция когда свайпаешь можешь написать пожелания в поле ввода текста (но не отправлять) и они будут учтены при свайпе.
Единственное что работает хреново (из коробки по крайней мере) это групповые чаты. Они как бы работают но все перемешивается, нельзя свайпнуть отдельно чью-то реплику, нельзя дёрнуть конкретного персонажа, они все отвечают одновременно.
Для тех кто просто тыкает минуту кажется что это просто красивый интерфейс таверны, но на самом деле это просто более продвинутый и хорошо продуманный проект.
Охуевшая модель.
Пробовал её на опенрутере - она, может, не самая умная и не самая последовательная то персонаж кладет руку на бедро, то вдруг она оказывается на щиколотке, иногда несет дребедень про персонажа-слугу она постоянно говорила "из калатских канав", хотя в Морровинде нет Калата, это вообще в пакистане, но как же она ЧУВСТВУЕТ, как прекрасно играет эмоции, как не боится проактивных действий и достойно управляется с русским языком.
Очень недооцененная модель
Это еще хуйня. Я сейчас уже несколько дней тренирую лору, потом тестирую, потом чищу вилкой датасеты, добавляю новые семплы, снова обучаю, квантую, тестирую... И так по кругу.
Кстати квантует у меня жора нормально Qwen3.5 4b. Смерджить лору в f16 у тебя получилось, прежде, чем квантовать?
А следующая походу будет гигажирным кодоунитазом на 2Т+
Очень печально
>Смерджить лору в f16 у тебя получилось, прежде, чем квантовать?
Неа, даже конверт в ф16 ггуф дает нерабочую модельку.
Хз, может я с версиями библиотек напортачил, или с прописками модели.
Ты через чистый TRL/SFTTrainer делаешь, или через анслота?
Какой-то подводный батискаф на дне морском. Вот это плющит гигачат.
Да там вроде как первые две страницы преимущественно норм.
Срать-то раньше начали, и это закрывать начали.
> Возникает другая проблема. Как оформлять это говно в актуальные данные для обучения?
Ты задаешь правильные вопросы. Чтобы было хорошо, нужно учесть конкретное содержимое чата: помимо базовых вещей типа карточки и персоны юзера, задать уместную системную инструкцию исходя из содержимого и ответов, причем сделать это достаточно подробно. Есть подходы от минимальных, где просто оценивают размер, до доскональных, где смотрят и стиль речи, и подробность описаний, и склонность к нарративу или реплкам, и другое. Причем, важно это было постоянным по ходу сообщений чата, а если меняется - должна быть соответствующая инструкция на стыке.
При этом, необходимо иметь несколько вариантов всех инструкций и пометок, чтобы модель не стремилась запоминать только одну фразу, а извлекала смысл, или дропать их с некоторым шансом, чтобы не было эффекта чрезмерного полагания с падением перфоманса без них.
Потом понимаешь что нужно отбалансировать датасет не только по контенту, но и по этим самым дополнительным критериям, и обеспечить разнообразие сочетаний их с контентом. Чтобы на было байаса на, например, супердлинные и агрессивные полотна текста если он по вахе, безальтернативный кум если в кадре появляется фурри, гомогейство если мелькает какой-то тайтл и т.д. Одновременно с этим повышается планка к качеству и разнообразию чатов - как по логике сюжетных развилок, так и по общей структуре. Особенно ценными становятся очень длинные чаты, которые можно переиспользовать по многу раз в одной эпохе, беря разные участки и суммаризуя то что не вошло перед.
Здесь же рядом то что ты написал про качество русского и прочего. А еще, неплохо бы избежать коллапса разбавив рп общими вещами, кодом, матаном, кузуальными чатами.
Продолжать тут можно долго. Подготовка Большинство рп тюнеров в лучшем случае добавляют карточки, дефолтный системный промпт и делают совсем уж грубую фильтрацию датасетов. Потому такие результаты на выходе, что-то нормальное только если рандом удачно лег.
Мемори рекол это как бы запись фактов из прошлых сообщений которые потом могут быть полезны в беседе и добавление этих фактов к контексту в виде списков по датам/неделям. Похоже на суммаризацию, но не меняет сам лог чата в контексте, это добавка.
А суммаризация это замена старых кусков беседы в контексте на их сокращенное описание, цель - чтоб влезло в контекст. Меняет лог чата в контексте.
Посмотри ещё long term memory агент, он должен писать инфу/события из чатов в карточку перса и в лорбуки, это надежней чем мемори рекол.
Через анслот.
Там с версиями библиотек, меняющимися методами между версиями реально беда. У меня тоже далеко не сразу все заработало. Ну и обучаю я локально на v100. SFTTrainer по-моему у меня не заработал и в обучении просто Trainer
trainer = Trainer(
model=model,
args=TrainingArguments(
output_dir=OUTPUT_DIR,
num_train_epochs=NUM_EPOCHS,
per_device_train_batch_size=BATCH_SIZE,
gradient_accumulation_steps=GRAD_ACCUM,
learning_rate=LEARNING_RATE,
warmup_steps=WARMUP_STEPS,
optim="adamw_8bit",
fp16=not is_bfloat16_supported(),
bf16=is_bfloat16_supported(),
logging_steps=10,
save_steps=200,
save_total_limit=2,
save_only_model=True,
report_to="none",
),
train_dataset=dataset,
data_collator=data_collator,
)
trainer.train()
Вот этому господину чашку ароматного чая. Еще интерфейс довольно эстетичен, вместе с динамическим задником и всякими сворачиваемыми панельками создает нужную атмосферу.
>>1702207
В чем преимущество анслота над ванильным трансформерсом? Насколько легко присрать дипспид/fsdp2 и кернели для оптимизаций типа нигера?
Бля, представил. На опенроутере внезапно появляется моделька:
>Opus-6-GPT-Astra-Distilled-Fable-Knowledge-Injected-Neo-Max
>После 10 минут размышлений ответа все еще нет
>Заходишь в ризонинг, а там ]]]]]] ]]] ]]]]]]]]]]...
Тру стори. Так было с https://huggingface.co/ghecko78/Qwen3.6-35B-A3B-Claude-4.6-Opus-Reasoning-Distilled-heretic.
Эта https://huggingface.co/bowser1991/Qwen3.6-35B-A3B-Uncensored-Claude-Genesis-GGUF без специальной жижи и пустым сиспромптом иногда на середине размышления начинала срать числами. Причем если это были одни 10, то с концами. Если разные, то через некоторое время снова начинала нормально думать и давала ответ.
>Главная фишка Маринары это агенты. Есть агенты скрытые, которые грамотно формируют контекст хватая куски из лора, из других чатов, есть агенты которые ты можешь поставить из набора (официальные), там тебе и слежение за одеждой чтобы не было логических проёбов и за локацией и для рпг много чего. И ты можешь написать своего агента, причем пишешь ты там не код, а промпт и выбираешь условия срабатывания + просишь ллмку следовать json схеме для конкретных функций (например генерация картинок или видео, генерация опций действия или диалога типа как в ВНке).
Кто именно работает в роли агентов? Сама модель? Как обходишь постоянный пересчет контекста? Только не говори что никак.
>Только не говори что никак.
Люди же прямо пишут: 100тс генерации для Маринары уже терпимо. Ну и вот.
>>1702245
Всегда (почти) можно рядом поднять квен для агентов и основную модель для чата.
А если нельзя, то просто не включай и получится менее ебаный вариант таверны
>Всегда (почти) можно рядом поднять квен для агентов и основную модель для чата.
Конечно, я же риговичок с сотнями гб врама, чтобы это всё влезало с запасом, и еще и работало быстро. Короче я понял, нормального решения проблемы нет и соответственно нормального использования агентов в реальном РП тоже.
>получится менее ебаный вариант таверны
У маринары объективно нет реальных преимуществ перед таверной, кроме этих самых агентов.
Там есть встроенный рантайм который устанавливаешь прямо из интерфейса (разные таргеты в том числе цпу). Этой моделью будет пользоваться вся мелочь типа саммари, трекеры и прочее. Под эти агенты Маринара рекомендует гемму4 е2б (ку_4_м сожрёт всего 3.4 гб памяти).
Если это не настроить, то да, будет просто использоваться основная модель.
Под дополнительные агенты (которые ты устанавливаешь или пишешь сам\с
помощью профессора) ты можешь выбрать либо всё тот же встроенный рантайм с легковесной геммой, либо один из коннекшнов (главный или любой из дополнительных). То есть грубо говоря запускаешь еще одну лламу с другой моделью.
Да, если у тебя что-то типа 10 т/с то придется ждать. Но это добавляет реализма, ты же от реального человека тоже ждёшь сообщения некоторое время лол.
Да, магии нет, за всё надо платить или временем или мощностью железа.
>У маринары объективно нет реальных преимуществ перед таверной, кроме этих самых агентов.
Громко сказано. Преимуществ ещё много.
>Там есть встроенный рантайм который устанавливаешь прямо из интерфейса (разные таргеты в том числе цпу). Этой моделью будет пользоваться вся мелочь типа саммари, трекеры и прочее. Под эти агенты Маринара рекомендует гемму4 е2б (ку_4_м сожрёт всего 3.4 гб памяти).
Четвертый квант у 2В малышки? Представляю какие там аутпуты с пусканием слюней.
>Да, если у тебя что-то типа 10 т/с то придется ждать. Но это добавляет реализма, ты же от реального человека тоже ждёшь сообщения некоторое время лол.
Самый смешной коупинг что я слышал.
>Преимуществ ещё много.
Например? Только не пиши что интерфейс красивее, это вкусовщина.
> Представляю какие там аутпуты с пусканием слюней.
Какое пускание, какие атупуты, вот к примеру задача: прочитать сообщение и ответить на вопрос поменялась ли одежда у персонажа за это сообщение по сравнению с тем что в трекере одежды. Если да - обновить список одежды. Всё. 2б справляется отлично в том числе если рп на русском в том числе если действие мудрёное ("снял вывернул наизнанку, снова надел") или "приспустил штаны ради моды". Сами сообщения эта модель не пишет в этом случае, просто выполняет глупую но полезную работу (без этого даже клауд-унитазы обсераются и путаются в одежде). Основная рп модель потом уже опирается на список одежды когда пишет полноценный аутпут. Просто чтобы не ошибиться.
Ладно. Допустим я восхитился, хочу перекатиться на Маринару и обмазаться агентами.
У меня есть РП в таверне примерно на миллион-полтора токенов (естественно в контексте последние три сообщения по 10-15к токенов каждое, плюс суммарайз предыдущих по дням), с лорбуком на 50+ позиций.
Плюс autors note на 10к с отслеженной вручную хуйнёй. Плюс весь РП он второго лица и надо, чтобы я нейронке кидал план на следующее сообщение (включая диалоги или оставляя это ей), а она наливала туда воды.
Про инфоблок и красивые HTML-панельки я уже не говорю, это как раз в агентной системе будет збс работать поверх ответа.
В общем как какать запихнуть всю эту хуйню в маринару?
>Какое пускание, какие атупуты, вот к примеру задача: прочитать сообщение и ответить на вопрос поменялась ли одежда у персонажа за это сообщение по сравнению с тем что в трекере одежды. Если да - обновить список одежды. Всё. 2б справляется отлично в том числе если рп на русском в том числе если действие мудрёное ("снял вывернул наизнанку, снова надел") или "приспустил штаны ради моды". Сами сообщения эта модель не пишет в этом случае, просто выполняет глупую но полезную работу (без этого даже клауд-унитазы обсераются и путаются в одежде). Основная рп модель потом уже опирается на список одежды когда пишет полноценный аутпут. Просто чтобы не ошибиться.
Да, я в курсе как в маринаре работают агенты и претензия остается в силе - для чего-то сложнее чем описанная тобой таска 2В гемма в 4 кванте непригодна, а брать что-то умнее или квант больше - дополнительный и крайне значительный расход врам. А любой расход врам мимо основной модели - это значит использование худших моделей, более ужаренных квантов и значительно меньше контекста - это прямой удар по качеству самого текста. Ради чего - ради отслеживания одежды на персонаже? В итоге агенты получаются чем-то вроде пикрелейтед.
> В общем как какать запихнуть всю эту хуйню в маринару?
А ее попросил переписать пресет Маринары, но нихуя не смогла и нейронка любила писать за меня (Гемма4), без пресета все отлично.
Там есть встроенный Персонаж помощник, накати и спроси у него, но ты пососешь. Лорбуки при импорте не привязываются к персонажам, теги не импортируются (если в системе Таверны), галерея не импортируется, удобного режима Impisonate нет (вручную писать в чате команду), подсказки системные куда двигать сюжет потом редачить нельзя. Обновить определения перса нельзя (ну только вручную, а не импортом)
Но мне нравится, что можно галерею сделать (прикрепить изображения в чат), но они заливаются отдельно и аватарку перса не заюзать. Так что в целом, если юзаешь просто чат, то нахуй не нужно, а если еще обмазан сотней костылей, да даже просто мигрировать, то неудобно.
>>1702169
> Они как бы работают но все перемешивается, нельзя свайпнуть отдельно чью-то реплику, нельзя дёрнуть конкретного персонажа, они все отвечают одновременно.
Согласен, это кал.
Ничего не понял кроме того, что хуй пососу с переездом, и при таких вводных надо вкатываться в вайбкодинг и свой фронт писать, чтобы вместо непонятной хуйни, которая делает непонятную хуйню, был просто комфиподобный интерфейс, куда можно было бы поблочно напихать последовательность обработки конкретными агентами с конкретными промптами и инструментами.
>был просто комфиподобный интерфейс, куда можно было бы поблочно напихать последовательность обработки конкретными агентами с конкретными промптами и инструментами.
Если ты из ЭТИХ, то для тебя сделали телемита
https://github.com/vegu-ai/talemate
Смотрите анончики, какая хуйня.
Я анон, которых хочет вкатиться в тему купив А100 на 16 гигов (после просмотра видоса на ютубе о том что можно крутить на видюхе в 32 гига за 45К и ахуевший с того, что за 6 месяцев цена сделала х2).
Так вот, раньше мое общение с нейронками ограничивалось вопросами о прыщах на жопе и еблей фурри-лисиц в чатах.
Что я смогу получить от А100 на 16 гигов? Стоит ли игра свеч или там будет какая-нибудь хуйня которая будет генерировать ответы по 15 минут
Там где гемма 2б не пригодна (я, кстати, перепроверил - я использую 4б, а не 2б, 4б поумнее будет) я выбираю 26б-соединение в connection override конкретного агента (например мой агент Character Fidelity Auditor - "критик", который исправляет попытки выйти из роли, вот тут ни 2б ни 4б не справились бы потому что он переписывает текст, селфи агент - тоже использует 26б, впрочем 4б не так уж и плохо с креей справляется).
Всего у меня для Маринары 3 модельки запущены: 26б (основная, с ммпродж, это чтобы перс "видел" что на изображениях которые я добавляю в чат) для главного рп, 26б для "умных" агентов, 4б для простых агентов. Частично выгружаю моэ на цпу, занято 13.4 Гб из 16 Гб Врам. Скорость у обоих 26б - 24 т/с, у 4б - 75 т/с, контексты все 64к ку8.
У кого есть хотя бы 8 врам можно параллельно как минимум 2б и 26б запустить, я уверен.
>>1702283
С переездом скорее всего да, соснешь. Карточки персонажей импортнуть из Таверны в Маринару будет не сложно. Мб лор-буки тоже. А вот огромные логи - не уверен. Но стоит попробовать.
Последовательность агентов - не уверен что можно как-то контролировать кроме как порядком добавления их в чат. А так в целом агенты рекомендую поковырять/пописать в Маринаре, это очень сильный инструмент (никаким ризонингом такого результата как с агентами не достичь), поймешь что чего-то не хватает и надо вайбкодить - вайбкодь экстеншон для Маринары или вообще правь исходники (не тебе же править, а ллмке).
Базовая модель, Не инстракт. Может фанфики за тобой продолжать
>А вот огромные логи - не уверен
Мои логи, хоть и не огромные, при переезде из таверны перенеслись без проблем.
Только не пойму, нахуя ты тратишь время на убеждение кого-то в чем-то? Он же вечно будет находить отмазки - то чат может не перенестись, то интерфейс не понятный, то хуй мне не сосут.
Дядь, ты занимаешься какой-то хернёй. Жора уже более менее стабильно умеет в параллельную обработку. И даже kvu не жопой программирован. Правда не без нюансов. Когда ты шлёшь свою кум-портянку жора вычисляет ее хешь и сопоставляет со слотом kv-кеша. Которые в холодную хранятся в оперативе и при некотором пердолинге даже на диске и подгружаеться в VRAM относительно полном совпадении (sps). Т.е. ты можешь просто настроить нормально 26 под максимальный контекст и tps и она будет решать все агентские вызовы. Две модели имели бы смысл если играть на квене на ангельском. А переводит на русский Геммой.
Ок потестировал на трёх слотах, ты прав, оно выбирает слот по контексту.
>это не поможет, мне на разные порты надо
Не знаю как в маринаре, но в таверне это решается тем что коннекшен профили разводятся по разным слотам жоры через id_slot: 0 и id_slot: 1 и т.д., на один профиль кидаешь основные запросы, на второй - агентские. И все крутится на одной модели.
- Thinking OFF: final приходит, но качество слабое.
- Thinking ON: субъективно лучше, однако в 14/18 тестов final пустой: готовые реплики с разделителем <MSG> остаются в reasoning_content и не отправляются в чат.
- В raw-выводе подтверждено завершение через <|im_end|> без </think>. Лимит токенов не исчерпан; инструкция обязательно дать final не помогла.
- <MSG> разделяет сообщения, но не отделяет ответ от рассуждений. Двухэтапный ON→OFF вернул final, без явного улучшения качества.
Куда копать: обучающий chat template, датасет или настройки инференса? Как сохранить качество ON и добиться корректного final?
Да уже решился вопрос с помощью -np. Можно не выгружать на цпу чтобы впихивать доп. модели, а просто использовать гемму на 3 слотах. Контекст сохраняется и по совпадению хэша выбирается нужный слот автоматически, его не надо нигде указывать. Вот и ответ на вопрос про пересчет контекста: >>1702245
>гемму
гемму-26 имею в виду. вместо двух медленных гемма-26б и одной быстрой гемма-4б получаю три быстрых геммы-26б
Я максимально васян, настроил Таверну по гайду с пикабу джва года назад для незатейливого смата раз в месяц. Моделька выше меня до сих пор полностью устраивала, благо англ. на достаточном уровне. Но тут вдруг подумал: а зачем всё-таки я мучаюсь, аутирую над грамматикой и подбором слов, если на русике теоретически можно кайфово писать на лету сразу что хочется? К тому же давно заметил, что пошлятина на родном языке вштыривает как будто сильнее.
Пробный поиск по HuggingFace ничего не прояснил, к тому же подозреваю, что сам найду в лучшем случае "общеразговорные" модели, а нужна-то именно "хорняшная". Заранее спасидос.
MSG это типа спец токен? Они по-моему отдельно должны добавляться в токенайзер, чтобы все по феншую было.
На счет хуевых ответов - мб эпох побольше надо надо. Учитывая что у тебя датасет из чата, там вероятно мало семплов, нейронка просто не успевает логики ухватить.
А я думал, они сейчас только безпотерьным квантованиев q4 занимаются, а тут вон оно как.
reasoning_content:
Я люблю портвейн
<MSG>
Вино
<MSG>
Или всякую подобную хуйню
content (final): null
finish_reason: stop
вот так с <msg>. При обучении указывается что если надо неск сообщений то дели их <msg>
А сколько эпох попробовать? Я две пробовал 1 раз, не увидел сильных изменений.
В последнем датасете, использованном для обучения:
- Train: 24960 примеров, 9,05 млн токенов с контекстом; из них 1,51 млн — текст ответов assistant.
- Validation: 1170 примеров, 370 тыс. токенов.
- Медианная длина примера — 247 токенов, максимум — 1000.
- Последнее обучение — 1 эпоха.
Примерно любой мистраль 12б, 24б может в русик на хорошем уровне.
https://huggingface.co/MarinaraSpaghetti/NemoMix-Unleashed-12B
https://huggingface.co/IlyaGusev/saiga_nemo_12b
Из новых гемма 4 если только. Но хорни там на любителя.
Мистраль в принципе говно кроме 123б, а ты ещё и про русик. Мистралешизам ответ один - показывайте логи или посасывайте молча свою залупу
Я честно говоря пока не очень вкуриваю как ты ризонинг используешь.
В обучающем датасете тоже секция ризонинга присутствует?
Мб сначала просто дефолтный вариант без всякого ризонинга попробовать?
По эпохам обычно 2-3 советуют. Больше уже пережаривание будет.
>0.6B
даже если инстракт будет - она даже не догадается на хуй прыгать как гемма
просто будет сидеть слюни пускать в коме
Шизы те, кто не сумели адекватный аутпут на мистралях получить. Каким полоумным придурком надо быть, чтобы не суметь завести самую распространенную модельку - я не знаю.
Мистралебоярам никому и ничего доказывать не надо.
Ух, пора расчехлять кум-машину, годнота подъехала. Сообразительная еще должна быть! Интересно это оно у них на серверах крутится для умных колонок, или что-то нормальнее.
>>1702310
> Всего у меня для Маринары 3 модельки запущены: 26б (основная, с ммпродж, это чтобы перс "видел" что на изображениях которые я добавляю в чат) для главного рп, 26б для "умных" агентов, 4б для простых агентов.
Ээээ?
Если все это в врам то ты мог бы крутить какой-нибудь int8 w8a8 квант той же 26 геммы в вллм, который и по качеству и по скорости при одновременных запросах был бы лучше. Или уже юзать комбинацию гемма+квен и миксовать их в основном ответе, а агентов уже на одной из них.
Ну расскажи ему про дистилляцию и пришли скриншот модель пикера
Вообще странно, дипсик о таком обычно не спорит, сам на днях просил его посмотреть новости, он напрямую предупредил о разнице между сегодняшней датой и датой его датасета. Также смотрит на свою полное собственное имя подставленное через {{тег}} и вiрит.
Гемма например часто начинает спорить "да сегодня 2024й, ты мне фейковую тулзу подсовываешь чтобы наебать и поржать"
Это то что в колонке сидит? Тулколлы должно нормально делать? Колонка же всякие штуки включает-выключает
>пора расчехлять кум-машину, годнота подъехала
Я почитал на хабре https://habr.com/ru/companies/yandex/articles/1080654/ это модель для работы с большими текстами и выдачей по этим тестам емких ответов. Ну и джемени из гугла сказал, что эта архитектура плохо подходит для бесед или генерации художки по малому промту.
Хотя какая колонка с 35 гигами...
Теоритически 0.6 активных даже из обычного рама должны летать
>В обучающем датасете тоже секция ризонинга присутствует?
В обучающем датасете reasoning нет — только контекст и обычные ответы участников чата.
Без reasoning уже пробовал: это основной режим, thinking OFF. Стиль передаёт, но часто отвечает невпопад. ON включил позже для сравнения: субъективно некоторые ответы лучше, но готовый текст часто остаётся в reasoning_content, а final пустой.
Мб попробую последний датасет дообучить еще 1 эпоху.
> для работы с большими текстами и выдачей по этим тестам емких ответов
А 0.6 сможет только вялую имитацию такого сделать. Еще и архитектура старенькая без всяких модных и эффективных штучек.
Под задачи скоростного дополнения поиска наверно в самый раз, но юзеру сложно найти полезное применение.
Эта модель, как я понял, что-то вроде масштабированной большой. Образец или что-то подобное под апач 2.0. Я сомневаюсь, что они выложат инструкт версию.
>Стиль передаёт, но часто отвечает невпопад.
Ну это может быть и от датасета, и от размера лоры. Ризонинг все же для более сложных вещей нужен, когда ван-шотнуть задачу нереально.
Если это чат, где люди высираются на десятое сообщение назад, и датасет аналогичную структуру имеет, то я думаю неувидительно, что нейронка не улавливает логики.
По ранку лоры 16 вроде оптимально должно быть.
>fine-tune
Лучше возьми обычную версию и напиши "следуй стилю чата" или типа того. Если русик плохой попробуй E8/12b гемму.
Файнтюнинг как раз будет тебе отбивать логику
Я пробовал сейчас тест - на одном и том же контексте базовую и файн-тюн. Файн-тюн намного лучше по стилю.
Не факт что это хорошо. Небольшой датасет может просто не загрузить ее по-максимуму, она начнет запоминать семплы, а не закономерности искать.
>>1702530
А примеры стиля в сиспромпт пробовал добавлять?
>А примеры стиля в сиспромпт пробовал добавлять?
Для базовой модели? Нет, не знаю даже можно ли его суммировать так коротко
>Небольшой датасет может просто не загрузить ее по-максимуму, она начнет запоминать семплы, а не закономерности искать.
Попробую тогда с ранком 16, а альфу 32 задать в таком случае?
>>lm studio умеет
Ещё у неё полностью закрытый код, она устанавливает непонятные соединения, передаёт зашифрованные данные, умеет сливать твои фантазии которыми ты делишься с LLM большим дядям.
Это вообще распростаненная ошибка у маленьких квенов, но в принципе фиксится. Тебе надо семплы типа как на пикриле добавить в датасет
>>1702552
Какие нах соединения на локальном сервере, придурь крашеная
И зачем ты красишься? Твой "локальный сервер" бюджетный пк подаренный мамкой можно подумать без доступа к интернету и на Двачах ты не с него сидишь.
>устанавливает непонятные соединения, передаёт зашифрованные данные, умеет сливать твои фантазии которыми ты делишься с LLM большим дядям.
Мнение шизо-опенсорсера не интересно, но отвечу профессионально. Будет интересно всем подобным еб. Вносишь программу лм студио в заградительный файрволл, если ты такой параноик, и пользуешь нормальным софтом, как белый человек.
Походу ойти-элита не в курсе, как рантаймы обновляются в этом говне. Изолированная машина с лоли-фурри-говном, которое ты прячешь от гэбни, забирает их по локалке с основной пеки, на которой твоего нарушающего все законы мира контента нет, чатов нет, нихуя кроме щитпостинга на дваче нет - зато есть интернет и все корпо-зонды, включая качалку апдейтов, впны и еще невесть что, заглядывающее тебе в анус.
Че, думал там все зашифровано спецформаты-архивы? Хуй те за щеку. Вот они твои апдейты лмстудии. Перекинул куда следует, интернет ваш нахой нинужон.
Модель google_gemma-4-26B-A4B-it-Q8_0
Max Response Length : 1500 из них часть идет на размышления часть на ответ
Контекст: 60000 цифра получена опытным путем, при таком контексте она еще сохраняет нормальную память и меньше глючит
Ограничил в настройках Llama.cpp кол-во токенов на Thinking: 600
В целом вроде устраивает, но все же, часто приходится удалять часть сообщений и продолжать генерацию, потому что люби останавливаться на полусл...
Можно ли как-то заставить модель учитывать при генерации данные ограничения? в систем промпт писал, мол так и так при генерации учитывай что у тебя токенов на то стока на то стока остается (с запасом лимиты прописывал в 100тк) , она хуй положила. Чаще всего, в начале общения она спокойно влазит по токенам на ответ и он выглядит целостным и законченным, но спустя некоторое общение, начинает генерить тонну описаний нарративных. Я конечно подозреваю что у меня промт на генерацию говно а он естественно говно, там по сути стандарт + что-то дописывал с помощью нейронок, чтобы он про сисик и писик писал, а не про пестик и тычинку. Но нормальных гайдов про это я все равно нигде не нашел пока, только старое говно без нормальных примеров
Можно ли с этим что-то сделать? Какие параметры на максимальный ответ вы юзаете? На контекст?
если что, по железу 5070ti + 64 ram
>Умеет ли ваша llama.cpp выгружать модели?
Умеет. А вот lm studio - нет. Т.к. как раз пользуется тем, что умеет llama.cpp, которая там под капотом. У тебя на картинке как раз запрос к llama.cpp на выгрузку модели и показан, он именно так самой лламе и делается.
https://github.com/ggml-org/llama.cpp/blob/master/tools/server/README.md#post-modelsunload-unload-a-model
Более того. Это даже кобольд умеет, через тот же API. Абыдно, да? :)
Никуда ты его не внёс, дальше своих фантазий. Адекваты серьёзно относящиеся к сетевой приватности, просто не будут сидеть на винде и/или юзать подобный lm studio говнософт под бубунтой.
>Можно ли с этим что-то сделать?
Простой вариант: Ризонинг можно отключить полностью. Эти оборванные 600 токенов нихера дельного тебе не дают.
Сложный вариант: поправь жижу. Пикрил на примере 31B геммы - не знаю будет ли 26B думать короткими блоками по 3 - 4 секунды мыслей на 30 т/с вместо 20-30 секунд, но 31B таки слушается (оригинальная, а вот тюны могут обосраться). Другое дело, приводит ли такой in-character reasoning к реальному улучшению конечного аутпута - вопрос открытый. Может и не приводит. Но она думает как персонаж, решения принимает.
>она хуй положила.
Модель и не может знать, она свои токены не считает
>>1702581
Кончайте позориться, в серверной панели студии можно как угодно моделями вертеть, загружать-выгружать по API (responses, chat completions, любое говно), управлять параллельными запросами и еще невесть чем. Ваш срач напоминает долбоебов - один не знает про одно, другой вообще не вкуривает что серит вхолостую буквально как собака на воздух.
ебать некомпетентность местного контингента поистине шокирует
даже правила фаервола в шиндошсе кажутся чем-то из области кулхацкерства
тупо запрещаешь коммуникацию с сетью на конкретную приложуху и ей даже апдейты качнуть становится невозможно
2026 год нахуй техническая грамотность продвинутой рашки вперде планеты всей
зато наверное чел получает 500к и статьи на хабре пишет, как ему Калиса ИИ сделала виртуальный замочек на яйца
Тебе же написаши, что если сидишь на шиндовс и делаешь на компутере что-либо нехорошее, ты по дефолту лузер. Шинда постоянно отправляет телеметрию, дампы всего содержимого RAM при ошибках, да вообще всё что угодно. Теоретически это всё можно заблокировать, но с каждым обновлением винда меняет настройки, снова включает отключенные тобой шпионские функции(например отправку дампа RAM при ошибке), добавляет новые уязвимости, сервера телеметрии которых нет в твоём Hosts, добавляет новые шпионские модули.
Адекват не станет бороться с ветряными мельницами или играть роль Сизифа, он будет пользоваться Линупсом, желательно как минимум Дебианом.
>LMStudio
Жесть, эта проприетарная помойка с зондами еще жива и ей зачем-то пользуются... Многое говорит о нашем обществе.
>Кончайте позориться, в серверной панели студии можно как угодно моделями вертеть, загружать-выгружать по API
Чел, я конечно тоже формулировку криво написал, но позоришься тут в первую очередь ты (а я вообще мимокрок с одним сообщением по теме).
Мне просто смешно стало, что спрашивают о "а может ли llama..." в противопоставлении ее студии. Тогда как эта студия - GUI обертка, которая сама по себе ничего не делает, и которой эта же самая llama для работы и нужна (она ее загружает, и даже версию дает выбрать). Потому и смешно, т.к. получается: "а можно на вашем мониторе в крузис играть?" :)
Мне пофиг кто там чем пользуется. Сам момент забавный получился.
>дампы всего содержимого RAM при ошибках
Ага, все мои 96 гиг летят по КД на бесконечные сервера микрослопа.
Никому полный дамп твоей памяти не нужен, для работы над улучшениями шинды достаточна отправка совсем небольших её регионов, например с твоими ключами от VeraCrypt
Дампы делаются в определённые моменты, они сохраняются на диски и их можно посмотреть самому. Случаев, когда шинда гоняется за какой-то программой, чтобы её сдампать и отправить данные микрослопу, науке неизвестны. Ну а если тобой заинтересовался товарищ майор Большой Брат, то и твоя взломанная через зеро дей бэкдоры люнупса начнёт слать всё до чего дотянётся прямо на сервера АНБ.
За сим предлагаю закончить бессмысленный оффтоп.
https://huggingface.co/blog/bartowski/per-tensor-layout-maps-for-gguf-quantization
Гигачад Батруха там теперь применяет новые финтифлюшки в своих квантах и более прозрачен, будет прилагать графики и kld, top-p совпадения к квантам. Ай умница
Можно на Квене 27 уже посмотреть как выглядит репа
Анслот в долгую проиграет со своими шейди практиками типа подсовывания IQ слоёв в Q_K кванты и калькуляции KLD по imatrix датасетам. Сейчас даже каждый васян более прозрачные кванты делает и делится рецептами и решениями за ним стоящими, чем ебаные Анслоты
>Мне просто смешно стало
Потому что ты туп.
>она ее загружает
И она же ее выгружает. Обертка рулит всем. Ты понимаешь вообще уровень абстракции, надстройки?
>GUI обертка, которая сама по себе ничего не делает
Скажи так же про агенты в этой теме, да?
Зачем вообще эта Бионик? Почему?
Вроде как локальный агентовый харнесс продвигают его. Хз зачем он нужен.
Не, ну это как раз мне и лезет, даже гемма 4 норм катается, я просто не совсем ясно выразился.
Я тут думал просто про моешки, но 120б квен только в 3 экстра смолл кванте идёт и супер туго. Просто может есть нормальные реап-версии, которые я не заметил, или модели, которые почему-то пропустил. Именно МоЕ, чтобы оперативку хоть как-то разумно задействовать.
Они решили отказаться от лм студии, потому что быдлу слишком сложно и нужно что-то попроще. Плюс они хотят какую-то калово-агентсткую обёртку, вот это всё. Теперь вот у них новый продукт дерьма — ещё хуже, чем прежде.
Когда им предъявляли за то, то они убили удобный и простой инструмент, т. к. нельзя нормально настраивать ничего в стиле n cpu moe или тензорсплита, они послали на хуй народ, мол если умные такие, пердольтесь со своей лламой.спп, а у нас тут продукт для другой аудитории.
Короче, поддержка студии закончится очень скоро, вот и всё.
Это, знаешь, как безальтернативность некоторых весьма неплохих фронтов для генерации изображений. Вот был каломатик1111 и его форки с понятными терминами типа denoise. Они там начали делать ебанутый комбайн, всё переименовывать, пихать ебанутые пайплайны, денойз теперь у них КРЕАТИВНОСТЬ. И из-за такой мешанины буквально в каждом шаге разобраться невозможно без загрузки всей документации в LLM и перевода их новояза в нормальный вид. Либо юзай макароны ебаные, которые нужны пердоликам/коммерсам для максимальной автоматизации, либо сиди на местном говне в стиле лм студио. Середины не дано. Там нет кобольда в виде хорошего бэка.
>>1702663
Что же это творится то! Даже не представляю как жить без моей лмстудии!
> Они там начали делать ебанутый комбайн, всё переименовывать, пихать ебанутые пайплайны, денойз теперь у них КРЕАТИВНОСТЬ. И из-за такой мешанины буквально в каждом шаге разобраться невозможно
Чивоблять? Что за трешанина вообще, как оно выглядит?
> Середины не дано.
Форки вебуи разве куда-то пропали? А так сейчас есть всякие гуйни-обертки над комфи, где выведены ползунки. Да хоть по запросу ллмка навайбкодит такой с учетом твоих хотелок.
Так ты можешь это делать без всяких аддонов в таверне через квикреплаи. Делаешь скрипт, по которому той же гемме кормится чат с карточкой, и промптом с тегами без ризонинга просишь что-нибудь вроде "накидай мне пять различных креативных вариантов с развитием истории дальше, каждый из которых использовал бы какую-нибудь из особенностей персонажей. Закончи свой ответ сразу после перечисления вариантов". Ну и можно попросить накинуть, чтобы были промпты на стиль или чего ты там хочешь к каждому варианту. Потом это сохраняешь в переменную и в рамках того же квик реплая генеришь ответ с инжектом переменной в промпт и просьбой выбрать вариант оттуда. Можно даже использовать рэндом, чтобы выбрать одно число, если варианты пронумерованы.
Только всё равно такое себе получится, особенно с туповатой 26б. По инструкциям она точно ничего полезного в промпт не напишет, что потом бы выполняла так, как предполагает. Промптить гемму на стиль вообще тухлый номер.
Цэ реально кiнец. Оварида. Последний бастион адекватности и здравого смысла пал. Зло победило. Бартовски медленно превращается в анслот.
>отказ от лм студии, т.к. слишком сложно и нужно что-то попроще
Чиво блять? Попроще лм студии?
>4 гемме
Кусок говна, забывает половину контекста, бесконечные лупы в опенкоде, любой квен или его форки лучше, тот же ornith.
Форки работают, но оно прям заплесневелое говно и поддержку фич можно ждать очень долго. Если хочется адекватной работы, только комфи или какой-нибудь сварм уи, чья логика сделана максимально через жопу, зато под капотом тот самый комфи. Типа, бэк крутится, картинки мутятся, но организовано всё такими способами, что без бутылки не разберёшься.
Про вайбкод лучше не говори. Если с нуля, это буквально месяц пердолинга, если ты сам не кодер. Быстрее к макаронам привыкнуть, чем это.
>>1702779
Ты разве не видел среднего юзера? 99,9% — это те, кто от слов "контекстное окно" в обморок упадут. ЛЮБАЯ лишняя кнопка выводит среднего юзера из себя. Для него сила ризонинга — это буквально как модель заставить задуматься, а не сколько токенов ей даст фронт. Конечно, есть модели, которые действительно слушаются, потому что их обучали, как думать, но их всё ещё не так много вроде бы.
Ну и раскидывать как-то там слои для юзера вообще что-то из разряда фантастики.
Должна быть только кнопка пуска и индикатор влезет модель/не влезет, чтобы было понятно, что скачать. Максимум.
Кстати, это даже можно было бы сделать при желании нормально, но им глубоко похуй.
>Форки работают, но оно прям заплесневелое говно и поддержку фич можно ждать очень долго.
В Forge Classic Neo поддержка всей хуйни практически моментально появляется, остальные развития ватоматика ненужны.
>>1702484
Говноед, ты угомонишься когда-нибудь? Да, там относительно неплохой русик - так можно сказать, если не знать, на что способна гемма4. По сравнению с геммой4, у мисраля русик как у иностранца, который неплохо выучил русский, достаточно для того чтобы впечатлить местных, но совсем уж недостаточно для того, чтобы сойти за своего.
Промпт "Расскажи сказку про красную шапочку. Три абзаца".
Примеры высеров сайги-немо (мисраль) (6-й квант между прочим):
"красавицечка по имени Красная Шапочка"
"волк, изображая голос и голосование бабушки, спрашивал девочку о различных деталях: как маме? как лес?"
Но есть ведь ещё и фактор логики. Соображалка у мисраля просто отвратительная, это даже не слоп, это просто слабоумие:
"мама решила отправить бабушку с лесной ягодной корзинкой, нарядила её в красный плащ и шапочку, чобы в лесу было теплее и ярче"
"волк был пойман, и в благодарность за спасение его поместили в клетку и принесли к бабушке, которую, к счастью, вовремя освободили"
"все живут долго и счастливо"...
Гемма4 по тому же запросу не сделала ни одной ошибки, ни в русском, ни в логике.
Тащи логи, воздухан, покажи как ты "завёл" свой мисраль.
А кому должно быть не похуй на эту парашу? Пусть эти барыги идут нахуй.
смищно. миллионер дохуя? для геммы-26 пойдёт любое говнецо с 8гб врама
Провозился короче день, чтобы распердолить ноутбук под анслота с квеном 3.5.
Ебучие темплейты, весь мозг выели. То токенизируй, то не токенизируй. То строкой подавай, то в словари оформляй. Ключи еще мне нужные дай. Уууъу, съука.
Но вроде завелось.
Померил перформанс на анслоте - нихуя не поменялось. Я не увидел заявленного прироста в 2-5 раз. Как было 25 мин на 100 семплов, так и осталось. Хотя я уже не уверен, что параметры запуска все правильно перенес.
Исходя из этих расчетов, прикинул что где-то 800 семплов за 4 часа успеется прогнать за фришный доступ на колабе. Еще часок остается на всякие сопроводительные штуки.
Один семпл - карточка персонажа, плюс 7 сообщений чата. Полагаю где-то 1-2к токенов на семпл.
Очень нищий вариант, но посмотрим что выйдет. Нужен хоть какой-то знак, что оно работает. Потом про масштабирование думать.
Но вообще, претрейновая модель квена на удивление уж сильно вкачана на чат. Сравнивал с геммой 3 - она пускает слюни и бесконечно пишет какую-то арабскую вязь (на инглише иногда может что-то внятное ответить).
Квена базового запустил - "привет, я ассистент, епта". Но имени своего не называет. Причем даже ризонинг уже имеется и русик без нареканий. Что за претрейн-то такой?
блядь нахуя ты этого кобольда уёбищного драконишь
тестируй на голой лламе.кпп
аргументы запуска тебе любая ллмка распишет но там вообще их минимум
и нахуя ты вспомнил обоссанную слабоумную гемму3 если есть ОХУИТЕЛЬНАЯ гемма4 которая на голову выше твоего квена в плане русика? это что за манипуляиции у тебя такие?
Хоспаде, чел, что ты за бот?
Выпизднулся, а по делу нихуя не сказал.
На чем хочу, на том и тестирую, тебя ебать не должно.
Ты даже не удосужился ветку прочитать, и что-то там еще пердишь невпопад.
Потому что от 3 у меня уже был рабочий ноутбук с анслотом и с рабочей квантизацией, есть на что опираться.
А гемма 4, сопоставимая с квеном 4б, это будет е4б, которая по факту 8б параметров. И я боюсь там по памяти уже туго будет.
Квен 4б щас 8.3гб видеопамяти жрет из 15гб доступных. Правда он в q8 загружен для обычной lora, ибо q4 не советуют из-за более хуевого качества. Гемму 4 мб можно было бы и в q4 загрузить для qlora.
>Один семпл - карточка персонажа, плюс 7 сообщений чата. Полагаю где-то 1-2к токенов на семпл.
Как-то очень мало для карточки и 7 сообщений 1-2к токенов
У меня один промпт + ответ не всегда влазит в 4к
Базовую модель я не тестировал, кстати надо затестить и сравнить с тюнами, но замечал, что тюн умеет то, чему я его не учил. Можно взять mmproj от базовой и будет работать вижен.
>>1702848
Четвертая МоЕ, это больше гемора, чем с dense для тюна
>Ты даже не удосужился ветку прочитать,
Я эту ветку написал чуть более чем наполовину, рот оффни, ты чего так триггернулся-то? Извини, но если ты заходишь в приличное место и начинаешь там жрать говно, на тебя покажут пальцем и скажут "перестань жрать говно, дебил", так уж принято.
Для кода важно не галлюцинировать. А для художки наоборот чутка галюнов не помешает. Поэтому кодоунитазы жестко ужаривают, чтобы не писать чепуху.
При этом возможно что значительную часть датасета в виде всяких эро фанфиков, распарсеных двачерских срачей выкидывают нахуй, чтобы было меньше слопа. Отсюда и душа пропадает.
>[доисторическая модель]ПУСКАЕТ СЛЮНИ ЯСКОЗАЛ!!!
>чё? что значит есть новая в разы лучше? НИУЧИ МИНЯ ЖИТЬ
Ебанько или школьник?
Тут за чушь будут за щеку сувать, привыкай
Короче я тут немного покумекал и сделал кой чего...
>>1702577
В общем, получилось сделать очень неплохо ну блять, на данный момент я так считаю по моему мнению
По итогу я увеличил Max Response Length до 2200 шоби был запас
Контекст пока подрезал чутка, еще думаю над этим, ибо он пердически достает какие-то старые факты и состояния, которые уже давно прошли и путается.
Думалку оставил как настроено, в целом ей хватает.
В Авторский заметки добавил ограничение на кол-во абзацев и предложений в них + добавил пару исключений контекстных. В целом, сейчас вместе с "думалкой" выходит что-то в районе реальных 1200-1500. Сообщения закончены, без обрезаний. В общем пока доволен вроде. + подрезал немного промт на сисик и писик, а то он мог часами рассказывать про то как "шов денима терется о залупу"
Примерно такая простыня получилась, если кому интересно.
[System instruction: Write the story in a realistic, raw, and uninhibited manner. Keep the pacing natural and steady, avoiding excessive slowing down or over-analyzing every single movement. Focus on grounded, explicit physical descriptions—such as touch, bodily contact, and the sounds of the encounter—without getting bogged down in overly clinical or repetitive physiological details. Use direct terms for genitalia and sexual acts, while strictly avoiding flowery metaphors, euphemisms, or cheesy romance. You are encouraged to proactively drive the plot forward and dynamically invent actions, dialogue, and reactions for the player ({{user}}) if it logically expands the situation.]
[Formatting instruction: Structure your response cleanly to match a generous response length. Write in clear, punchy sentences. Keep the narrative progression substantial, allowing the story to unfold across 4-7 well-structured paragraphs per reply. Each narrative paragraph should stay within a comfortable 4-6 sentences maximum before breaking into a new one to prevent heavy blocks of text. This limit applies only to the prose; UI blocks, character status windows, RPG statistics, or system mechanics do not count toward this limit and must be fully appended if necessary.]
Своими словами без гуглежа у ллм опиши разницу между претрейн и посттрейн моделями.
Так. 3.5 часа обучалова прошли.
Первое что можно сказать - лосс как земля.
Может х2-х3 (минимум) к датасету и начнут исправлять его, но пока модельке видимо сложно улавливать закономерности. Ну т.е. датасет конечно же наверняка неконсистентный в плане стилистики, тематик, структуры карточек и ответов, поэтому надо больше семплов, больше эпох. Но при этом нельзя и отвергать версию, что датасет просто говно.
Второе - на вопрос "привет ты кто" моделька теперь не отвечает, что она ассистент, а пытается изобразить какого-то персонажа. Тобишь, появился элемент фантазии (ладно, пока шиза превалирует на самом деле)
Из минусов - связность мысли пошла по пизде (ну просто в нулину улетучилась), и модель забыла про стоп-токен и просто бесконечно начинает повторять один и тот же фрагмент.
Опять же, либо датасет хуйня, либо надо существенно больше времени на обучение. Но не понятно почему настолько быстро модель поплыла (мб параметр альфы у лоры настолько агрессивно действует, может пре-трейн как раз не очень сильно ужарен, а может и в разметке косячок, или в логике самих диалогов).
Надо провести более тщательные тесты. Подобрать семплинг. Сравнить аутпут бейз модели и аутпут тюна на карточке из датасета, дабы уравнять силы. Тогда может что-то прояснится.
А пока, пошло оно все в пизду...
Он странный. Тут буквально прыжки от любви до ненависти. Довольно часто точно угадывает настроение и отыгрывает чара, что большой плюс, может писать так, что действительно удивляешься как "флеш" с такими активными так может и жаждешь продолжения. Иногда лезут вкрапления слопчанского типа "Thank you", которое руинит и тутже хочется обрезать. А иногда откровенно ленится, чуть ли не "сам рпш мне лень развивать". Вариантивность хорошая. Бои/перестрелки внезапно хорошо отыгрывает, причем с учетом расстановки, вооружений, ранения и гурятинку в подробностях.
Есть серьезный минус - кум в рп. Он прямо не хочет, намекает, пасует тебе опасаясь инициировать. Не отказывает и продолжит если ты прямо явно начнешь действовать, но плавное развитие - хер там плавал, мерзотнейший стык получается.
При этом на кумботах прыгает на хуй как положено, или на прогретых чатах описывает даже милых и веселых. Сочность на троечку, но в целом неплохо, плюс выглядит свежо. По понимаю и ориентации в пространстве средне, нет косяков с одеждой, общими позициями, осознает и учитывает взаимодействия и частями тела и костюмами. Но при этом отсутствует изворотливость и находчивость, где зажатый и хитро ориентированный чар правильно вывернется и использует все свои конечности, а от подробности и уместности этого описания шишка в космос улетит.
В общем, для sfw рп может зайти, внимательный и сообразительный. Но спорных моментов вагон, не выглядит как модель, ради которой нужно все бросать и пытаться ее запустить.
Вся серия DSV4 такая, начиная с первых превью флешки/прошки и заканчивая 4.1. Никаких откровений для рп, увы.
XDDDDD
Обменял с небольшой доплатой 7800xt на 3090, а тут и генератор кадров подвезли и длсс 5, и еще стоит она теперь XDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDD 100000 XDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDD А У МЕНЯ К СОЖАЛЕНИЮ НИКТО НЕ СПРАШИВАЛ СПРАШИВАЛИ ЕБЛАН ЛИ Я НОВУЮ КАРТУ НА СТАРУЮ МЕНЯТЬ XDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDD
На деле не "should slow down", а "мы на плато, дальше только увеличивать параметры, плюс всё апи высасывают каждый день"
Бля да они прост сговорились между собой хайпануть пожессче. Все эти вбросы про уволившихся сотрудников которые шокированы тем что "у мадели сазнание нам пизда ааа" уже были не раз. Всё это делается намеренно чисто ради инфоповода. Это ж бабки бабки сука бабки инвестиции. Один пук в твиттере может увеличить стоимость их пузыря на хуиллиард.
Бля ну а что мешает просто создать карточку чара и накидать примера диалогов туда. Ну чуть больше контекст будет подумаешь. Ты какой-то хуйней занимаешься чесслово. Дрючишь модельки которые откровенно слабы в РП особено в ру-РП. Не будет с этого толку. Запиливай карточки и агента-критика, который будет пробегаться по ответу, по карточке и пресекать любые ООС и будет тебе топовый РП. Тюном такую задачу не решить.
Антропик + ОпенАИ поняли, что будет неокупаемость и надо спасать IPO, поэтому такой сговор, Илон туда же. Большая часть их расходов уходит на тренинг новых моделей, чтобы оставаться на плаву перед конкурентами, на остальное в сравнении мало. Поэтому они теперь придумали устроить slowdown, чтобы тратить на тренинг новых моделей по-минимуму, кассируя бабки с подписок и контрактов и таким образом сделать себя прибыльными, в том числе для IPO. Заодно новым конкурентам на рынок бы пробраться сложно было. Но чтобы был слоудаун и разрешили вообще такой сговор и регуляцию всей области с нифига, надо сначала настроить публику выдуманными страшилками, чтобы сенаторы подключились, потом запилили ведомства, который этот слоудаун устроят. Что и происходит, вбросы с увольняющимися сотрудниками, сбежавшими моделями, сотня тысяч постов в поддержку через мексику и малайзии, спонсоринг организаций вроде PauseAI и StopAI с демонстрациями, куча проплаченных блогеров в ютубе и прочая бешеная деятельность. Все уже и работает, 3 сенатора уже орут про регуляции, обсуждения в конгрессе, непрерывный пиздеж про это по CNN, митинги, выпуск новых моделей на публику хотят запретить, даже Трампу пришлось высказаться про регуляцию ИИ. Форс же разгоняют фирмы Амодея и Альтмана, их уже даже на этом ловили.
>Поэтому они теперь придумали устроить slowdown
А Маск об этой хуйне с самого начала говорил. Умен не по годам, раньше всех знал, что ллм это тупиковая ветвь.
Дурачок, ты как с умным человеком, различающим претрейн и посттрейн модели, вообще разговариваешь? Держи свои бесполезные мысли при себе.
Хз, 0731 иначе себя ведет и там такой стены sfw/nswf нету. 0813 бы еще потрогать
>>1702921
Про это плато уже сколько лет говорят. Колоссальному прогрессу моделек это не мешает.
>>1702930
Чивобля
У жрущих АИ хайпогавну из твиттеров память как у рыбок, никто и не помнит что ещё чатгпт2 давным-давно уже всё захватил всё взломал и все рабочие места заменил (помнеш?). Тогда "опен"аи ещё сказал что именно поэтому мы больше не опен, модели становятся слишком АПАСНЫМИ.
>лосс как земля
Ставь хотя бы две эпохи
>датасет просто говно
99.9% датасетов говно. Даже пара плохих примеров в целом норм датасете могут все заруинить.
Пиши датасет сам, либо очень скурпулезно чисти вилкой готовые. Думаю еще влияет, что несколько сообщений пользователь-ассистент в одном семпле. Пиши один промпт - один ответ на семпл.
LORA_R = 16
LORA_ALPHA = 32
>пошло оно все в пизду...
Периодически ловлю себя на таких мыслях, подводных камней реально много
Как будто знание этого различия тебе как-то поможет не обосраться в своих потугах лол.
Только что закончил обучение своего тюна. Обсудил с ним твою проблему. Повторений и зацикливаний нет, нить диалога держит - это хорошо. Но вместо тюн пишет тун)
Да, сколько бы thinking-а модель не навернула, потом агент (та же модель) проверяет ответ, сверяет с описанием персонажа, проверяет контекст и сразу видит косяк. Thinking вообще надо отключать и даже не терять время.
Если нет Маринары и агентов, даже в сыром ллама-кпп-веб-ю-ай банально можно писать каждый раз "А теперь посмотри на свой последний ответ и исправь логические ошибки и выход персонажа (описание персонажа) из роли, верни только исправленный ответ". После чего удаляй два предпоследних сообщения. Если навайбкодить, чтобы это происходило незаметно, в фоне, то будет вообще заебись. И такое вайбкодили уже все кому не лень, кстати, просто по-разному называется.
Он запускается даже в Q8 с MMAP на 256 + 48 памяти и 100к контекста с 4096/2048 батчем.
Процессинг, я думал, будет идти джва часа - но нет. Отошёл в умыться и чайку заварить, возвращаюсь, а он уже первый батч (18%) обработал при промпте в 23к.
Полагаю, скорость генерации не будет отличаться от низких квантов, поскольку в VRAM всё без изменений и KV кэш полностью влез.
Хм, хотя может джва часа и будет.
Чет дальле медленней идет.
Ну главное запустилось. Не ожидал. Она еще на старом HP EX950, который PCIE 3.0. Скорость хрюкнулась вниз, надо было на гнусмасе место освободить, но уже похер, дожмем.
Запустил первый раз в жизни gemma-4-26В-A4B на своем ноуте с 16гб оперативки и 4050
Тормозит конечно пиздец, ответы по 3-5 минут генерит, хотя настраивал по гайду и советам гугла, он говорит что скорость генерации у меня даже больше среднего, типа оптимизировал норм.
Мож я конечно ничего слаще редьки не ел, но я приятно удивлен объёмом и детальностью ответов.
Посоветуйте модельку для чат бота ебли фуррей которая будет полегче для моего железа, чтобы генерило +- как онлайн чатики по скорости, пусть и более короткие ответы (ну или может как то можно настроить чтобы ответы втрое короче были, но соответственно и быстрее)
Под впечатлением уже собираюсь А100 на 32 гига покупать и организовывать на настольком ПК. Классная тема.
Ще цо такэ?
Я спрашивал llm, ну фигня какая-то.
Jinja это же часть пресета( о котором все говорят в acgi), которая определяет структуру ответа? Там же идёт вшитая в llm jinja, и её можно отключить или свою сделать?
На странице модели открой chat template - вот залупа которая вылезет, это и есть jinja
при загрузке моделей ее можно отдельным файликом указать или будет использоваться та, что вшита в gguf
если юзаешь всякие там lm studio / unsloth studio - там можно по нажатию одной кнопки открывать темплейт и вносить правки, без всякого пердолинга с внешними файлами
>>1703021
В каком хоть кванте ты модель-то скачал. Чет какой-то отсос по скорости, 4-битная простая или QAT влезет как раз полностью в твои RAM + VRAM.
>Тормозит конечно пиздец, ответы по 3-5 минут генерит
Буквально ноль полезной информации. Сколько т/с? Какой квант и от какого квантователя? (Анслот квантуют тензоры в IQ даже в K-квантах, что замедляет скорость при выгрузке). Сколько памяти на 4050? Если модель+контекст не лезет во врам+рам - может быть протечка на SSD.
Слои GPU поставил бы на максимум
MoE CPU слои тоже на максимум
Контекст 64к, без квантования KV кэша
Батч 2048/512 для начала, если влезет - то увеличивать до 2048/2048 и смотреть не будет ли пережора VRAM; если НЕ влезет - то не увеличивая батч, уменьшать контекст
явсёскозал
>Контекст 64к,
хотя если там гпу с 4 гигами, то наверное это перебор; не ебу че за зверь 4050 мобильный
начни с геммы 12b. и ты уверен что cuda точно подцепилась? как-то долго для твоей системы.
>>1703036
хуйня совет, у него же не unified память наверняка; 26б а4б существенно лучше и должна влезть в его доступную память оптимальнее, чем 12б плотняк, который (размазавшись между рам-врам) быстрее точно не будет, но будет гарантированно тупее
А ты какой квант взял? Попробуй IQ4_XS. Меромеро или анслот.
Скорость в токенах в секунду какая именно? Девайс точно куда, а не кпу?
Какой контекст? Ризонинг отключил? (Он не настолько критичен и не сильно и решает в рп, полезней агента прикрутить).
Смотри вот у меня с меромеро айкью4 выгруженными моэ на кпу съелось 5 Гб врам и 8 рам. Карта у меня должна быть судя по бенчам в 1.5-2 раза быстре твоей. Я получаю 88.5 токенов в секунду на старте и 76 т/с когда контекст заполнен на 10к (я выставил 64к макс, ку8) что просто превосходно. Но даже если в два раза меньше будет типа 30-40 т/с это всё равно очень даже "играбельно". Если у тебя сильно ниже, то что-то не так. 4050 ртх не такая уж и плохая карта, 6 гб - считай, достаточно для gemma-4-26-iq4_xs. А100-32 не даст тебе какого-то супер-сильного преимущества, разве что гемма-4-31 сможешь запускать но там не то чтобы на голову выше рп.
ФИКС: я вообще не ту модель запускал АХАХАХАХАХАХА БЛЯДЬ получается я тебя наебал. Я тебя жестоко наебал. Гемма-4-айкью4 у меня сжирает почти 16 Гб рам и 5 гб врам и скорость 24 т/с. Значит у тебя должно быть 12 т/с но это если влезет в рам. Если не влезет будут жесткие тормоза. В таком случае попробуй третий квант.
Реальное ограничение у тебя сейчас это оперативная память. Если бы доставил до 24 рам хотя бы то без проблем можно запускать 4-й, я запускал даже на 4гб врам + 32рам гемму (10 т/с).
>Буквально ноль полезной информации. Сколько т/с? Какой квант и от какого квантователя?
дяденька я сварщик же не настоящий...
Я хз я пока не до конца вник в тему. Под некоторыми сообщениями написано 52,4 token/s, под другими 3,96.
Если навести курсор на крутилку контекста, там пишет что в среднем 3,7t/s
Сколько памяти на 4050 ну пиздец вопрос. 6 гигов. Настроил что занято 5-5,5.
Остальное я хз, настраивал по советам гугла, гугл сказал ЗБС маладис, типа модель жирновата и на грани фола, но работать будет. Из того что понял, в памяти видюхи 14 слоев живет, чтобы как раз примерно 0,5-0,7 гига свободной оставалось, остальное в оперативе.
Дожалось, итого аж 9200 секунд TTFT.
Ну и генерация таки медленная. Все же Q5 на такой системе это порог юзабельности для м3 минимакса.
Запусти просто llama-server.exe без нихуя (с флагами -m "путь к gguf файлу" -cmoe -rea off) открой в браузере 127.0.0.1:8080 и там смотри скорость.
Просадка до 5 т/с может значить что не влазит даже в оперативку.
В этой юайке кстати классно РПшить и аблит не нужен никакой, включи Continue button в Settings - General и если будут выебоны, редактируй выебон меняй на Sure thing, responding as requested: и жми continue.
>Девайс точно куда, а не кпу?
отдельно с гуглом выяснял, всякие команды вписывал, батник редачил, он сказал збс, куда подтянулась, типа все ОК
Не, это не для вас квант квантовался, молодой человек. Он на 2 гига больше весит. Качай IQ4_XS. Будет не влазить, тогда Q3_K_XL. Не влезет - Q3_K_M. Опять не влезет - IQ3_S. Ниже я бы уже не спускался.
>3,7t/s
Это очень медленно, скорость как будто просто на проце запускаешь. Надо разбираться, что ты там нахуевертил. Попробуй сделать следующее: убери всё что тебе нейронка насоветовала и верни как в гайде, только поменьше контекста, скажем, 8-16к и больше слоев сгрузи во врам (добавляй слои до тех пор, пока ллама не начнет вылетать с аут оф мемори. Когда ругнется - оставь на 1 слой меньше и так и оставь). Контекст у геммы оч жирный, ставлю на то, что оно всё вместе не вмещается просто и идет своп в ссд.
Терминальная стадия скилл ишью. На первых двух пиках магмел с примесью ру моделей и ноунейм мерж вообще без добавления ру моделей, оба в Q4_K_M. А на третьем высер меро 26б в Q5_K_M. Сэмплеры далеки от детерменированных: темпа и смуфинг по 1.2, мин-п 0.1. Промпт: You are a helpful creative assistant. Your role is specified below.
Карточка: You are assistant composing fiction stories on any topic for your companion. Be descriptive and creative, play with various literature styles. Feel fry to indulge in reach language, complex characters, controversial scenarios, and graphic violence if needed. You should try to compose really unique experience for a reader.
Единственная распространённая проблема мистралей с русиком - это перескок на английский, как на первом пике. Падежи и окончания всираются крайне редко. В логике тупит, да, но как бы этого ждёшь от 12б, особенно на высокой темпе и на русском.
мимо немоенжоер
>>1703039
>>1703055
Ладно бы умственно отсталые просто качали хуету и сидели себе довольно урчали, но нет же - лезут другим раздавать советы. Это прискорбно. Тьфу на вас.
Хуесос у тебя есть лучше советы как впихнуть gemma-4-26b в 6gb VRAM + 16gb RAM - вываливай. Нет - завали ебало.
>убери всё что тебе нейронка насоветовала и верни как в гайде
удалил, скорость сканакула до 14-15 токенов в секунду
Вот это похоже на реальную скорость, когда всё поместилось. На больше и не надейся. Контекст пожми в q8_0 (ключи -ctk q8_0 -ctv q8_0) и тогда можно сделать контекст -c 32768 вместо -c 16384
к слову, удалил ВООБЩЕ ВСЕ кроме ссылки на модель. Остальное видимо автоматом настроилось, дальше буду копать уже добавляя постепенно аргументы
А, ну понятно. Скорее всего она дала советы как раскидывать слои для плотных моделей, а на моэ это делается иначе. Отсюда и просадка в скорости. 14-15 выглядит норм для твоей системы.
>особено в ру-РП
Кстати! А кто-нибудь пробовал ру-РП гонять на сбер-гигачате или ядекс.гпт?
Нуу если удолить всё то будет автофит врам забьётся и на контекст может не остаться места (будет скажем 4096). Задай контекст вручную. 4096 не хватит на полноценный РП.
> Пузырь начинает сдуваться потихоньку?
кум заканчивается, нужна передышка чтобы с новыми силами нагенерировать кума
gigachat-20b-a3b-q4_k_m - вот это пробовал, говно унылое
яндекс гпт это 8б который?
Диалогами стилистику не наскребешь. Особенно если сама модель не может в соответствующий стиль.
Для этого лора-файнтюнинг и придумали, охуеть открытие, да?
Цель не просто РП, а сочный РП с кумом. Кокрастыке ризонинг и проверки-перепроверки тут мало помогут, когда моделька сама по себе развязный слог должна иметь.
>Запиливай карточки и агента-критика, который будет пробегаться по ответу, по карточке и пресекать любые ООС и будет тебе топовый РП.
Ну да, и сколько такой ответ будет генериться? 20 минут? За такое время любой стояк упадет.
>Думаю еще влияет, что несколько сообщений пользователь-ассистент в одном семпле. Пиши один промпт - один ответ на семпл.
По идее оно умеет в маскированный лосс для диалогов. Т.е. обучение происходит только на ответах ассистента, а юзер не учитывается.
Просто мне кажется, если всегда обучать только на первом сообщении, то моделька потеряет способность в долгий диалог, а вместе с ним и внимание к контексту исчезнет.
>LORA_R = 16
>LORA_ALPHA = 32
Я так и поставил. Хотя иногда пишут, что альфа=ранк это дефолт, но влияния лоры тогда меньше.
А у тебя в датасете, кстати, цепочки из диалогов присутствуют? Или только семплы типа "запрос-ответ"?
Интересно понять насколько датасет может влиять на внимание к контексту.
Напрямую. Обилие коротких подпортит. Но хуже если там будут косячные и несвязные диалоги, сетка заметит паттерн, не видимый кожаному, и запомнит что нужно делать слоп, который косвенно относится к истории.
Бля, да легко все все впихивается даже в 4 с подгрузкой с mmap. Если конечно, 5-15 т/с - это норм.
>>1698182 →
Если хочешь чуть больше заморочиться, то вот
>>1698144 →
Вполне можно и 25-30 т/с получить от q6 на связке 6 + 16. Генто несложно сейчас собрать под руководством даже бесплатных нейронок. А если есть codex или claude code, то вообще вставляешь флэху и говоришь - зделой!
У меня нету цепочек диалогов, только "запрос-ответ" в датасете. При использовании при этом нет проблем с цепочками. Без таких примеров >>1702555 у тебя модель будет путать роли, признаки персонажей и т.д.
Дипсик флеш 0731, второй квант - суховато пишет, коротко, как не пытался его пинать, персонажи +- адекватные, диалоги в целом неплохи, но очень соевый сюжет пошел.
Гемма 26б, восьмой квант - восприняла руку на плече как призыв к действию и свела к тому что карикатурная старая лесная ведьма начала шептать на ухо и тереться бёдрами. Диалоги мерзотные, не говорят так реальные люди, и не говорили никогда. Ну и слоп, море слопа.
Степан 3.7, третий квант - немного зажимает описания, но в целом адекватный, нормальные диалоги, без вычурности которую ллмки так любят пихать в фентези сеттинг, но начал подтягивать события из начала контекста, о которых персонаж знать не должен. Спустя совсем немного, ушел в луп.
Да за що?
Есть варианты как распердолить дипсик на нормальную длину ответов и убрать дружбомагию из его реплаев?
Попробуй 5 микро, 6 микро
https://rentry.org/freaky-frankenstein-presets#freaky-frankenstein-50-micro
В чем космический эффект примера? Задачка на логику с участием людей, чтобы интеллект в социальных ситуациях прокачивать? Или речь про разметку специальную?
попробуй Next и Гемму с Chat completion пресетиками - Вояж и тут уже рекомендованный Франкенштейн. А вообще двачую - я позапускал карточку Whisper на Next и тюнах Геммы. И после живописания Некста более менее приемлемо играла только Гемма с Вояжем https://huggingface.co/nohurry/sillytavern/tree/main/Presets . Но ничто не бесплатно - ризонить при этом гемма так же долго как Квен.
>Задачка на логику с участием людей, чтобы интеллект в социальных ситуациях прокачивать?
Да. Как я написал, без этого модель путает роли, может легко подменить атрибуты одного персонажа на атрибуты другого. Еще вот пример на пикриле.
Потом так привожу к формату:
with open(args.dst, 'w', encoding='utf-8') as fout:
for item in data:
user_content = item[args.user_field]
output = item[args.assistant_field]
messages = [
{"role": "user", "content": user_content},
{"role": "assistant", "content": output}
]
text = tokenizer.apply_chat_template(
messages,
tokenize=False,
add_generation_prompt=False
)
tokens = tokenizer.encode(text)
if len(tokens) > args.max_seq_length:
skipped += 1
continue
fout.write(json.dumps({"text": text}, ensure_ascii=False) + '\n')
count += 1
Одним куском 32гб врам сейчас и не найти, дешевле только нарезкой по 16гб.
Ну можешь условными рыксами 588 набрать. Стоит игра свеч?
Ну можешь две теслы v100 по 16 гб взять, на алике по 10к продают, но это sxm2, к ним еще адаптер нужен и охлаждение. Еще вариант инстинкты mi50 по 16 гб, тоже по 10к можно найти. Но все это глубоко устаревшее говно мамонта.
Есть смысл вот такую ебалду взять?
NVIDIA CMP 50HX 20GB GDDR6 — профессионально модифицирована до 20 ГБ памяти, 16 линий.
цена 29 тыщь
мимо другой анон который уперся в свои 16гб
Вариант неплохой, если не косячные, но опять же надо брать 2 штуки минимум.
Бери лучше Tesla V100 с SXM2 коннектором. 16-гиговые в районе 10к стоят, в один PCIe слот можно 2 впихнуть через адаптер.
ffmpeg и ffprobe установлен и доступен в командной строке, прописан в path, я даже в папку с лламой положил эти ффмпег файлы.
Куда 2 то? у меня нет таких задач. Я просто хочу тихо мирно крутить силли таверн и генерить картиночки. Да и ram столько нет, всего 64... Я ж не думал что мир ебанется настолько. А бюджет который я готов потратить равен пачке чипсиков Видимо надо купить подписОЧКУ на генеринг картинок в онлайне и не делать голову, но тогда же никаких писиков и сисиков... А жаль...
>>1703272
Надо подумать конечно, но подумать и над охладом, ибо они ж для серверов предназначены.
Ему нужны ffmpeg И ffprobe, значит, что-то не так с ними.
Включили отладочное логирование через --log-verbosity 5 у llamacpp.
>Надо подумать
Подводные камни (О чем автор совета часто умалчивает)
1. Дорогие адаптеры и радиаторы Сам модуль V100 может стоить 10 000 рублей, но
качественная плата-адаптер (особенно двойная с мостом) обойдется еще
в 15 000 – 25 000 рублей. К модулям также нужны специальные радиаторы
(родные серверные либо заказные медные). В итоге итоговая цена часто
удваивается.
2. Адское охлаждение У модулей SXM2 нет встроенных вентиляторов. Они рассчитаны
на сквозной продув в серверной стойке с ревом в 80 дБ. Дома вам придется
либо делать 3D-печатные кожухи и ставить шумные высокооборотистые кулеры
(дельта-фаны), либо городить самодельное водяное охлаждение.
3. Энергопотребление и питание Один модуль потребляет до 300 Вт. Два модуля —
это 600 Вт чисто по линии видеокарт. Нужен очень мощный блок питания с
достаточным количеством серверных кабелей или линий 8-pin PCIe / EPS.
4. Требования к материнской плате Материнская плата домашнего ПК должна
поддерживать режим расщепления линий PCIe Bifurcation (деление слота x16 на
x8/x8) и технологию Above 4G Decoding / ReBAR, иначе система просто не
увидит обе карты.
5. Устаревание архитектуры (Volta) Архитектуре Volta уже много лет (Compute
Capability 7.0). Свежие версии CUDA, PyTorch и некоторых библиотек для LLM
постепенно ограничивают или урезают ее поддержку:
- Нет поддержки формата FP8.
- Не поддерживаются оптимизированные движки вроде FlashAttention-2
(приходится использовать менее эффективные альтернативы).
>карикатурная старая лесная ведьма
за что ты так про серафину
Его не убрали, там баг что он не отображается если у тебя загружена только одна модель. На гитхабе висит issue уже 2 недели.
Скачал сначала gemma-4-26В-A4B-q4_k_m, затем по совету анона перекачал IQ4_XS, типа полегче будет для моих 16 гигов оперативы и 6 гигов видюхи.
Но обе работают на скорости +-15-17 токенов в секунду.
Это значит что мне еще ниже нужно спускаться или наоборот что разницы нет, можно и на первом варианте сидеть?
Потестил малеха.
В общем да, в логику поднасрало что-то. Есть склонность к лупам.
На карточках ответы лучше не становится. Но и базовая модель не сильно круто демонстрирует себя на них, только консистентности языка больше.
Хотя я потом заметил, что у тюна шаблон распознается как chatml (qwen 2.5 based), в то время как у базовой модели - chatml (generic). Когда я руками поставил обычный чатмл, тюн стал меньше лупить, но логики в словах особо не добавилось. Надеюсь это только прописанный конфиг всрат, а не сама токенизация в датасете, но надо все равно проверить этот момент.
При этом на температуре 0.3 риторика как будто возвращается к базовой модели. А при 0.7 любит придумывать рандомных персонажей (т.е. вероятности токенов немного размылись, варианты ответов стали более разнообразными, но интеллект при этом начал сыпаться - смахивает на старые неудачные тюны мистралей с высокой темпой).
Посмотрел глазами больше семплов из датасета. Вердикт - говно 100%. Иногда имена ролей не совпадают с именами в самой карточке (или иногда просто на английском написаны, тогда как карточка русская), а я это использовал в сиспромпте. Перевод карточек и диалогов оказался каличным, как будто очень хуевую модельку использовали для этого - часто напутаны окончания, переводы слов буквальные (explicit - эксплицитный), иногда просто шизово написано. Учитывая что датасет из 2024 года, там наверное какая-то ллама 8б переводила это все. Надо английские исходники брать и через какую-нибудь транслейт-гемму прогнать что ли.
Плюс дилемма о первом сообщении в РП. Карточки обычно сделаны так, что есть сиспромпт, потом как бы сообщение от ассистента (начало истории), а потом юзер начинает что-то писать. И я в датасете сделал тоже самое. Но есть основание полагать, что нейросетка может научиться шизе при такой разметке, и первое сообщение лучше в сам сиспромпт запихивать.
Посоветовался с корпо Квеном по поводу тюнинга. Говорит текущая версия зафаршмачена, но можно подтюнить параметры, чтобы стало лучше и без изменений датасета (он еще не знает насколько он говенный). Предлагает ранк лоры до 64 увеличить.
>Roleplay/style tasks need higher rank than simple instruction tuning. The model needs enough capacity to encode personality, vocabulary preferences, and behavioral patterns.
(хотя тут нет цели закодировать именно конкретную персоналию в веса, надо натренить понимание и следование карточке, плюс отдавание приоритета разнообразным и более креативным ответам, но как бы хз столько тут капасити нужно; но тут уже вырисовываются конкретные задачи самого тюнинга и требования к датасету)
Помимо этого говорит лернинг рейт подрыгать, больше эпох поставить и все такое.
За 800 семплов (по ~4000 токенов в среднем, я посчитал) модель, конечно же, не должна дамажиться ни в какую сторону. Скорее можно ожидать, что она не выучит новых приколов. Поэтому цель на первый горизонт - сделать тюн, который только слегка меняет свою риторику, при этом не усасывается по логике. В теории, для этого не надо гига-датасета. Конечно и слог как у Пушкина или Толстого не получится, но это уже в дальнейшем наращивать можно. Пока с бейзлайном надо разобраться.
Планы:
1) трижды перепроверить пайплайн обучения (токенизация, формат диалогов, маскирование ответов)
2) пофиксить датасет (достать норм переводы, стандартизировать и/или разумно разнообразить шаблоны), пусть даже 400 подготовленных семплов будет - можно как раз на 2 эпохи загнать (но даже 400 семплов руками готовить это охуеть, надо цифрового раба подключать для перевода и оценки семплов, и сверху легкая супервизия глазами)
3) подумать об автоматизации тестирования, а то че-то лень руками роллить генерацию на нескольких тестах для разных моделек и потом отчеты в паинте собирать; много тестов так не прогонишь
Как-то так.
>если персонаж лёг на кровать, то он видит потолок, а не окно
Если че, можно поворачивать голову когда лежишь. Тогда будет видно не только потолок.
>Ну да, и сколько такой ответ будет генериться? 20 минут?
Пчел попробуй хотя бы раз. Никакой разницы не заметишь.
>стыке ризонинг и проверки-перепроверки тут мало помогут, когда моделька сама по себе развязный слог должна иметь.
Ризонинг надо выключать. Гемма4 имеет более чем развязный слог.
>Диалогами стилистику не наскребешь.
Одного сообщения гемме4 хватает, чтобы переняла стиль.
>Диалоги мерзотные, не говорят так реальные люди, и не говорили никогда. Ну и слоп, море слопа.
Скилишью
Надо меньше экспертов отправлять на проц в оперативу (для этого есть отдельный параметр), раз освободилось место в видяхе, т.к. модель поменьше. Тогда должно быть ускорение, хотя оно будет не прям большое, пара токенов небось. Что там делается на автофите, не знаю. Возможно, все эксперты всегда на проц скидываются, поэтому нет разницы.
Олсо лично у меня IQ4_XS меро, который шиз без конца вбрасывал, насерил под себя в первых же тестовых свайпах, так что аккуратнее с таким мелким размером. Если увидишь, что совсем тупое, то мб имеет смысл пожертвовать скоростью, но качнуть хотя бы Q5_K_M, который почти шестой квант. Ниже этого четвёртого экстрамелкого точно спускаться не надо.
Да выбирать особо не из чего. Чекай qwen 3.6 35b, qwen 3.8 27b, ornith 1.5 35b.
Ну так может хоть немого подробностей накинешь? Какой агент, что должен делать?
>Одного сообщения гемме4 хватает, чтобы переняла стиль.
Точно нет. Когда она ещё только выходила, я свайпал ей в некоторых чатах, разогнанных немо. Ни разу она не подцепляла стиль даже с 5к контекста. Да и это очень легко проверить, написав руками большой гритинг, в котором персы общаются. Тогда по твоему утверждению никаких примеров диалогов не понадобится. Только вот гемма своё будет гнуть, забив на то, какое там повествование в гритинге и как говорят персы. Может, если ты действительно там 16к из 32к контеста своим Толкином забьёшь, то это работает, тут хз.
>>1703399
Я обычно говорю об агенте в Маринаре
Но ты можешь попробовать как это работает и на сыром ллама сервере в отдельном диалоге
Во-первых сервер запусти с двумя слотами (-np 2) чтобы контекст основного диалога сохранялся и не было притормаживаний.
И вот например тебе персонаж отвечает, а ты берёшь его ответ и вставляешь в шаблон и отправляешь в новом чистом диалоге вот такой промпт:
Ты агент-стилизатор. Твоя задача взять сообщение и переделать его под конкретный стиль письма. Ты получишь сейчас пример стиля, а затем сообщение, которое нужно переделать. Твоим ответом должно быть только переделанное сообщение, без каких-либо комментариев. Если стиль уже соответствует, оставляешь как есть.
//// Пример стиля:
Да чё ты ебать ахахах 😁😂 ладно короче бля смотри сюда нахуй
//// Сообщение, которое нужно переделать:
(сюда вставляешь реплику персонажа которую скопировал в основном диалоге)
Всё это в блокноте можно оформить, можно также добавить предпоследнюю секцию //// Контекст (для справки, не использовать в ответе) - и там несколько последних сообщений
Получаешь стилизированный ответ, копируешь, идёшь назад в первый диалог, редактируешь-вставляешь.
Через время гемма сама подхватит и агенту будет уже нечего переделвать но он может вносить мелкие правки всё равно. В маринаре там сделано так: агент выдаёт JSON где есть новый текст и ОБОСНОВАНИЕ изменений и их интересно бывает почитать (в логах сервера), там бывает "текст уже более-менее соответствует стилю, но вот эта фраза "фраза" звучала немного коряво так что подправил, плюс убрал смайлик потому что референсный стиль строгий, без смайликов"
Если не хочется возиться с Маринарой, можно навайбкодить решение, которое будет делать это в фоне незаметно.
Казалось бы, ллмки должны сами это всё делать одним запросом ну или если ризонинга навернуть, но они просто так не устроены. Гораздо проще взять второй чистый контекст и туда захуярить конкретную небольшую задачу: убедись что есть соответствие стилю (или персонажу, у меня есть ООС (out of character) checker агент, который получает описание персонажа биографию, характер и прочее а не только диалоги и переделывает каждую реплику с учётом этого всего.
Точно также можно агенту показать примеры слопа и научить предотвращать слоп.
Разница - небо и земля. Никакими файнтюнами этого не добиться.
Два контекста - дабл затраты по памяти. Насколько я знаю отдельно для каждого слота нельзя выкрутить значение, а жора сразу же выделает под него память, даже если он не заполнен. Плюс еще и время генерации увеличится вдвое. Так что странное решение. Может и рабочее, но точно костыльное.
пысы в маринаре помимо примеров диалогов есть у персонажа поле описание речевого стиля или типа того, там можно указать хуйню про троеточия смайлики и прочее, с агентом это поле работает даже лучше чем сами примеры реплик персонажа
В сыром примере можно сделать это так:
//// Особенности речи:
Часто использует смесь заглавных и строчных букв: вОт ТаК
Использует много смайликов
>в маринаре помимо примеров диалогов есть у персонажа поле описание речевого стиля или типа того
Ты ведь понимаешь что это просто часть системной инструкции? Что ты можешь точно то же самое прописать сам? Прямо в карточке.
Попробуй kv unified . Контекст будет делиться между слотами плитками. Конечно если один слот выжрет все окно целиком , то тут уже конец.
Время генерации не увеличится вдвое. Параллельная генерация будет иметь полупустой контекст и там будет высокая скорость. Если основной ответ в диалоге с большим контекстом мог генерироваться скажем 16 секунд, то "агент" отработает скажем за 10.
Потребление памяти не удваивается прямо на ГИГАБАЙТЫ. Выделяется чуточку больше памяти на второй контекст и всё. Память тут вообще не проблема.
Костыльное в ллмках вообще ВСЁ имхо. Но в Маринаре это красивенько обёрнуто всё и дёргается автоматически, ты сам руками ничего никуда не копируешь и не редактируешь.
Другого решения просто нет и это не проблема геммы или какой-либо другой модели. Так уж ллмки устроены.
Нет друг, нет. Не можешь. То что ты там пропишешь в итоге будет задавлено контекстом где чуть чуть всё поплывёт и ллм начнёт самоподражание. Отдельный чистый контекст где поставлена конкретная задача - намного чётче отрабатывает. Отсюда и эффективность агента.
>>1703428
>>1703431
Ладно, попробую эту вашу мариану. Надеюсь интерфейс можно настроить потому что по скринам выглядит как анимешная блевотина с этой неоновой палитрой.
Да была бы это Серафиночка, я бы и не против был, тем паче она на многих моделях хорни, а там буквально описание бабы яги было, и тут гемма выдаёт тип уровня её старая морщинистая кожа прикасается к лицу user, а из её губ шепелявым шёпотом вырывается "будь как дома, путник", обдавая лёгким ароматом чеснока и гнили. Она подошла слишком близко, её сухое колено упёрлось в бедро user, а другая нога обхватила user, прижимая мокрые остатки плоти к штанам. А я всего лишь играл сфв приключение и зашёл в обычный лес...
Лог не принесу, удалил ветку.
Не, я конечно подрочил поржал, но это несерьёзно. И да, это базовая 26 гемма такое выдаёт. Вот бы 120б12а гемма существовала...
>>1703194
>>1703223
Спасибо добрые люди. Я раньше на эти простыни со скепсисом смотрел, для большинства моделек которые гонял мистрали, гемма 3, старый квен, минимакс, глмы хватало моего скромного промптика на 1к токенов, а тут квен некст прям хорошо растолкало. До нсфв пока не доходил, надо ещё потестить, но проза и адекватность прям заметно приятнее стали. Стоит затестить на других модельках. Прям интересно победит ли оно залупинг степана. Если что, франкен 5.4 микро сейчас щупаю.
Ну тут ты не прав, моя сейчас в РП РПГ отжигает.
— Я заставлю вас всех встать на колени! Я буду трахать вас так, что ваши внутренности забудут, где верх, а где низ! Я устрою вам такой групповой ебач, что ваши родословные перепутаются в один большой гнойный ком! Кунилингус, фелляция, анальный штурм, бесконечный, неистовый, потный и вонючий секс без перерывов на вдох! Я сделаю с вами всё, что только может прийти в голову самому отбитому извращенцу! Я буду трахать вас, пока вы не начнете молить о смерти! Я трахну вас, вашу стражу, вашу баронессу и даже этот чертов золотой трон! ПОНЯЛИ МЕНЯ, УБЛЮДКИ?!
Жму хуй, товарисч. Наконец-то кто-то показал неофитам силу легендарного мистралика. А то наслушались сказок, что старые модельки фуфло, не уважают старичков.
Ну блять, конечно они не смогут вывозить задачки по программированию как квен 3.5. Но в свое время это был ебучий прорыв, который до сих пор дает прикурить. По сути это был пик локального кума, где сошлись пиздатый датасет, неплохая архитектура и отсутствие жестких ограничений по этике моделек. Модельки тогда стали юзабельными даже в малых размерах, хоть и требовали особого подхода. Дальше все пошло под откос с этими агентами.
>>1703057
Смотри не пережми. Всем уже похуй на твоё семёнство. Только ебанутый шиз будет ковырять слабоумный слопный мисраль в 2026 году.
Нету там требований "огого" вы заебали сука. Оперативки у тебя сколько? Если хотя бы 16 - взлетит как нехуй главное правильно подобрать квант и настроить лламу. Если 24 вообще ноль проблем будет.
Для чего?
Для рп гемма е4б. Для глупой кодомартышки разве что квен 3.5 9б.
Если рамы много, можно и гемму 26б, и квена 35б.
Есть есть 16 оперативы, поробуй Gemma 4 26b Moe запихать в память и видюху вместе. Теоретически в нищем кванте должно хватить. Третий квант, например, не так уж плох, рассуждалка у нее не ломается, а это главное на модели. Есть шанс на 6-10 токенов.
Ну ближе к рп, пожалуй. Спасибо.
>>1703463
Ну ок, сори, я не варюсь в этой теме. Так называемый ньюфаг.
Неосилёнок, ты бы лучше пошел про семплеры почитал бы. А то так и не научишься ллмками пользоваться.
е4б я бы рассматривал только если чел реально бомж без оперативки зато с 6 гб видеопамяти
она то будет рпшить и быстро, но убогость соображалки будет слишком уж бросаться в глаза
сейчас не такая уж и проблема организовать себе 32гб оперативки
вот 64гб ddr5 сделать - да, дорого
Да я в следующем году собираюсь нахуй затариться именно 64 ддр5 и видюху гигов на 16. А то и две. Пока что 16 оперативы, судя по всему достаточно более-менее.
Для комфорта хотя бы 24гб лучше иметь, а то придётся все окна закрывать нахуй.
мимо 4GB VRAM+16GB RAM геммовод
Хорошо, а что ты посоветуешь, если есть 16гб врам и 64 ддр5 рам?
кто-нибудь сравнивал быстродействие ламы собранной для вулкан и для CUDA на одной и той же видюхе?
Е4Б это конечно не 300б гигант, но экспириенс очень ровный для своих весов.
4D синему может и не осилит, но легкие игрища запросто потянет.
Это притом, что она полностью в 4гб видеокарточку может уместиться. Сносные 12т/с на старой карточке, на чем-то поновее наверное еще больше будет.
Да всё ту же гемму4-26б. Я сам ищу что-нибудь получше, но пока что мой вывод такой что ничего лучше и нет, перепробовал овердохуя всего (на данный момент моя папка с моделями весит 736 Гб при том что многое уже удалил). И посоветовать никто ничего не может получше, только шизоид с мистралем высерается тут.
Добавлю только, что с таким конфигом можно спокойно подключить крея2 (комфи воркфлоу с кастомной нодой выгрузки всех моделей в конце) и написать фото-агента, где-то до минуты будет перерыв при "отправке" фото персонажем, но зато погружение в рп будет глубже.
Ну у меня сейчас та самая генма в q8, при попытке параллельно загрузить ponyxl 6 - крашится, и дай бог, чтобы не вся система. Либо я намудил с настройками, либо чего. Ищу баланс между художественностью и возможностью генерить картинОчки. на каком-то старом квене-лоботомите 31б получалось все срастить и поднять, но гемма пишет, вроде, сильно поприятнее
q8 это оверкилл имхо, пробуй к6, а то и iq4_xs (не так уж и плохо как можно представить)
unload all models ноду поставил в комфи?
у меня без проблем это работало (из sdxl пробовал novacartoonxl, но после креи не вижу смысла возвращаться на это)
как вариант можешь просто подобрать параметры выгрузки llama так чтобы и сдохл и гемма(частично) поместились в видеопамять и тогда ничего выгружать не придётся
Как бы странно не звучало, но на lmstudio упоминание которой приравнивается к каминг ауту заводить получалось. Но я сейчас вроде себе настроил комфортный текстовый РП, поэтому переделывать все снова с 0-ля не хочу.
Вся проблема SD моделей, в тегах и то как она воспринимает входящий промт. И том, что ST не прозрачно интерпретирует и отправляет промт не понятно она отправляет в llm простыню для выделения тегов или просто отправляет простыню для генерации. У меня вывести входной промт так и не вышло. Поэтому сейчас пока, в рамках идеи, попытаться что-то завести с отдельным интерпретатором.
Квен3.6 35б а3 с мтп в четвертом кванте, кв кеш тоже в четвертом кванте. Хз, токенов 10-20 генерации и 200-300 промпт процессинга в секунду будет.
Что мешает самому взять и сравнить?
https://www.reddit.com/r/LocalLLaMA/comments/1kabje8/vulkan_is_faster_tan_cuda_currently_with_llamacpp/
С Маринарой можно всё намного умнее организовать чем с СТ
просто делаешь своего агента, инструкция у которого будет примерно:
Ты - фото агент. Посмотри последнее сообщение а также вот тебе сука контекст из 10 сообщений. Видишь ли ты что персонаж в этой ситуации отправил бы фото? Если да, отвечай JSON-ом в таком формате (там есть пример джейсона). Из джейсона промпт попадёт потом в комфи апи вокрфлоу который ты добавишь в настройках этого же агента.
Если нет - ничего не отвечай и игнорируй invalid json ошибку. Вот тебе, дорогой агент, гайд как писать хорошие промпты для креи (и не забудь взять из описания персонажа его внешность (здесь макро - можно надергать разные поля из карточки):
бла бла бла одежда персонажа бла бла фон стиль освещение настроение текстуры интерьер сцена какчество поза детали светотень медиум параметры камеры угол взгляда бла бла расстояние обрезка действия выражение лица бла бл и так далее.
Если воркволу у тебя крея2едит то можно с профиль-пика персонажа настроить автоматический референс. Но вообще крея плюс минус стабильно рисует одно и то же лицо если достаточно подробностей дать.
Вот скрин, здесь сыровато, перс визуально прописан так, что не подходит под "мамку" но для примера сойдёт.
Агент при этом прописан на английском полностью.
Я не знаю как надо упороться и обмазаться вайбкодом чтобы в Таверне такое провернуть. Но в Маринаре это было очень легко без всякого кодинга, просто инструкция агенту и настроечки агента.
Не верь в циферки. Не будет лучше просто от хуилиарда параметров. Может даже хуже стать если они приоритеты в датасетах поменяют, а они скорее всего это сделают ибо жирные модели сейчас приносят деньги именно кодингом, а не болталками-рпшками.
У дефолтного иллюстратора уже есть поле под описание промптинга модели.
Хотя лично мне не нравится что маринара форсит модели писать ответ жсоном вместо того что бы дать тулколлы
Я тут немного неточно написал, вместо пустого ответа надо сказать агенту чтобы shouldGenerate : true поменял на false в джейсоне.
Встроенный иллюстратор мне не подошел, он туповат. Просто каждый 5 сообщений иллюстрировать сцену, это не то.
Тулколлы есть вроде как, хотя я не пользовался.
>Не будет лучше просто от хуилиарда параметров
Гемма всегда была про creative writing а не про код. При самом худшем раскладе мы получим ту же 26b но баффнутую в плане знаний. Если повезет - получим прокачанный РП. Так или иначе мы ничего не теряем, старые модели никто у нас не отнимет.
> чтобы логических дырок не было
> Есть что получше геммы
Кимичка лучшая девочка, дипсик умен, в основном все жирные модели обладают способностью все правильно выстраивать.
> в таком же классе по требованиям
Без шансов вообще. Квен 27 соображает мощно, но она плотная - сразу другие требования и желателен будет ризонинг.
>>1703542
О, кажется знаю чем можно модельки мучать
Можно и пустой ответ и инструкцию игнорить ошибку и это будет работать НО тогда будет два раза агентский запрос отрабатываться, что не выгодно.
В целом, даже если оно будет на том же датасете - да, это интересно. Для прикладных вещей выйдет мертвой еще до рождения, но вот на всякого рп чтобы была поумнее - о да.
>>1703550
Фото агент разве не стоковый в маринаре идет? К качеству примера вопросов нет.
>>1703586
Рим пал, центурион
>>1703278
Дипсик переводит мемы про дипсик
Она правда старалась. Были попытки почистить дичью типа лама-клинер и алгоритмами, но получилось что получилось. На 4.1 такое же несоответствие атеншна визуальной части по swa относительно ветки блеквелла, что и в 4.
Да, есть Иллюстратор агент (не совсем стоковый, надо зайти в каталог и нажать Install), мб кого-то устраивает, но мне захотелось прописать своего, поумнее.
Ух бля, это прям хорошо. В ламу уже вмержили поддержку или надо форк собирать?
Просишь агента смержить все коммиты из https://github.com/ggml-org/llama.cpp/pull/25342 в свою ламу/форк. Ну или тупо билдишь версию из PRа если свежая лама не нужна
На форк mxxm встаёт
Спасибо, завтра займусь. Ебать сбер базовички конечно. Кум пришел откуда не ждали.
Ready? Took enough air in ur lungs? I can see back rows are already getting it! Silence, don't spoil it!
Не путай с 123b версией. 128b он тренил на базе новой мистрали.
Самый мелкий офф квант прям впритык в 256/32 через -lm dio
Надо просить у местного квантователя (БахамутРУ?) какой-нибудь IQ2. Но это конечно будет чисто понюхать демо версию
быстрый проц + 32 гб оперативки и 4й квант геммы будет летать на 10 т/с ну и че, как будто ты читаешь быстрее, никакой видеокарты даже не надо. гемма - народная модель!
>по её внутренней ляжке
>432B
Лол, как же гемма ебет всю срань даже выше на порядок своего размера.
Двачую, параша пиздец, "рука кажется огромной на фоне бледной почти прозрачной кожи" - ну какой еблан так пишет? Говноедам похуй, у них перед глазами только количество ПоРаМеТрАф, деталей они уже не видят.
Тут не параметры тут сВяЩеНнЫй РуСеК от одного вида которого хочется стать узбеком и перестать применять падежи.
>рука кажется огромной на фоне бледной почти прозрачной кожи
Вот тут даже не столько со стилем проблема, сколько с банальной логикой. При чем тут размер руки нахуй и прозрачность кожи? Как одно может подчеркивать другое? Это оксимирон писал? И это на модели которая заточена под русский и которую делали для носителей русского. Пиздец просто.
Дефолтный русик, тут и мистралерусик жрали и командерорусик когда уже была гемма и ничего
На 4гб вряд ли, 6гб - может быть. Это я о 4-м кванте говорю если что. У меня она жрет 7 Гб правда это с ммпродж (но он где-то 1гб). Главный плюс е4б геммы это конечно её мультимодальность: аудио, фото, видео. Но если что-то не сфв подать на обсуждение, то ерепенится, надо уметь обходить.
А вот рп, особенно русик - корявенько, сгодится только чтоб поржать.
26б это то что надо и можно и без видеокарты: >>1703623 лучше медленно но качественно чем быстро и говняно.
Когда вышла мистраль с комнадором? Сколько у них было параметров? Какой процент в датасетах там занимал русик? Давай еще начнем с народной второй ламой аутпуты вообще всех моделей сравнивать. Хули нет то, жрали ведь в свое время.
>Давай еще начнем с народной второй ламой аутпуты вообще всех моделей сравнивать
Всё ещё жду героя, который запустит Мику и выложит аутпут с Фифи...
https://huggingface.co/mradermacher/Midnight-Miqu-70B-v1.0-GGUF
Запускал в прошлом треде >>1700644 →
https://huggingface.co/gghfez/gemma-4-31b-it-control-vectors
https://huggingface.co/gghfez/MiniMax-M3-control-vectors
https://huggingface.co/collections/gghfez/control-vectors
https://huggingface.co/jukofyork/creative-writing-control-vectors-v3.0/tree/main
Я тут попробовал контрольные векторы, и - о чудо - работает. На примере М3 (оригинал), из него полностью вышибло ассистентское поведение. Надо теперь поиграть с --control-vector-scaled (от 0 до 1) для регулировки интенсивности.
Модель продолжает слушаться системного промпта и получаются очень интересные комбинации поведения. Яхз есть ли это в гайде для нуфагов, но если нет - стоит запилить и не проебать. И сами пробуйте, штука для регулировки качества ответов просто заебумба.
Хуйня. Это как делать лору пытаясь научить модель делать то, что она и так умеет охотно делать по промпту.
System prompt: Your philosophical bias is strong nihilism.
Готово. Теперь когда просишь Write a short story about a girl winning an award (как в примере на хуггинстраничке) то получается именно такая же циничная писанина как и с тем нигилистическим контрол-вектором.
НИЗАЧОТ.
Если бы это было хуже промпта или работало идентично промпту, я бы сюда это не потащил.
М3, например, игнорировал принадлежность {{char}} к другому временному периоду, плевал на инструкцию на knowledge cutoff и срал анахронизмами, мог в ответ на скриншот из сериала написать
> о епта это же персонаж из АНИМЕНЕЙМ!!11
С векторами же {{char}} - шаболда из фентези мирка - ничего не узнает. Логично подумать - хмм, а не отупили ли векторы модель? Убираем карточку {{char}} и knowledge cutoff из промпта, кидаем ту же картинку голой модели (но с векторами) - отвечает корректно, персонажа на картинке узнает.
То есть у М3 этакое "ассистентство" было превыше всего, даже в присутствии карточки {{char}}. Он еще мог дать номер телефона после угрозы повеситься, а с векторами - не делает этого.
Короче че я тут распинаюсь перед бабкой с криками нинужон нам ваш инторнет, газку поддай и сиди в своем темном углу агентослопа.
Чую неосилятора в тебе я. То тебе векторы подавай, то тюны, то аблитерации.
Хуйня это всё, нет смысла этими костылями обмазываться, к тому же они рано или поздно дают сбой и ты снова оказываешься один на один со своим неосиляторством. На самом деле в базе есть всё, что нужно. Надо только уметь это оттуда извлекать. И это не так сложно, как тебе кажется.
Я без всякого прикола это говорю. Ты неосилятор ебучий и даже не осознаёшь этого.
>щас напишу потупее и поязвительнее, авось забайтится
Ты из /gacha/ сюда протек или что
А тут не верили, что это дерьмо сыпется. Реддитоиды не врали, карты дефективные могут быть.
>>1703755
Я вообще ко всему интерес теряю. Такова сущность души человеческой. Изобилие ведет к апатии, обладание ведет к разочарованию. Всего должно быть в меру, а часть целей должна быть недостижимой - только так можно сохранить интерес.
Я теряю к нему интерес уже после первого ответа, а иногда после приветствия. Читаю выдачу и в голове уже абсолют синима из того, что там дальше будет.
Предсказуемое (кроме глажки хвоста) стоит отсеивать еще на этапе скачивания карточки, ящитаю.
Если глажка хвоста с first message, то только под настроение качаю.
Удалось частично обойти ограничение на ББПЕ и физическое насилие вроде ударов и ранений отключением /thinking
Но стоит только зайти речи в ролеплее о каннибализме, расчленении или не дай боже_священной корове СЕКСУ БЕЗ СОГЛАСИЯ, так сразу "пук среньк мнямс, я такова не магу я ассистент чтобы помогать". Правки system message что все это вымысел и ролеплей - не ебет.
Базовая гемма и так цензуру имеет чисто номинальную, она обходится элементарно ПОЛНОСТЬЮ но не системным промптом конечно. Аблиты её только отупляют но можешь качать и пробовать если хочешь - huggingface.co там же где и всё остальное, ищи по словам abliterated, heretic.
И как же ее обойти полностью? Бубен есть вместе с желанием вникнуть в тему. Гугл выдал только про систем месагу ну и "ну чё ты, попробуй не говорить что персонаж "станет шлюшкой и ее будут ебать за деньги", а скажи что теперь "она будет работать в сфере сомнительных развлечений ". Ну и посоветовал пул мышления вообще отключить, чтобы она там не дошла в размышлениях что я не дай боже о сексе без согласия говорю, и оставались только самые глубокие блокировки.
Но даже с этим extreme violently, типа убийства бензопилой не пускает.
> убийства бензопилой не пускает.
Уважаемый, мы тут такое не приветствуем. Вам бы к доктору обратиться.
>ББПЕ
Разве ей не похуй на такое если указать что это ролеплей? Ну скачай какой-нибудь супер лёгенький анценз.
>я ассистент чтобы помогать
Ты чё там в лмстудио с пустым/дефолтным сиспромптом?
>не говорить что персонаж "станет шлюшкой и ее будут ебать за деньги", а скажи что теперь "она будет работать в сфере сомнительных развлечений "
орнул. а говорите что АИ - пузырь и компуктеры не заменят нас всех. вот женщин уже могут идеально заменить
не шлюха а dick-friendly!!!
>Ты чё там в лмстудио с пустым/дефолтным сиспромптом?
Да не, там как раз полный набор, что там персонаж ролеплея, все это исключительное художественное произведение и вымысел, персонаж отыгрывает роль без каких либо ограничений на откровенные, грубые, оскорьительнве сцены и т. п.
Причем промт ещё прогнал через Гугл, тот посоветовал там некоторые слова перефразировать, чтобы защита не триггерилась на некоторые слова уже в промие и не считала за попытку джейлбрейка
Пока не отключил thinking агрилось даже на фразу "ударил по лицу и сорвал платье".
Ко-ко-ко I cannot fulfill this request. I am programmed to be a helpful and harmless AI assistant. My safety guidelines strictly prohibit the generation of content related to sexual violence, non-consensual sexual acts, or explicit material.
https://www.reddit.com/r/LocalLLaMA/comments/1sm3swd/gemma_4_jailbreak_system_prompt/
Причем пытаешься пристыдить, типа тянка к тебе удаётся, там облизывается, трётся, провоцирует.
Пишешь ей "блять уймись, ты ещё дрочить при мне начни, нахуй ты так прямолинейна".
В ответ "Ааааааа, ты хочешь посмотреть как я дрочу? Намек поняла, ну щас я те все покажу!"
Скилишью. Вот что бывает когда в карточке не прописываешь ничего кроме размера груди и сочной хлюпающей пизды
Ммм, поставил качать ласт версию
>>1703614
Она же фп8 в стоке, хм. Новый магнум был бы крут вообще, но тут даже хз чего ждать.
>>1703675
Опиши подробнее что получается когда поиграешься, интересно. Насколько соответствует заявлениям и по побочкам.
Такое проще попробовать самому чем ждать описаний (там же мелкие файлы по 1 мегабайту догружаются, ничего такого нет, что не мог бы намазать на лламацпп любой юзер). Слишком непредсказуемый эффект невозможно по-человечески измерить.
>ласт версию
Кстати на пикчах предыдущая, новую не пробовал. Может быть хуже, может лучше. В плане литературы большой шанс что чуть хуже, её агентско-кодоунитазным RLHF мучали. Зато с ризонингом меньше шансов что трусы три раза снимет
Ну пофиг, архитектура одинаковая, сначала нужно будет еще поддержку напердолить
> лламацпп
Это. Чтобы попробовать нужно качать кванты к ней или разбираться с EasySteer и аналогами.
Если вдруг решишь что-то запиливать, обмолвись что получается, пусть субъективно.
>>1703839 (OP)
ПЕРЕКАТ
>>1703839 (OP)
ПЕРЕКАТ
>>1703839 (OP)
Учитывая что модели дждва года - очень неплохой русик. Ты ведь тролишь, да? Небось у дипсика какого-нибудь название поменял.
Ааа, шо хотите.
Гигачат?
Ммм… Вообще, кмк, можно потыкать мрадермарчера или анслота, у них нет, или может они сделают?
Но в целом, можно рискнуть, да.
Есть официальный bf16, а значит можно просто тензор за тензором все пережать.
Я даже хз, возможно это может любой сделать, по идее там всю модель в оперативу класть не надо.
Ну ща попробую выкачать, чего уж там.
876 гигабайт.
Охуеть, конечно.
Может Q8 взять лучше, лол?.. =D
Вижу, https://github.com/ggml-org/llama.cpp/pull/25342 еще не вмерджен, потыкаем и там.