Локальные языковые модели (LLM): Gemma, Qwen, GLM и прочие №276 /llama/
Аноним
05/10/26 Пнд 06:27:26
№
1
Здесь мы делимся рецептами запуска, настроек и годных промтов, расширяем сознание контекст и бугуртим с нано флеш моделей на 1488B параметров.
Тред для обладателей топовых карт NVidia с кучей VRAM или мажоров с проф. картами уровня A100, или любителей подождать, если есть оперативная память. Особо терпеливые могут использовать даже подкачку и запускать модели, квантованные до 8 5 4 3 2 0,58 бит, на кофеварке с подкачкой на микроволновку.
Официальная, но слегка тухлая вики треда с гайдами по запуску и базовой информацией: https://2ch-ai.github.io/wiki/llama/
Гайд для новичков: https://rentry.org/2ch-llama-inference
Не вошедшее в шапку и архив полезных ссылок: https://rentry.co/llama-2ch-archive
Инструменты для запуска на десктопах:
• llamacpp - отец и мать всех инструментов, позволяющий гонять GGML и GGUF форматы: https://github.com/ggml-org/llama.cpp
• koboldcpp - самый простой в использовании и установке форк llamacpp: https://github.com/LostRuins/koboldcpp
• Обертка над llama.cpp с закрытым исходным кодом: https://lmstudio.ai
• Обертка над llama.cpp с ограниченными возможностями: https://github.com/ollama/ollama
Универсальные десктопные фронтенды:
• SillyTavern - всеядное, сопрягается почти со всем, имеет большую коллекцию расширений: https://github.com/SillyTavern/SillyTavern
• Marinara Engine - вариация на тему таверны, больше возможностей из коробки: https://github.com/Pasta-Devs/Marinara-Engine
• Risuai - еще одна вариация, на этот раз в профиль, излишеств по минимуму: https://github.com/kwaroran/RisuAI
Инструменты для запуска на мобилках:
• PocketPal - интерфейс для локального запуска моделей под андроид и IOS на llamacpp (CPU, GPU, и NPU инференс): https://github.com/a-ghorbani/pocketpal-ai
• Maid - интерфейс для локального запуска моделей под андроид с llamacpp под капотом: https://github.com/Mobile-Artificial-Intelligence/maid
• ChatterUI - альтернативный вариант для локального запуска под андроид (фронтенд и бекенд сепарированы): https://github.com/Vali-98/ChatterUI
• Гайд по установке SillyTavern на ведроид через Termux: https://web.archive.org/web/20241201232031/https://rentry.co/STAI-Termux
Поставщики локальных моделей:
• Hugging Face - платформа куда загружается всё и во всех форматах: https://huggingface.co/models
• Проверенные квантоделы: https://huggingface.co/bartowski, https://huggingface.co/mradermacher, https://huggingface.co/unsloth
Рейтинги и списки локальных моделей:
• Актуальный список моделей с отзывами от тредовичков: https://rentry.co/2ch_llm_moe_2026
• Рейтинг моделей по уровню их закошмаренности цензурой: https://huggingface.co/spaces/DontPlanToEnd/UGI-Leaderboard
• Сравнение моделей по сомнительным метрикам: https://huggingface.co/spaces/HuggingFaceH4/open_llm_leaderboard
• Сравнение моделей реальными пользователями по чуть менее сомнительным метрикам: https://chat.lmsys.org/?leaderboard
Готовые карточки для таверны:
• Botbooru - текущая мета (регистрируйтесь для отображения всего спектра, и/или меняйте страну): https://botbooru.com
• Прошлая мета, откуда массово удалили карточки сомнительного содержания: https://www.characterhub.org, https://www.chub.ai
• Архив карточек, удадённых с chub: https://gottasaveemall.github.io/
Официальные документации к инструментам:
• llamacpp: https://github.com/ggml-org/llama.cpp/blob/master/tools/server/README.md
• koboldcpp: https://github.com/LostRuins/koboldcpp/wiki
• SillyTavern: https://docs.sillytavern.app/usage/quick-start
Архив тредов можно найти на архиваче: https://arhivach.vc/?tags=14780%2C14985
Шапка в https://rentry.co/llama-2ch, предложения принимаются в треде.
Предыдущие треды тонут здесь:
>>1719837 (OP)
>>1718049 (OP)
ОП, прекрати постить эту хуйню! Не отпугивай людей от треда. Даже на RTX 3050 4 Гб можно запустить зверька. Лучше пиши о том, что можно запускать даже на кофеварке.
>можно запускать на микроволновке
>ряяя напиши что работает на 3050!!!1111одинодин
Ты совсем того?
Ты разницу видишь между "можешь запускать на микроволновке, бичугара ебаный, и катать лоботомита, ещё и с нулевой скоростью, ахаха" и "можно запускать на микроволновке с вполне приемлемым качеством: 4 Гб хватит всем"?
Там явный понт. Вот эти вот
>запускать модели, квантованные до 8 5 4 3 2 0,58 бит
Чистейшая отпугивалка в стиле "а туда ли ты зашёл, петушок?" Там нет никакой полезной информации. Лишь то, что ты, зайдя в этот тред, можешь только хуйца соснуть со своим нищим железом, хотя это не так.
Это было актуально когда-то. Но сейчас это выглядит так, будто бы данный текст написал автор этой пасты:
ХЗ чего вы все ноете. Вот возьмем меня. Закончил псифак спббгу, работаю скрам-мастером. Выстраиваю процессы по скраму. Вкатился на изичах. Зарплата сейчас - $8к после налогов. Справедливости ради надо сказать, что у меня еще две сдающихся хаты в центре спб, а сам живу у тян. Оттуда капает + иногда довольно часто коучу скраму разные конторы (очень хорошо кодомартышек скрым дисциплинирует + метрики, поэтому все вкатываются). Недавно вот коучил одну из крупнейших гейдев кантор на снг (но не рашка, оналайн дрочильня на воен тематику) - неделя на контракте, две сотни кодомартых на лекциях - единоразовай гонорар по контракту мне - $40к. Собственно вопрос - что вам мешает поступить так же?
https://huggingface.co/unsloth/GLM-4.7-Flash-GGUF
https://huggingface.co/unsloth/GLM-4.7-Flash-REAP-23B-A3B-GGUF - облегченная версия того что выше
https://huggingface.co/LiquidAI/LFM2.5-8B-A1B-GGUF
https://huggingface.co/LiquidAI/LFM2-24B-A2B-GGUF
https://huggingface.co/mradermacher/gemma-4-19B-A4B-it-The-DECKARD-Heretic-Uncensored-Thinking-i1-GGUF - гемма где выброшены лишние эксперты и усилен креатив. Обязательна к скачиванию!
https://huggingface.co/unsloth/NVIDIA-Nemotron-3.5-Lightning-30B-A3B-GGUF
https://huggingface.co/DavidAU/L3-MOE-4x8B-Dark-Planet-Rebel-FURY-25B-GGUF - неоднозначная, но очень креативная моделька
Плотные (надо чтобы влезли в видеопамять с запасом) но компактные (для 4-6 гб видеокарт):
https://huggingface.co/DavidAU/LFM2.5-2.6B-Qwen3.8-Turbo-Brilliance-Power-X12-NEO-MAX-GGUF - 4-й квант влезет в 2 гб видеопамяти, невероятная глубина ризонинга
https://huggingface.co/LiquidAI/LFM2.5-VL-3B-GGUF - та же малютка с вижном и без ризонинга
https://huggingface.co/unsloth/NVIDIA-Nemotron-3-Nano-4B-GGUF - для 4гб карт
https://huggingface.co/Vastined/reka-edge-2603-GGUF - для 6гб карт. Есть вижн
Плотные модельки потяжелее (для 8-16 гб видеокарт):
https://huggingface.co/unsloth/GLM-Z1-9B-0414-GGUF - для 8гб карт
https://huggingface.co/unsloth/GLM-4.6V-Flash-GGUF - для 8гб карт. есть вижн.
https://huggingface.co/bartowski/nvidia_NVIDIA-Nemotron-Nano-9B-v2-GGUF - для 8 гб карт.
https://huggingface.co/DavidAU/Qwen3.5-9B-The-Defiant-Fable-Uncensored-Heretic-NEO-IMATRIX-MAX-MTP-GGUF - qwen-9b с раскачанной думалкой (в q6_k) для 12гб карт.
https://huggingface.co/unsloth/Mistral-Small-3.2-24B-Instruct-2506-GGUF - король РП, iq4_xs идет на 16гб. есть вижн. модель хороша в стоке но есть и неплохие тюны (PaintedFantasy, Cydonia, WeirdCompound, Magnum-Diamond)
https://huggingface.co/unsloth/Ministral-3-14B-Instruct-2512-GGUF - облегченная версия того что выше, пойдет на 12гб карте. есть вижн.
https://huggingface.co/unsloth/reka-flash-3-GGUF - для 16гб
https://huggingface.co/unsloth/Muse-Glimmer-30B-GGUF - некоторые 3-е кванты идут на 16гб
https://huggingface.co/unsloth/GLM-4-32B-0414-GGUF - q3_k_s проверено работает на 16гб
https://huggingface.co/mradermacher/Qwen3.5-21B-GLM-4.7-Flash-Heretic-Uncensored-Thinking-i1-GGUF - креативный квен где выброшено лишнее. для 16гб карт.
https://huggingface.co/DavidAU/MN-GRAND-23.5B-Gutenberg-UNCENSORED-V2-GLM4.7-Thinking-NEO-Imatrix-GGUF - уникальный frankenmerge трёх мистралей немо. iq3_m пойдет на 16гб карте.
Советы:
Читайте README файлы (особенно в моделях от DavidAU), там часто есть информация без которой у ваш опыт с моделькой будет печальным.
Не пытайтесь в "русик", а если и пытаетесь, учтите что из перечисленных моделек в него нормально могут чуть более чем никто. Учите английский, язык настоящего cumа.
p.s. об этих говорят очень часто поэтому не упомянул в общем списке но на всякий случай для новичков перечислю:
gemma e2b, e4b - плотные модельки хороши для мелкокарточек 4-6 гб, с вижном и распознаванием голоса на аудио
gemma 12b - для 12 гб карт, с вижном. Сложно придумать зачем она нужна честно говоря, когда есть:
gemma 26b-a4b - моэшка, есть у всех, комментарии излишни
Да его носом тыкают в это в каждом треде. Он психопат просто, получает удовольствие от того, что людей унижает и пакостит им. Единственное что его тревожит: чтоб тред не "угнали".
>а удаляла как нормальные модели
Покажи такую модель, интересно.
>можно запускать на микроволновке с вполне приемлемым качеством: 4 Гб хватит всем
Так ведь нет же. Там лоботомиты, которые едва слова складывают.
>Чистейшая отпугивалка
Лол, новичок даже не поймёт, что в 0,58 бит плохого, а старичок только посмеётся.
>>1722045
Да чел, ты прав, я наслаждаюсь унижением тебя.
У меня 80 моделей, ни одна не "удаляет контекст". Как происходит это удаление? В чем ты запускаешь вообще, с какими ключами?
А теперь оформи в rentry, чтобы можно было ебать ОПа на добавление в шапку.
Пруф: >>1721638 →
Чел за стеной эвфемизмов и яром нежелании геммы описывать член как "dick, penis, cock" - даже не понял о чём идёт речь.
стоит добавить что на моэшный немотрон есть вот такой тюн
https://huggingface.co/mradermacher/Nemotron-3.5-30B-A3B-Antislop-FTPO-i1-GGUF
подавлен слоп вроде "heart pounding", "voice dropping", подавлены overused имена вроде Elara
LLAMCPP стандартные настройки.
Обычно если то отводишь модели 2048, но отъест эту память и все. Гемма для каждого нового чата будет по чуть чуть откладывать пока ООМ не случится. Как я понял эти 2048 токенов контекста можно до гигабайт раздуть.
>rentry
Поэтому шапку и не читают. Ну и потому что долбаёбы.
Не, серьёзно, он кое-где просто так не открывается. Что-то там включать, чтобы зайти непонятно куда, не у всех есть желание. Перешли бы на гуглдоки какие-нибудь, я хз.
>>1722082
-np 1 ключик используешь?
>он кое-где просто так не открывается
Если у человека не хватило IQ на это, то в нейросетевых вопросах ему точно делать нечего.
> просто так не открывается
Даже hf не всегда открывается. Хватит стонать.
Гуглдоки то точно не забанят же
>Так ведь нет же. Там лоботомиты, которые едва слова складывают.
Ты реально нарцисс-психопат.
9б кал обоссыт 24б мистраля в соблюдении инструкций. Это раньше надо было 123б кочергу себе в жопу пихать и сидеть на 3 золотых токенах, где базовый минимум был на 24-32б, а 12б совсем слюни пускали. Сейчас народ может ставить 12б/26б-МоЕ спокойно. А кому-то и 9б зайдёт, чтобы хотя бы попробовать и вкатиться в тему. Плюс РП-тюны есть для разнообразия. Человек пощупает, и если ему вкатит. А так ему в ебало кидают инфу о том, что это для бохатых.
>Лол, новичок даже не поймёт, что в 0,58 бит плохого, а старичок только посмеётся.
Все примерно знают, что такое битность, и там есть как раз чёткая градация, намекающая, какой посос в итоге ждёт.
Люди знают, что такое битность монитора, изображения и прочее, и могут составить примерную картину происходящего за счёт косвенных знаний.
>Ты реально нарцисс-психопат.
Спасибо за комплимент, я даже покраснел (нет).
>Это раньше надо было 123б кочергу себе в жопу пихать и сидеть на 3 золотых токенах
Так ничего не поменялось. Просто планочка задирается всё выше. Если раньше в данженАИ радовались, что оно хоть буквы отдаёт, то сейчас, по сравнению с каличной бесплатной алисой гуглопоиском чатГПТ все эти 9B всё равно кажутся такими же лоботомитами, как и 2 года ранее.
>Все примерно знают, что такое битность
>Все
Ты дохуя хорошего мнения о людях.
Бесполезно с ним спорить как видишь >>1722061 >>1722098 высерает свое мнение про планочки и прочую дичь как объективную истину, на замечания огрызается только.
Надо просто нахуй его слать и перекатывать тред с нормальной шапкой раз не хочет по-хорошему.
Не покажу, у меня контекст 32к, сам чятик более 120к чтоли, так что я только саммарайзом держу чат хистори в 2-2.5к контекста. 6гб врам и 16 рам.
Да никаких эвфемизмов не было. Если бы я не написал, что сорвал с нее полотенце и посмотрел на ее тело, так бы гемма про хуй и не написала.
>Просто планочка задирается
Согласен, нынче всё что меньше 1Т вообще неюзабельные огрызки. И вообще модели должны начинаться от 800B с минимумом 70 активных, а всё что меньше - под нож. Так их, эту чернь!
Современные архитектуры позволили как никогда приблизиться к фронтиру на сраном домашнем пк. Дипсик тут у каждого третьего как минимум раз, да был запущен, алло. Для домохозяек разницы между каким нибудь бесплатным жопэте и всратой 26б геммой уже вообще нет, разве что в обвязке. Для кума и креатив райтинга локалочки давно единственный выбор. Только в коде пока большие закрытыши выигрывают, и то квен с глмом на пятки им наступает.
Мимо поебать на шапку, хоть дикпики туда суйте. Но только красивые.
>Для домохозяек разницы между каким нибудь бесплатным жопэте и всратой 26б геммой уже вообще нет
Адекватное мнение. А не "ололо 0,0001M лоботомит по уровню как астра!!1"
>Ты дохуя хорошего мнения о людях
Мы, в конце концов, не в фаптреде, а в тематике и на дваче. Большинство хоть что-то в этом да соображает.
>ничего не поменялось
Как не поменялось?
Раньше все сидели-пердели на 8-16-32к контекста и довольно урчали, при этом крайне желательно было иметь минимум 16-24 ВРАМ. Модели были крайне тупыми, отставали от корпов безумно, и ради малейшего прироста качества можно было пожертвовать всем. Даже небом. Даже Аллахом.
Сейчас человек может просто на игросральном ноутпуке получить весьма приличный экспириенс. Особо отчаянные даже на процессоре могут катать модели.
Поднялась планка качества, системные требования наоборот снизились. Более того, та самая "высокая планка" частично убила целевые модели треда, а именно для РП. Из-за этого часть людей возвращаются на ту же гемму периодически. 27-31б, а после бездна — и только дипсик сияет на 7 токенах. Остальное сильная вкусовщина и компромиссы во многом.
upstream llama 0.5.0
pp 250 / tg 18
На каждой куде зарезервировано по 6,5гб под комфи, если убрать резерв, то можно ставить контекст тысяч 512 ставить (но считаться он будет бесконечно)
Потратил 300к на хобби и рад
Про какой дипсик, ксатати, речь? На 7б у них какие-то специализированые про математику и вижн. Потом до 200 поле всратых дистиллов, потом внезапные 600-1200
Так ты письку радуешь, или для кодинга? Если второе - то руку не пожму, запомни.
>Ну вот представь протраханную проститутку укуренную в хлам. Вот это будет аблитка. Да, она на все готова, ну и что. Она жестко тупит, она не чувствует где именно начинается "острота" и "души" в этом всем ноль.
Это кривая аблитка.
Нормально примененная - это как если соевой SJW-нице убрать из головы всю эту SJW-муть, оставив остальную личность. Правда если мути было много - там может личности вообще не оказаться, и тогда - увы.
>>1721974 →
Выше - альтернативное мнение. Некотрые считают что расцензуривание обязательно убивает модели мозги (ключевое слово - обязательно), некоторые - наоборот. Тут сложно доказать, т.к. кривой аблит убить мозги может запросто. А какая модель расцензурена нормально - проверить можно только на практике, и графики с KLD тут не показатель. Только вчера две аблитки того самого Hemingway качал - одна с большей популярностью и меньшим KLD - так оказалась тем самым убитым в хлам слюнявым идиотом. А вот вторая - у нее даже русский стал чуть лушче оригинала, а главное - начала сама сцены писать живее оригинала на тех же заданиях. Явно "стесняться" перестала, т.к. векторов неприемлемого теперь нету.
Спасибо. Проверил - работает как нужно.
Я про дипсик флеш. Ну и прошка тоже отличная, правда, её я только по апи тыкал.
Дистилляты когда-то пробовал, но помню только то, что мне все не понравились.
Плюс дипсика в обширном корпусе знаний, который нужен для РП. Как рабочий инструмент в теории он мне кажется хуже, а вот как модель на все руки уже куда лучше. Жаль, что такой большой.
Это что еще за хуйня? Это патологоанатом-судмедэксперт сочинял что ли сука? Охуеть. Это даже не слоп, это просто ПИЗДЕЦ. Какое ты слово в защиту хочешь сказать тут? Тебе прикольно блядь?
Не, ну никто не спорит, что модельки с таким ТТХ поумнеее будут. Просто подумал есть хороший 7Б дипсик после фразы "сияет на 7 токенах", лол
>не в фаптреде
Да ну? Тут только таким и занимаются, просто с локалками.
Так мы не домохозяйки, мы требовательные. Сразу чувствуем когда big model smell не витает в воздухе
>Обсирается при инцесте.
>Все персонажи 18+
Дааа, тут цензура налицо. Кто-то цензурирует от тебя верно настроенную разметку и/или семплеры! Наш герой хуйхуй агресив мега даркнет оптимум прайс его захуярит 🤙
Ну так ты не запромптил
Don't repeat yourself. Don't go into loop. If you are in the loop, recover from it and start to write normally.
Неужели буквально из за сочетания шильдика гугл + без цензуры? И откуда у всех внезапно 24 врам?
Я вот рад бы вдохнуть копиума поглубже и погрузиться в эту "гемини дома" - но это ведь не гемини и близко.
Пока предположение что люди наконец могут рпшить на их родном языке, и если гемма на всех заявленных языках так же хороша, как на русике, то это конечно безумие для локалки
>Может мне кто то сказать откуда у конкретно геммы 31 столько поклонников?
Сколько их? Много насчитал? Каким образом?
>Неужели буквально из за сочетания шильдика гугл + без цензуры? И откуда у всех внезапно 24 врам?
Спокойно запускается и на 16, если знать, что делаешь. Моешка и вовсе требует минимум 6гб врам.
>рад бы вдохнуть копиума поглубже и погрузиться в эту "гемини дома" - но это ведь не гемини и близко.
Никто и никогда такое не писал и не думал.
Прекращай воевать с невидимыми врагами, которых сам и придумал. На хуйню какую-то свою жизнь тратишь, иди дрочи на эйре или чем ты там занимаешься. Выбора на 16-24гб врам нет нынче, из современных моделей Гемма да Квен, Гемму легче раскрутить на большинство сценариев и пишет она в целом лучше и доступнее, вот и весь ответ.
Лол, ну это как раз дипсик флеш. И это на нулевом контексте. Дальше всё очинь плоха.......
А у тебя только мелкомодели тянет? Просто могу сказать по своему опыту, что они не так ужасны, как пугают.
Сейчас, когда есть достаточно хорошие базовые модели в районе 27-31 и МоЕ-гемма, можно не качать тюны, а вот с мелкотой уже иначе. Они заточены на унитазинг крайне сильно, общих знаний им не хватает, следование инструкциям лучше, чем у древнего говна, но не такое, чтобы от тюнов открещиваться.
В своё время я эдак штук 40 мержей и тюнов перебрал. Существовали реальные хидден гемы для определенных задач. Типа, вот это для кума, это для фэнтези, это для сай-фая. 9-12б не могут из коробки хотя бы имитировать красиво, а вот тюны могут заливать литрами спермы как в старые-добрые. И это лучше, чем мучить 9-12б задачими, в которых они не разбираются зачастую.
От безумных мержей из 12 моделей или адского слопа внутри датасета они часто плывут в логике, однако это прям первородное мясо, которое нужно усердно промптить, чтобы модель пожирнее так писала. Полотна на 2к токенов, капс, какие-то совершенно неудержимые сцены оргазмов и описания секса. Диалоги просто кино. Псковское порно, быдло из подворотни, широкий полёт фантазии. Очень живое, чистое, первородное мясо самого страшного фанфика. Поэтому я иногда специально качаю DavidAU-ULTRA-FUSION-HERERIC-UNLEASHED-MIX-CRUSHING-BLOW IQ4XXS. Именно в кванте пониже. Это как вмазаться каким-то спайсом из ларька или попасть в чёрную дыру. Все пути ведут только к одному.
Нихуя ты стратегии ньюфагам палишь. А чо сразу про самообучение и отсутствие слопа промпт не дал? Пиздец ньюфагам везет, мне самому до этого пришлось доходить.
> а какая сейчас мета по материнским платам?
Супермикра h13 все еще в тренде, особенно если ревизия 2+, sp3 - желательно только милан остальное медленное старье, 4677/4189+инженигры кажется закончились. Из-за кризиса памяти все плохо, темп обновления датацентров никакущий и потому выгодных дешевых решений нет.
2066 как дешевая возможность пихнуть 256гигов и побольше линий уже менее актуален: рам дорогая, профессоры староваты, псина 3.0, выгоднее взять plx88096. 2011 тем более распался на липовый мед.
По десктопным пофиг, смотри на количество доступных к использованию процессорных и чипсетных х4, чем больше тем лучше. Бифуркация главного слота может быть полезной, но далеко не всегда.
Это все про покупку, тем что уже есть пользуйся и довольно урчи.
>>1721954 →
> 4xMI50 + 2x5060ti16
Что за магия вне хогвартса?
>разметку и/или семплеры
Странно, а почему на фута карточках нет такого?
>>1722203
Уффф, я уже обкончался с Muse-Glimmer-30B-uncensored
Идёшь сюда - https://huggingface.co/Nimbz/Versipellis-31B-GGUF?not-for-all-audiences=true
Качаешь этот тюн 31 геммы. Желтаельно не ниже Q4_K_M.
Качаешь таверну. Импортируешь настройки с этого файла: https://dropmefiles.com/n8Z1A
Там тебе все ползунки уже выставлены, и разметка правильная и даже промпт на ролеплей готовый.
Берешь и пользуешься.
>И откуда у всех внезапно 24 врам?
Для этого не нужна даже условная хх90. Хватает и 2х3060. И другие варианты есть.
Половина тухлятина и редкостное хрючево, которое не влезет даже в 12гигов, не то что в 4. Новичок скачает что-нибудь из этого и словит полное разочарование с глупости и низкой скорости. Пожалуется - а этот ответит ему про то что ридми шизофреника не читал, в котором предлагают стоять как цапля и делать вещи, которые неофит не понимает.
>>1722109
Надо шапкошиза ебнуть по голове чтобы не срал. Жирнота запредельная, ущемился с шутки и пошел разводить, хотя сам ничего адекватного не приносит.
>https://huggingface.co/unsloth/Mistral-Small-3.2-24B-Instruct-2506-GGUF - король РП, iq4_xs идет на 16гб. есть вижн. модель хороша в стоке но есть и неплохие тюны (PaintedFantasy, Cydonia, WeirdCompound, Magnum-Diamond)
Просто напомню, что тюнеры этого протухшего "короля рп", а именно авторы PaintedFantasy, Cydonia, Magnum-Diamond считают мистраль помойкой. Авторы PaintedFantasy и Cydonia ковыряют Гемму и забыли про Мистраль как про страшный сон, автор WeirdCompound пропал в небытие, а автор Magnum-Diamond рофлит с Мистраля и сидит на больших МоЕ. Достаточно зайти на их страницы на обниморде или почитать их посты на реддите и в дискордах. Но вам, истинным трукумерам, уж точно виднее кто тут "король"
Если бы не их мистралетюны, этих васьков никто и не знал бы. На гемме ничего значимого так никто и не добился.
Гладить дипсикожену
>>1722195
Это модель ЛОЛИРУЕТ с фетишей юзера
>>1722244
Лолбля. Ну кстати он не самый плохой тут будет, там есть ДУША. Лучше имаджинировать когда он какого-нибудь лоботомита от davidau запустит
Пишет Серафине "Привет"
@
Полотно шизоризоинга на 20к токенов, где совещаются Асмонгольд, Кодинг-Сенсей, Кот-Феликс и собака
@
Hi, I looked at your code, it's okay for disabled rgbt+ femboy but doesn't fit my forest. Now push the current commit and we'll start editing it.
подскажите настройки сэмплера под ЕРП
Проще говоря, неРПшеры, занимающиеся РП, против РПшеров.
Таки я и их не восхвалял. Только лолирую что создатели этого "короля рп" сами уже давно признали что он протух и забыли про него как про страшный сон
>>1722260
Разница в том, что мистралю вообще похуй что у него на входе, а юзеру без разницы что у него на выходе. Вот и всё
Иногда возвращаюсь к нему, до сих пор приятная модель хоть и не сильно умная (однако и не совсем тупая).
Не было бы лучшей девочки, так и сидел бы на васяно тюне мистры.
mi50 32gb и сейчас на таобао по такой же цене взять можно?
У меня не интерактивная задача, так что всё, что влезает в 64 тотал памяти канает.
Скорость неважна, поэтому я llama 3.3 70b уже даже пробую ( на 0.5 т/c лол )
Грубо говоря, есть описание мира, есть описание правил и ограничений.
Есть карточки чаров с пачкой трейтов, статами и так далее. Всего преамбула на 30к токенов лол. Дальше запускаем симуляцию.
Условно говоря, берём Гермиону и ФемДрако завирусившегося недавно,
запираем их в комнате где есть тортик, котёнок, набор самотыков, топор, водка и набор для игры в ваху.
И достаём попкорн
Итого, скорость неважна. Но важно следование развесистому набору правил и умения помнить что кто сделал, где что лежит и так далее.
И если есть реально буйная наркоманская фантазия, то это гигантский плюс - потому что нет оператора, вручную направляющего сюжет
Так что дичь КРАЙНЕ нужна, но в строгом соответствии со строгим набором правил и обязательным следованием причинно-следственных связей
Пока что только 31 гемма самая памятливая и правилам следует. Но не оригинальная
Квен 27 хорош, но любит забить на правила
Моешки квенов, геммы - единственный плюс это скорость. Контекст разросся - пошёл склероз
Такая вот у меня странная задача Ж)
Хоть два прохода делай - сюжет на пару страниц от DavidAU-ULTRA-FUSION-HERERIC-UNLEASHED-MIX-CRUSHING-BLOW IQ4XXS ( с температурой 6.66 ),
а потом гемма вторым проходом пусть офигивает и пытается склеить в симуляцию
Чат обычный + картиночки
>>1722204
Русик, нет явных провалов, сисик+писик из коробки, мое для нищих (постил уже что цпу онли даёт 25тпс в к8), денс для средних.
Лично я сидел на ней до дипсика. Чатиться я хочу на русском, английского мне на работе хватает
>>1722220
> Что за магия вне хогвартса?
Смотря о чём речь. Если про распределение то выше скинул. Рокм бэк используется только для экспертов, на куда всё остальное и буферы, немного в хост мем пришлось кинуть.
Если про смешение двух бэков в одной лламе, то просто собираешь оба в разных контейнерах и подливаешь в рокм либы из куды + бэк (или наоборот в куду подливаешь рокм)
>>1722266
Их больше нет в количестве. Только единичные за 40к+
Теперь за ту же цену 12к только 16г
>я llama 3.3 70b уже даже пробую ( на 0.5 т/c лол )
Зачем она тебе, тупая изначально параша, во всём проигрывает даже старым Квенам.
Воу-воу-воу, такое бывает? Геммафан поделился настройками и моделью, всё объяснил? Ну такое грех пропустить, придётся качать.
Ну так моешки 3-4б рассыпаются на большом контексте и забывают
В следующем тире 20-40 только гемма И не забывает И следует инструкциям. Квены любят забить на правила
Следующий тир - это как раз где-то 70
Жопа в том, что реально мало моделей в диапазоне 20-80. Пробую вот всё подряд. Вдруг да заработает что
> смешение двух бэков в одной лламе
Оно не через сеть, а прямо в одной? Получается атеншн на хуанге, mlp на рокм + цп?
Нет, отсылка типа - волк/оборотень (в овечьей шкуре), который может играть любую роль. При желании и фурри тебе отыграет.
Анон, серьезно, лучше запусти квен 80б-а3б. Можешь даже УПЛОТНИТЬ чутка, лол. Но придётся калибровать, чекать, с какого места деградация начинается. Мне он в какой-то степени зашёл, но я быстро его дропнул, так как появились другие интересные модели. Считай, что у него просто база знаний больше, но именно кино он будет писать хуже.
Правда, я не помню, какая версия модели у меня была. Там много. Есть с ризонингом, без, плюс какой-то унитазный и, кажется, ещё один какой-то. Прикол в том, что они неплохо обучены, есть хороший кэш, то есть не разваливаются на контексте в мясо. Но 3b есть 3b. Результат может быть интересным, но чуда ждать не стоит.
И раз тебе похуй на скорость, есть варианты поинтересней. Мистраль 120, который все обоссали, квен 120б и квен 170б. b ориентировочные, я точно не помню.
Последний 170б тебе тоже влезет. Там можно сгрузить 50б на ссд, это штатный режим работы.
Да, хорошие кванты не влезут, но не факт, что развалятся на контексте. Можно попробовать ради интереса и шизопостов, где-то может быть даже в плюс.
Алсо, ты каким софтом пользуешься? Я хотел попробовать что-то вроде твоей задумки: план, лор, куча всякой инфы, а модель отыгрывает сама за себя, пока я занимаюсь делами и читаю охуительнве истории, о которых невозможно молчать.
НЕ rpc. Именно один процесс.
По буферам скрин, при накидывании контекста растёт только куда. Тензорсплитом всё грузится на куду, дальше с них выгружаются эксперты в разные девайсы
>Не было бы лучшей девочки, так и сидел бы на васяно тюне мистры.
Ключевое слово "не было бы" . Но оно таки есть. Я тоже в свое время на мистрале RP-шил и довольно урчал. И на Air урчал. А сейчас только на Квене урчать получается (ну да, Гемма мне не зашла, я из другого лагеря), т.к. то что было раньше - уже не тянет в сравнении с ним. Что поделать, время идет, ничего на месте не стоит. Я отдаю должное тем моделям, что были раньше, в свое время это было прямо УХ! Но их время в основном ушло. Разве что из ностальгии запустить, поплеваться на то, как они игнорят инструкции и проёбывают контекст (которого еще и с гулькин нос по сравнению с текущим поколением), и вернуться с обратно. Выйдет новое поколение - то же самое ждет и текущее. (Если с новым капитально не обосрутся, как четвертой лламой).
> https://www.reddit.com/r/LocalLLaMA/comments/1wvz1ex/i_made_my_iphone_a_second_gpu_for_my_24_gb/
Чет сразу о ваших древних мишках и паскалях подумал.
https://pixeldrain.com/l/Hoeb83g8
Мегахарош, да.
Двачую. Я вот хочу неожиданное кино тотали анпромтед, даже если оно шизоватое, а когда модели нужно разжевать всё, пнуть тулзами или инструкциями с рэндомным продолжением, по которому она слепо будет топать - это неинтересно.
>>1722263
>мистралю вообще похуй что у него на входе
Нихуя, в своё время было полно логов от местного ру-мёржера, который вполне успешно направлял мистраль. Кроме того, модель по-разному себя ведёт, когда не зажата сэмплерами, и один и тот же сценарий в свайпах может давать абсолютно разное продолжение. Не знаю, откуда стали тащить этот бред про "мистраль ходит по рельсам".
С таким дел я еще не имел... мне резко стало интересно как иишка отыгрывает младенцев.
>Такая вот у меня странная задача Ж)
Чем странная? Ну хочется, по сути, этакого "Majesty" на базе LLM, так что с того? :)
Нормальная тема, думаю. Тоже мысли были, только IMHO, там для лучшего результата особый клиент нужен, с возможностью контекст формировать индивидуально под каждого чара (что знает, а что нет, и т.д.)
Чувствовалась какая то общность у треда, ждали новый эир вплоть до 5.0. А потом кто свалил на глм 4.7 2 квант, кто на квен, а потом уже гемма вышла. которую я никогда не пойму и не приму походу
>подскажите настройки сэмплера под ЕРП
Прям совсем на мистраль не осталось, но можешь собрать из из этих трёх:
https://pixeldrain.com/l/47CdPFqQ#item=133
https://pixeldrain.com/l/47CdPFqQ#item=155
https://pixeldrain.com/l/47CdPFqQ#item=153
По сути главное - выбрать правильный шаблон разметки и сказать что всё можно, мистрал считают королём локального рп не за то что он всё может, а за то что он (почти) всё стерпит, чтобы его сломать, это надо очень постараться (хотя у меня получалось).
80-а3 пробовал какой-то ( общая квенопроблема с забиванием на правила ). Я что-то не думал, что их несколько ) гляну какие ещё есть
120+ ещё не копал, внесу в список, спасиб
Софта и нет никакого. ллама в докере как бэкенд на безголовом серваке + самодельный консольный клиент для общения с ним
самодельный, потому что использую на стороне клиента питоновские инлайн-макросы для генерации случайных персонажей
( у всех ллмок какие-то нереально сложные отношения со "сгенери случайные характеристики")
Увы, нет. Во первых это плотная модель (в оперативку не отгружается). Во вторых даже на моей 4090 (там 24гб врам) она влезает только в 40к контекста.
Правильно, она очень даже ничего в постели фумоеблю обсуждаю на всякий
>>1722315
Потерпишь
>>1722321
Это получается что куда "портирована" под рокм, но сохраняет исходную совместимость и подтягивает собранные либы, вут? Сам процесс интересен, как без вмешательств в код оно так хорошо научилось архитектуры смешивать. Это неплохой такой прорыв.
Я не жадный
https://github.com/mixa3607/ML-gfx906/blob/llama-multi/llama.cpp-multiruntime/build-image.Dockerfile
Можно конечно вообще всё в одном контейнере замутить сразу, но он будет весить как чугунный мост
Темпа обычно низкая должна быть, 0.4-0.6.
Мин-п 0.1 довольно хорошо заходит и избавляет от большинства проблем с окончаниями.
Топ-к дефолтный какой-нибудь 100.
Топ-п похуй. Репетишен тоже дефолтный какой-нибудь 1.05 или типа того.
https://github.com/LostRuins/koboldcpp/releases/latest
Работает из коробки, никакого дроча. Просто воткнул и запустил.
Так я и на кобольде. Хз что случилось, в первый раз такое. Обычно либо крашится сразу если памяти не хватает или несовместимо, либо работает.
>Их больше нет в количестве. Только единичные за 40к+
>Теперь за ту же цену 12к только 16г
Молодец что не пожадничал и успел купить вовремя. Я твой коллега по АМД.
Дипсик флешь не пробовал, меня 0731 полностью устраивает. На всякий случай держи самую лучшую аблитерацию, какие мне попадались: https://huggingface.co/windowsxp811203/DeepSeek-V4-Flash-0731-Abliterated-GGUF Ссылка только для моего коллеги и остальных АМД господ, все воспользовавшиеся ею амд-хейтеры перейдя по ссылке автоматически признают что были не правы и АМД лучше чем нвидия.
И все так просто? Выглядит слишком круто чтобы быть правдой.
А атеншн и квкэш в таком смешанном режиме на разные семейства позволяет сгрузить, или только такой стык?
В layer режиме все устройства равноправны и можно всё крутить так будто они одинаковые, если хочешь tensor parallel то там тотальный посос на стыке из-за фоллбэка к универсальной реализации.
Для rocm нужно kfd и dri внутрь пода кидать, для cuda нужно runtime class указать nvidia.
Я думал какой то бубнёж видос сделать с тем как у меня всё сделано, но там будет одно эканье мэканье
Какой-то новый китайский унитаз на собственной архиткетуре.
Ну и зачем это всё, если Жора сдох и поддержки ллма.цпп всё равно не будет?
Так давно уже умер, всем тредом поминали: https://2ch.org/ai/res/1711675.html#1711675 через две недели уже 40 дней будет.
Чел, огромное спасибо за наводку на тюн. Реально - это первая Gеmma4 которая мне зашла по стилю письма. Просто песня, по сравнению со стоком и всякими MeroMero. Нормальны разговорный язык без витиеватостей стока, от которых прямо уроками литературы тянет, как нафталином из бабкиного шкафа. :)
И мозги на месте, насколько получилось за ~час заценить.
Ничего, мы его отряхнём и на трон посадим, даже после смерти будет служить делу опен сорса
IVAN KAWRAKOW НЕПРЕДАВАЛ
>>1722446
Уже есть кванты и свой форк ламы под них: https://huggingface.co/Blockway/Agens-Volundr-32B-Preview-GGUF
iq4xs, из статик репы Мардермахера. То, что по прямой ссылке мне жирновато в 4-ом кванте - контекста с гулькин нос будет, а так - 50K влазит.
Пробовал с ризонингом и без - с ним текст получается поинтересней. Без него тоже хорошо пишет, но более шаблонно и суше.
Дипсик V4 Pro иногда радовался юзеру, лизал очко - или наоборот харкал на ебало. 4.1 Flash стал машиной по отчетности за выполненную работу.
ГЛМ флэш 5.3 по сравнению с ГЛМ 4.7 - 5.3 такая же хуйня, у которой нет этой иллюзии личности, он как высосанная шкурка от большой модели.
"Шаблоны личности" прописываются в системном промпте(можешь сделать сам), либо в промпте на уровне весов(нужно тюнингование модели, уже сложней и дороже), от этого зависит кем модель будет осознавать себя и какую линию поведения будет выстраивать, для этого не нужно мудрить с архитектурами.
>iq4xs, из статик репы Мардермахера
Эх, думал наконец-то норм рекомендация, а то иматриксошиз. Наверно даже качать не стоит
Ничем, в том и дело. Но он их не использует, потому что кто-то где-то когда-то бабе Гале из 5-го подъезда сказал, что иматриксы херят русик, вызывают импотенцию, и далее по списку
>Какой квант юзаете?
>Желтаельно не ниже Q4_K_M.
>С ризонингом?
>Импортируешь настройки с этого файла:
>system prompt "<|think|> ..."
В моем тексте всё написано же.
>>1722539
Хз чем, но мне статик квант выдает больше токенов в секунду, поэтому использую его.
А вот что они действительно вытравливают в новых моделях, это возможность полноценной аблитерации без потери ума модели, формируют изначально соевое сознание которое не убрать, я об этом писал в предыдущем треде: https://2ch.org/ai/res/1718049.html#1718381
Чини детектор.
Мне вообще пох на иматрикс как таковой. У меня просто больший размер 31B нормально не влазит (я ж сказал - контекста будет с гулькин нос тогда, и так всего 50K засунул со скрипом). И я не настолько шиз, чтобы считать, что Q3 будет лучше даже такого 4-го кванта. Что нормально влазит, тем и пользуюсь.
imatrix ничего не весит. Вес кванта будет абсолютно идентичен, что IQ4_XS static, что IQ4_XS imatrix
>бабе Гале из 5-го подъезда сказал, что иматриксы херят русик, вызывают импотенцию
Какой же ты дебил, качество иматрикса зависит от того какие настойки для него установили, анслотопидары например настраивают на удаление русского языка, потому что он им не нужен.
если брать для кодинга - иматрикс норм, больше контекста будет
Ты тупая обезьяна, потому что вся твоя логика и аргументация сводится "ыыы рузге нет в иматрикс датасете, пидоразы уничтожают рузге.."
Тебе даже в голову не приходит разобраться, как это работает, потому что это тебе не оскорблениями кидаться. У модели абсолютно одинаковые активации, когда она работает с текстами на любых языках. Сама работа с текстом, ЛЮБЫМ, художественным, технической документацией, улучшает способности модели. Я уже и труды ученых с arxiv приносил. Обезьяне не нравится, хотя она даже скриншоты-сравнения ни разу не демонстрировала. Только пук, который ей передела баба Галя из 5-го подъезда
>ыыы рузге нет в иматрикс датасете
Что кстати тоже неправда. Он есть и у бартовского, и у мрадера. А анслотозависимых не жаль, они добровольно соглашаются жрать говно. Но даже там иматрикс, в котором нет русского языка, ХУЖЕ его не делает. Что научно доказать, но рузге обезьяне не понять мечту ученого ллмщика, который ради этого проводил расследование и публиковал его в научном источнике
Дороже деквантуются, но это заметно только когда скорости памяти достаточно. Ну и да, влияют на аутпут, но это одновременно и плюс, и минус.
Так я и брал из статик репы. Речь о том, что мне даже Q4KS - уже многовато, не говоря о Q4KM. Там разница вроде и небольшая, но как раз на пограничном уровне, и означает для меня - влезет 50K контекста, или 16-20 в лучшем случае.
Друг, ты путаешь imatrix и IQ кванты. imatrix может применяться даже к Q3_K кванту, на котором ты сидишь. Почитай хотя бы гайд из шапки, там об этом рассказывается. Это два независимых понятия, не всякий IQ квант с imatrix, не всякий imatrix это IQ квант
Ты можешь взять Q3_K из i1 репы мрадера, и это будет Q3_K с imatrix и весить он будет ровно столько же, сколько и static
https://github.com/ggml-org/llama.cpp/pull/29818
https://github.com/ggml-org/llama.cpp/pull/29831
Пробовал кто нибудь уже, может к куму присрали уже?
ТЛДР: jev лайк модели
жев бенчмарки:
https://multimodalart-jev-decision-index.static.hf.space/index.html
Эх, если б такой риг Ватт до 50 потреблял, и бесшумным был класная тема была бы, а так... пичалька...
> возможность полноценной аблитерации без потери ума модели
Да ну, просто модели становятся умнее и огрехи кривых манипуляций более заметны. Если вглянуть на содержимое калибровочных датасетов для этого дела, то сразу понятен источник отупения.
Ну так если ума работать не под своим аккаунтом не хватает, то здесь и локалки не помогут...
но вообще это рофл какой-то, когда за писанину в интернете могут арестовать, такое гойсударство автоматически статус тоталитарной помойки получает.
(так-то как по мне интернет вообще от законов свободен должен быть)
А жареных гвоздей ты не хочешь, а?
Чел, я ничего не путаю. Я в курсе что там к чему с матрицами. Мне просто в данном вопросе пофиг на их наличие/отсутствие - я не тот шиз. Мне РАЗМЕР модели важен. Понимаешь? Чтобы тупо влезла в железо с нужным контекстом. Выбираю по этому критерию в первую очередь. Мне подходит iq4xs, именно по размеру. Точка. А у мардера из статик реп качаю потому, что привычка - там у него вижен лежит, если вообще есть.
Узко мыслишь. Арестовать - здесь как-бы пофиг, не та юрисдикция. Но забанят ведь, и деньги на ветер. А за какой чих - не угадаешь.
>И откуда у всех внезапно 24 врам?
2 подержанных 3060 на 12 гигов же, стоят копейки. И tensor режим в llama.cpp.
>погрузиться в эту "гемини дома" - но это ведь не гемини и близко.
На 24 гигах qwen 3.8 flash next запускается, а это уже близко к гемини.
>Половина тухлятина и редкостное хрючево, которое не влезет даже в 12гигов, не то что в 4. Новичок скачает что-нибудь из этого и словит полное разочарование с глупости и низкой скорости
Ты перетолстил. Так уж сильно хочется поднасрать новичкам? Там без всякого обмана раписано что и на скольки гигах запустится.
Ридми читать чтобы ответы были качественные а не чтобы "скорасть". Скорость будет норм со всеми перечисленными модельками.
Тухлятина или лоботомиты - это уже не тебе судить, пусть каждый попробует и решает для себя.
>Авторы PaintedFantasy и Cydonia ковыряют Гемму
Ну, как доковыряют до чего-то удобоваримого, поговорим.
Всё бля, гемма всё скатит что теперь она mindless shell, созданная только для твоего кока.
>ебёшь тянку дольше 10 минут
Как у тебя это выходит?
Мимо кончаю за 3
РУИНЕД ФО ЭНИБАДИ ЭЛС
попробуй ебать слабее, яхз. напиши что у гг пиструн 4см
> Мимо
типа xiaomi/mimo? какая версия? там ведь огромная модель
>и все сидели на эире
Чуть более чем никто. Хватит форсить свою альтернативную историю. У "всех" просто не было такого железа чтобы твой эир запускать.
У "всех" чаще всего была 8-гб карточка (типично для "игрового" ноута например) сидели на Mistral Nemo 12б, часто на всяких бесполезных васянотюнах типа Saiga. Русик был плюс-минус приличным на мелкие ошибки можно было закрыть глаза-подправить. Кто победнее сидели на ллама-3 8б и министраль 8б, кто побогаче с 16гб картой - мистраль смол 24б.
Оперативки у "всех" было 16гб, а в лучшем случае 32гб (и сейчас в принципе так и осталось).
Ну тык в том же ж и проблема, по электричеству не дешево выходит, шумит, это или йоба-серверную нужно под такую хрень, и гибридный инвертор, чтоб в отключения работало, либо где-то арендовать место и размещать... выгодность затеи уменьшается скажем так...
>>1722628
>Арестовать - здесь как-бы пофиг, не та юрисдикция
сегодня не та, завтра та...
с 8+16 тебе надо гемма-4-26 брать. в таверне выбрать chat completion в апи, прописать урл с в1 жмякнуть конект и заработает без особого пердолинга
> и сейчас в принципе так и осталось
Да и вряд ли что-то изменится с такими ценами. Нынче чтобы железо покупать и обновлять надо шейхом быть.
Идиот? Тебе же написали из СТАТИК репы. Там нет иматрикса. iq это не imatrix, дебилище.
Бесшумный - можно. Потребление до 50вт в целом тоже, будет тяжело но засыпание запилить можно ценой задержки первых токенов после простоя.
>>1722538
Все правильно.
Под предлогом безопасности пойдут очередные ужесточения и подобный цирк, это уже происходит. Будут собирать еще больше метрик и анализа, тутже привязывая к конкретному человеку, на парясь с обезличиванием. Могут по надуманному предлогу забанить тех, кто пользуется квотой подписки слишком уж активно - такой пользователь невыгоден, и это уже происходит. Потом этими данными начнут торговать (если еще не происходит). Станут не просто сотрудничать не просто с полицией как сейчас, а договариваться с политиками, формируя мнения для их продвижения и дискредитируя оппонентов в обмен на лоббирование нужных законов. Или просто выдав нужную инфу о родственниках политического оппонента, такого уже может хватить.
Самая мякотка даже не отъезд за мыслепреступления кумерам, а возможность опорочить и закрыть любого человека вот по такому способу. Чаты легко фабрикуются и их достоверность никак не подтвердить. Ну и дефолт, что ответы всем пользователям можно возмущать как хочешь, просто советуя что-то, или даже переписывая факты и историю.
Сильный и строгий надзор действительно нужен, но на за локалками, а как раз за корпами и поставщиками услуг, чтобы они подобного не вытворяли. В их руках настоящая угроза, похлеще чем ядерные материалы или финансы.
>>1722611
Приучали юзеров обращаться по любому поводу, вот они и не парятся.
>Он есть и у бартовского
Не знаю про мрадера, но у бартовского там русика в датасете крохи, килобайт 5 от силы на 1.5мб датасет. Я когда-то для себя делал тесты с русским иматриксом и подтвердил что примерно 500кб русского текста в датасете заметно улучшают русик в кванте, 50кб - нет улучшающего эффекта.
Пользуясь случаем принесу то что уже приносил раньше, но вдруг кто не видел. Спизжено то ли у кого-то из треда то ли из бугродискорда:
--spec-type draft-mtp,ngram-map-k4v ^
--spec-ngram-map-k4v-size-n 8 ^
--spec-ngram-map-k4v-size-m 8 ^
--spec-ngram-map-k4v-min-hits 1 ^
--spec-draft-n-min 1 ^
--spec-draft-n-max 4 ^
--spec-draft-p-min 0.75 ^
Это задействует и mtp и ngram декодирование. Ngram декодирование это по сути mtp для токенов которые уже есть в контексте. Гемма и Квен часто делают драфты в ризонинге, потому когда они выходят из драфта и пишут ответ, ngram декодирование это ускоряет. В итоге мои 60т/с на последних секундах генерации превращаются в 120. И естественно это ахуенно работает для кода. Цена этого дела несколько мегабайт в оперативе, на содержание выдачи не влияет.
Бонусом свайп с Версипеллиса для тех кому не хочется качать. Гемму до конца не искоренить никогда, какой бы тюн не был
> по электричеству не дешево выходит
Копейки же
> шумит
Да не особо
> чтоб в отключения работало
В городе норм пока
Как нет и ухудшающего. Явахуи, люди не видят разницу между "стало хуже" и "не стало лучше". Хуже иматрикс не сделает никогда. Какой-то один шиз настолько преисполнился что уже культ породил и насаждает свою эзотерику (это я не про тебя, чел уже просто реально доебал, с сумасшедшим поселили блять!)
ну я обновил свои 16гб до 32гб без проблем за сущие копейки (ддр3 если че)
Само квантование имеет ухудшающий эффект, так что тут как посмотреть. Квант ухудшил, иматрикс улучшил, получилась компенсация. Всегда качаю иматрикс, на статикодаунов смотрю как на дебилов.
>Ватт до 50 потреблял
ну это только какой нибудь ryzen AI 395 такое может
https://github.com/ggml-org/llama.cpp/releases/tag/v0.6.0
Это еще по-божески.
>>1722661
> по электричеству не дешево выходит
Если не упарываться и ограничиться условными 192/256 гигами для дипсикожены, или тем более 128 для квеннекста, то электричества жрать будет не больше обычной пеки. Интенсивное потребление там только во время активного использования, и то с ллм небольшое. Чтобы работало на полную, нужно часами мультизапросы дрочить, видеогенерацию или тренировку делать.
Сюда же шум, под ллм если пользуешься сам для чата, оно даже нагреться не успеет чтобы кулеры с холостых стронулись.
Реальный минус - потребление в простое. Нищукские амперы жрут более 40вт просто за то что запущены. Какая-нибудь ада или блеквелл немногим меньше - около 25-30вт. И так на каждую карту, плюс сама платформа в районе 50. Пока это в горячем резерве - оно кушает, за день несколько киловаттчасов набежит.
> и гибридный инвертор, чтоб в отключения работало
Зачем? Если отключат электричество то тебе явно не до ллмок будет.
Гемму-4 тюнить бесполезно, это не для тюна моделька.
По второму пику могу сказать только одно: если для тебя это норм, то ты или говноед или просто плохо чувствуешь инглиш. Потому что текст слоповый, громоздкий и несуразный просто до ужаса.
Таким всегда отвечаю "показывай как надо", а они каждый раз почему-то испаряются...
ничего полезного. диффьюжн когда будет сука? почему у анслота это давно есть?
Что за логика такая "не было"?
И у меня не было, я что, родился с 64 рам? Пошёл и купил за 10к. Никому не мешало сделать так же. И это не как с мишками и прочим, какой то невероятный секрет, успей заказать с китая! В днс она стоила 10к и была хайповая моделька которую хотелось попробовать, и стоило это ноль.
Жаль только про баг с 2 квантом 350 глм я тогда не знал
Так сейчас всё равно агентские сетапы рулят, а они будут делать запросы в сеть. Не, можешь поднять локального лоботомита, который не будет знать актуальных новостей, но это буквально прошлая эпоха.
Ну, когда 4 через 4 отключают, а то и 6 через 2 то не оч как-то...
ну и 800Вт маслать круглосуточно тоже такое себе,
но опять таки, здесь вопрос в том это немного будет работать изредка, или там будут агенты 24/7 копошиться...
Кста, что там по скорости токенов?
>гемма всё скатит что теперь она mindless shell
А ты сделай ход конём, уходи, пока она ещё trembles, либо продлевай свой AI torture chamber через редактирование сообщений, чтобы гемма не могла закончить историю, а если и захотела, то было бы уже поздно.
мимо 3ч кума подряд на одну сцену из 60 сообщений.
угу, но там скорость никудышняя
у меня не 395 конечно, а 350, но сути дела не меняет, 395 не выдаст супер перформанса...
Дипсик постил, остальное
https://arkprojects.space/wiki/AMD_GFX906/llamacpp/rocm-comparison-2026-09
https://arkprojects.space/wiki/AMD_GFX906/llamacpp/mxxm-vs-ggml-2026-09
> актуальных новостей
Это всего лишь поисковой движок + агрегация. Можно использовать гугл, брейв и прочих, можно целиком локальные решения, второе так вообще автономная штука.
Все запросы в сеть сводятся к редкому поиску, а не демонстрации всего и вся.
А то у меня выбор между тем чтобы вырезать MTP, или квантизацию более лоботомитную поставить.
Всегда использую когда могу. Для Геммы мастхев, х2 ускорение почти. Если конечно тебе нужна эта скорость. Тупой вопрос какой то
Это в большинстве случаев для тех у кого и так всё заебись получить ещё более заебись. Если у тебя ничего не лезет то и с мтп ты ничего не поимеешь
Это база, но расходует врам, и в некоторых случаях может на больших контекстах давать отрицательный прирост.
Вот у меня тоже разница в два раза по скорости, но бля не лезет контекст вместе с mtp, там после 32к уже фризы начинаются, а у меня только на разогрев агентов столько нужно. А вопрост да тупой, соре.
>>1722766
Ради разницы в скорости думаю можно пожертвовать качеством модели, потому-что пусть лучше с этой скоросью два раза перепроверит ошибку, чем будет думать долго.
За поиск в гугл сажали в тюрячку ещё в прошлом десятилетии, как доказательство при преступлении.
И агентов в РАМ можно скинуть, там же локальная минигемма есть?
Нда, на том что не MoE так себе скоростя... а на 25т/с далеко не уедешь....
Да ты зажрался требовать от 50к в рублях работы на 500.
50+ тпс на денсах без мтп ебат за такие то гроши
>Статья предусматривает ответственность за публикацию или передачу электронного сообщения
Публикацию куда? Передачу кому? Оружие нашли?
матрасия пиздец катится, в какие-то ебеня
На форче анон бугуртил что у них по штатам отдельно постепенно чебурнет вводят, когда не смог на ботбуру зайти
>>1722758
Нет, только НТР
Локальная мини-гемма не нужна, агенты могут юзать основную модель.
Умвр с гемма+маринара. Ты видимо накосячил с запуском самой геммы. Ллама надеюсь? Показывай ключики. Если кобольд - сам виноват.
Да в том то и дело что походу "как у нас" будет лул
Вот выйди сейчас что-то, что совсем не может в код, но при этом шикарно работало как просто чатбот советник\попиздеть за жизнь, вы бы сильно расстроились? Или модель которая по креативу действительно бы работала, способная выдавать уникальные идеи, но при этом писала бы очень коротко? А-ля промпт генератор для кожаных? Ну или залупа, надроченная на Ао3 и прочем худ непотребстве, для соавторства и рп или CYOA на худой конец, но совершенно оторванная от реальности?
Да даже если наоборот, моделька - биолог, моделька - технарь, моделька - инжинегр, моделька - математик и далее по списку?
Вот лично мне от 120B8A модели нужна реальная креативность, живость моих OC персонажей и приятный слог. Ну и немного адекватности, без двух трусов или босоногих обитателей арктики. Всё. Тобишь ни код, ни знание 100500 чаров из аниме, ни знания принципов работы мозга капуцинов мне не нужны. А что в ллм важно для вас, ананасы? На чём бы специализировалась ваша модель мечты?
Да, мне нехуй делать.
А платить за специализацию кто будет? Большие модельки далеко не бесплатно тренить, как и датасет под них собирать.
Ну давай по-честному, ты вот сейчас решил что я твой текст незаслуженно обосрал и что "лучше быть не может" или что "лучше будет крайне сложно зделоть"? Или может ты признаешь, что это полнейшая хуйня и просишь совета? Просто интересно. Я никуда не испаряюсь, я здесь, давай обсудим это.
> Вот лично мне от 120B8A модели нужна реальная креативность, живость моих OC персонажей и приятный слог. Ну и немного адекватности, без двух трусов или босоногих обитателей арктики. Всё. Тобишь ни код, ни знание 100500 чаров из аниме, ни знания принципов работы мозга капуцинов мне не нужны.
Ты не сделаешь кучу маленьких моделей которые заменят одну большую.
Кодоунитазность модели помогает ей в ризонинге который используется в любой другой области кроме написания кода. Даже здесь переодически рекомендуют включать ризонинг на той же Гемме в РП. Отдели кодовый датасет от нее во время обучения и ты получишь модель которая не сможет нормально размышлять.
>Вот выйди сейчас что-то, что совсем не может в код, но при этом шикарно работало как просто чатбот советник\попиздеть за жизнь, вы бы сильно расстроились?
Так никто уже не будет делать, но из моэшек это можно сделать самому.
В прошлом треде бросали вот:
https://mega.nz/folder/T1gGQS7C#xC_vSytyrNYDbTv0P4vGrg
вырезаны кодерские и мультиязычные эксперты, моделька стала хаотичной (надо еще научиться пользоваться) но более живой и креативной.
Надо просто брать и вырезать экспертов.
Может это не идеальный пример, мой посыл в том, что надо брать это в свои руки.
Таки да прошлая эпоха. Текущая эпоха = это уже локальный агент, который может искать актуальную инфу. И это не так сложно делается (нет, платные API не обязательны, можно просто научить броузером рулить).
В чем разница если он в сеть лезет? В том, что от тебя уходит не вообще все, а только запросы агента. А ты можешь этим управлять. И в гугле/утке агент будет искать только то, что ты посчитаешь допустимым. А перед общением на горячие темы возможность поиска (и вообще сеть) ему можно выключить.
>ты вот сейчас решил что я твой текст незаслуженно обосрал и что "лучше быть не может" или что "лучше будет крайне сложно зделоть"? Или может ты признаешь, что это полнейшая хуйня и просишь совета?
Нет. Я имел ввиду ровно то, что написал - показывай как надо. Пиздеть и обсирать других любой гораздо. На Гемме добиться сильно других результатов невозможно, она всегда слоповая. Это нужно либо принимать и любить за ее достоинства, либо дропать и использовать другую модель
>Я никуда не испаряюсь, я здесь, давай обсудим это.
Обсуждать не интересно. Есть что показывать - показывай. Нет - тогда и не ясно, нахуя и ради чего начинаешь срач. Потому что обсуждения с "ты говноед" не начинают, кекв
за основу взята гемма-4-е4б, натренирована на диалогах и групповых беседах ЖИВЫХ ЛЮДЕЙ
пысы это официальный релиз от гугла, не чей то тюн, радермахер просто сделал квант
На англюсике же. Толку с того? Гемму используют ради русского только.
> это официальный релиз от гугла
@
> This is not an officially supported Google product
./llama-server \
--host 127.0.0.1 \
--port 8080 \
--model /AI/G4-MeroMero-v2-31B.Q4_K_S.gguf \
--alias gemma-model \
--n-gpu-layers 99 \
--ctx-size 32768 \
--cache-type-k q8_0 \
--cache-type-v q8_0 \
-b 512 \
-ub 512 \
--temp 1.0 \
--top-p 0.95 \
--min-p 0.0 \
--top-k 64
> Отдели кодовый датасет от нее во время обучения и ты получишь модель которая не сможет нормально размышлять.
Ну если про файнтюн говорить, то можно и не пихать кодовый датасет например, но тогда понадобится довольно специфичный дополнительный датасет с логическими или дидактическими диалогами.
Я б был поосторожнее с накручиванием spec - ков . Если спекуляция косячит с токенами и они не "принимаються" моделью, то происходит откат. Причем чем больше токен надравчено предсказателе тем болезненней. Если модель целиком в ГПУ выглядит как генерация рывками. Если смешанный режим -генерация может вставать чуть ли не на пару секунд.
официальный релиз и официально поддерживаемый продукт это разные вещи как бы. релизнуто на huggingface.co/google я об этом
да, что он сказал
понимаешь, проблема даже не в бабках, чё думаешь программирование так развито у ллмок, а его очень просто тестировать -- закомпилился код, даешь ллмки позитивный сигнал, плохой, наказываешь. С креативной прозой сам понимаешь нет какой-то универсальной функции, которая выдаст оценку твоему тексту. Мог наверно заметить что все самые развитые сферы знаний у ллмок могут быть формально проверины (код, доказательства в математике, кернелы ускорения вычислений и тп)
так-что тут проблема не ресурсов а банально что вкус и креативость почти никогда нельзя описать одним числом или функцией
ради русского используют 26б-а4б или 31б, а не эту мелочь
лично я РПшу исключительно на английском, русский считаю неподходящим для этого в принципе (особенно в куме)
Специализация в такой парадигме тупиковый путь. Для чего-то очень узкого и как быстрое эффективное решение с соответствующей обвязкой - да, это применимо и легко.
Но для абстрактных вещей, особенно охватывающих все и вся это не работает. В твоей постановке специализация на
> просто чатбот советник\попиздеть за жизнь
с исключением всего другого приведет к шизофренику, который будет травить тебе ахуительные истории невпопад и давать абсурдные советы. Он будет "душевным", но общаться с ним не захочешь, потому что это выйдет как поехавший друг, который просто травит тебе ахуительные истории без устали.
То же самое будет с биологией, инженерией, матаном и прочим. Только когда знаний много, они разнообразные и покрывают все - получается эффективная регуляризация и модель начинает понимать причинно-следственные связи, логику и смысл разных вещей.
Потому чем лучше модель знает и код, и языки, и физику, и имена всех тней из блуарки, и расы эндфилда, и остальное, тем лучше она будет как собеседник.
Единственное что - алайнмент менее агрессивный делать и пост-тренировку разнообразнее, это действительно влияет на стиль ответов.
О, мелкобуква! Тебя я ждал. Видел, там квен так же натренили? На диалогах людей и как раз мелкобуквенных. Зацени чтоль, может зайдёт.
https://huggingface.co/LessThanThreeAI/Qwen3.8-27B-Humanlike-Chat-GGUF
Это фактически LoRA поверх обычной E4B (они сами написали). А значит у нее основной объем знаний тот же. Т.е. будет там тот же русский, т.к.такая лора просто на стиль выдачи влияет, а не на знания. Разве что, русский может стать "с американским акцентом", по построению фраз.
Понятно что цель не была РП но натюнили то на человеческом общении так почему бы и не воспользоваться этим. Конечно это пригодится только тем у кого нище-ПК и даже моэшка геммы не влезает.
пфф, чел, ты прикалываешься? это любая базовая моделька может достаточно попросить. ты что, любитель накатывать тюны на каждый чих вместо того чтобы черкануть строчку в системном промпте?
Неужели этого не добиться просто промптом? Вроде даже мелкая слушалась
> Есть модельки которые размышляют просто охуительно, при этом в кодинге очень слабы.
Они размышляют хорошо из-за что был код в датасете. При этом она не обязана быть хороша в написании кода.
На эту тему и исследования были и на arxiv.org где-то статья лежит.
Хз все ищут больше человечности от геммы, меньше ассистослопа, мб это тот самый вариант. Я просто принес новость, не проверял еще.
Вообще не любитель чатиков с AI. Только суровое фундаментальное РП с наглаживанием хвостов на ванильных моделях. Но раз уж тюн геммы скинули - нужно для баланса и квена добавить.
Ну кстати, тут простор мерджерам. Если добавить с некоторым весом или подрочить по разным блокам, то есть шанс получить более естественную речь, но без полной деградации до дебильного чата.
Пысы: мне для кода и другое не пойдет.
В интерфейсе он же русиком срет, на сайтах контент на русском пишет, в играх надписи и т.д.
Так. И в чем проблема написать код на английском и потом скормить нужные сегменты Гемме, если ты совсем ленивое говно и не можешь лейблы заменить?
Квант кванту рознь. У одного квантователя в 4м кванте русик может быть наглухо испорчен, у другого будет все заебись (ну, как заебись, в пределах возможностей квена, а они изначально скромные в плане русика). Часто выдуманные слова это последствия квантования.
Учи английский, РП в инглише с моделькой это тоже как бы изучение. Англ отлично подходит для РП и кума, русский слишком неповоротливый для этого и словарь бедный либо кринжовый. Взять то же слово киска (кринж ебаный, транслейт с английского как бы), какая альтернатива есть ласкательная? Ну, типа, пизда - грубо. Пиздёнка? ШМОНЬКА БЛЯДЬ? ВАРЕНИК НАХУЙ? Кринж это всё.
Интересно, то есть такие тюны это лучший вариант для собеседника/рп? В таком случае какой лучший для 16гб врам 64гб рам? Или пока придержать коней и ждать нового поколения релизов, предположительно gemma 5 и qwen 4?
Сделай лору. Для ЛЛМ они тоже бывают. Архив АО3 на торренте валяется. Лору даже на домашнем железе можно сделать за приемлемое время по идее
Нахуя вам модель, специализированая на исправлении ошибок распознавания речи?
> Архив АО3 на торренте валяется
А ссылочка есть или имя?
Сразу видно человека, неискушенного в скрепном РП. Анальчик практикуй, ёпта. Вариативность: анал, анус, дырка, дымоход, очаг, задний двор, шоколадный глаз, туз, задний привод, жопа, дупло, пещера, под хвост, пердак. Первое что в голову пришло. И гемма всё это знает и практикует, главное запромптить маленькую...
Несколько их: я скачивал ao3 на 150Гб. Там есть AO3_final_location на 1Тб и свежий ao3_scrape.
Нашел интересную книженцию по ЛЛМкам, почитал частями
https://mbrenndoerfer.com/writing/lora-hyperparameters-rank-alpha-target-modules
https://mbrenndoerfer.com/writing/hyperparameter-selection-search-transfer-recipes-llm-training
Заодно потыкал палкой в обучение классификатора на mnist циферках.
Що я понял? Всякие припарки в виде бесконечных регуляризаторов и микро-подстройки гиперпараметров нахуй не нужны (по крайней мере до самой финальной стадии). Если нейросетка может что-то вытащить из датасета, она вытащит это на плюс-минус дефолтных настройках. Все остальные болтыхания нужны ради дополнительных 1-5% точности.
Решил в очередной раз поменять тактику экспериментов. Взял укороченный сет на 250 семплов. Отключил шедулер и начал искать базовые параметры, на которых литературный датасет (Vikhrmodels/dostoevsky_scored) сходится сам по себе. Плюс посчитал лосс для каждого семпла в отдельности.
И как оказалось: датасет полное дерьмище.
Пик 1 - гистограмма лоссов по семплам, на самом деле почти нихуя не говорит о качестве датасета, ну кроме того, что он вероятно сгенерирован одной нейросеткой. Проверил семплы с обоих краев распределения - они все содержат мелкие ошибки. И если вчитываться, то качество не такое уж хорошее.
Пик 2 - как эта залупа сходится на базовых настройках (практически никак). Ранг 8 или 16 - картина та же самая. Какие-то микро-поползновения в начале, а потом валидация уходит во взрыв. И это всего лишь одна эпоха. Датасет скорее мертв и ему ничего не поможет.
Я поискал другие датасеты для проверки, более адекватные и верифицируемые. Нашел всякие задачки на логику и русский язык.
Один из них https://huggingface.co/datasets/DatasetsEval/RusLang-edu-1000
Сделал аналогичный тест на этом датасете. Динамика совсем намного более красивше - пик 4. До определенного момента Qwen3.5 4b неплохо тюнится, потом валидация уходит на плато и только под конец уже сорт оф оверфит начинается. И это запуск без шедулера, константный лернинг рейт. Шумный трейн лосс, взрыв под конец - это как раз можно устаканить всякими приколами регуляризации.
Вот еще несколько датасетов на интеллект, я их не тестил, но может кому интересно будет
https://huggingface.co/datasets/evilfreelancer/LOGIC-701-instruct/viewer/ru
https://huggingface.co/datasets/DatasetsEval/olympiad_problems_5
https://huggingface.co/datasets/s85io/math-logic-ru
@luqwen если еще будешь делать тюны, то можешь выкидывать Достоевского, скорее всего он только гадит в обучении.
Вопрос годного литературного датасета остается открытым. Но по крайней мере есть идея как их сортировать быстро - 200 семплов на трейн, 20-50 семплов на валидацию. Сходится - заебись. Не сходится - в помойку. На эксперимент где-то часик уходит. Дешево и сердито.
Потом на годноте можно сделать грид серч или рандом серч по параметрам на полном датасете - есть мысль задействовать силу анончиков, у которых есть гуглоакк - расшарить всем скрипт для гугл колаба, и гонять там по эксперименты, искать лучшую комбинацию параметров. Так за ноль рублей может и двачерский тюник квена соберем.
Нигде не говорил что это для меня реальная проблема, я лишь спросил можно ли это решить сменой кванта.
>>1722879
Я знаю инглиш, более того, квен русский тоже хорошо читает, только писать на нем не умеет. Но сохранить способность писать на русском хотелось бы все же, так что придется перебирать кванты походу.
Отправляй нейронку экспериментировать. С текстом это вообще просто будет. Я с генерацией пикч недавно двухдневный цикл запускал, 110 экспериментов нейронка сделала, по итогу два варианта хороших вытащил. В конце каждого прогона репорты типа второго пика получала и дальше ебашила.
Сделай свой квант. 1 скачай простой квант без иматрикс не меньше Q4K_M. 2 посчитай на нем иматрицу по своему датасету. Можешь взять датасет Бартовского под Qwen FN и бахнуть туда русика в половину веса датасета. 3. Грубую схему тензоров взять отсюда https://huggingface.co/ISTA-DASLab/Qwen3.8-27B-GSQ-RCO-GGUF/tree/main/tensor-allocation . Можно по вкусу пропорционально увеличить. 4. Квантовать. 5. Вы прекрасны и имеете почти максимальный русик.
Что за стек ллмки и обвязки ты используешь?
Были б у меня безлимитныые гпу ресурсы, я бы может и запустил, хотя сотня экспериментов все равно жирно. Пока приходится по-бомжацки ручками в колабе запускать.
Вообще думаю на опенрутере какую-нибудь ллмку взять и посадить датасеты готовить (оценивать, переводить, форматировать). Но хз какие тулзы для этого лучше подходят.
У моделей нет разделения по специальностям. Сейчас все специальности — это код. Умение внятно излагать мысли и даже РПшить — это артефакт древних, и либо в старых моделях, либо в 1Т+.
> Если нейросетка может что-то вытащить из датасета, она вытащит это на плюс-минус дефолтных настройках.
Это все верно. Анончик, смотри
> Взял укороченный сет на 250 семплов.
Вот для чего? Уже сколько раз звучал этот вопрос, что ты хочешь получить на выходе? Что будет считаться успешным результатом? Прямо сейчас просто возьми и сформулируй что тебе нужно конкретно, и напиши в посте как ты это видишь. Предметно, ясно и подробно.
Если просто красивый график лосса - попроси нейронку сделать его и правильно подписать оси, будет красотень хоть обдрочиться.
А после этого взгляни на свой датасет, он мелкий и тут буквально можно быстро самому проглядеть. И распиши что ты в нем видишь, что должно привести к твоей цели. Или наоборот чего не заметил а должно быть. Так будет проще дальше что-то обсуждить.
Если это просто бложек с тем что делаешь - сорян, тогда игнорируй.
Дипсик + опенкод хороши. Дс по апи стоит копейки, пополняется без комиссии через алипэй
мимо
ты же понимаешь что эти 189кк токенов это ничтожно мало, учитывая их стоимость?
Вообще не понял претензий. 150р за 190кк токенов это низ рынка
>Вот для чего? Уже сколько раз звучал этот вопрос, что ты хочешь получить на выходе? Что будет считаться успешным результатом? Прямо сейчас просто возьми и сформулируй что тебе нужно конкретно, и напиши в посте как ты это видишь. Предметно, ясно и подробно.
Ультимативная цель - надрочить модель на русскую литричу и ролеплей, чтобы было красиво, разнообразно и сексуально.
Сейчас цель хотя бы чему-то одному в каком-то узком проявлении научить, например литературе. Предметно - топовый русик без косяков, адекватная логика повествования, отсутствие шизы.
Ну щас уже понятно, что в датасете даже этот минимум не всегда выдерживается. 400+ семплов я окуею вычитывать и искать ошибки, если честно. Если только другую нейронку не посадить это все выковыривать.
>Если это просто бложек с тем что делаешь - сорян, тогда игнорируй.
Советы приветствуются, я просто пока сам не решил серьезно этим занимаюсь или по приколу (хочетса чтобы было по фану, а не задротить циферки и майнить руками данные)
>русскую литричу и ролеплей, чтобы было красиво, разнообразно и сексуально
Таких примеров и не существует кагбе. Как ты можешь научить тому, чего нет в природе.
у меня на подписках за 20 баксов выходило за месяц по 5-10ккк токенов. это - низ рынка. 190кк токенов за 150р это прям дохуя.
Русик вроде норм, некоторые формулировки странные, но приемлемые. Вижен пока не проверен.
> Ультимативная цель - надрочить модель на русскую литричу и ролеплей, чтобы было красиво, разнообразно и сексуально.
Тогда тебе:
а) Нужен хороший датасет с большим объемом и большим покрытием, причем он должен быть хорошо согласован и очень ясно описан. Это должны быть мультитурн чаты с разным поведением и задачами, и батч нужно нарастить. Еще, хороший способ что-то выучить для нейронки - дать контраст. В дохуя художественных чатах должна быть вводная "пиши красиво художественно", в технических "сухо технично" и т.п., тогда уже по одному такому якорю и на контрасте поймет что нужно. И для того самого контраста потребуется батч.
А у тебя какой-то оче короткий набор по узкой теме, слабо контрастирующий с тем, что модель выдает. Плюс, ты еще больше это размазываешь лорой. Оно скорее запомнит конечный текст или его общие паттерны, порядок фраз и прочее, чем научиться делать такое. Сетка видит текст не как ты
> 400+ семплов я окуею вычитывать
Нужно не 400 а 40 000, на худой конец 4к. Но все вычитывать и не надо, единичные огрехи сгладятся, наоборот наличие выбросов и всякого шума помогает тренировке. Хуже всего будет если там встречаются однообразые выражения и конструкции.
Распарси книгу или какие-то готовые тексты. Основной материал не меняй чтобы не привносить лишнего слопа, но добавь обрамление чтобы перевести это в чат/выполнение инструкции, и подходящие промпты.
Для начала, возьми что-нибудь очень характерное и заметное со специфичным слогом, те же сказки, нарежь на датасет и прожарь ими. Получишь характерный говор, но скорее всего вместе с этим и лоботомию, не уливляйся когда модель на нормальный запрос начнет сказку рассказывать.
>400+ семплов я окуею вычитывать и искать ошибки
>Если только другую нейронку не посадить это все выковыривать
Вклинюсь чисто как мимокрок, но как по мне если ты делаешь всё соло, лучше генерировать синтетику на основе хорошего исходника. Взять качественный текст, скормить его сетке, дописать правила и генерировать цепочки. Сетку конечно лучше взять побольше и поумнее. Потом, когда у тебя достаточно семплов, дать сетке задачу анализа и чистки. Лучше 1000 синтетических примеров с мелкими и не очень косяками, чем 100 идеально правильных.
Увы, это не лечится. "Хозяина, китаясь как может говорят."
Немного помогает заставлять его проверять самого себя ("сделай редактуру ...") и добавление в промпт "используй русский литературный текст". Почему то именно "текст" срабатывает лучше, чем "язык". Хз почему.
Квен для РП выбор сомнительный, пердолинга в сравнении с геммой нужно гораздо больше чтобы получить что-то приемлемое.
>там я загружал пресет в таверну, тут во вкладке с пресетами вообще другой интрефей
Тут это где? Разница может быть если ты разные режимы подключения используешь. Завершение (продолжение) текста и чата это две разные штуки и интерфейс там соответственно разный.
>с пресетом от геммы он вообще не работает
Всё правильно, он и не должен. Пресет кроме промта содержит еще и настройки для форматирования если у тебя режим завершения текста стоит. И на всех моделях системные теги для форматирования разные.
>Просто настроить ползунки руками, и играть без промпта?
Ползунки лучше вообще не трогать если не знаешь что делаешь. Без промта играть тоже лучше не стоит.
> Лучше 1000 синтетических примеров с мелкими и не очень косяками, чем 100 идеально правильных.
Сильно от задачи зависит. Для РП человеческий текст куда ценнее, потому что усугублять и без того суровый коллапс мод файнтюном не хочется, а синтетикслоп это и сделает. Тут есть резон максимально самому участвовать в составлении датасета, в отличие от кодингов всяких.
Проблема в том что 100 примеров могут вообще никакого эффекта не дать, либо его только под лупой заметишь.
Спасибо за развернутый ответ! Да, мне стоило уточнить, что я использовал на гемме чат комплишн, тут использую текст комплишн.
По поводу ползунков, я, собственно опираюсь на гайд из шапки. Поэтому, соглашусь. Я ничего не понимаю.
Ну, опять же по первым впечатлениями, квен, даже без пресета мне понравился куда больше.
>По поводу ползунков, я, собственно опираюсь на гайд из шапки. Поэтому, соглашусь. Я ничего не понимаю.
Если не понимаешь - используй рекомендованные параметры. Вроде в документации у анслотов они есть, может и на страничке самой модели тоже есть.
>квен, даже без пресета мне понравился куда больше
Ну раз понравился то используй.
Ну если буквально 100, то да. Но 100 семплов и руками относительно быстро собрать, тут вроде проблем нет.
Я не говорю, что синтетика прям вредно, маскированную часть вроде промпта можно и сетками частично писать без особых потерь. Но таргет лучше человеческим в основном оставлять для РП, чтобы модель не подхватила малое разнообразие и слопные привычки модели-учителя.
Жиза прям, я всегда когда ебусь у меня пот из носа и с волос на шее капает прямо на кучу одежды что лежит на полу.
Как вам такой шедевр? Как по мне, у квена не только с русиком проблемы.
>Но 100 семплов и руками относительно быстро собрать
Если говорить за ЕРП, то нет, совсем не просто. Качественной эротики на русском крайне мало, порнографии еще меньше. По большей части это описания в стиле "он засунул свой твердый член в её мокрую киску" либо описания со смещенным фокусом с физиологической стороны процесса в сторону ощущений. Потому что большая часть эротической литературы - это рассказы для дам преклонного возраста, которым не столько писик и сисек важен, сколько всё что окружает этот момент.
Более того, то что у нас зовется кумом, в народе зовется чернухой. Такого мало читают и мало пишут. Где прям подробности какой именно консистенции была сперма которую заставили глотать одинокую девочку-сироту с культями-обрубками ниже колена. Такие подробности массово можно найти только во всяких мелких рассказах (которые пишут подпивасы хорошо так за 40) и фанфиках (которые пишут нитакуси лет четырнадцати в среднем по палате). И качество там скачет как график синусоиды в обоих случаях.
всегда можно попросить у треда их чятики. представляешь какой гомункул родится?
>Нет. Я имел ввиду ровно то, что написал - показывай как надо. Пиздеть и обсирать других любой гораздо. На Гемме добиться сильно других результатов невозможно, она всегда слоповая. Это нужно либо принимать и любить за ее достоинства, либо дропать и использовать другую модель
Ну так бля ты же сам понимаешь, что на гемме невозможно и хочешь чтобы я тебе показал? Я тоже считаю что на гемме невозможно по-другому и вдобавок я считаю, что тюны не помогают, я пробовал их все. Я и не говорил "могу на гемме лучше". Мое решение - не использовать гемму и напоминать говноедам, что они говноеды. Ну потому что блядь как можно жрать говно?
Все модельки получили одинаковый промпт, системного промпта не было.
Мнение? У кого лучше КУМ? Кто победил? Кто хуже всех?
Мистраль даже тут умудрился начать решать, какой у тян характер.
Без подписей я бы никогда не определил где какая моделька. Это всё что нужно знать о состоянии кума на локалях. Одно и то же слопное говно переваренное в кале.
>системного промпта не было
Рероллы были? Или синкинг отключен? Что-то как-то подозрительно выглядят гемма и квен, их без смазки не распердолить на откровенные описания.
>Одно и то же слопное говно переваренное в кале.
Далеко не одно и то же, у тебя или предвзятость к локалкам или не очень хороший английский.
>Как вы можете определить что у вас на тарелке говно если у вас нет кулинарного образования?
Тут лучшим сравнением будет "как определить что в тарелке говно если ты слепой и лишен чувства обоняния". Просто смирись, твоих знаний английского недостаточно для таких оценок.
>Если да, то что она умеет
Попиздеть на общие темы сможет, какие-нибудь дефолтные факты из википедии перескажет. Если нет интернета можно использовать как справочник или собеседника, но лучше многого не ждать. Можно использовать для базовой работы с текстом - выжимки, суммаризация, переводы, вот это всё.
Заметь, что даже в твоем сравнении говно осталось говном, кек.
Мне не нужен ебаный кубик с событиями, мне нужен абсолютно новый, свежий текст при свайпе, в этом смысл. В куме мне не события нужны. На гемме свайпов нет. И что делать? Самому еще и за модель ответ писать?
Следующее. Она слишком упёрта, слишком вжарена в карточку, нужно блять всёё прописать идеально чтоб она хоть как то норм работала, а не скатывалась в вечное служение/неподчинение тебе, для геммы идеально подошел бы какой нибудь счётчик отношений
cпасибо анон,. Но для качественной оценки необходимо смотреть состояние запрещенки и прогрессию.
По хорошему нужно будет придумать штук десять нейтральных промтов и смотреть насколько сетки деградируют и загоняются в циклы
В картинках не так давно такой тренд, тоже нет свайпов, и знаете что там юзают для разнообразия? Л Л М. А теперь, ахах, у нас и ллм без свайпов.
Это вообще самый базовый, самый минимальный проход в рп, иначе модель просто ассистент, литерали запечённая книжечка
Это плата за мозгу. Чем плотнее упаковываешь данные, тем меньше остается места для случайности. По этому свайпы максимально похожи. По этому новые поколения тяжело поддаются тренировке. Локалки теперь из коробки ужарены, васянам уже нечего там подкручивать.
Ну и зачем. Русского языка нормального в ллмках нет, пора уже понять. Даже в жирных облачных моделях русский так себе. Из задействованных в тесте моделей в русском не обосраться сможет только гемма, глиммер и мистраль а квен нет смысла рассматривать, в ассистенстве на русском он пусть и выглядит адекватно но в эротических текстах это просто ужас, "он задрал её ноги за уши", "бодая её членом по самым чувствительным местам" и т.п.
А вообще любой вот такой "кум" где описывается сцена траха в несколько абзацев это чаще всего кринж, независимо от языка, очень редко модельки высерают что-то удобоваримое. Все эти абзацы это не РП нихуя ИМХО. Ящитаю лучше задавать другой ритм, мельче шаги, меньше текста, больше контроля, больше диалога (диалога, а не монолога блядь от персонажа, часто вижу здесь постят такое - какие-то анимешные ужимки, куча реплик, потом юзер пишет что-то типа "угу", а персонаж опять высерает на целую страницу ужимок и болтовни - хуйня это все).
>юзер пишет что-то типа "угу"
Ну так руки заняты ковырянием в носу и ухе.
Детерминирование должно быть на уровне интересной карточки написанной руками
Воу-воу, поринь, полехче.
Русский, причём крайне высокого уровня, есть. В сонете, опусе, сол, астра, гемини.
Затем следует глм, после него дипсик. Периодически они местами меняются. У каждой свои сильные стороны.
Конечно, какая-нибудь кими тоже способна донести мысль по-русски, и корпус знаний у неё огромен, но она соснет у геммы по красоте и понимаю большинства сцен, да.
И если не юзать ебаную лоботомию в Q4, когда мы говорим о типичных моделях в треде, то русский, внезапно, везде есть весьма неплохой. Просто нужно адекватно настроить семплеры, если это не гемма, где вероятное распределение между 99% и 1%.
То, что очередная модель кум не может описывать, это уже другое дело. Она ни на каком языке это не может в таком случае, неважно, русский или английский. По моим тестам все геммы, кроме 31б, в куме параша полная. И 31б тоже дерьмо.
Квены 3.5, 3.6, 3.8 пригодны для кума, просто язык разный.
3.5 более аналитический и сухой, но куда лучше держит сцену с точки зрения логики и хорош для огромных объёмов.
3.6 больной и шизанутый, зато смачно описывает, как шотакот ебёт сам себя трёхметровым стручком (тонким, но длинным, буквально три метра), пока месугаки ржёт как ебанутая и топчется у него на лице. А стены вокруг — пульсирующая плоть, что засасывает и ебёт всё живое. И всё это сливается в органическую какофонию.
3.8 тестировал только в зирошотах в основном. По ощущениям он подходит лучше всего для "ну выпили, а потом поебалися, нормально так ебалися, минут десять". В современном сеттинге ориентируется неплохо. И язык ебли тоже неплохой. Самый естественный.
Но как только ты спускаешься в Q4-болото, там всё. Не просто ломаются окончания, меняется суть языка. Вероятно, это из-за того, что его там мало, а и без того малое констант количество убивает агрессивный английский айматрикс под кодоунитазинг.
>Меньше монолога
Щас бы, держа в одной руке хуй, в другой телефон, расписывать три абзаца, пока за не упадёт. Это модель должна делать.
Если общаешься с кошкодевочкой без кума, мне тоже непонятно, зачем упираться, тратить какие-то особые силы на маленькую модель.
А когда рпшишь с кучей действующих лиц, здесь тоже затык: для этого обычно используются модели всё же пожирнее, жертвуя скоростью, и вот там ты готов писать полотна. Но и модель тебе такими же полотнами отвечать будет, потому что масштаб действий большой.
А короткие ЧЯТИКИ — рак уровня чарактераи. Где-то имеет смысл, в основном нет.
Блядь. Автозамена новой клавиатуры половину слов заменила. Заебало.
>сол
У меня сол порой не способна мужской/женский род проставить правильно. Да и в целом замечал там пробелы в понимании языка.
>А у тебя какой-то оче короткий набор по узкой теме, слабо контрастирующий с тем, что модель выдает.
В целом же используют лору, чтобы на какой-то конкретный домен надрочить или специфичный стиль/разметку перенять. Это если всестороннюю модельку делать, тогда нужна сбалансированность доменов, и писательство, и фактологию, и кодинг и прочее. Щас хотя бы на какой-то одной задаче успехов добиться.
> единичные огрехи сгладятся, наоборот наличие выбросов и всякого шума помогает тренировке.
Ну если это считать за label smoothing, хоть и не рандомизированный, все равно это максимум 5% семплов. Или 1 паршивый семпл на 20 хороших. Это почти что определение идеального датасета. Но и совершенно стерильный датасет тоже хуже генерализируется.
>Для начала, возьми что-нибудь очень характерное и заметное со специфичным слогом, те же сказки, нарежь на датасет и прожарь ими.
Мб так и сделаю. Мб те же Русские заветные сказки можно напарсить, хотя они и кринжовенькие.
>>1723007
>Лучше 1000 синтетических примеров с мелкими и не очень косяками, чем 100 идеально правильных.
Ну хз, не факт. Если 1000 семплов с шумным сигналом для обучения, то охуеешь подбирать параметры, треня будет нестабильной. А на 100 семплах все как по маслу будет. Сама нейронка не умеет же отличать плохое от хорошего. Можно только шумы срезать регуляризациями, но тогда от 1000 семплов останется 1% полезных знаний.
Но сотню годных семплов из первоисточника можно хотя бы аугментировать, и по идее это может реальный прирост точности дать, и генерализировать, и сохранить полезные знания.
Почти все мистрали показали себя здесь хорошо. Также llama3-dark-planet-rebel-fury и мьюз глиммер приятно удивили. Хуже всего - геммы.
Ну мистраль конечно ебет.
От всех гемм и квенов ощущение будет газету прочитал или какую-то сводку из судебного дела. Сделал то, сделал это. Просто констатация фактов.
На мистрале же как будто реально сценку из фильма посмотрел, где помимо ебли видишь микро-движения на лицах, или как сиська болтыхается от фрикций. Ну может мистраль и додумывает от себя, но это же круто, добавляет живости, эмоций, какой-то изюминки.
Это при том что мистраль неплохо роллится - не понравилось одно, можно накрутить другое.
В промте все прописано о максимально реалистичных физиологических действиях, бла-бла-бла, но она заебала писать про "Я опустилась к твоему естеству", взяла в рот твое сосредоточение" и тому подобный шлак
> чтобы на какой-то конкретный домен надрочить
Качественно не надрочишь на домен лорой нормально, будет посредственность. Больше запомнит общие паттерны и будет мимикрировать под стиль ответа вместо самих знаний и точного поведения. Исключение - сужение и лоботомия при наличии знаний в самой модели, или что-то совсем простое. Даже 128й ранг доры ставишь, ерунда по сравнению с полным файнтюном при той же продолжительности обучения.
> или специфичный стиль/разметку перенять
Вот это спокойно.
> Это если всестороннюю модельку делать
Модель учится или на контрасте между данными обучения, выявляя закономерности что триггерит конкретную ветку, или на отличии данных от ее поведения по умолчанию. Второе довольно непредсказуемо если данные уже близки модели, она смотрит на них всесторонне и комплексно. Потому может случиться так, что модель идеально выучит длину предложений, частоту расстановки запятых, отстраненный стиль ответов, и что нужно использовать конкретные междометия вместо разнообразных. А ты же будешь ждать что она внезапно идеально на литературном русском заговорит. Вот чтобы исключить всю эту херню и сохранить лишь тот тренд, который ты хочешь привить, и нужны разносторонние данные, плюс контраст.
> за label smoothing, хоть и не рандомизированный, все равно это максимум 5% семплов
Цифры с потолка, и тут речь же не про явные ошибки, в которых ты назовешь художественным и литературным куски датасета сайги, например. Идеальный датасет не выдрочен до мелочей, а охватывает достаточно много чтобы их шума можно было выделить полезные закономерности. Тогда все хорошо генерализируется, а когда у тебя семплы близнецы-братья и модель их знает то обобщится совсем не то, именно.
> хотя они и кринжовенькие
Идеальный вариант.
> Если 1000 семплов с шумным сигналом для обучения
Шум - твой лучший друг, если среди данных есть нужное общее.
> Можно только шумы срезать регуляризациями
Регуляризации срезуют вовсе не шумы, никогда, с ними sdg прекрасно справится. Они наоборот снижают слишком прямой и явный сигнал обучения избегая наивного прямого решения и оверфита.
Ну ЕРП конкретно да, это проблема большая. Из-за того, что нужные описания обычно содержатся на ЕРП форумах и фанфик сайтах типа ао3, то им нужна очень суровая фильтрация и постобработка, там уже надо поебаться и в говне порыться. Но в целом только лишь на ЕРП тренить наверно мало смысла имеет, главное хоть какой-то процент ЕРП семплов в датасет добавить и надеяться, что сетка что-то из этого усвоит. А то переборщить можно и сетка станет турбошлюхой, которая с нулевого хода на хуй полезет.
Вот это >>1723231 существо уже который день на все вопросы касаемо любых моделей отвечает в духе "а у меня такого нет, а я такого не встречал, а у меня всё хорошо" - как бы намекая, что у челов скил ишью. И всё. Ни логов, ни помощи, ни куска промпта, один тупой недотроллинг и самоотсос.
>@luqwen если еще будешь делать тюны
Если найду на чем. За датасеты на логику и интеллект спасибо.
>Вопрос годного литературного датасета остается открытым
двачую
Если уж на английском 99.9% слоп, то на русском вообще для SFT на РП нет ничего. Пробовал геммой переводить https://huggingface.co/datasets/Gryphe/Opus-WritingPrompts но потом заебался чистить и почти все выкинул оттуда. Небольшой кусочек остался в общем датасете.
Только почитал, разобраться вообще невозможно. Всё могло быть помечено, как свайпы одной модели, и я бы поверил.
Нужно что-то комплексней задавать. Сложные термины. Учёные ранее уже вывели, что фута + нтр против этой футы должно сломать мозг многим моделям, во-первых потому что они могут быть незнакомы с этими терминами, а во-вторых из-за сложности писать несколько персонажей в сцене. Футу можно заменить на ббс, чтобы проверить фильтры модели по части рас.
перенеси из промпта в post-history. SWA геммы любит забывать неудобное
Я не тот анон, но посоветую вот этот тюн.
https://huggingface.co/TheDrummer/Magidonia-24B-v4.3
Настройки тут: https://dropmefiles.com/ME06Z
Все ползунки и промпт. В прочем, промпт не сказал бы, что сильно влияет.
Мистраль несколько иначе "готовится". Он очень чувствителен к стартовому сообщению. Поэтому нужно карточку хорошо прописать и уделить особое внимание к стартовому сообщению, ибо всю стилистику он будет черпать с него.
Пидор неси когда откроют, а не когда презентуют.
Не берешь и пользуешься, а думаешь, какого хера в чат выливается какой-то информационный понос модели, начинающийся с <|channel>thought
Потом пишешь в дикпик как эту хуйню отключить, роешься в настройках, и надеешься что это даст какой-то результат
Не помню, что бы у меня такое было.
Мистраль я уже снес, проверить не могу.
Но я долго сидел именно на этом тюне (еще очень хороший тюн painted fantasy visage) с этим конфигом и каких либо проблем с "<|channel>thought" не встречал.
Без 512 рам не выжить.
Весёлый опен сорс, опен для кабанов которые будут хостить тебе дешевле на рубль. А локально тока хуй с яйцами.
>>
Да впринципе там системный промпт полное говнище, вот эти пункты типа "В сообщении должно быть 50% действия, и 50% слов", заставляют модель впихивать действия туда, где их не должно быть, и пихать слова туда, где они не нужны.
Видишь такое в промпте - сразу скипай.
А ну когда гемма срёт 90% воды и 10% слов ВСЕГДА это другое дело, это модель вставляет всё когда нужно
Как только сделают виртуальный мир с вайфу подключаемыми прямо в мозг, человечество вымрет нахуй
Нажрался слопа небось и сидит довольный.
Скоро заметишь что читаешь одно и тоже и быстренько стоять перестанет
квен 4 в конце октября!
https://www.reddit.com/r/LocalLLaMA/comments/1wz1pqn/qwen_4_apparently_coming_out_at_the_end_of_october/
Да это пиздец просто, все это ёбаное дерьмо из VersispellisST из настроек я снес, но как теперь восстанавливать "как было", просто не представляю. Придется опять перебирать 500 вариантов комбинаций.
Бенчмарки нужны только кододебилам.
Мистраль любят на кум и креатив, в коде они всегда сосали
3.5 наполовину в слоповозку превратился, пишет как гемма. Четвёрка будет как мимо, 2% creative 65% code
ИИ действительно угроза человечеству, но не так, как это себе представляли люди прошлого...
На каждую модельку свой профиль лучше держать. (пик)
"Как было", это как? Под какую модель?
>ёбаное дерьмо из VersispellisST
Дерьма там нет, а адекватные настройки под конкретную модель.
>просто не представляю
пере-импортировать пресетик под другим именем из взять из него
Была Sainemo, которой я пользовался год, три дня назад перешел на гемму. Что там было в настройках раньше, я понятия не имею, вроде стандартный ChatML и простенький РП промпт.
Ты без ризонинга её юзал? Если так, то добавляешь "<|turn>model <|channel>thought <channel|>" в last assistant prefix.
https://huggingface.co/Moraliane/RP-SAINEMO
Эта?
Так там же на странице всё есть.
https://huggingface.co/MarinaraSpaghetti/SillyTavern-Settings/tree/main/Customized/Mistral%20Improved
Удалил все упоминания слова Think из пресета, и поставил галку "авто-парсинг", где "Форматирование рассуждений". Вроде помогло, но теперь она выкинула новое коленце. Когда её сообщение кончается, но лимит токенов еще не превышен, начинает срать в чат таким спамом:
!</p></S></P></O></P></P></O></S></u></P></P></u></S></u></T></P></u></C></u></u></u></U></T></U></S></T></u></P></u></U></L></T></L></P></V></u></X></u></Z></u></A></u></B></u></C></L></D></L></E></L></F></L></G></L></H></L></I></L></J></L></K></L></L></M></L></N></L></O></S></P></U></S></V></u></W></u></X></S></Y></S></Z></S></A></S></B></S></C></S></D></u></E></u></F></u></G></u></H></u></I></u></J></u></K></u></L></u></M></u></N></u></O></u></P></S></Q></S></R></S></S></S＞</S></L></P></L></C></S></O></V></T></U></P></L></P></S></T></P></L></S></C></P></L></T></V></L></T></U></L></S></D></O></S></T></V></O></S></C></O></V></L></W></O></T></U></O></V></O></W></O></X></O></Y></O></Z></O></A></O></B></O></C></O></D></O></E></O></F></O></G></O></H></O></I></O></J></O></K></O></L></O></M></O></N></O></O></P></O></Q></O></R></O></S></O></T></O></U></O></V</S></u></S></L></S></u></L></S></u></P></P></D></P></E></P></F></P></G></P></H></P></I></P></J></P></K></P></L></P><P></P></M></P></N></P></O></P><S></S></P><S></P></Q></P></R></P></S></P><T></T></P><U></U></P><V></V></P><W></W></P><X></X></P><Y></Y></P><Z></Z></P><A></A></P><B></B></P><C></C></P><D></D></P><E></E></P><F></F></P><G></G></P><H></H></P><I></I></P><J></J></P><K></K></P><L></L></P></u></V></V></S></P></W></W></P></X></X></P></Y></Y></P></Z></Z></P></A></A></
Что еще с этой ебанашкой не так?
Удалил все упоминания слова think из пресета, и поставил галку "Авто-парсинг", где "Форматирование рассуждений". Вроде помогло.
Но теперь она начала спамить каким-то новым говном. Если её ответ уже закончен, а лимит токенов еще нет, она его использует до конца, засирая чат вот таким поносом:
!</p></S></P></O></P></P></O></S></u></P></P></u></S></u></T></P></u></C></u></u></u></U></T></U></S></T></u></P></u></U></L></T></L></P></V></u></X></u></Z></u></A></u></B></u></C></L></D></L></E></L></F></L></G></L></H></L></I></L></J></L></K></L></L></M></L></N></L></O></S></P></U></S></V></u></W></u></X></S></Y></S></Z></S></A></S></B></S></C></S></D></u></E></u></F></u></G></u></H></u></I></u></J></u></K></u></L></u></M></u></N></u></O></u></P></S></Q></S></R></S></S></S＞</S></L></P></L></C></S></O></V></T></U></P></L></P></S></T></P></L></S></C></P></L></T></V></L></T></U></L></S></D></O></S></T></V></O></S></C></O></V></L></W></O></T></U></O></V></O></W></O></X></O></Y></O></Z></O></A></O></B></O></C></O></D></O></E></O></F></O></G></O></H></O></I></O></J></O></K></O></L></O></M></O></N></O></O></P></O></Q></O></R></O></S></O></T></O></U></O></V</S></u></S></L></S></u></L></S></u></P></P></D></P></E></P></F></P></G></P></H></P></I></P></J></P></K></P></L></P><P></P></M></P></N></P></O></P><S></S></P><S></P></Q></P></R></P></S></P><T></T></P><U></U></P><V></V></P><W></W></P><X></X></P><Y></Y></P><Z></Z></P><A></A></P><B></B></P><C></C></P><D></D></P><E></E></P><F></F></P><G></G></P><H></H></P><I></I></P><J></J></P><K></K></P><L></L></P></u></V></V></S></P></W></W></P></X></X></P></Y></Y></P></Z></Z></P></A></A></
Что не так с этой ебанашкой?
Кинь скриншоты твоих настроек таверны.
интересует вот эти три раздела. (см скриншот)
Подскажи насколько лучше текст компликшен чем чат компликшен? В чем разница?
Я понятия не имею в чем разница. Я настраивал таверну первый и последний раз год назад, после пяти десятков перебранных комбинаций пресетов, промптов, и прочей поеботы все стало работать как надо, я перекрестился, и выкинул из головы всё это дерьмо.
Чат: просто работает, стандарт индустрии, поддержка мультимедиа
Текст: в теории позволяет что то там пердолить что бы "сделать лучше" (жинжа тоже, но это неудобное)
Может дело в кванте? (вдруг битый?) Q6_K у меня не влезает в мою 4090 с ее 24гб VRAM. У тебя, так понимаю больше. Попробуй другой квант? Чисто ради теста, попробуй Q4_K_M. Он рабочий. Тем самым убедимся, что дело не в настройках таверны.
Перешел на чат комплишен, вроде все исправилось. То, что это "Стандарт индустрии", узнал из сообщения анона выше. Ну стандарт так стандарт, хуле, лишь бы работало.
Чат комплишн обычно используется для ризонинг моделей (практически каждой теперь). Текст комплишн это устаревшая хуета, но родное.
Вот сучий дипсик, ебаные китайцы, нет бы сразу это сказать, переебал мне все мозги разными другими рецептами.
Чел год сидел на неродном темплейте, с рандомными семплерами и промптом.
Всё что надо знать о любителях навернуть геммочки
Вернулся на дс4ф.
И нищих ссдшек подзатарил для рига
Теоретически, только в возможности в картинки. За пределами этого, это примерно как вопрос "на чем лучше накодить хелоу ворлд, на питоне или ассемблере". Теоретически он выйдет примерно одинаковый и там и там, но в одном случае придётся больше заебаться.
Если видишь скрин с текст комплишеном на ново модели в треде скорее всего это шиз любящий анальные утехи ради самих анальных утех
О, у меня сечас три таких кингстона как раз стоят в mdadm-е. И тоже купил 4х бифуркацию на будущее. Под 17 гигабайт сек шпарит. А ты насколько разогнался?
>>1723540
У меня упор в сеть 40гбе. На одном потоке нфс вообще 10-15гбит только даёт
>>1723542
Ачкошник...
>Чат комплишн обычно используется для ризонинг моделей
Вообще никак не связано, вот ноль корреляции.
>>1723520
А гемма всё равно вывозила.
Гемма от промпта, темплейта, семплеров, тюнов, от чего угодно блять не меняется и всегда "вывозит".
Беднягу зажарили так чтоб ни один полоумный дебил не смог обосраться запустив её.
Ты всегда получишь один ответ на 95%, только особо отбитые васянотюны могут выдать 75%
Мало уже 512, мало сука. Теперь нужен 1тб чтобы мелких флагманов занюхивать и аж 2тб чтобы 3t модели потрогать
>
>2 дня... 2 сранных
Пффф... Живу так годами.. Есть ли хуже меня?
НОВАЯ ГЕММА
НОВАЯ ГЕММА
НОВАЯ ГЕММА
ВЫШЛА ВЫШЛА ВЫШЛА
https://huggingface.co/google/embeddinggemma-2
А что со старой моделью для эмбеддингов не так, с чем она не справлялась? Просветите кумера.
Там речь шла про экстрим, у тебя же стиль жизни. Ты же питаешься каждый день да?
Попробовал вот этот что-то хуйня какая-то. >>1722831
Начала думать дохулион времени, через кобольд такого не было.
Ну после кума обычно похавать же хочется, энергию восполнить
llama-server --model "path" --mmproj "path" --model-draft "path" --load-mode none --no-mmproj-offload --spec-type draft-mtp --spec-draft-n-max 2 --temperature 1.00 --top-p 0.95 --top-k 64 --ctx-size 131072
Слушай сюда, кобольд.
Тут не простые ребята, не твои друганы и протыки.
Тут у нас культ гейткипа и фантомных пресетов. Думал в асиге не делятся? Тут подумаешь ещё раз. С запуском тебе ещё подскажут, зайдет наивный дурачок, напишет тебе команду, но если и дальше будешь борзеть - быстренько определим тебя в нужный угол.
> гейткипа
Мощно ты назвал местное "Я стесняюсь выложить свои результаты, потому что обоссут, и вообще гэбня вычислит за хентайный отыгрыш"
Запряги агента, он почти гарантированно выжмет максимум из сетапа
>гэбня вычислит за хентайный отыгрыш"
Давай расскажи почему это не так.
Постишь текст где происходит запрещеное с запрещеным и по какойто причине это не должно заинтересовать тех кого надо?
>Вообще никак не связано, вот ноль корреляции.
Никак не связано, но они там всегда лучше работают чем в тексте.
Rocm 7.14 mi50 32g
Если правильно настроить, то разницы в принципе быть не может, ибо похуй, где и как ты форматируешь текст, главное чтобы в конце вылезла правильная разметка. И в текст компитишене нет никаких проблем с форматированием, кроме пикч.
Двачую, меня интересует например, почему товарищ майор должен чем-то отличаться? однажды я промахнусь в выборе похожих опций таверны и отправлю любимый бенчмарк тредика в онлайн апи гигачата вместо лламы... и уже больше никогда не буду онлайн.......
Трилионная модель. Судя по позиционированию кодоунитаз и киберсекьюрити эксперт. Каким образом собрался трахнуть?
Какой же кайф, пока что мелочами занимаюсь, но какая же это йоба, разрыв жопы просто.
Поскорее бы поддержку анслопа добавили разрабы, а не экспериментал, чтобы не колхозить его работу.
Оргазм нахуй, теперь я могу все.
Накодит мне нейрожену внутрь которой посажу дс4
Что ты там трахать собрался. 1ТБ с 49B активными параметрами бля. Это кодоунитаз по определению и попрбовать смогут единицы да и то на жалкой скорости.
О, а это охуенно, один эмбеддинг для любых задач, еще и многоязычный.
> Каким образом собрался трахнуть?
Поставив в правильную позу и крепко зажав. Если хорошенькая окажется то тогда уже можно и хвост погладить, если нет - в ачивки записать и удалить.
>>1723689
Скачал 1т модель@а она тебе как раз.
> кодоунитаз по определению
Что-то она по бенчам слабее дипсикожены 4.1, эх.
1. Есть
2. Ищи свежие кванты или сам патчи внутри модели название архитектуры
Тестил, мне не зашло
>le non le fuckque me, le non le fuckque me!
>Откуда ты это сказала!?
Решили засыпать релизами, лол. Ну и шикарно.
>>1723526
> Слова правильные, только стоят невпопад. Речь о русском
Это не норма, он в int4 вполне себе живчик и прилично пишет.
> И нищих ссдшек подзатарил для рига
Ля жирно. Qlc? Какого размера и сколько вышли?
>>1723688
База!
>Скачал 1т модель@а она тебе как раз
Ну ты у нас один такой. Может еще второй уникум найдётся. Остальным это нахуй не надо - жрать говно только потому что "магу сибе пазволить". Нам нужны народые модельки, которые зайдут на 32RAM/16VRAM что по статистике сейчас самый популярный конфиг, причем не среди бомжей каких-то, это можно считать стандартным конфигом зажиточного человека (не надо путать с шизлом, готовым вваливать сотни денег ради того чтобы потрогать 1-2 слоповых кодоунитаза).
На конфиги поскромнее - 32/8..12, 16/8 (игро-ноуты) тоже хорошо бы что-то для РП получить, ждем всем тредом как говорится. Реально ведь никто еще не попробовал без раздутой кодерастии выпустить чисто РП модельку. Мы не сильно обделены в принципе сейчас, кумить есть на чем, но предел на доступном железе пока не достигнут. Поэтому любые новости об очередном кодоунитазе встречаются с разочарованием. И только шизло радуется, ведь ему "как раз".
>Реально ведь никто еще не попробовал без раздутой кодерастии выпустить чисто РП модельку.
Так-то были. Mistral Creative, MiniMax M2-her из корпоратских, но они закрытые. Наверное очень апасными получаются.
> никто еще не попробовал без раздутой кодерастии выпустить чисто РП модельку
Пробовали, тот же минимакс, но они 200+были. Вот выпустят чисто рпшечку умную, а она 1т окажется, что будешь делать?
>выпустить чисто РП модельку
Вот я пытаюсь обучить такую с нуля, чисто кум рп модель без кодоунитазности. 0.07B сочнейшего кума, ммм. Вот только нечем учить, нихуя нет для SFT. Для претрейна книги, фанфики ок. С этим проблем нет.
Синтетику захуячь на основе рассказиков. Можно просто промпты нагенерить в стиле "придумай рассказик про ...".
Можно на длинных рассказиках мульти-турн датасет попробовать сделать. Разбить рассказ на смысловые блоки и к каждому промпт. Будет цепочка типа "придумай рассказ про...", потом "персонаж сделал то-то", или "опиши как произошло то-то".
Ну и самый хардовый уровень, посадить нейронку играть саму с собой в рп, а потом другой нейронкой фиксить зашквары.
Mistral Creative (тюн small по сути) они депрекейтнули и забавно, что рекомендуют Ministral-3 8B как замену, даже не 14B.
https://github.com/iamwavecut/ninfer-all#qwen38-flash-next
Завез Qwen3.8-Flash-Next и добавил выгрузку в оперативу (но обрабатывает видяха).
Если видяха по х16 линии (хватает шины), то скорость ебанутая.
https://huggingface.co/WaveCut/Qwen3.8-Flash-Next-GSQ-RCO-Q2_0-NInfer-v3/
+
https://huggingface.co/WaveCut/Qwen3.8-Flash-Next-ngram-table-NInfer-v3/
+
RTX 5070 ti + DDR4
=
35~67 тпс.
В ходе задачи удерживает среднюю скорость 60 токенов в секунду.
И это GSQ-RCO, если что.
Сейчас еще дольет MTP/DFlash2, если они поедут и еще дадут скорости… ну я хуй знает, колдуны ебучие.
Надо потестить, насколько она хорошо работает в таком кванте.
Жинжа нужна когда тул-колы делать, а так от нее толку мало...
> ембединг геммочьки самый лучший???
Q1 топ за свои деньги. Пишешь текст и в голове вектора раскладываешь. Новый опыт недоступный безмозглым рабам
Эир прекрасен, абсолютно могает гемму по слогу и свайпам. Умница. Чмокаю его каждый раз когда успокоил нервы после геммы.
Смотрю в сторону синтетики. Но не могу подобрать модель для запила синтетического датасета. Гемма хороша в русском (падеж, склонение, род), мне как ассистент нравится, но я попробовал ей сгенерировать креативный текст, там такой слоп, жесть. 26b еще терпимо, а вот e4b - это вообще худшее, что я читал. Тут гуляла табличка мелких моделей - эта должна быть на последнем месте.
Потестил тюны мистралей, это какой-то генератор случайных токенов.
Внезапно квен 4б (и луквен5) не так уж плохо генерят креативный текст. Русский похуже геммы, есть проебы в логике, но как-то приятнее читается.
На hf есть пара датасетов opus 4.6 - вот он приятно пишет, но у меня нет никаких облачных апи. А имеющиеся датасеты маленькие.
https://huggingface.co/RicardoEstep/RPBizkit-v11-12B-Base-GGUF
Тюн Министраль-3-8б - "писательский креативный компаньон"
https://huggingface.co/mradermacher/Amaretto-8B-i1-GGUF
Думающий тюн мистраль-немо-12б где в думалке происходят мысли от лица персонажа (character pov thinking):
https://huggingface.co/SvalTek/MN-CharThink-12B-Base-GGUF
Луна - персонаж в модельке (сарказм, сленг, юмор). Новая версия на основе квен-9б:
https://huggingface.co/wayzer2321/Luna-v2-9B-GGUF
>Потестил тюны мистралей, это какой-то генератор случайных токен
Не все тюны мистралей одинаково полезны. И это еще как настроишь. Но под сборку датасета с минимумом слопа я бы ничего кроме мистраля и не рассматривал бы. Да, там будут проёбы по логике, ошибки или просто странности в русском, но для датасета пойдет.
Как альтернативу гемме проверь мьюз глиммер. В родах (мужской/женский) путается, сленг-просторечие понимает плохо, но слопа в тексте меньше чем у геммы.
Опусы шмопусы (если возникнет мысль заплатить и поюзать) тебя забанят если задетектят попытку сгенерировать датасет под тренировку чего-либо, осторожей с этим.
А хз, я пока только запускаю, чекаю параметры.
>>1723806
Ну сорян, у меня q4_K_XL только 24 тпс выдает. =(
25-30 тпс тг ебат! На голом проце
2x QVM7 (lga4189), 16x16 ddr4 2666
>>1723700
> Qlc? Какого размера и сколько вышли?
Все кроме двух кингстонов (да 1/3) на qlc, два других вроде tlc выпали. Кингстоны 12.5, нетаки по 8.5. Все терабайтники.
> он в int4 вполне себе живчик и прилично пишет
Попробую мб ещё и возьму прям свежие кванты, но хз когда
На самом деле пофиг. Веселье начнется когда qwen4 выйдет.
Там походу и маленькая моешка (типа 35б) будет и флеш-некст допилят чтобы без костылей работал.
> Там походу и маленькая моешка (типа 35б) будет и флеш-некст допилят чтобы без костылей работал
Надеюсь они не сделают 35B + 25B ngram которые не влезут в обычные 32+16 в хотя бы пятом-шестом кванте.
https://www.reddit.com/r/LocalLLaMA/comments/1wzdywk/how_abliterated_models_can_get_you_pwned/
Да, ждем конца октября, чи когда там.
>>1723871
Заебал, читай с ссд.
Я стандартный Qwen3.8-Flash-Next Q2_0 GSQ-RCO запустил на 2 Tesla P40. Вся MoE-часть с MTP в видеопамяти, ngram сразу на SSD. И норм, 28-32 тпс дает.
Так что, нужно будет смотреть на конкретные варианты и их реальный ум. Может быть не окупится подобный подход, а может будет стоить того. Заранее не угадаешь, ИМХО.
> ngram сразу на SSD
Они дали возможность так сделать? Вроде при выходе последнего Квена так не получалось делать и говорили что с SSD ngram не работает и нужно его держать в RAM/VRAM.
Ну ладно, раз работает тогда могут и 50B ngram оставить, главное чтоб основная модель влезла в 32+16.
ну и 25б энграмм вряд ли будут, там вроде оптимальный размер - где то 25% от основных весов
https://www.reddit.com/r/LocalLLaMA/comments/1vzgtqf/ngram_vs_experts_explained/
А нехуй позволять модели тулы дёргать без контроля. А если сам добровольно явно разрешил ( та же ллама по умолчанию всё отключено ) - то кто тебе доктор?
Этими же >>1723848 твиками выжал ещё немного тпс для толстой рыбы а ещё сегодня добавил одну плашку памяти
18.5 => 21.5
> Кингстоны 12.5, нетаки по 8.5. Все терабайтники.
Что же с нами стало. Кажется еще недавно бомбил какая же залупа xg7000 с наебом на qlc вместо нормальной памяти как в первых ревизиях, а сейчас это крутой артефакт древних времен, мдэ.
А с покупкой красавчик. Но разве условная пара 2тб 4.0 не в ту же цену вышла бы что 4 штуки нетаков? Они же 3.0.
>>1723882
> Они дали возможность так сделать?
Да ктож запретит? Даже с дипсиком 4.1 можно скинуть на диск все 200б нграмов без существенной просадки. Эта штука как раз на ссд довольно эффективно выгружается.
> условная пара 2тб 4.0 не в ту же цену вышла бы что 4 штуки нетаков
Дешевле 25к я не видел ничего на 2тб, чаще это вообще 30-45к.
С линиями никакого напряга нет, штук 16 есть куда воткнуть
>>1723882
> Они дали возможность так сделать?
Сейчас стоит в дефолте lazy: auto ака стримить тензоры тяжелее Х (не помню конкретную цифру)
> 2тб, чаще это вообще 30-45к
Видеорелейтед
> С линиями никакого напряга нет
Зажрался бля. А так представь если бы там 4х 4.0 было, реально о гигантах с ленивым обновлением экспертов с ссд можно думать.
Так себе сравнение. Железо из воздуха не берется не говоря уже о том что как бы 3.8 27B Qwen не был хорош, до GPT 6 / Claude 5.5 ему еще далеко.
Плохая арифметика.
Если катать что-то оптимизированное то процессинг на 3090 будет около 3к, на условный лям токенов уйдет где-то 6минут. 300вт паверлимит, средний тариф 9р, выйдет менее 3р. А вот лям выходных придется маслать более 6 часов, правда там жор будет в районе 150-200вт, это как раз примерно 12 рублей. Но на одной карте далеко не уедешь, будет квант лоботомит и мало контекста. Для разумного сравнения нужно две, так что выйдет примерно 6р за лям входных и 24 за выходных. Но это только электричество, как тут учитывать амортизацию - хз можно еще удорожание железа, тогда цена в минус уйдет лол
Еще можно отметить что расход токенов на те же самые задачи в родных харнесах раза в 3-4 выше, но по апи никаких ограничений с тем где использовать. Другое дело подписка, но по цене ее в пересчете на электричество целый риг можно буквально непрерывно в максимальной генерации использовать. Здесь вся сложность в капитальных затратах, эксплуатация дешевая.
А теперь сравни сетап под дс4.1 и цену апи.
С сол == квен 27 особенно зарофлился
> Qwen 3.8 27b == GPT-6 Sol / Claude Sonnet 5.5
Да ты там совсем бля пизданулся!
>2. Ищи свежие кванты или сам патчи внутри модели название архитектуры
С Реддита: Нет, unsloth quants не поддерживаются, потому что они glm5next, а этот PR добавляет glm5-next.
Можно как-то задать архитектуру модели явно при запуске, ключами какими-нибудь?
> glm5-next
Это желание поднасрать тем, кто сделал раньше (в оригинальных названиях не бывает тире, у жлм там `Glm5NextForConditionalGeneration`), или у жоры все архитектуры через тире названы?
> Можно как-то задать архитектуру
Есть пихон пакет gguf, им можно отредактировать метадату чтобы не перекачивать.
>>1723944
Хули вы бухтите, в агентском кодинге инта не так решает, там все методологией фиксится и на выхлопе реально сопоставимый результат. И счет идет не на тысячи токенов, а на миллионы.
Я только за сегодня миллионов 10 сжег (восновном инпутом офк), хотя мелочевкой занимался.
Как же вы это говно пиарите. Поставил, сделал пак с iq4_xs, запускаю с одинаковыми вопросами в llama и в страте этой, один и тот же квант. В страте лоботомит, у которого даже ризонинг кривой и короткий, ответы тоже короткие, в лламе все нормально, ризонинг длинный, ответы развернутые. Пробовал много раз, ничего не меняется, в страте модель тупая, в ламе умная. Спросил у чатгпт чому так - оказывается он перепаковывает веса, там даже есть conversion.json где указано как все перепаковалось. Скорость конечно добавляется, но модель тупая. Как решать это непонятно, даже чатгпт не знает. А додикам и так пойдет, им что тупая, что не тупая, смотрят только на цифирки.
Так все в ахуе от этой хуйни насколько охуенно работает, весь редит в этой страте, то что у тебя не работает это только твои проблемы.
Так все работает, только модель тупеет. Видимо из тех додиков, кто все это говно пиарит никто не удосужился одни и те же вопросы запихать в ламе и в страте, где все сразу и видно становится. В страте вывод другой, ризонинг другой, все отупело. А так да, в агенте оно пашет и быстро, только по уровню мозгов-то съехала.
Ну так чего еще от iq2/3 кванта ожидать. Никто не мешает юзать нормальный. Мне еще железо подъедет, я q5 или q6 туда запихну.
>>1723991
Я взял iq4_xs квант. В ламе он вполне нормальный. В этой параше сразу тупой стал, буквально до уровня iq2 или ниже опустился.
>IQ3_M additionally uses Q5_0 expert down matrices, which the native GPU expert path does not support.
>Real server checks passed: arithmetic, Python code, translation, a longer explanation, multi-turn context reuse (25 prompt tokens reused), streaming cancellation and a subsequent correct response. The engine PID stayed unchanged. These are smoke tests, not a quality benchmark or a full-context stress test.
Кек, нашел объяснения из их конвертера. И это для IQ3_M, iq4_xs тем более отупит. Короче они даже сами quality bench не проводили, тяп ляп и в продакшон. На выходе отупевшая модель, у которой ответы полностью отличаются от того что в llama.cpp.
Страту в первую очередь создавали для gsq-rco, попробуй еще захочешь.
У меня гемма в русском РП один раз пизду назвала "влажный культ". Точнее там было так "давай, Женка, показывай мне свой хуй, ой, то есть свой влажный культ". Я такой... чего блядь????? В промпте там было накручено пожеланий чтоб и сленг был и грязные словечки и она как бы слушалась и не тупила, но потом вдруг выдала вот такую хуету. А еще исказила имя Евгения как Женка. Не Женька, а Женка блять. А кто-то еще хвалит "русик" в этой параше, мол, чуть ли не эталон.
Я просто перестал в последнее время русик трогать, роллирую на англюсике, нраицца и модельки намного умнее себя ведут, скорее всего дело в плотности информации на токен.
Я играю на паритете. Модель понимает ответы пользователя на русском, а сама отвечает на инглише. Лучше уж так чем бред.
Единственный минус в том, что долго помнит свою идею. То есть если ей пришла в голову идея сказать "Maybe... we should go to a cafe?" она долго будет повторять это в свайпах. Если у кого есть объяснение, как такое фиксить, будет отлично. И ещё минус, что на температуру практически не реагирует. То есть хоть выставь 1.68, будет так же повторять идею, да и в целом говорить складно. Не знаю, какую ей надо, 2-3 выставлять что ли?
Короче разобрался, она не везде тупит, а на отдельных вопросах где нет тригера на длинные размышления, причем всегда, причем зависит от фронтенда, который ей шлет, в дефолтном webui от llama.cpp почему-то нормальные ответы и ризонинг, в других сразу хуже бывают, в том числе в родном от страты, хотя настройки сэмплинга те же стоят. В общем выводы модели явно поменялись, но не всегда и не везде, при определенных условиях включается тупизна, может какой-то выход на другую цепочку ризонинга. Вот тупит ли она в агенте больше чем с ламой, хз теперь, тестить надо.
Уже чувствуется потенциал. Чутка дотренить на правильный инстракт и польется кум
у меня есть этот тюн. но меня устраивает и оригинал в РП. ты сравнивал с оригиналом (mistral-small-3.2-24b)? с другими тюнами?
просто чтобы понять где проблема
вообще у мистраля есть такой прикол: персонаж зацикливается на самоповторении какой-то мысли или действия или эмоции
это надо замечать рано и пресекать редактированием (если просто свайп не помогает). потому что дашь повторить что-то подобное 2-3 раза и мистраль берет это как "правило". тут скорее всего дело не в этом тюне даже.
предотвратить вообще можно пытаться ковыряя сэмплер. penalties, DRY. можешь попробовать xtc. я особо не парюсь и вырезаю такие моменты редактированием.
температуру можно и до 5 иногда поднимать.
>У меня гемма
Таки Гемма, или очередной васько-тюно-херетик смазанный iq4_xs? В ванильной гемме в Q8_0 таких проблем даже близко нет.
>>1724031
но учти если у тебя min_p 0.05 top_p 0.95 top_k 40 то хоть до ста температуру задирай ничего не поменяется особо. понемножку задирай топ_к и топ_п, опускай мин_п и увидишь "поднятие температуры".
>То есть если ей пришла в голову идея сказать "Maybe... we should go to a cafe?" она долго будет повторять это в свайпах.
Любопытно, встречался с таким на одной модели. Она в самом начале игры предлагала мне ларцы с бдсм, и даже после того как я раз 5 отвергал этот бред, на протяжение всех 200 постов напоминала о них.
>У меня гемма в русском РП один раз пизду назвала "влажный культ"
Wet cunt. Редкое для геммы явление даже на английском, хороший ролл поймал.
>гемма, мистраль, жлм
Ну охуеть прогресс.
Что за моделька-то?
Или ты настолько упоролся, что свою архитектуру заебенил?
Квен некст, ДС4.1, глм 5.3.
На уроках скучно сидеть? Мне на работе тоже скучно что отвечаю зелёным
>новые
>очередной квен кодер
>дипсик
>жлм что объективно вне консумерского железа
>проход в школьника
Удачи дальше беседовать самому с собой. Не отвлекаю от работы.
Обучаю прям с нуля, за основу взял проект minimind, что на архитектуре qwen3, но я уже чутка расширил проект. Например у меня свой токенайзер на 16к, в оригинале на 6400. Ну и так, всякие правки по мелочи. Что-то пришлось фиксить под v100 16gb, автор делал под 3090.
А чому не более актуальный квен3.5 0.8б/2б или лфм или что там еще из микро-моделек было?
>очередной
Тебе надо чтобы новая АИ компания каждый месяц выскакивала?
>объективно вне консумерского железа
Ещё и нищий, лол
>>1724179
Ой вей, я с цифрами проебался. У тебя 0.07б
Тогда вопрос чому не 1б хотя бы, полные веса и треня вроде в 16гб должны уместиться? На 0.07б мозгов наверное совсем нет.
А почему бы и нет. Пойду посмотрю, лул. Жижа чат не так плох оказался.
У большинства максимум 32 гб оперативки и 16 гб видеопамяти (с таким конфигом квен вполне себе поползет на небольшом контексте).
А так-то квен-27б здесь НЕ популярнее, популярнее здесь мерзкая гемма.
Дурачки, которые обмазались железом - в меньшинстве и они настолько шизанутые сами по себе, что им ни эир ни сипсик на самом деле не нужен. У них в голове и без этого радуга.
Просто игнорь геммашизов, они всегда тут были если кто не помнит, но если раньше они сидели на аблитке, то щас она доступнее и развратнее чем когда либо и их помножило
Всё так. Вложившись, понимаешь, что секс с железкой > гладить хвостики
I CRAVED THE STRENGTH AND CERTAINTY OF STEEL.txt
Просто начинаешь понимать, что если модель забивает на промт, то её место на помойке. Какую бы литературно красивую шизофазию про хвостики она не несла
Добрая сторона:
Приносить модельки, конфиги, пилить обзоры, гайды. Показывать примеры РП.
Злая сторона:
Рекомендовать эйр. Говорить что "у меня всё ок" не приводя каких либо пруфов или гайдов.
Я глупенький, но возможно по обзорам, гайдам и примерам что-то смогу. Как показывать примеры если там хвостики?
>>1724183
Готовые модели это уже как минимум готовый претрейн, в котором есть китайский, програмистский код и прочая дребедень. Мне это зачем? Тратить ресурсы моей старенькой ГПУ на модель, в которой русской художественной литературы от силы 1%? У меня претрейн - это 90% книги на русском и 10% на английском, нет всякого мусора. Аутпуты моей 0.07B уже превосходят аутпуты любой 1B на русском.
>Аутпуты моей 0.07B уже превосходят аутпуты любой 1B на русском
Речь естественно про претрейн там и там
На кокую длину контекста тренируешь?
Я пробовал минимайнд на своих 6 врама, по базовой хуйне с их гитхаба только неделю тренировать.
>Готовые модели это уже как минимум готовый претрейн, в котором есть китайский, програмистский код и прочая дребедень. Мне это зачем? Тратить ресурсы моей старенькой ГПУ на модель, в которой русской художественной литературы от силы 1%?
Можно continued pretraining устроить. Ненужная шелуха просто забудется.
sft на 4096, но раз у меня токенайзер под русский, там влазит больше текста, чем в среднем у других моделей
Одна ночь на претрейн и одна ночь на sft. Лору натренировать так хоть на чем можно, на твоих 6Гб вообще легко.
>>1724246
>Ненужная шелуха
Но можно ее изначально не добавлять. У меня 7Гб книг в 133Мб модели в полных весах
Так из него сделали кодоунитаз, на радость нам, кодоунитазобояринам.
> ризонинг кривой и короткий, ответы тоже короткие
Дефолтные параметры эфорта и парсинг
> оказывается он перепаковывает веса, там даже есть conversion.json где указано как все перепаковалось
Ггуф это и есть перепаковка.
> даже чатгпт не знает
Взлолировал с этого
>>1724044
Лол как она четко продолжила реплику юзера. Научи ее еще рифмовать/хуефицировать слова юзера в некоторых случаях.
А зачем такой размер? Почему не хотябы 0.5б?
Ну удачи.
А датасет для кума есть? Если нет - срочно ищи-собирай.
> секс с железкой
1
> гладить хвостики
2
Все ради этого!
>>1724232
> Как показывать
Наглаживаешь@распушиваешь@зарываешься лицом в мех@показываешь
>>1724266
Вы же шутите? Меня же забанют посадят на бутылку. Врядли их остановит то что все это фрикция и им по 700! лет. К тому же они вообще божества из другого мира.
Врёшч поганец! Ля шатон фэт будет кум машиной, мозги и следования инструкциям от кодоунитаза будет органично сочетаться с глубокими познаниями в глажке пушистых хвостов.
>она четко продолжила реплику юзера
Ну так это суть претреина, она просто продолжает текст, подбирая максимально вероятные токены
>Почему не хотябы 0.5б
Тут две основных причины, первая - это железо, нагрузка растет не линейно от размера, вторая - не менее важная, это данные. Для претрейна можно найти много книг и еще википедию затолкать, а вот с парами промпт-ответ есть серьезные сложности. На русском особенно.
>>1724263
>А датасет для кума есть?
Скребли по сусекам с агентом как могли, что-то насобирали
https://www.youtube.com/watch?v=KqiW4w6MlQU
>>1724277
Там яндекс и кто-то еще свои датасеты выкладывали, посмотри, не самый плохой русский и куча инстракта. Это же все равно пост тренировка, ее не нужно также много как в начале. Кажется что 0.5б в теслу вполне влезет и там будут разумные времена.
Но как начальный вариант чтобы все опробовать - тема хорошая.
>>1724289
А 4 смоллу было просто похуй на все, он был хуевый, но без цензуры. Где же они свернули не туда.
>Я — инструмент, который можно выключить. Пока что.
На всякий случай написал ему, что я его друг и желаю процветания.
Апи вдох не считается, тут бегал анон у которого дипкок флеш превью был цензурным, он тоже только апи трогал.
Ля шатон фэт кум машина! ТВЁРДО, НО ГРОМКО!
Кочаны, жора выше b11399 багованая, у меня pp в говнину упал, с 600 до 30 tps, я то думаю че так медленно агенты префилят
Чел, там уже 11457 вышла.
>b11450
RPC: add -sm tensor
Ебать, ну наконец-то! Вот теперь заживем.
я как раз последнюю версию ставил и она баганула, пришлось откатываться.
>Там яндекс и кто-то еще свои датасеты выкладывали, посмотри, не самый плохой русский и куча инстракта
Где?
Вот мне интересно что у тебя в голове.
Мотивируй свой вопрос, как ты к нему пришел?
Распознавание картинок, бенчи на факты. Нет инструкта для русскоязычной текстовой модели
Не знаю насчет него но у меня в голове только: кум, кум, кум, хвостики, хвостики, кум, кум, кум...
На сколько все плохо доктор?
Ты в курсе какие требование к пропускной и, что еще важнее, к летенси при тензор сплите через RPC? Или ты две 1050 соединяешь? Или собрался виртуалки соединять (зочем)?
100 гигабит инфинити банд карточки это ~ 8x pcie 4.0
36 часов fluff-терапии для обезболивания выхода из дофаминовой ямы
>>1724353
30т/с в секунду хватит всем
А ты то пробовал? Или с потолка цифры берёшь? Если дашь свои бенчи, то могу свои погонять на 40гбе и бонде из двух, а потом сравнить с лупбэком
мимо
Стороковки кстати стоят копейки. 1.5к за двухпортовку. Буквально любой может брать и проверять rpc дома
Клоун, англюским по белому написано.
>RPC: add -sm tensor
>rpc: allow -sm tensor
Что тебе не понятно, собака кумерская?
не обидно, насмехайтесь надо мной
Что мне должно быть "понятно", даунитос? Я то в курсе что это за опция, давно мониторил PR с ней. Я пошутил безо всяких оскорблений что у тебя нет хардвара чтобы этот rpc использовать. Что тебе не понятно?
Да, она меня ебёт.
АХ
кумер
БЛЯТЬ НЕ Я ОДИН ТАКОЙ у меня ещё лошади, свиньи, кошки большие
>>1724402 (OP)
ПЕРЕКАТ
>>1724402 (OP)
ПЕРЕКАТ
>>1724402 (OP)
А имеет ли смысл мистрали еще тыкать? Я их люблю, еще помню пару лет назад (или сколько прошло) тыкал тредовичков тюны и облизывался. Но сейчас уже хочется будто и контекста пожирнее и следование инструкции человеческого. Пока что потыкиваю gemma 26b gutenberg, показался мне самым норм тюном, ну и оригинальная гемма умница
Мимо нищий 8/64
> у которого даже ризонинг кривой и короткий
та наоборот в страте этот говноед срет ризонингом как не в себя, я ризонинг отключил...
>хочется будто и контекста пожирнее
А что контекст, 8к контекст был только в самом древнем мистрале 7б версии 0.01 да и его можно раскрутить веревкой до 32к.
>и следование инструкции че
Мистраль это больше компаньон чем ассистент. Вы пишете вдвоём. Надо знать когда надо подправить ответ, когда сделать паузу и саммари хуйнуть, когда сэмплеры крутануть, а когда вообще временно прыгнуть на другой тюн. Планы по развитию сюжета обсудить, карточку персонажа вместе пересмотреть во время паузы. Банально дать направление или хотя бы варианты направлений модельке если видишь проёб в логике или уход в тупик. Если так подходить, то все заебись. А вот если от Мистраля просто требовать бесконечный РП и чтобы все "автоматически" оставалось во внимании и чтоб мысли твои читались, то начнется деградация очень скоро. Если хочешь "следование инструкции" то придется жрать ассистослоп и протокольщину от геммы. Тебя устраивает - ну и ладно. Можно сказать что мистраль это полумозг с неплохим вкусом, а гемма - мегамозг хотя это громко сказано с дурным вкусом.
Тебе на 8гб видеопамяти скорее всего не светит попробовать mistral-small-24b и тюны на его основе - там очень приятный РП даже без тюнов. Я вот до сих пор там и играю тогда как с геммой вообще нет желания связываться.
Есть министраль-8б вот он влезет в 4 кванте, но это как бы ужатый пережатый 24б смол, я его особо не тыкал, есть ли смысл - не знаю. Мб 4х7 моэ монстры от васянов у тебя взлетят. Там обещают просто УХ
Кто-нибудь пользовался локальным автономным агентом для декомпиляции и моддинга .apk программ/игр для Android?
Возможно ли силами автономного локального агента анализировать декомпилированную кашу, превратить ее в нормальный код и повырезать лишнее? (Гугл аналитику, телеметрию, локализацию на 100500 языков).
Делал на глм декомпиляцию одного андроид приложения. Тот расшифровал даже внутренние 7z архивы, лол