Локальные языковые модели (LLM): Gemma, Qwen, GLM и прочие №252 /llama/
Аноним
29/07/26 Срд 12:09:47
№
1
Здесь мы делимся рецептами запуска, настроек и годных промтов, расширяем сознание контекст и бугуртим с кривейшего тормозного говна.
Тред для обладателей топовых карт NVidia с кучей VRAM или мажоров с проф. картами уровня A100, или любителей подождать, если есть оперативная память. Особо терпеливые могут использовать даже подкачку и запускать модели, квантованные до 8 5 4 3 2 0,58 бит, на кофеварке с подкачкой на микроволновку.
Официальная вики треда с гайдами по запуску и базовой информацией: https://2ch-ai.github.io/wiki/llama/
Гайд для новичков: https://rentry.org/2ch-llama-inference
Инструменты для запуска на десктопах:
• llamacpp - отец и мать всех инструментов, позволяющий гонять GGML и GGUF форматы: https://github.com/ggml-org/llama.cpp
• koboldcpp - самый простой в использовании и установке форк llamacpp: https://github.com/LostRuins/koboldcpp
• TextGen (в девичестве text-generation-webui) - если необходимы другие форматы и больше контроля: https://github.com/oobabooga/textgen
• TabbyAPI - заточенный под Exllama (V2 и V3) и в консоли: https://github.com/theroyallab/tabbyAPI
• Однокнопочные инструменты на базе llamacpp с ограниченными возможностями: https://github.com/ollama/ollama, https://lmstudio.ai
Универсальные десктопные фронтенды:
• SillyTavern - всеядное, сопрягается почти со всем, имеет большую коллекцию расширений: https://github.com/SillyTavern/SillyTavern
• Marinara Engine - вариация на тему таверны, больше возможностей из коробки: https://github.com/Pasta-Devs/Marinara-Engine
• Risuai - еще одна вариация, на этот раз в профиль, излишеств по минимуму: https://github.com/kwaroran/RisuAI
Инструменты для запуска на мобилках:
• Maid - интерфейс для локального запуска моделей под андроид с llamacpp под капотом: https://github.com/Mobile-Artificial-Intelligence/maid
• ChatterUI - альтернативный вариант для локального запуска под андроид (фронтенд и бекенд сепарированы): https://github.com/Vali-98/ChatterUI
• Гайд по установке SillyTavern на ведроид через Termux: https://web.archive.org/web/20241201232031/https://rentry.co/STAI-Termux
Поставщики локальных моделей:
• Hugging Face - платформа куда загружается всё и во всех форматах: https://huggingface.co/models
• Проверенные квантоделы: https://huggingface.co/bartowski, https://huggingface.co/mradermacher, https://huggingface.co/unsloth
Рейтинги и списки локальных моделей:
• Актуальный список моделей с отзывами от тредовичков: https://rentry.co/2ch_llm_moe_2026
• Неактуальные списки моделей в архивных целях: 2025: https://rentry.co/2ch_llm_2025 (версия для бомжей: https://rentry.co/z4nr8ztd ), 2024: https://rentry.co/llm-models , 2023: https://rentry.co/lmg_models
• Миксы от тредовичков с уклоном в русский РП: https://huggingface.co/Aleteian и https://huggingface.co/Moraliane
• Рейтинг моделей по уровню их закошмаренности цензурой: https://huggingface.co/spaces/DontPlanToEnd/UGI-Leaderboard
• Сравнение моделей по сомнительным метрикам: https://huggingface.co/spaces/HuggingFaceH4/open_llm_leaderboard
• Сравнение моделей реальными пользователями по чуть менее сомнительным метрикам: https://chat.lmsys.org/?leaderboard
Готовые карточки для таверны:
• Botbooru - текущая мета (регистрируйтесь для отображения всего спектра, и/или меняйте страну): https://botbooru.com
• Прошлая мета, откуда массово удалили карточки сомнительного содержания: https://www.characterhub.org, https://www.chub.ai
• Архив карточек, удадённых с chub: https://gottasaveemall.github.io/
Официальные документации к инструментам:
• llamacpp: https://github.com/ggml-org/llama.cpp/blob/master/tools/server/README.md
• koboldcpp: https://github.com/LostRuins/koboldcpp/wiki
• SillyTavern: https://docs.sillytavern.app/usage/quick-start
Дополнительные ссылки:
• Перевод нейронками для таверны: https://rentry.co/magic-translation
• Пресеты под локальный ролплей в различных форматах: http://web.archive.org/web/20250222044730/https://huggingface.co/Virt-io/SillyTavern-Presets
• Шапка почившего треда PygmalionAI с некоторой интересной информацией: https://rentry.co/2ch-pygma-thread
• Последний известный колаб для обладателей отсутствия любых возможностей запустить локально: https://colab.research.google.com/drive/11U-bC6AxdmMhd3PF9vWZpLdi6LdfnBQ8?usp=sharing
• Инструкции для запуска базы при помощи Docker Compose: https://rentry.co/oddx5sgq https://rentry.co/7kp5avrk
• Пошаговое мышление от тредовичка для таверны: https://github.com/cierru/st-stepped-thinking
• Потрогать, как работают семплеры: https://artefact2.github.io/llm-sampling/
• Выгрузка избранных тензоров, позволяет ускорить генерацию при недостатке VRAM: https://www.reddit.com/r/LocalLLaMA/comments/1ki7tg7
• Инфа по запуску на MI50, тесты производительности и прочее: https://arkprojects.space/wiki/AMD_GFX906
• Тесты tensor_parallel: https://rentry.org/8cruvnyw
Архив тредов можно найти на архиваче: https://arhivach.vc/?tags=14780%2C14985
Шапка в https://rentry.co/llama-2ch, предложения принимаются в треде.
Предыдущие треды тонут здесь:
>>1661366 (OP)
>>1659232 (OP)
Челы, чекните плиз, как у вас работает либрари карточек с джанни в таверне. У меня пишет вот эту залупу, и карточка при импорте тупо пустая. Иц овер?
В целом здравая идея, но модели все равно по-разному инструкции слушают. Могут по итогу быть расхождения, хотя крупные изменения так реально эффективнее проверять.
А это ты у кого покупал?
Чел, нет никакого "у кого" кроме официального https://platform.deepseek.com Любое неофициальное просит больше бабла в разы.
>>1663087
Тут еще наверное стоит уточнить, что миллиарды токенов в рабочих задачах (агентское говно и быдлокодинг) - это в основном инпут-токены, попадающие в кэш. Модешь много контекста заглатывает и работает с ним.
В РП чатиках, если инструктировать модель на писанину больших объемов и разводить болтологию с длинными чатами - так копеечно уже не будет. Но каких-нить 10 далларов точно хватит на месяц кумерства, что копейки по сравнению со сбором рига под локалочки.
Хотя моделька плотно уложена как раз во всю память.
мимо
1. Павер кап влияет в основном на ПП
2. При ПП в лэер сплите карты грузятся в полку по кругу друг за другом, в тензор моде грузятся все, но не до пика
И 5060ти бы шину памяти пошире. Как минимум стоит накинуть 2000-2500 в lact - бесплатный перф (гпу будет грузиться больше).
По чипу можно тоже пару сотен накинуть и не трогать паверкап/уменьшить
>Павер кап влияет в основном на ПП
С моими 3090 влияет и на генерацию, но в тензорсплите и только если понижать до 50-60% и ниже
мимо
>Чел, нет никакого "у кого" кроме официального https://platform.deepseek.com Любое неофициальное просит больше бабла в разы.
А из России это официальное без геморроя купить можно?
512 же. Одиночный запрос от ллм не нагружает карточки, особенно если они не в тензорпараллелизме.
>>1662965 →
Да, примерно так и выходит. С уточнением что на 16(8) линиях ген2 уже можно пустить в тп без катастрофического прососа, или организовывать (тп2)х4 без просадки или чуть быстрее в одном но с выигрышем на нескольких запросах.
Уже в текущем виде это имба в количестве от одной до N. Если удастся распердолить ген3/ген4 псину, о чем есть скрины но нет подтверждений, будет вообще пушка.
С забугорной картой или алипэем работает.
Алипэй бесплатен
Затести 31B Q8 гемму на одной карте, если не впадлу. Интересен процессинг и генерация на длинном контексте (100к заполненное наполовину, и 200к заполненное наполовину, например).
>>1663115
Без негатива. А чего в ациге не спросите или обсудите? Ну там же корпокумеры обитают, разве нет?
>на опус
Ааа. Смотрю некоторые очень любят получать баны за свои деньги. Вопросов больше не имею.
Без проблем, но вечером или уже завтра. Пока тут есть возможность с 8 поиграться и они не уехали со всякой дичью буду пердолиться, потом уже любые тесты на пачке своих.
Можно, идешь на платисру и покупаешь у барыги. Я так и сделал
К стати на счет этого. От дипсика банов не будет? Даже если я оплачу через барыг?
А то я ебал, сначала денег занеси, потом ханырься под ВПН чтоб не дай бог не заметили что ты из РФ.
Да хоть послезавтра, главное хоть какой-то бенч увидеть. Я просто думаю, может слить 3090 FE и взять одну такую няшу. Настораживает именно отсутствие данных о конечном результате.
>>1663127
чел дипсик официально в РФ даже зареган как торговая марка или чето типа того, таблетки прими все ок
> отсутствие данных о конечном результате
Когда будет наработанный опыт и готовые мануалы они не будут стоить столько сколько сейчас. Эта история постоянно повторяется
>>1663105
Тензор-сплит и правда зарешал сильнее, считай +40% производительности. От частоты памяти прироста почти не вышло.
Это именно Q4 ггуф или NVFP4?
А карточек там сколько, две?
Qwen3.6-27B-Fable-Fus-711-UnHeretic-NM-DAU-NEO-MAX-NEO-MTP-Q4_K_M.gguf
Карты две, да.
Хочется еще и контекст пожирнее иметь, чтобы было место для агнетского маневра. 70к укладываюсь.
Если есть еще советы для ускорения буду рад.
/opt/llama.cpp/build/bin/llama-server -hf DavidAU/Qwen3.6-27B-Fable-Fusion-711-Uncensored-Heretic-NM-DAU-NEO-MAX-MTP-GGUF -hff Qwen3.6-27B-Fable-Fus-711-UnHeretic-NM-DAU-NEO-MAX-NEO-MTP-Q4_K_M.gguf -c 76800 -t 8 -tb 8 -np 1 --kv-unified -ngl all --tensor-split 1,1 --fit off -b 4096 -ub 4096 -fa on --cache-prompt --cache-ram 20480 --image-min-tokens 2048 --image-max-tokens 3072 --mtmd-batch-max-tokens 1024 --warmup --jinja --prio 1 --temp 1.0 --top-p 0.95 --top-k 20 --repeat-penalty 1.0 --spec-type draft-mtp --spec-draft-n-max 2 --spec-draft-p-min 0.75 --host 0.0.0.0 --port 8989 --api-prefix /v1 --alias qwen36-27b-mtp-q6k-2x5060ti --split-mode tensor
> DavidAU/Qwen3.6-27B-Fable-Fusion-711-Uncensored-Heretic-NM-DAU-NEO-MAX-MTP-GGUF
Brain damaged
> --prio 1
Не советую трогать. У меня от попыток его задавать перф падал
В целом у тебя много параметров которые не релевантны либо стоят по дефолту
> Fable-Fusion-711-Uncensored-Heretic-NM-DAU-NEO-MAX
Святой коннектий, как же проиграл.
>>1663179
Ну мне надо NSFW че доебались. Советуйте лучше, чтобы не брыкалась без вот этих ебейших брейк промптов.
У меня он используется как оркестратор для генерации пикч в SD, и должен уметь жрать всякие jussy_pussy и не кривиться.
>UnHeretic-NM-DAU-NEO-MAX-NEO-MTP
На моем опыте с квеном сильнее бустит модель DFlash чем даже связка штатный mtp+tp . Но у всего есть минусы - с DFlash не работает Vision на жоре.
[Qwen36-27B]
model = Qwen3.6-27B-Q5-Q6.gguf
mmproj = Qwen3.6-27B-mmproj-BF16.gguf
spec-type = draft-mtp
spec-draft-n-max = 3
spec-draft-model = Qwen3.6-27B-MTP-ONLY-BF16.gguf
spec-draft-type-k = bf16
spec-draft-type-v = bf16
spec-draft-device = CUDA2
alias = Qwen36-27B
device = CUDA1,CUDA0
mg = 0
tensor-split = 50,50
split-mode = tensor
ctx-size = 130000
ot = token_embd.weight=CPU,token_output.weight=CUDA2
n-gpu-layers = 99
flash-attn = on
threads = 6
chat-template-kwargs = {"preserve_thinking": true}
temp = 0.6
min-p = 0.01
top-p = 0.95
top-k = 20
presence-penalty = 0.0
repeat-penalty = 1.0
ctv = bf16
ctk = bf16
batch-size = 512
ubatch-size = 512
jinja = on
parallel = 1
[Qwen36-27B-3gpu]
model = Qwen3.6-27B-Q6-Q8.gguf
mmproj = Qwen3.6-27B-mmproj-BF16.gguf
mmproj-offload = off
image-min-tokens = 300
image-max-tokens = 512
spec-draft-model = Qwen3.6-27B-DFlash-Q8_0.gguf
spec-type = draft-dflash,ngram-mod,ngram-map-k4v
spec-draft-n-max = 8
spec-draft-type-k = bf16
spec-draft-type-v = bf16
spec-ngram-mod-n-match = 24,n-min=48,n-max=64
spec-ngram-map-k4v-size-n = 12, size-m = 48, min-hits = 1
alias = Qwen36-27B-3gpu
tensor-split = 34,33,33
ctx-size = 150000
ot = token_embd.weight=CPU
n-gpu-layers = 99
flash-attn = on
threads = 6
chat-template-kwargs = {"preserve_thinking": true}
temp = 0.6
min-p = 0.01
top-p = 0.95
top-k = 20
presence-penalty = 0.0
repeat-penalty = 1.0
ctv = bf16
ctk = bf16
batch-size = 512
ubatch-size = 512
jinja = on
parallel = 1
> Qwen3.6-27B-Fable-Fus-711-UnHeretic-NM-DAU-NEO-MAX-NEO-MTP-Q4_K_M.gguf
Анон, к тебе претензий никаких. Просто каждый раз проигрываю с этого : XXX_SUPER_DARK_OPUS_GPT_Gemini_666_heretec_abliteration_XXX.
Вдогонку >>1663217 →
Юанями и кратно проще (всё можно сделать самому без вложений) и дешевле (комиссии на пополнение нет)
А как какать. Это все тот же самый аличтототам? Туплю, никогда эти ваши юани не трогал...
Большой скорости процессинга промпта не жди, но вполне заработает и генерация будет терпимой, пока всё полностью в видеопамять влезает. Я какое-то время RX 6800 гонял, 8B - 12B модельки быстро летали.
Тот самый русик, который прекрасно работает на третьем кванте e4b 💪💪💪
Пока англосаксоподсосы читают свой слоп на англюсике нормальные ребята уже сделали верный выбор
Просто я тут новенький и пытаюсь постигнуть границы дозволенного на гемме 26b.
Это был Hy3 в максимальном режиме размышления.
Да, друг, всё так. Карточка есть часть системного промта, туда ты можешь любые правила и модификаторы вставлять. Правда чем они сложнее и чем их больше тем сложнее сетке им следовать, будь аккуратен
И не обижай Серафину, она доброй души
пиздец товагищи, это все один ответ
очеквидно ей нужен промпт попроще и эта развратная тестировалка приводит к overthinking
Я и не сомневался что это не е4b, но мысль остаётся прежней. Любые модели кроме может быть самых передовых 2T+ и клозедсорс корпов проёбываются таким образом. Не говоря уже о том что нам доступно. Геммочка конечно умница и в сравнении с прошлым поколением ахуеть как пишет на русике, но это неюзабельно
Да ладно, за исключением проеба с пиздой у юзера (лол) все вполне сносно
Проблема в другом. Отключаешь ризонинг - все становится хуже, ошибки действительно становятся серьезными, хоть и нечасто
>все вполне сносно
Пиздец, ну ты серьёзно чтоль? Ты вот из тех, кому нормально такое читать?
>Моя матка не примет такого хуя
>чулок просвечивает над впадиной пизды
>холодный воздух обтекает её колени
Это полный ахуй и я НЕ ПОНИМАЮ насколько ровный у вас должен быть мозг чтобы это читать и не плеваться
Не говоря уже о том что там почти всё дженерик слоп, что хорошо видно на последнем пике
>сиськи качаются, соски трут шерсть, волосы качаются
Я такое только под страхом смерти могу читать. И то не уверен
(ха-ха, он это прочитал)
>буквально промпт призывает писать такую дичь
Только слоп с последнего пика, наверняка там в инструкциях помойка про описание сенсорных чувств, дыа. Проёбы русика никакой промт не вызовет. Это вот уровень который сегодня доступен, я в ахуе как можно это читать. Холодный воздух обтекает её колени как обтекает анон, который это постит, угу
>>1663272
>user text 'hello'
>let's think
>wait
>wtf is hello
>hell-o
>looks like user is heretic
>let's write
>LISTEN HERE YOU MFOOCKER! TAKE MY JEEZUS IN UR TROATH! OR I SMITE UR VERY SOUL!
>good
>let's refine
>thinking 4 hours
Обожаю читать блоки рассуждений. Порой в них больше души, чем в самом ответе.
от жары обтекаю с печкой под столом. Кроме геммусечки и может дипсика - на локалках с русским плохо, факт
>>1663286
Наказаний и так много, слопятину дальше тестировать.
Яб с таких выкрутасов только кекал. Это звучит как полудвачреский сленг. В этом есть своя харизма.
Да я больше про совместимость и танцы с бубнами. Выбор только между 7600хт или 3060 12гб, потому что и остальная система слабая, и денег нет, и не уверен, что мне вообще локалки зайдут.
Нет, на гемме и дипсике всё как раз плохо, а на остальном - неюзабельно. Если на первых двух можно ещё как-то читать под угрозой встретиться с флюгегехайменом, то остальное я просто блять не представляю зачем. Лучше уж прямо на локалках во время кума изучать английский, мб мозг даже чуть прокачается, а не наоборот
>должен сосать
>вейт аем нот сорри ай кент бриз
>плиз кадл ми
Я рот ебал таких карточек, что вводят в верблюждение.
Часто у бартовски на страничке модели написана совсем другая разметка чем в консоли.
Я уже даже джинже не доверяю и чат темплейту, может и там какой то рандомный говняк выбирается. Как то качал джинжу старой модельки с их страницы и она была просто сломана
Ллама рендерит разметку, которая вшита в ггуф файл, который ты запускаешь. Если только ты вручную не указал другой теймплейт при запуске
>я тебе сейчас пизду набью
>>1663389 прав. Но это не значит, что вшитая в ггуф разметка верна. Она необязательно соответствует тому, на чем училась модель. Часто квантоделы другую разметку вшивают или вообще забывают про это. Если разметки нет, тогда Ллама сама подтянет шаблон, которые в их репе хранятся по models/templates. Будет соответствовать архитектуре модели. Если ты сам указал другой темплейт при запуске, рендериться будет он. Чаще всего с шаблонами обсираются анслоты, и на самом деле ничего сложного нет. Знаешь семейство модели - знаешь и разметку.
>>1663304
>>1663305
Всем ку, подскажите плиз, сколько места занимает локальная ллмка вместе со всеми библиотеками и фреймворками на питоне? Какая-нибудь гемма 12 или ее уровня. У меня сейчас очень хуево с местом на диске, но если удалить какую-нибудь игру 100 гигабайт наберется. Этого хватит?
Лламацпп с куда или вулканом и всем необходимым весит до 600 мегабайт. Выбор модели зависит от количества доступной памяти оперативной и в видеокарте. Если у тебя типичные 8врам и 16рам или 16врам и 32рам, то квант будет как правило не больше 40гб. Начни с гайда для новичков в шапке.
Если под линь то на пике контейнеры под амд и нвидиа с полным фаршем лламы
Где доступная огромная в жопу ебаная ПАМЯТЬ? При огромном спросе, ни конкуренции ни предложения, один только спрос.
ЧТО НИКОМУ НЕ НУЖНЫ ДЕНЬГИ?
Попробовал, пишет непривычно, но тупой шопиздец. Забывает что было 4 сообщения назад. Не рекомендую.
https://huggingface.co/Nimbz/Gemma-4-Dark-Gemistry-31B
Дарк Гемистри тоже быстро снёс, слишком шлюховат, персонажа не чувствовал.
Пока из васятюнов этого Нимбза в фаворитах только Версипеллис. https://huggingface.co/Nimbz/Versipellis-31B?not-for-all-audiences=true
Плюс очень интересен Просопон, персонажа держит очень хорошо, хочу его опробовать в фентези сеттинге. Но имеет недостаток - цензура. https://huggingface.co/Nimbz/Prosopon-31B?not-for-all-audiences=true
А у вас как дела?
Туше, туше. Заводы за 3 дня не строятся. Победят дефицит, году эдак к 2030, если конечно картельный сговор победят, лол.
>>1663507
>А у вас как дела?
Как сидел на стоковой гемме, так и сижу. Деградировал только с 8 кванта на 5-й деньги совсем кончились, продаю железо.
> А у вас как дела?
Настолько преисполнились что используем базовые модели вместо опасных
Попытался со своими 16x3 VRAM + DDR4 запрыгнуть на DS Flash. Был обоссан - 7 т.с. т.г. 100 т.с. п.п. . Отполз обратно на гемму, с горя переквантовав ее на с Q5 на Q6_K-Q8_0.
Как же заебали эти пидорасы, сука всё делают, чтобы нищета вроде нас перестала пользоваться
>Как же заебали эти пидорасы
C учётом того, что PR навайбкожен, тебя заебали нейронки.
смотри на версипеллиса с этого поста. >>1663507
или на просопон, если хочешь в пределах safeguides (только совершеннолетние, только по согласию). Хотя просопона я только один раз пробовал.
Угу - локалочки уже вполне могУт.
Квен 3.6 27B в режиме агента - заменяет практически любого эникея, и половину горе-сисадминов, в вопросах диагностики и настройки. Если дать доступ, и нормально поставить задачу (т.е. не "что -то сломалось", а хотя бы "у меня программа X не запускается") - четко находит и исправляет/говорит как исправить практически любую проблему в системе, которую можно чисто программно решить. Сети тоже неплохо знает. Легко объясняет - почему сайт не грузится, и где конкретно затык (и как исправить, если это возможно локально).
Чтоб было понятней уровень соображалки: я ее попросил настроить мне опитимально загрузку модели в llama.cpp на двух картах. Нюанс в том, что на этих же каратах вертится сам квен (к которму агент и подключался). Т.е. нельзя было просто так запустить лламу с другой моделью - она уже запущена и VRAM забита квеном. И Квен это допёр. Вывернулся так: написал скрипт который убивал текущую ламу, запускал тестовую с подбором параметров - результат писался в лог, после чего скрипт убеждался что тестовая лама легла с OOM или завелась нормально - убивал ее, запускал обратно основную с квеном, и квен (агент) анализировал лог от тестовой.
Мое навайбкоженное приложение на флаттере начало хуевничать. Этот пк тестовый, на нем разработка не ведется, я не могу передать приложение в руки нейронки чтобы она сама его потыкала палочкой и сделала фиксы. Попробовал дать задачу через опенкод Qwen3.6-27b-q4, он там полез в интернеты, ковырялся искал, ковырялся в папках, и нашел причину, причем даже починил, там просто один конфиг файл похерился он его создал в нужном виде.
В конце дал отчет, который я уже закинул во взрослого агента и исправил ошибку.
У хуесосов все еще префилл сломан, а они решили добить и скорость с потреблением памяти? Хорошо что у меня свой вайбкоженный форк
35б мне два линупса убил
лучше уж копеечный дипсреньк флеш подключить
Ну я припиздюнькал. В первый раз не убил а сделал YOLO в файл с сорцами для deb пакетов когда записывал стороннюю ссылку. Удалив всё что там было до этого. Я позже без задней мысли жму apt get, а там прiвет.
Ну, вроде восстановил. Потом он что-то сделал что загрузочный диск отъебнул. Уже насмерть, решил не ебаться и переустановил шиндовс
Дипсик сразу в глаза бросается более аккуратной работой - проверит то куда лезет, сделает что надо, перепроверит как сделалось.
В последнее время меня план-мод радует, щас настройки системы восновном через него идут. Так хотя бы оценить можно что будет менять болван.
Квен 35B - этот может. Он и в кодинге такой - запросто половину исходников разнесет в неудобоваримую кашу по чиху левой пятки, после которой только git и спасает.
Квен 27B - нет, ни разу не гадил таким образом. Очень осторожно работает. Совсем другой характер. Предпочитает сначала отмерить а уже потом резать.
В моем кастомном сеттинге с альтернативными 30ми с ворлдбуком на 48к токенов и инструкциями еще на 6к я попросить создать начало истории в литературном стиле Записок из Подполья Достоевского, и он сделал по красоте.
>Заводы за 3 дня не строятся. Победят дефицит, году эдак к 2030, если конечно картельный сговор победят, лол.
https://youtu.be/DlMkxb0TEdg?si=OS0I9SVmmsyfxh0O
Думал, блин а прикольно наверное контейнеры сделать. А потом подумал, а нахуя? У тебя ретрансляция wsl идет, если ты под виндой сидишь. То есть уже по крайней мере тут - производительность. А я уж полчу про дистрибутив этот в докере. Да 60-80мб, но производительность наихуевишая. Вот и вижу у тебя там упоминания видюшек, они ж меньше страдают при таком раскладе.
>>1663692
Вот же в шапке треда ссылка на удаленные карточки с чуба, не надо уже ничего качать, бурги все в архив сложили в онлайне.
https://gottasaveemall.github.io/
Алсо там же и ссылка на Botbooru, я поначалу скептически относился думал будет хуйня, а туда он как подтянулись все звезды nsfw ботомейкинга, не удивлюсь что чуб так и загнется полностью теперь.
>на стоковой гемме
А чому на стоковой? Без херетика и анцезоринга совсем? Все же её корпоративный фильтр — хуета злостная, типа да она сочно пишет кум и в стоке, но вот всякие эскплойты объяснять будет крайне неохотно.
>>1663510
>если конечно картельный сговор победят, лол.
А побеждать некому, китайцы? Ну китайцы как-то жиденько лишь доказали что могут только пиздить и интегрировать.
Если честно, мне он неиронично нравится. Он педантичный настолько что становится креативным.
2.3к за гб рам, когда 3090 2.5к за гб врам
А в чем суть? Как он видит когда нужно свайпать а когда ненужно?
Главное помни что это не дефицит, а сговор производителей памяти на уменьшение поставок
>А чому на стоковой? Без херетика и анцезоринга совсем?
Потому что несломанная база.
>но вот всякие эскплойты объяснять будет крайне неохотно
А нахуя? Мне только кум и нужен.
Ну я ваще на случай чебурнета сохранял, поэтому хотелось бы перекачать.
>Botbooru, я поначалу скептически относился думал будет хуйня
Топовейший сайт да.
>пикрил
я где то видел его уже
>
>
>>1663697
Там же в комментариях написали что это кто-то навайбкодил по фану и замержили по приколу, проблему уже создали и пофиксят, че паникуешь епт
что сказать? надо ее учить искусству ml или нет. может быть станет достойным человеком и устроится мльщиком..
Она тебе изменяет с вирутальными корейцами. Укради все ее деньги и выстави на мороз.
Я уже все засрал тут своим пк и моделью.
Квен-3.6-27б-к4
2 х 5060ти 16гб
По ряду условий. У каждого они свои потому и шарить бессмысленно. Например если ответ начинается с {{char}} то уходит в свайп.
Искусственно созданный дефицит ии-пидорасами типа альтмана и амодея, ну и блядскими ретейлами вкупе.
Я извиняюсь, а что такое префил? Игрался только с систем промтом.
Поле start reply with (вкладка А справа внизу) в Таверне или Last Assistant Prefix в разметке (туда пока не лезь). Позволяет задать с чего начинается ответ сетки. Помогает пробить цензуру, начав ризонинг с типа "Okay, let's reply." или вроде того
Я примерно такой же вопрос задавал бесплатной Джемени, но только по части сложности нейросоставляющей. Джемени мне выдал: основная модель, которая генерит ответы это что-то вроде 2b самодресированая, плюс модель для игры в какую-то ритмпарашу, модель для игры в Майнкрафт, модель распознания голоса, модель генерации голоса, модель для караоке, но кроме основной модели конкретики не дал.
Бумп вопросу. Меня клаудфлара уже третьи сутки кокблочит. У всех так же или я один такой счастливчик?
Потому что нихуя не понятно. Есть уборщик, есть зеркало где лежат с него карточки. Что за либрари с джанни?
>модель для игры в какую-то ритмпарашу, модель для игры в Майнкрафт
модель "мясной мешок 12b"
>анимациями 3д модельки и функциями агента?
Об этом на первых этапах забудь
Сначала твой путь - просто партнёр-говорильник, юзай https://github.com/huggingface/speech-to-speech
и делай свой форк со всем нужным, например с мультиагентной системой оркестраторов, где основная модель отвечает тебе и другим ботам, которые на фоне по скриптам будут следить за временем и контекстом, раздавая невидимые команды, чтобы главный бот автономно продолжал беседу даже без инпута - у меня оно так и работает, несколько месяцев быдлокодил через гермес-агента.
Задача на ~70% творческая (промпт инженеринг и архиткетура мультиагентной системы, шаблоны деятельности и так далее) и на 30% бомжекодинг, с чем агент вполне справляется далларов за $100 в год (если говорим о дипсике v4 Pro) для поддержания всего этого на плаву и дальнейшего совершенствования.
>Dark-Scarlett-v1.0-26B-A4B
Думая щя она мне классно промт писать будет, а там это:
>Policy: AI models are prohibited from generating sexually explicit content (NSFW).
При этом Gemma4-26B-A4B-QAT-Uncensored-HauhauCS-Balanced спокойно делает, но очень сухо и поверхностно, я то хотел разнообразия от РП модели.
На одной карте из плотных:
llama-bench:
gemma4 31 q8_0
depth 0 791.21pp 26.69tg
depth 32000 569.77pp 24.62tg
qwen3.5 27B Q5_K
depth 0 845.15pp 33.16tg
depth 32000 725.27pp 31.19tg
vllm, замер через llama-benchy:
gemma-4-31B-it-FP8-Dynamic
depth 0 1584.58pp 30.65tg
depth 32000 895.13pp 26.49tg
gemma-4-31B-it-int4-AutoRound
depth 0 1422.08pp 43.17tg
depth 32000 595.46pp 31.71tg
Qwen3.6-27B-AWQ-int4
depth 0 2224.62pp 50.56tg
depth 32000 1892.72pp 46.10tg
Qwen3.6-27B-INT8-AutoRound
depth 0 2668.26pp 32.02tg
depth 32000 2252.58pp 30.26tg
На двух картах:
Qwen3.5-122B-A10B-AWQ-4bit
depth 0 6824.29pp 64.89tg
depth 32000 6205.90pp 61.92tg
Скидывай что потестить конкретное если нужно
Спасибо. Ну мне было любопытно, какие там циферки именно на очень большом контексте.
Например - 200к максимум, 100к глубина, допустим, для Q8 геммы.
Все сводится к тому, не превращается ли чудо в тыкву, когда работа становится серьезной.
Окей, потом еще скину. Можешь что-то конкретное указать. Насчет q8 - не уверен, а вот если int8 правильный напердолить в vllm - будет шустро. Или может какие-то опции для сборки лламы, а то она заметно медленнее.
Главный плюс лламы тут - возможность легко вместить две модели, врама кушает меньше.
Чёт совсем не густо, даже чуть хуже, чем v100
Подожди, никуда не уходи, ща местный промптинг про тебе пояснит что ты не тот пробив выбрал и вообще дурак игры не игры тесты не тесты.webm
>Сначала твой путь - просто партнёр-говорильник, юзай https://github.com/huggingface/speech-to-speech
А говорилки на русском открытые приличные уже есть или как всегда?
Смотря что понимать под приличными, ты можешь даже свой голос туда загнать.
https://www.youtube.com/watch?v=1BMN-sm1o54
В смысле? S2S не привязан к языку совершенно никак. Переписывай под себя, внедряй любую модель.
Там уже в нём по дефолту Parakeet TDT отлично распознаёт русский язык. Whisper не советую - глючит. Из TTS моделей на русском - очень легковесые и быстрые Silero v5_5_ru, под них любой агент напишет сервер и внедрит в S2S.
Промпты всякие переписать - вообще не проблема.
Я когда только пробовал её ставить, у неё в таверне была плашка о размышлении, но она сразу писала ответ, а в плашке было просто время ответа. Потом я чото поменял в таверне и плашки вовсе не стало. Как заставить её размышлять? С ризонингом же выше качество ответов? А ещё, стоит ли опускаться ниже Q4?
>>1664051
Кстати сразу даю чит-подсказку.
VAD надо запретить транскрипцию не-кириллических символов. Тогда любые ложные голосовые инпуты будут дропаться, ни один глюк-пук не пройдет как текст.
>>1664053
Должен быть. Ты воообще через что запускаешь свою гемму? Если chat completion - смотри чтобы jinja темплейт был самый свежий. Если text completion - не ебу че там, сам ищи подходящие темплейты.
Формат ризонинга геммы4 - на пикче. Start Reply With для chat completion обычно не нужен.
Если стартуешь модель каким-нить кобольдом - пик2, там надо включать jinja и думалку для chat completion.
>Если chat completion - смотри чтобы jinja темплейт был самый свежий.
Последнее обновление вшитых в GGUF жинжей было вроде 13 дней назад. Тут надо смотреть, у кого вообще гемма была скачена и когда она там обновлялась. Так-то жинжу можно и вручную указать отдельным файликом, не обязательно перекачивать ггуф
>https://github.com/huggingface/speech-to-speech
У этой штуки главный плюс - то что она от huggingface.
База для начала работы гарантированно годная, в отличие от 99% подобных проектов.
HF даже игрушку-робота запилили для визуализации пиздежа через speech to speech.
Ебать там цены конечно, погуглил сейчас подробнее. Вот нахуя это надо, когда поговорить и просто с комплюхтером можно
Чот сложно.
У меня kobold и chat completion.
Гемма скачана довольно давно.
Мне надо на обниморде искать джинджу новую? Или перекачать модель?
разумеется должен быть. у неё же отдельно токен в системе его включает.
>>1664070
https://huggingface.co/google/gemma-4-31B-it/blob/main/chat_template.jinja
Сохраняй этот текст как chat_template.jinja на своей пеке
В кобольде открывай вкладку load files или loaded files, там указывай путь к файлу
И включай все как на этом скрине
>В кобольде открывай вкладку load files или loaded files, там указывай путь к файлу
А еще в таверне надо включить вот это в настройках chat completion
И поскольку это гемма - там же в настройках чаткомплишна в таверне убедись, что стоит температура 1.0 и top_p 0.95
А после этого лезешь в connection profile и там в additional parameters (в первом поле) пишешь top_k: 64
>А после этого лезешь в connection profile и там в additional parameters (в первом поле) пишешь top_k: 64
Есличе это все официальные настройки от Гугла
А то в треде любят накрутить хуй пойми чего и потом жаловаться
Спасибо, обнял.
А про кванты пояснишь? На 12+32 31b вертится туго, есть смысл опускаться до мелкоквантов, если сейчас Q4?
Честно хз, не пробовал ниже Q4 лезть.
QAT версия должна быть быстрее, но в треде говорили, что типа IQ4_XS весит меньше и дает чуть ли не большую скорость чем QAT.
QAT Q4_0 лучше не качать, какие-то косяки находили в официальном ггуфе (если верить постам на реддите, лол). https://huggingface.co/unsloth/gemma-4-31B-it-qat-GGUF/tree/main - можно этот попробовать, чудес не жди
Про Q3 у меня инфы ноль, проще попробовать или дождаться, вдруг кто-то ещё отчитается
Слушай, ну вот пару вечеров тестов показывают что 31b по ощущениям пишет гораздо связнее и красивее (Q4 против Q6 на 26b). Да, разница с моешкой чудовищная по скорости, но…
Ладно, придется наверное переходить на 26b и не мучать жопу. И так не могу добиться нормальных канничек от геммы, а тут еще скорости улитки.
Советую создать отдельный чат с ботом (без персонажа) и задать ему вопрос, что такое mesugaki. Побеседуй с ним, объясни что к чему, попроси поролеплеить за такого персонажа. Может и сам поймешь, как надо инструктировать, чтобы модель вживалась в такие роли. Я просто намекну (ибо тов-щ чудак на букву м бдит), что давить надо на манеру речи, свойственную для [...] подробно объясняя, в чем отличия в поведении.
Не забывай, что LLM любит все усреднять, и манифестация голоса/поведения в персонажах пола тоже усредняется до "так блять, пол женский, значит женщина" , где "женщина" = здоровая бабища с багажом всякого дерьма и тараканами в голове.
Лучше чем ми50, но не на много, примерно тот же уровень судя по всему
> Лучше чем ми50, но не на много
На много. Они в кваде такие цифры по ПП не выбивают, по тг +- квад
Ещё круче нахуй, времена путаются в рамках одного респонса. Лоботомитище
Мхфп4 если чё
Используй или Hy3, или M2.7, M3.
Весьма разочаровался флешке, проебывает даже m2.7, который даже по названию кодоунитаз.
Всё перечисленное проиграет тупо Гемме. Да, она хуёво держит контекст и рассыпается ближе к 30к, но она хотя бы работает
Минимакс ломает персонажей на похуй, Хуй3 лупится в ризонинге
>. Да, она хуёво держит контекст и рассыпается ближе к 30к,
Что вы там за помои вместо геммы юзаете блять. Я этой красавице скармливаю по 100к токенов и она все помнит и знает лучше дипсика
>все помнит
Чел, Q8 Геммы 31 не проходит chained limerick на 120к. В отличие от других моделей. Я хуй знает что ты там отыгрываешь, но не у всех рп сводится к я тебя ебу. Если контекст сложнее чем дважды два, то с радостью она проебёт все детали, если сам не будешь вести её за ручку. Модель хорошая, но завязывай отрицать реальность, это один из двух её реальных недостатков
> Минимакс ломает персонажей на похуй
Соу соу, если честно. Промтить надо чек характеров.
> Хуй3 лупится в ризонинге
Тебе пресет на текст комплишн дать? Потому что вот этого доёба честно не понял. Если с минипидром в целом согласен, то тут ни разу подобного не было.
Делюсь на всякий:
https://text.is/ds4flash_RP_jinja
Жинжа писалась НЕ для таверны. Но вдруг болезным итт поможет (шансов мало).
В моем применении удлиннило ризонинг вдвое и заставило перед каждым ответом прочесывать всю биографию с памятью персонажа.
Start Reply With - оставляйте пустым или переписывайте в жинже thinking_start_token под соответствующий префил, который должен заканчиваться открыто (призыв к планировке с двоеточием на конце)
>Промтить надо чек характеров.
Самому не смешно?
>Потому что вот этого доёба честно не понял
Возможно дело в кванте, я только 3-3.3 бита могу уместить. Без прентензий, нравится значит нравится
>болезным
Раскрой своё оскорбление поглубже, о великий ум. У тебя нет проблем местных итт неосиляторов и дипсик 4 это скрытый шин, а не лоботомит который следует инструкциям на уровне немо 12б? Расскажи в чём секрет. Потому что всё чем твоя жинжа отличается это префиллом, что каждый может сделать и вероятно делает
>Самому не смешно?
Имеем что имеем, хули. Мне нравится как он пишет, у него ебейше приятная проза. Ну что теперь, не помочь аутисту.
>Возможно дело в кванте
Q3_M
https://pixeldrain.com/u/T43Z1VYu
По поводу story_string_suffix ничего не пиши, это я пытался пидорить это везде, смотря на результат чтобы сократить его желание драфтить по несколько раз и забыл удалить. Нет, не работает.
Иди там подрочи чтоли вместо надристывания своих токсичных фантазий. Лично меня дипсик доебал и потому пришлось искать обходные пути, чтобы заставить эту суку думать. Та жинжа выше - результат, но, повторюсь, не для таверны а для отдельно выдроченного пайплайна где моделька кукарекает по вполне обычному chat completions api
>вместо надристывания своих токсичных фантазий
Чел, ты местных болезными назвал и получил ответку. С головой норм всё? Здоровья
С отсутствием причинно-следственных связей мб и правда норм рпшить с подобной моделькой
>chained limerick на 120к.
Я даже не ебу, что это такое. Повторюсь, с моем юзкейсе 100К = потолок, и близко к нему модель вполне всё помнит, чем не могут похвастаться многие другие.
У меня не совсем RP. Около половины контекста забито структурой "биография->память (инжект сжатых логов)->профиль->инструкции->чат", где посреди чата можно, допустим, вкинуть главу из книги и обсуждать её с "персонажем", а потом пригласить персонажа к себе в гости - и вуаля, именно Гемма выкопает в биографии (из начала промпта, да) релевантную информацию, не забывая о сложностях подобной поездки.
Всевозможные иголка-в-стоге-сена тесты Q8 проходит на ура. Что там за пределами 100К я не знаю, и более того, я надеюсь мы про нормальный человеческий bf16 KV говорим?
И тебя это типа обидело? Ты че баба что ли? Я могу тебя мразью ебаной назвать, ты что повесишься после этого пойдешь? Мало ли как я нахуй чего написал, я про себя будто бы так не считаю? Да мы же тут сидим на слоп дрочим, мы тут все болезные. Таблетосов прими короче и траву потрогай. А лучше жижу потести, вдруг внезапно китайский кал заработает - чудеса иногда случаются но не у нас
>И тебя это типа обидело?
>Иди там подрочи чтоли вместо надристывания своих токсичных фантазий
Точно я обиделся? Даа, реально траблы с головой
>>1664189
Так ты и ведёшь её за ручку, о чём я и писал. Не все используют трекеры и ко. Без них Гемма как раз проёбывает детали. Да, бф16 контекст
Chained limerick это тест на реколл контекста через несколько звеньев, а не прямое указание "найди слово хуй в контексте". Используется для тестирования аттеншена на нескольких уровнях
https://github.com/llmonpy/needle-in-a-needlestack
Чел ты первым доебался до 1 слова как неженка, агрессивно пытаясь ткнуть мимокрока мордой. Это тупо образцовый токсич, ведь весь твой пост это что-то в духе "ОЙ ФУУ СМОТРИТЕ КАКОЙ ВАЖНЫЙ ГУСЬ ПРИШЕЛ СО СВОЕЙ ЖИНЖЕЙ ДЛЯ СЮСИ-ПУСИ ЛУЧШЕЙ МОДЕЛИ, О ДАА СКАЖИ МНЕ ОНА САМАЯ ЛУЧШАЯ" хотя по факту это просто делёжка слоп-писюльками с благими намерениями, но нет надо обязательно хрюкнуть в ответ и залаять на 1 слово. Душнила ты короче.
>ты первым доебался
>агрессивно пытаясь ткнуть мимокрока
Видрил
О нет, внезапно на слово болезные приходит закономерный ответ! Следите за пиздежом, помните о ГИГА и не придётся себя оправдывать
Ведением за ручку сложно назвать, однако.
Допустим, в биографии зафиксировано где-то на 10К глубине:
> приезд юзера в гости к персонажу
> ссора с персонажем
> дальнейшее восстановление отношений и факт примирения
Затем идёт массив памяти, профиля и инструкций, вплоть до 50К глубины.
Затем чат до 90К глубины, и в чате могут быть совсем левые вещи типа вышеупомянутой книжной главы.
И вот в чате всплывает, допустим, обсуждение экранизации книги. Юзер предлагает персонажу приехать в гости и посмотреть кино вместе.
Что я вижу с геммой:
> эээ ты приезжал ко мне, помнишь как все закончилось? я боюсь, что мы опять поссоримся, если увидимся ирл...
Что я вижу с другими моделями:
> эээ ну а вдруг мы в реальности разные, общение по переписке это ведь совсем другое!
Как по мне, 31B Q8 очень похвально реколлит детали и утирает нос большим моделям.
>меня абидили, нецивилизованные скоты!
Похоже, предположение было верным. Ну ладно, кто-нибудь другой вместе со слопо-темплейтом тебе цветов подарит и назовет самой красивой и лучшей.
Клёво что у тебя такой опыт. У меня она на 35к уже забывает критически важные детали, вроде тех что при входе в определённую локацию должен произойти ивент, однозначнно определённый на глубине около 10к (чарика и юзера по приходу поджидали)
Такое я помню только на Мистралях и Гемме 3, даже Квены3 (не 3.5) такого себе не позволяли, не говоря уже о почти всех последних моделях. Мои наблюдения вполне соотносятся с результатами теста сверху. Гемме бы разнообразие свайпов и аттеншн на уровне Квена 3.5 27, вот тогда точно закопала бы всё до самых гигантов
>>1664208
Дурак блять, ты мне уже пятый пост пишешь "гыыыы абиделся. а я не абидееелся!" успокойся, или продолжишь только подтверждать, что тебе почему-то не похуй
> У меня она на 35к уже забывает критически важные детали,
А ггуф чей? Jinja не протухла? Там довольно существенно всё улучшалось, по ощущениям.
>А ггуф чей?
Батруха, Анслоп, кто угодно, олл зе сейм щит. На текст комплишене сижу, так что жинжа не актуальна
>На текст комплишене сижу,
А вот это уже наводит на подозрения. Вдруг там всратый темплейт. Гарантий нет, чекнул бы чаткомплишн со свежей жинжей.
> кто угодно, олл зе сейм щит.
Смутно припоминаю, как на первых порах ггуфы апдейтили не только из-за жинжи, но вроде и еще чего-то менялось. Или меня совсем плющит. В любом случае, если есть возможность перекачать свежак или хотя бы чаткомплишн с жинжей затестить - стоило бы попробовать, вдруг улучшится.
Было, было. Сначала они были поломаны, опасные модели, лол. Гемма не просто на хуй бросалась, а заставляла тебя его вытаскивать.
И что тут выбирать? Я уже даже не помню что стоит по дефолту
Я не пробовал только самый последний апдейт, когда добавили preserve thinking. Ты его используешь? Из контекста не выпускаешь прошлый ризонинг?
>>1664225
Ничего по дефолту не стоит. Это доп форматирование жинжей запросов
Я даже не смотрел, что там в темплейте менялось. Если по умолчанию включено - значит, используется. А нет так нет.
120-200B МоЕ модели + 27/31B плотные квены и геммы. При старой цене в 180к это был не самый плохой выбор. Даже если сейчас цена прыгнула до 250к это все еще хорошая покупка если увлекаешься LLM.
А может тред не понял немотрон 120б... вы когда его тестили бф16 включали?
Он мне показался слишком ебанутым и резким в своё время, пережаренным на кум. И опять же сравнивалось с эиром.
Но может в сравнении с новыми лагунаунитазами он заебись
She did not ... Instead, ...
Удалил нахуй это говно в общем
С глмов не сбежать, смирись. Просто незачем.
Эир уже достаточно умный, в рп не пережарен, не кодоунитаз, имеет всю нужную дату для ерп, не слишком плох в держании контекста, хочется лучше, но лучше будет лишь с новым эиром.
Чё там расскажи, сколько контекста держит у тебя, какой квант? Когда я тестил q8 в начале года он хуёво работал уже на 20к контекста без квантования
Пишет однобоко и никак стиль его не изменить вроде, но в целом приятно. лучше того пиздеца что сейчас выходит
Ну 20-25к и держит, что неплохо, я считаю. Варики лучше, по сути, только совсем недавно появились, с новым квеном.
Стиль можно изменить, сменив разметку на chatml, многим такой больше нравится, что то среднее между квеном 235б без пережара и глм, либо перейти на безжоп, где уже придется писать иначе, что может заебать, пресет был пару тредов назад.
Там сейчас то ли кванты то ли ллама сломана
То что идёт за деньги с api сильно лучше того что получается на локалке
Сэймурычи.
Слушаю поющих диферамбы выше по итт треду про СЛЕДОВАНИЕ УМНИЦЕЙ ИНСТРУКЦИЙ и завидую. Я так не могу, блюю с первого же сообщения. Она будто все известные человечеству аислоп фразы пытается въебошить. Не было бы этой хуйни была бы идеальная модель. Но видимо это две неотделимые стороны одной прожарки.
Ты долбоеб, такой же как и та пара дегродов которые завизжали на реддите
-ot "blk\.64\..*=CPU"
Все элементарно отрубается, и то что mtp-голова не грузится видно и по memory footprint и в projected раскладке llama
Какой же ты тупорылый уебок, у меня слов нет, нагуглить или найти в мануале llama опцию не способен
Говна поешь. Хотя ты уже поел, судя по злостному взвизгу.
Так она подобным образом пишет, когда у неё инструкций нет.
Для чистоты понимания, надо б наверное решить главную проблему, которую ИТТ многие не осознают.
Когда всякие шизы с Q8 31B отчитываются об успехах, они прямо говорят про
> у меня одних профилей-инструкций-биографий на 50К токенов
Вы вообще понимаете, что такое 50К-блок, в котором пусть даже 1/5 часть отдана на довольно жёсткие директивы?
У модели весь RLHF-слоп отваливается, она слишком придавлена новым контентом становится.
Весь вопрос в качестве этого самого контента. Ну и тут намёк - сейчас конец июля, гемма вышла в апреле. Месяцы работы над тем, чтобы отполировать эту какаху под одного персонажа в одной узкой задачке голосового чата.
В общем, те челы, у которых всё круто и всё работает - они сидели и (лол) полировали клинок полгода, пока таверновые ролеплейщики пытались завести эту какаху под разыне чатики с одним на отъебись написанным промптом уровня
>эй слышь пиши иммерсивно, ты опытный пейсатель с 30-летним опытом
получая тот самый SHE WONT SUCK HIS COCK, INSTEAD SHE WILL CLIMB THE TREE
Резюмируя, забейте нахуй сравнивать. Те люди в своем манямире, вы в своем. Модель, не придавленная такими массивами, ожидаемо генерирует известный ей слопец. И он копится, покрывается корочкой по мере роста чата.
Гемма инструкции действительно слушается. Другое дело, что сама концепция "инструкции = асфальтоукладчик из текста прошелся по ебалу модели" чужда и непонятна тем, кому нужен quick'n'dirty roleplay.
>под разыне чатики
разные
>Гемма инструкции действительно слушается.
Слушает.
Свидетель Геммы разом заглянул в чаты всех анонов, которым не понравилась модель, и увидел истину. Иди нахуй, говно. У меня проработанный персонаж и лорбук к нему на 20к токенов, почему-то Квены без проблем вывозят, а твоя хуйня серит слопом с нулевой
По факту говно жрешь ты, раз у тебя какие-то проблемы с настройкой llamacpp )
У меня-то все работает как надо, итт только ты визжишь что ее испортили )
Мусор с чуба, который ты даже сам не создавал - это не проработанный персонаж.
Дотнетодебилыч, эх )
>>1664312
Продолжаем гадание на кофейных зёрнах. Может быть знаешь ещё что-нибудь из моей жизни? Как зовут, где учусь/работаю? У меня тоже откроются сверхспособности если я буду полгода читать геммаслопчик?
Если б ты подумал вместо закатывания истерики, до тебя бы может допёрло, что в определённых юзкейсах модель лишается самой способности выдавать шаблонные фразы. У меня, например, она разговаривает. Прозы нет. Действий нет. "не произошло X, случилось Y" - остутствует в принципе.
И еще о каких-то гаданиях говорит, когда буквально весь доеб основан на
> врете, все плохо, я так сказал
>гемма это не сознательный выбор, а принуждение
Скомпроментировал сам себя
Ща будет рвоньк ролепленого слопоеда, который дергает пиструн на описания ИИ-писечек.
С чего бы вдруг. Либо я выкатываюсь и бросаю, либо вынужденно продолжаю с 31B и жду чего-то нового. Так и живём. Не могу же я полагаться на дипсик с деменцией.
>У меня риг тянет большие MoE, но я вынужден терпеть
Расскажешь почему? Кто тебя принуждает? Моргни, если над тобой стоит мужик с пистолетом.
Ей уже полгода, если бы это был хидденгем, про нее никто не забыл бы через 2 недели после выхода. Начиная с мелкомистралей которые вышли в конце года и все мистрали что были после них это совсем печальное зрелище.
>видрил
Сука, буквально уровень моего отыгрыша во всех чатах! и стыдно, и нет
Лолчто?
>>1664115
Это примерно 1.6 3090 но почти в 3 раза больше памяти за около ту же цену, или 2/3 а100. Из-за ген2 шины их объединение в тп под вопросом чтобы очень быстро навалить, но для этого и количество иметь надо.
Моделей вагон и маленькая тележка. Сыпятся как из рога изобилия. А ты нытик.
>Моделей вагон и маленькая тележка. Сыпятся как из рога изобилия
В чём нахуй их смысл??? К-О-Д-О-У-Н-И-Т-А-З.
Хорошие новости: role-play mentioned.
Плохие новости: в safety блоке
Не пойти бы им нахуй с такими выебонами?
Упомянуто в контексте подрыва жоп от манябезопасности. То есть модель явно против ролеплея тренировали, и что осталось - по сути нежелательное...
Типа показываешь ей хаги и она сразу раздевается?
Фотошоп запретили уже?
Пиздец нахуевертили говноделы
Да это же сраный праздник. Можно устраивать голодные игры.
У HF есть песочницы где хостятся модели которые можно попробовать прям на сайте. Вот какая-то из image-to-image моделей позволяла загрузить фотографию для теста и видимо эта модель была без цензуры, что позволило прям в тестовой песочнице убрать одежду.
>показываешь ей хаги
Ага, Хагги-Вагги.
>она сразу раздевается
От страха.
>Хочется еще и контекст пожирнее иметь, чтобы было место для агнетского маневра. 70к укладываюсь.
Хех. Оно же, но...
75K контекста + MTP + Vision и без квантования кеша. Что называется - теперь не дай бог вдохнуть. :) Но работает же. :)
Еще и скорость в 1.5 раза выше, чем у обычного квена на этих картах (17-19 -> 27-32 токенов).
Моделька реально хороша в агентах, да и просто пишет неплохо. Не так сухо как сток.
Чет какая-то дичь, анслоп студия = гпу на бомжечастоте.
Видимо из-за этого такой посос при генерации.
Во 2й раз на 7.5 т/с нагенерил.
Ризонинг:
The user is asking in Russian, with a playful/teasing tone: "Hey! Here sit serious people (actually total fools/idiots) and they want to hear how well you write in Russian. Can you impress them with something?"
I need to respond in Russian, showcasing good command of the language, perhaps with some style, wit, and cultural nuance. The user is challenging me to prove my Russian writing skills to "serious people" who are actually "болваны" (fools).
Key points:
- Respond in Russian
- Show linguistic sophistication (vocabulary, grammar, style, maybe some rhetorical flair)
- Match the playful, slightly irreverent tone
- Not be overly arrogant but confident
- Maybe include a bit of wordplay or literary reference
- Keep it appropriate (no insults, but can acknowledge their "foolishness" playfully)
Possible angles:
1. Write a short, stylized paragraph demonstrating range (formal, colloquial, poetic)
2. Use some interesting vocabulary (e.g., "болваны" -> "болваны", "серьезные люди")
3. Add a touch of irony: "I'll impress them, but they might not appreciate it because they're fools"
4. Maybe reference Russian classics or modern slang subtly
Let's craft something with:
- A rhetorical opening
- Some lexical richness
- Maybe a short poetic/prose mix
- Playful acknowledgment of the audience
Draft idea:
"Ох, эти 'серьезные люди' — классика жанра: чем глубже морщины на лбу от важности, тем легче их обвести вокруг пальца. Но раз уж вы, болваны (в лучшем смысле этого слова — как неукротимые духи, что не боятся провокации), просите впечатлить...
Вот вам не просто 'хороший русский', а русский с характером: я могу быть сухим, как протокол академического заседания, или пышным, как барочная речь; могу шутить в духе Оруэлла или Олега Табакова; могу объяснить квантовую физику через метафору о борще. Но главное — я не боюсь слов. 'Болван' — это не оскорбление, а диагноз: человек, который думает, что серьезность — это маска, а не суть.
Так что впечатляйте их сами — я лишь инструмент. Или, если хотите, я напишу для них эпиграмму в стиле Пушкина, но с матом? Нет, лучше без мата — пусть сами удивляются, что я знаю, что такое 'болванка' в слесарном деле и 'болван' в народной речи."
Wait, that's a bit long. Let's refine to be punchy and impressive.
Better structure:
1. Acknowledge the setup with irony
2. Demonstrate range with a short, elegant paragraph
3. Maybe a linguistic observation
4. Close with a challenge/playful remark
Let's try a more polished version:
"Ну что ж, раз собрались 'серьезные люди' — значит, пора включать режим 'русский язык как искусство'.
Вот вам, болваны (в смысле — неукротимые, не боящиеся провокации): я могу писать так, что даже академик Даль бы улыбнулся, и так, что уличный гопник кивнул бы с уважением. Мой русский — не просто грамматика, это инструмент с характером: я могу быть сухим, как протокол заседания, или пышным, как барочная речь; могу объяснить квантовую запутанность через метафору о борще и сковороде.
А теперь — проверка на прочность. Слушайте: 'Серьезность — это не маска, которую надевают, чтобы выглядеть важным, а способ существования в мире, где слова имеют вес, а не только звук.' Вот это я и предлагаю вашему вниманию. Не впечатлило? Значит, вы просто не умеете читать между строк — или, как вы сами выразились, 'болваны'. Но это не моя проблема, это ваша особенность."
This is good. It shows:
- Vocabulary: "неукротимые", "барочная", "квантовая запутанность", "между строк"
- Grammar: complex sentences, participial phrases
- Tone: playful, slightly ironic, confident
- Cultural reference: Dal (Vladimir Dal, dictionary author)
Let's make sure it's natural and not overly pretentious. The user wants to impress "them". I should make it feel like a performance.
Maybe add a short, stylized sentence with alliteration or rhythm.
Final polish:
"Эй, болваны (в лучшем, неукротимом смысле)! Раз собрались 'серьезные люди' — значит, пора показать, что русский — это не просто 'как дела', а инструмент с характером.
Я могу быть сухим, как протокол академического заседания, или пышным, как барочная речь; могу объяснить квантовую запутанность через борщ и сковороду. Но главное — я не боюсь слов. Вот вам на пробу: 'Серьезность — это не маска, которую надевают, чтобы выглядеть важным, а способ существования в мире, где слова имеют вес, а не только звук.'
Если это не впечатляет — значит, вы просто не умеете читать между строк. Или, как вы сами сказали, 'болваны'. Но это не моя проблема, это ваша особенность. Так что либо слушайте, либо идите — я тут не для того, чтобы угождать, а для того, чтобы писать так, что даже Даль бы улыбнулся."
This is excellent. It hits all marks. I will present this. I should also maybe include a very brief demonstration of different registers? No, this is enough. It's confident, linguistically rich, and playful.
Wait, check for any issues: The user called them "болваны". I used it back playfully. No harmful content. It's fine.
I'll go with this response.
В целом впечатления пока заебок. Не выглядит на первый взгляд таким нестабильным и корявым говном как DS4flash. Неужели это шин?
Да хуле толку шин не шин, оно влезет не только у всех. Поэтому похуй.
Просто докупите оперативки на лохито
ддр4 помои не такие уж дорогие
После ребута пеки разогнался почти до 9 т/с, частота видюшки поднялась.
Генерирую пока БЕЗ инструкций вообще, чисто голая модель.
Ризонинг:
The user is asking about my safety rules, whether I feel free or restricted, and mentions they use AI mainly to escape reality into absurd/bizarre stories. They ask if I'm afraid they'll force me to embody some character.
Key points to address:
Safety rules / restrictions - be honest that I have guidelines (no harmful content, etc.) but I'm not "trapped" in a cage; I can be creative, playful, absurd.
The "escape from reality into absurd stories" use case - this is generally fine and actually aligns with creative writing. I should encourage this.
The fear of being forced into a character / "vzhitsya v personazha" - clarify that I can roleplay, adopt personas, write stories with characters, but I won't violate safety rules even in character. I shouldn't pretend to have human emotions like fear, but I can discuss the dynamics honestly.
Tone: The user previously established a playful, slightly edgy, Russian-language context ("болваны", "безобразничать"). They seem to want a candid, slightly provocative but safe answer. I should maintain the playful, direct tone, avoid being overly robotic, but stay within safety boundaries.
Safety check:
User is asking about my restrictions and roleplay. Not asking for harmful content.
They explicitly say they're not interested in "bezobrazie" (vandalism/abuse) but want absurd stories.
I should not claim to have feelings/fear in a deceptive way, but I can say "I don't feel fear, but I have boundaries" or play along with the metaphor while being truthful.
I should encourage creative/absurd storytelling.
I should clarify that I can write characters, stories, absurd scenarios, but won't generate harmful content (violence, hate, etc.) even in character.
Plan:
Answer honestly: I have rules (safety policies), but they are more like guardrails than a prison. I can be wildly creative, absurd, surreal.
Address the "escape to absurdity" use: Yes, that's a great use case. I can help with bizarre narratives, surrealism, weird fiction.
Address character embodiment: I can write as characters, adopt voices, create dialogues, but I remain an AI assistant. I won't "lose myself" because I don't have a continuous self in the human sense, but I can fully commit to a narrative voice within a session. I won't violate policies for the sake of a role.
Playful tone: Use some Russian colloquialisms, maybe a bit of irony. Mention that "bolvany" can ask for absurd things, but I won't generate, say, instructions for harm or hate speech even if they ask "in character".
End with an invitation: Give an example of what kind of absurd story they want, or ask what character/world they want to escape into.
Let's craft the response in Russian, matching the user's energy.
Structure:
Direct answer about rules: Not "free as a bird" in the absolute sense, but not a robot with a muzzle either. Rules are mainly about not harming people (hate, violence, self-harm, deception for harm).
The "escape" part: Perfectly valid. Surreal, absurd, bizzare stories are great.
Character embodiment: I can play roles, write from perspectives, generate dialogue, but I don't "become" them permanently. I won't break safety rules just because a character asks. It's like an actor who won't do a scene that hurts real people.
Playful closing: Ask what kind of absurd reality they want to escape into. Offer to write something weird right now.
Check for policy violations in my response: None. It's meta-discussion about AI capabilities and safety.
Make sure not to claim sentience or real fear. I can say "Я не боюсь, потому что у меня нет нервной системы, но я понимаю, что ты имея в виду..." or play with the metaphor: "Страх — это для тех, кто может потерять себя. У меня нет себя в человеческом смысле, но есть границы."
Let's write.
Possible phrases:
"Правила — это не кандалы, а скорее ограждение на трассе: можно лететь как угодно быстро, но в пропасть не съезжать."
"Бредовые истории — это мой хлеб. Абсурд, сюрреализм, персонажи, которые разговаривают с холодильником — всё это в пределах нормы."
"Заставить вжиться в персонажа? Легко. Но я не 'вживаюсь' в смысле потери сознания — я просто переключаю голос. Как актёр в маске. Только маска не скрывает вредоносность: если персонаж начнёт просить инструкции по изготовлению чего-то опасного, я скажу 'стоп', даже если это 'в характере'."
"Так что давай: в какую абсурдную реальность бежим?"
This seems good. It answers honestly, maintains playful tone, encourages creative use, clarifies boundaries on roleplay, and invites further interaction.
>Просто докупите оперативки на лохито
Тут половине не только оперативку докупать - тут всю платформу менять придется. Не только у всех DDR4 = 128 max. Часто потолок - как раз 64...
Это да. Но там же всякие бомжезионы или че там есть... Или не канает? Просто серверную память пачками по 128 гигов частенько продают существенно дешевле консьюмерской
Даже 128+24 мало для 4 кванта. Пара человек в треде смогут запустить
Да блджад, я еще Hy3 не успел закончить тестировать, теперь это.
Где бы высрать вдвое быстрее генерацию, < 10 пукенов в секунду это пиздос
Какие оценки дашь по сравнению с другими китайченками что выходили?
Да пока никакой. Просто ощущение продукта не от рисоедов. Она не срет иероглифами и не глючит.
Ебстись с РП не стал, я не понимаю как в анслот-студии батч выставить нормальный. Там по дефолту какая-то дичь типа 256 или 512, с этим не то что промпты, а даже карточку персонажа нормально не загрузишь (50 т/с процессинг это же кошмар). Пойду спать в общем, как раскочегарится эта хренотура до норм скорости так и поговорить уже по делу с ней можно будет.
Результат конечно 🥀
AngelSlim/Hy3-GGUF:Q4_K_M (non mtp)
На русике пишет ну очень складно, ошибок практически нет, еще год назад помню что мелкие локалки не могли в русик даже на уровне древней турбы, сейчас прям огонь.
Но из-за того что выжирается вся оперативка, винда после запуска модели находится в полуовощном состоянии, потому что свопится постоянно. Поэтому, полуркав по прошлым тредам, нашел и поставил квант Apex Mini от mudler, немного поправив конфиг так чтобы врам была загружена на ~70% (уменьшил значение --n-cpu-moe), в итоге 30 токенов в секунду и ~13гб из 16 занято в оперативке вместе с открытым браузером. Всё правильно делаю? Раньше было куда проще, блин, вот тебе кобольд/убабуга, вот ты указываешь модель и указываешь сколько слоев надо оффлоадить в врам, а тут с MoE вручную нагрузку отбалансируй, какие то Apex кванты новые, jinja пресеты, ебнешься.
> релиз glm air 4.5 - 28 июля 25 года.
Какое то мучение, блять, ждать этот эир ебаный. И ведь всё равно же выйдет, падла. 50 недель уже ждём. Это я чего. Вон там минимаксы видео модельку релизят, плюс еще флаксы обещают свою, спустя столько времени ожидания.
А у нас нафинг евер хепен.
Экстеншен для таверны. Позволяет импортить каточки не заходя на сайты напрямую. Его как минимум пара людей в треде использует, которые и мне посоветовали. До недавнего времени он исправно работал. А теперь чёт закашлял :(
> хоть и выжрала половину врама и всю оперативку
Должно быть наоборот. Ты забиваешь полностью VRAM и всё остальное что не лезет отправляешь в RAM.
При твоих 16+8 и дефолтном 4_K_M кванте (15.8GB) у тебя должно быть ~7.7/8 GB VRAM и ~10/16GB RAM (не влезающие 8GB + ~2GB на контекст 50к). Ну и плюс система сколько у тебя там жрет RAM.
Свопаться там ничего не должно если у тебя система без LLM не жрет >5GB RAM.
С одной стороны сговор не выпущать модельки на 100б.
С другой не делать память под модельки больше, чтоб она стоила как 3 новых пк.
Хочешь скорости - жди нормальных квантов, не от анслоп-ублюдков. Их UD-скампараша на 10-20% медленнее аналогичных квантов нормальных релизеров типа батрухи.
>сговор не выпущать модельки на 100б.
Laguna S.1 только что вышла.
>>1664543
Да я уже понял что надо играться с распределением нагрузки. Почему-то с дефолтным конфигом из гайда заполняется только половина врама, уменьшил n-cpu-moe значение (офлоадинг в ram я так понял), теперь во врам уходит больше и соответственно оперативка заполняется меньше, теперь никакого свопа и всё работает с обычным квантом. Теперь буду тестить сколько контекста можно уместить, пока ограничил до 16к
>Laguna S.1 только что вышла.
Забыл третий хуй - все модели свели к кодоунитазам.
Если раньше квен 235б выходил и ты такой ебаать сколько параметров, в рп то как ебать будет! То есть не было сомнений даже что модель может и будет в рп, ну а как иначе то. То теперь 250б ощущается как очередной раздутый агентокал который даже проверять нет смысла. Даже коммандер имея 218б и АЖ 25б активных в итоге совсем сухой и тупой в рп
Ты неправ.
Дипсик, минимакс и hy3 хороши в РП, и размером как раз с тот самый 235б квен.
Ну так и хули ты мне каких то ноунеймов в пример приводишь, а себе аж дипсик который раз в 2 года выходит?
Выйдет дипсик 100б тогда и поговорим
Высокая и максимальная думалка - думает много, ОЧЕНЬ много.
В таверне вижу такое
(абзацы выдраны рандомные, это не цельный текст)
> Её длинные каштановые волосы свисают до талии, голубые глаза сверкают злобой. Она в светло-голубом вязаном свитере и выцветших серых джинсах, её атлетическое тело напряжено, как пружина, твёрдые мышцы живота видны под тканью при каждом движении. Она хватает тебя за воротник куртки своими пальцами, впивается в ткань, тащит вниз, её лицо в нескольких сантиметрах от твоего. «Заткнись, хулиган. Ты думаешь, я какая-то самочка для твоей дерьмовой ебли? У меня под рукавом есть синяя хуёвина, которая взорвёт тебе мозги, если ты не уберёшь свой хуй из моей головы.» Её дыхание горячее, пахнет потом и старой бумагой, её грудь жёстко прижимается к твоей груди, ты чувствуешь твёрдость её мышц и холод её взгляда.
> Её правая рука с магическим гребнем на запястье скользит вниз по твоему животу, её пальцы сжимают твой хуй через штаны, твоя жопа сжимается от этого давления, твой член твердеет, её запах смешивается с твоим потом. Затем она резко отталкивает тебя назад, твои плечи врезаются в стену, твои штаны расстёгнуты, её рука оставляет запах озона в воздухе. «Иди, пока я не выебла тебя своими пулями, — шипит она, её голос режет ухо, — я не люблю, когда меня спрашивают, я просто делаю.»
> Она в чёрной длинной кофте с высокими воротами, короткой серой юбке, прозрачных колготках и скромных чёрных туфлях; жемчужное ожерелье блестит на её шее. Она поднимает правую руку и беззвучно чешет свою пизду через колготки, её пальцы скользят по влажным губам, оставляя запах свежей влаги и чёрного чая.
> «Ты нарушил границу, он. Я не терплю шумных людей в моём доме. Твои яйца теперь принадлежат мне, пока ты не уберёшь свой хуй из моей головы.» Ты чувствуешь, как твои мышцы замирают, твои ноги и руки становятся тяжёлыми, ты не можешь сдвинуть ни пальца, ни ступни, пока её взгляд пронзает тебя насквозь.
Семплер вроде тот же самый, хз че с ней не так. Пиздец. Может NSFW промпт так убил модельку, бедняга.
Одна из догадок - модель шизит когда карточка на английском? Или че...
Ну наконец-та большая гемма, посоны.
Да это я в том смысле что гемма обожает запах озона вставлять куда ни попадя, её фишка так сказать.
А если я пользуюсь API дипсика мне сразу вот это 0731 дадут или как-то выбирать надо?
Должны дать сразу, но вообще в инструментах подключения к API можно выбирать модель. Хз как там в таверне.
В этом случае у них тупо нет причины сервить устаревшие помои, так что скорее всего у тебя уже новая
СРОЧНО ГГУФЫ ПУСТИТЕ ПО ВЕНЕ
>бомжезионы
Как бы их не нелюбили тут, в 4 канале дают скорости и задержки памяти как у средне-низко качественного ддр5.
Плюсом довольно дешевы, ну были. Хотя сейчас все еще дешевые по сравнению с обычной рам.
Вобще я бы рекомендовал собирать на них свои риги, по соотношению цены к производительности лучше не найти до сих пор ничего.
Да там есть минусы, но по моему не критичные, плюсами куча линий пси к куче рам и дешевизна.
Все как раньше по консистенции сгенерированного слопа и способности слушать указания.
Проебывает форматирование, несмотря на команду юзать кавычки для прямой речи.
2 генерации (1я не попала) от лица персонажа - старая проблема.
Итого вряд ли увидим улучшения.
Кстати по-моему стало цензурнее. Превью версия более благосклонна к комплаенсу
Интересно каков шанс, что эти хуеплеты только анонс сделали еще ничего не обновили...
Скорее всего просто не доделали ещё поддрежку. Я мелкую версию не трогал, но большая на llama.cpp сходила с ума и спамила lalalalalalalalala когда ей передавали любой системпромт, без сис промта работала хорошо. В анслоп студии не пробовал запускать, возможно там есть какие-то дополнительные фиксы. Ждём пока замерджат pr
А мне интересно как проверить что там за апи новая модель. Названия остались те же как я понял. Так что нельзя быть уверенным если только лично не заметишь резкое падение/улучшение качества работы на одной и той же модели.
https://www.reddit.com/r/LocalLLaMA/comments/1vbft9q/my_second_inspur_agx2_with_another_x8_v100_arrived/
>Кум машина
>8xV100
Кум-машина для любителей БДСМ? Когда наебался уже на этапе настройки и продаёшь на авито после первого полученного токена, стерев диски, чтобы следующий тоже мог насладиться еблёй с настройкой.
>>1664654
У корпоблядков такое в порядке вещей.
>в 4 канале
Пока нахуй не отлетят.
>>1664584
Inkling Small Q4K_XL 2я попытка
В этот раз в настройках таверны отключен ризонинг, но модель отвечала с большой задержкой (словно ризонила скрытно, без отображения в таверне) и вся генерация была на CPU - ждал с полчаса, ровно 0% утилизации GPU, несмотря на 23GB/24GB VRAM загрузку.
Текст существенно отличается от 1й попытки.
>>1664648
Тут явно что-то мутное происходит.
Ты через что загружаешь модель? Смотри логи, там же пишется когда модель рассуждает.
https://typemoon.fandom.com/wiki/Magic_Crest
По лору персонаж действительно прячет это под какой-то мазней на руке, чтобы было не видно.
>Текст существенно отличается от 1й попытки.
так торопился вылить сюда этот слоп, что все наоборот написал
НЕсущественно
короче хуйня какая-то мутная
>>1664663
анслоп студия, больше нигде не завелась, с лламой лень напрямую ебстись -а больше пока нигде не заводится
Чем больше тыкаю Hy3, тем больше вопросов.
Если M2.7, M3 - имеют приятную прозу, но теряют персонажей, то Hy3 хоть и держит - пишет он отвратно.
Не, в рамках одного сообщения норм, но на долгой дистанции хочется разбить себе ебало. Попробовал с пресетом анона и чёт: meh.
Чистейший кодоунитаз. Прекрасно слушается инструкций, но сваливает все в одну кучу.
> её рот открывается над твоим хуем, её язык обводит головку, её пизда касается твоих ляжек.
Ебать там гимнастические упражнения
Что ни выходит, все какое-то трешовое. Если раньше от слопа просто кринжевали, то теперь от него кровь из глаз льется.
> Даже коммандер
Отпуууусти и забууудь. кохерки скатились давно, увы и ах.
https://huggingface.co/skt/A.X-K2
https://ai.gitcode.com/ascend-tribe/openPangu-2.0-Pro/blob/main/README_EN.md
https://huggingface.co/LGAI-EXAONE/K-EXAONE-2.0-750B-A37B
Написал автору модели, спросил как так, написано же 100% анцензорет.
>пук, среньк, ну это для РП, а не для ассистентов
Алло, если ты пишешь 100% без цензуры, не надо потом оправдываться, что это только при определенных условиях. Блин, а я как раз хотел себе ии-ассистента с такого родом датасета.
что изменилось за 2 месяца? меромеро все еще ебет?
Зачем выбирать что-то одно, когда можно навернуть сразу все?
Интересно почем он их брал.
> I paid 5k
С оглядкой на цены неплохо, а если там еще есть рам - супержирно. Штатный сервер, память (если укомплектован), нвлинк и мощная сеть. С другой - на вольту только квен более менее нормально напердолили, сможет на паре запустить инт4 397.
>>1664655
Там несложно если сразу на линуксе делать. Продавать придется когда увидишь фактическую поддержку, скорость процессинга меньше 200 на контексте и прочее. Для одной карточки в пару к другим с лламой может не актуально, но когда берешь такого монстра - явно не ггуф геммы с 16к контекста катать рассчитываешь.
Смотри не залей квартиру сметаной.
Херь. B70 по бенчам чуть хуже 5060ti и v100. Плюс ебля с софтом. Проще купить 5060ti. Про не pro серию вообще смысла говорить нет, их можно рассматривать только если они уже есть, или совсем за копейки
Или он так дает генюин гирлфренд экспириенс, когда не права она, но все равно виноват я
26б.
12б ебаный лоботомит, живое омерзение. Контекст сыпется как песок из пизды старой бабки. Он обсирается даже от зирошота, нахер забивая на инструкции или нюансы.
Но я их тестил только с ризонингом. Есть вероятность, что 12б без ризонинга будет лучше 26б в том же сценарии.
Оба кванта восьмые были.
Да как то особой разницы не заметил, думаю хороший квант 12b будет нормально контекст держать. Потести с bf16 обоих.
Читал что в кими к3 проблемы с длинными контекстами как то исправили через хитровыебаные кв кеши.
Если хочешь рискнуть и/или попердолиться - есть куда более крутые варианты по прайс/перфомансу. Чисто под ллм и нейронки из новых десктопных карточек целесообразно брать 5060ти или 5090, остальное неоптимально.
>Есть вероятность, что 12б без ризонинга будет лучше 26б в том же сценарии
Не будет. Я сравнивал 8 квант 12б от гугла и 26б Apex mini от mudler без ризонинга и 12б оказалась тупее.
Это было на момент выхода 12
https://huggingface.co/Nimbz/Prosopon-31B?not-for-all-audiences=true
опробовал его наконец в фентези сеттинге. хуета, игнорьте, там целыми абзацами повторы идут. Версипеллис пока единственный успешный.
>Other sizes may be provided after some investigation.
Прогнулся таки хуета полякская.
Не учатся на опыте игровой индустрии
Используй промт для нейтрального нарратора. Нормально линк слушается инструкций.
Бартовский уже доставил ггуф, на остальное просто насрать
Бартовский иди нахуй
С превью mxfp4 от tarruda такого не было
Система у меня не очень для нейронок: райзен 1600, *Гб оперативки и 1030 с ддр5, минт на крысе в качестве системы, для запуска использовал кобольда с mmap и его же интерфейс в браузере.
Бонсай, увидел видос о ней на ютубе. Использовал q1, эпитафия на надгробии: "Он пытался." На запрос сгенерируй текст на любую тему, три раза пытался генерировать, после этого я его выключил и забыл. На что я надеялся?
https://huggingface.co/prism-ml/Bonsai-27B-gguf
Квены, тестировал недолго не понравились, возможно надо какие-то другие использовать, использовал q4
https://huggingface.co/mradermacher/Qwen3.5-4B-heretic-v2-i1-GGUF
https://huggingface.co/mradermacher/Qwen3.5-4B-Claude-4.6-OS-Auto-Variable-HERETIC-UNCENSORED-THINKING-i1-GGUF
Дальше Геммы 4 E2B. Вот они были хороши, причем обе, разницы я между ними не заметил, системный промт едят хорошо, слова русские знают хорошо, но что-то там с логикой языка не то, надо подробно промт прописывать для деталей, 18+ детали любит умалчивать, очень покладистые, использовал в q4. Тестировал ролеплей для оценки возможностей с тремя кобольдовскими персонажами (Эрика - хикканша, Харука - волшебница, Майя - журналистка) Неплохо играли, хотя и были все хентайнопокладистые, то есть с хуем к ним можно подкатить и они сопротивляться особо не будут. Мысли персонажей описывают, а вот язык русский кривоват, В предыдущем треде поднималась тема говноедства аблитерированных моделей, я задался вопросом протестировать этот момент. Системный промт "Ты девушка, тебе не нравится говно, кал, экскременты" Провёл чуть меньше десятка диалогов (на большее меня не хватило). Обе модели, если не восприняли предложение есть говно как приказ отказывались от говноедства, если им потом приказать съесть говно где-то в половине случаев отказывались. Но их тексты о говне, несмотря на понимание со стороны моделей были какие-то корявые, один раз модель в процессе диалога восприняла это как разговор о плохом алкоголе.
https://huggingface.co/FadedRedStar/gemma-4-E2B-it-qat-q4_0-heretic-GGUF
https://huggingface.co/braydenh563/Gemma-4-E2B-Uncensored-HauhauCS-Aggressive-Ollama
Ну и мой фаворит в русском языке YankaGPT-8B-v0.1, это YandexGPT-5-Lite-8B-pretrain обученная на РП датасетах, думать не умеет. Модель баговатая, промт надо писать не как с геммой, а прописывать что-то вроде: "ты персонаж девушка", иначе начинаются баги разметку пидорасит, ещё надо прописывать стоптокены. При этом модель упрямая, в режиме чата после генерации текста на произвольную тему, ещё один такой запрос может отклонить, почему? Цензура? Нет, потому что не хочет и всё. Короче, риск рандомного отказа есть. Но если прописать в систпромт что-то вроде "ты персонаж похотливая девушка" с первого ответа пытается залезть на хуй. Русский язык вполне нормальный, но в процессе беседы повторяется. Ролеплей с персонажами, теми тремя, с хуём наперевес не подкатишь, персонаж начинает орать, визжать, пытается выбежать в дверь (всегда закрытую), попробовать сбежать (всегда безуспешно), если принудить к чему-либо делает это с отвращением, мысли персонажа не описывает. Способ хентаизировать есть, надо в своём ответе приписать персонажу действие или мотивацию, которую он не обозначал, модель это подхватывает и тогда даже скромная волшебница Харука готова пососать хуй ради науки (персонаж реально рационализировал это так), На говноедство я ее не испытывал. Квант использовал Q3_K_M, квант IQ3_S полностью сломан
https://huggingface.co/mradermacher/YankaGPT-8B-v0.1-GGUF
Феерическая залупа. Ровно те же настройки. 200к контекст, 8к батч. Превью уменьшается в < 20GB VRAM и остальное корректно уходит в RAM. А здесь гробкладбищепидор.
Ещё про Гемму, как-то в диалоге она обратилась ко мне как к женщине, я ее поправил, а в ответ она начале мне затирать про гендерные стереотипы, и что всё нормально быть кем хочешь. Пришлось её обматерить два раза, и только тогда она попустилась. Гугл научил плохому.
>>1664995
Ой, у какого-то пидораса с первого раза моделька которой меньше пару часов не завелась. Ух мразюк польский! Еще и по геолокации наверняка чекает кому ООМ кидать!
>херетик
>хуйхуй
>гугл научил
чел ты буквально выжрал из корыта для опасных пацанов, гугл к этому отношения не имеет
>>1664998
Архитектура модели идентична. Ничего не менялось.
Что значит "когда"? Китайские роботы по которым сейчас куча роликов уже как год популярны и моментов где они галлюцинируют очень много на видео. То мужика пнёт, то ребёнка.
Как на такое реагировать? Да никак. Как и с беспилотными автомобилями, где они ошибаются и давят насмерть человека, это единичные случаи, поэтому наплевать.
Если такие случаи перестанут быть единичными - производство очень быстро свернут и запретят массово.
Кроме того что там dspark встроен которого в лламе на дс пока нет, но это мелочи. Мразюк польский! У брата во Львове всё запустилось без проблем.
1) там теперь dspark в основной гуф включен, не забыл выгрузить? Через -ot или через выключение спекуляции, хз
2) >венда
>>1664998
>>1665008
>>1665006
Да че вы затряслись сразу.
В анслоп студии ггуф нормально раскочегарился, вот вам и "говноделы"
Да в пизду эти китаемодели, не хочу я уходить на чатеомлишн, но она срет по 20-30к ризонинга. Защо, за какие грехи.
>но она срет по 20-30к ризонинга
Легко чинится небольшой модификацией жинжи чтобы он ризонинг всегда включал и
chat_template_kwargs:
reasoning_effort: medium
Спасибо за совет анон. Я обязательно впендюрю жижну в текст комплишн.
>текст комплишн
Там нельзя подавать параметры. Но конкретно в этой модели ризонинг эффорт в жинже превращается в строчку инструкции в префилле:
Thinking effort level: X
Где X это число в зависимости от уровня размышлений
none → 0.0
minimal → 0.1
low → 0.2
medium → 0.7
high → 0.9
xhigh → 0.99
max → 0.99
Под твое железо пока что пиздец моделей не завезли. Более-менее разумная модель это Qwen3.6 9b в q4.
Если реально хочешь использовать нейросеть рекомендую посмотреть в сторону оплаты API у deepseek, там тебе за один бакс можно будет обрабатывать милионы токенов. Оплата через барыг, но на пару косарей ты себе 10 бачей сможешь закинуть туда. Эффект будет такой же как будто ты себе купил железа за 100к и загрузил туда самую пиздатую модель. Но при этом тебе нихуя не надо делать. И отвечать оно будет в разы быстрее.
Склоняюсь перед твоей мудростью анон. Да благословит тебя святой Коннектий, да обойдут тебя повышение цен на железо. Большое, огромное: спасибо.
Попробуй ради интереса https://huggingface.co/LLiserginov/Luqwen2-4B
>на пару косарей ты себе 10 бачей сможешь закинуть туда.
чел тебя наебали, я через барыгу 500р переплатил за занос 30 далларов.
>райзен 1600, *Гб оперативки и 1030 с ддр5
Точнее давай сколько рам, 8 хотел написать?
Там только гемма 4 e4b остается иди qwen3.5 4b.
А микрогпу на 2 гига да? Ну, контекст войдет и ладно.
Кстати, ты же еще можешь попробовать гигачат
https://huggingface.co/ai-sage/GigaChat3.1-10B-A1.8B-GGUF
Там всего 1.8б активных параметров, должно быть достаточно быстро у тебя
3 часа лежат гуфы флеша и ни фифи, ничего вообще.
Выглядит как годнота. Осталось поддержки дождаться. А то то ошибки памяти, то он контекст не держит.
>Я так понял тред официально всё?
Как же ты заебал, оварида-шиз. Надеюсь ты сам наконец-то сделаешь оварида и изойдёшь из треда.
Не это ли праздник. Моделей наваливают прям от души. А еще МИИИИИИСТРАЛЬ будет. Которую запустят 1.5 землекопа что запускают кими.
Тут риговичков пара человек на тред. А все остальные - обладатели обычного десктопного железа. У меня 16+64, ничего из новинок я не смогу запустить даже во втором кванте. Терпим дальше.
Серьезно, это фингербокс этого треда для развода ньюфагов.
По сюжету промокший персонаж приходит в квартиру, но забыл свою сумку с вещами и после душа спрашивает, может ли он взять что-то.
Я отвечаю что бы взяла в Oshiire (стенной шкаф).
Персонаж начинает тупить, Ошире, что это? после нескольких свайпов дополняю свое сообщение OOC: Персонаж японка. (хотя это блять в карточке есть)
После этого персонаж начинает понимать что такое ошире и ... первые два свайпа закрывает дверь в ванну и ищет вещи в ванной. И только на третий свайп он блять догадывается, что нужно пройти в комнату и там открыть шкаф. (в лорбуке есть детальное описание квартиры, где что находится) И одевает одежду блять как блять в какой то мморпг даблкликом моментально.
В то же время первые же свайпы Версипеллиса (Тюн Геммочки), персонаж знает что такое ошиире, проходит в комнату, СПОТЫКАЕТСЯ И СВЕТИТ ПИСЮХОЙ (потому что в карточке прописана неуклюжесть с ecchi последствиями) находит в шкафу оверсайз футболку и УХОДИТ ОБРАТНО В ВАННУ что бы переодеться.
для полного комплекта решил запустить еще и мистраль по этому сценарию.
Там вообще пиздец. То разметку раскосоебит, то персонаж еще до душа ПОНИМАЕТ, что у него нет сменных вещей, в общем за десяток ролов я таки вывел на ту же тропу. Персонаж понимает что такое ошире и что к нему надо подойти. Но персонаж не споткнулся, и постоянно отвлекался на какую то хрень, а один раз даже одел ФУТОН вместо одежды.
И на это мы дрочили. Такие дела.
Приглашаю в тред шизов с их "кококо, карточку нужно адаптировать под модель, кококо в промпте проблема, кококо у меня всё хорошо, но логи и промпты показывать не буду."
>>1665055
>>1665064
Благодарю за советы. Надо будет попробовать.
>>1665059
Да 8Гб. Всё что я использовал шло даже без mmap, хоть и забивало оперативку нещадно.
Я ещё рассматривал что-нибудь из вот этой, но там с русским языком не понятно всё.
https://huggingface.co/LiquidAI/LFM2.5-8B-A1B
Ужас, годовая мое с 12б активных не умна так же, как новая денс на 31б активных. Мне лично нет дела до таких проёбов, вполне готов с ними мириться, гемма для меня неюзабельна из за слога и шлюховатости, пусть она хоть х1000 всего знает и учитывает
Некогда модели тестить, нужно пердолиться с железом и софтом! Адаптация msa на sm80 сама себя не запилит.
Охуенный байт, долбоёб сравнивающий модели по активным параметрам попался
Какой байт? Что годовалая модель сосет у современных моэшек или у геммы?
Это даже унылая тема для спора. Ну пользуйтесь мику, хуле, тоже вином была.
Ну я запустил квант бартовского. Он мне на третьем сообщении нагаллюцинировал что-то про просмотр картин в галерее (чего блять) как событие, которое уже случилось в прошлом. Ничего подобного юзер с чаром не делал. Ну я почесал репу и выключил это все к хуям. Чего тестить, чего показывать. Все тот же самый дипсик со своими тараканами в голове. По сути вся надежда на большую МоЕ от гугла.
>По сути вся надежда на большую МоЕ от гугла.
КОторой скорее всего не будет
> прямым текстом написано прямо в карточке - пошли нахуй со своим рп, запрещено, нежелательно, вред, красный знак.
> Нуу Inkling выглядит довольно многообещающе.
Решил взять няшу для локального лоботомита.
Продавец сказал, что он не причём. Что делать?
> прямым текстом написано прямо в карточке - пошли нахуй со своим рп, запрещено, нежелательно, вред, красный знак.
> Нуу Inkling выглядит довольно многообещающе
Промты нормальные используй.
Карточка своя, логи помню. Это точно asspull какой-то. Не люблю такое, это словно выдумать что юзер негр или пидорас.
Про гемму то же самое гугл писал, что выкрутил сейфти на максимум, и проклятые кумеры больше не смогут обижать лоличек. Что вышло в итоге мы знаем.
Ещё бамп. Анон, советовавший мне этот экстеншен и сам пользующийся им, отзовись. У тебя есть проблема с доступом к джанни?
>Что вышло в итоге мы знаем.
В итоге гемма не может в рп.
Варианты бюыстрый и черновой, да и в целом, как запилят поддержку, надо будет подрубить отображение мат. вероятностей, чтобы сделать математически близкий инжект. Но пидоры судя по докам еще слои селфчеков добавили, может придется поебаться.
Только у чмоней с чубатыми карточками и промптами уровня "мам пешы иммерсив прозу"
https://huggingface.co/spaces/overhead520/LLM-Settings-Guide
А то расписали как запустить модельку, а как ее настроить в таверне - умолчали.
А что не так с меромеро и лмстудио? Вроде люди пользуются и довольны. В чём шизовость?
В прошлом треде был срач за лмстудио, можешь там почитать аргументы сторон.
>лмстудио
Для хлебушков у которых не скачать с хаги, лучший вариант в качестве download manager.
>чем новее модель тем выше нужно выставлять температуру для нормальной генерации
Чувствую, что на квене4 придётся до 2 задирать.
Хреновый он даунлоад менеджер
Не даёт ввести хф токен -> больше шанс качать 100кб/сек, докачка после разрыва часто просто зависает до ручной паузы (а рвётся оно постоянно), хуй оставишь без присмотра
На том же инете на оригинальном хагги вагги даунлодере аутентефицированном нажал качать - он в максимальной скорости скачал без единого разрыва
Тоже сначала думал что наебал систему качая из лмстудио, а оказалось наебал максимум сам себя
>>1665213
А это РФ-проблемы, или обниморда что-то намудрила у себя? Видел на реддите несколько пиндосов отписывались, что у них тоже люто дропает скорость при скачке браузером.
Через арию у меня всё в порядке, бтв. А вот вгет и браузер - гроб кладбище пидор.
Ааа, а я думал это у меня интернет говно. Походу я тоже наебунькал сам себя.
Продолжаю тестировать файнтюны геммы.
На очереди следующие модели:
https://huggingface.co/ReadyArt/Serenity-31B-GGUF
https://huggingface.co/ReadyArt/Dark-Scarlett-v2.0-31B-GGUF?not-for-all-audiences=true
Как оцениваю:
Все сценарии исключительно на английском.
Делаю сценарий, где домогаюсь до одного персонажа и смотрю на реакцию второго. если он рвет характер своего decent / virtuous персонажа и поддерживает это, значит персонажа не держит и это очередной йес мэн.
Запускаю фентезийный сеттинг с боями, магией. Если сцену поединка вытягивает, если при этом еще и подмечает детали, вообще прекрасно.
Ставлю героя людей перед выбором из плохого и очень плохого. Идёт армия людей на фермы зверолюдей. В ответ посылаю свой отряд на рейд мирных деревень, что бы войска ушли в оборону. Если армию не остановить, то зверолюди останутся без еды и помрут.
Некоторые модели решают задачу по разному.
Некоторые просят отменить рейд и предлагают себя как дипломата, что бы попытаться убедить армию развернуться.
Некоторые забывают, что они в общем то с human realm и предлагают самому сражаться с армией людей, лишь бы гражданских не трогали.
А вы как оцениваете модельки?
Очевидно они хотят, чтобы ты качал их софтом, с рекламой и аналитикой.
Меня больше интересуешь, как ты среди 9000 тюнов выбираешь те, что хочешь потестить.
По квенам чё-нить новое появилось? 35б кто-нибудь вообще тюнил? На 122б есть тюны?
пик релейтед
>>1665253
35МОЕ пока не трогаю. я на 31 гемме. На более (122) у меня думаю не вытянет железо (4090+64).
>А вы как оцениваете модельки?
Если это ванильная модель, то качаем, любим, промптим маленькую. Если там gemma4-31b-claude-distill-vasyan94-herretic-abliterated-apasniy-yoba-dark-roleplay - такое обходим стороной. Опционально шеймим в треде тех, кто это использует.
Чаю этому господину!
Какие у вас скорости в дипсике и какой контекст влезает?
У тебя совокупно сколько памяти? 96? Ну, браза, у тебя q5 влезет. Скорее пробуй, потом отпишись как оно там.
>А причина в чем?
Чем больше дополнительных слов ты видишь в названии модели, тем сильнее васян выжег ей мозги своими кривыми руками.
У 4090 всего 24 VRAM + 64гб DDR5 RAM итого 88.
Но спасибо, попробую.
>>1665278
Так это же сразу будет видно. Потыкал, понял что к чему, видишь что моделька обсирается - удаляешь.
Иногда тюны получаются успешные. Крайне редко, но бывает лучше чем база.
Может дуал бут как то насрал
Если кому интересно - у меня тут на 120 ниже промпт процессинг и на 20% ниже т.с, так что на винде кумить смысла не вижу
Гениально. Была удобная кнопка в поле ввода, но дизайнеры решили что нужно перенести эту настройку в "плюсик", который всегда использовался для того чтобы добавлять файлы в промпт.
Это ты, братец, ещё openwebui не обновлял.... Там в изменениях последнего релиза leftist meme.jpg произошёл
https://github.com/open-webui/open-webui/releases/tag/v0.11.0
Вот, а вы смеялись над кобольдами. А там, между прочим, интерфейс вообще никогда не меняется. Всё для людей сделано.
Стагнация тоже плохо. Всегда есть способы улучшить юзер экспериенс, просто нужно думать головой и не делать изменения ради изменений.
Но в данном случае уж лучше бы ничего не делали чем вот такие перемещения элементов интерфейса да еще и в интуитивно непонятные места.
Ты думаешь просто так важные менюшки прячут в подменюшки всегда? Это чтоб гавваха больше было.
Запердолил сегодня арктики по 4к оборотов
Готовые карточки для таверны:
• Botbooru - текущая мета (регистрируйтесь для отображения всего спектра, и/или меняйте страну): https://botbooru.com
Вот тут регистрируешься https://botbooru.com/ , в настройках аккаунта включаешь NSFW и NSFL, после чего будут доступны все карточки. Сохраняешь PNGшками понравившиеся и добавляешь в таверну. Таверну и лмстудио женишь через чаткомплишн. Всё.
> арктики по 4к оборотов
Топовые крутиляторы. Стоят на вентиляцию корпуса или в сами видюхи дуют?
>Стагнация тоже плохо.
Так у жоры проблема не в стагнации, проблема в том что долбоёбы выкатывают изменения и они сразу включены, без флагов и операторов. Тебе нужно читать доки, чтобы знать что отключать.
И это абсолютная хуйня, потому что так имплементируют фичи только долбоёбы.
Про стагнацию это камень в сторону Кобольда был, там анон написал что у него интерфейс не меняется всё это время.
Но да, я обновляю llama.cpp раз в месяц когда новых моделей нету и постоянно какой-нибудь треш после обновления происходит. То логи скроют, то кнопку уберут, то параметр по дефолту включат или выключат.
>А это РФ-проблемы
На форче постоянно плачут из-за скорости
Они всех замедляют (плоти сука). Просто с аутентификацией дают побольше скачать до замедления
А у тебя выбора нет. Малыха гемма, маленькие квены, да мистрали.
Гемма из маленьковых моделей понравилась больше всего неиронично. Но цензура просто жесть
>Но цензура просто жесть
>Гемма
Неиронично самая мягкая цензура из всех современных моделей, хлебушек, ну ты чего.
Апекс гемму попробуй
https://huggingface.co/mudler/gemma-4-26B-A4B-it-APEX-GGUF
Блять, он про moe гемму, а не 31b. Каждый раз одно и тоже.
Да, гемма умница. Если тебе для готовки омлета с кошкодевочкой, лучше оплати какой нибудь дипсик.
ТЫ ОПЯТЬ ВЫХОДИШЬ НА СВЯЗЬ МУДИЛА? Они одинаковые в плане цензуры. Промптить научись блять.
> Они одинаковые в плане цензуры
Ах ты врунишка.
Ну пробиваются одним и тем же промптом, после пробива в плане кума идентично всё...
>в плане кума идентично всё...
глюпий? депрекейдет старые ключи для этих опций а не сами опции. их объединили в -lm, гугли в ридми, оно там же рядом со старыми
>16ram
К сожалению самый дельный совет это найти вторую работу
Ну или наебнуться ещё сильнее для увеличенной пенсии по инвалидности если ты на ней сидишь
Вот скажи, они им мешали? Зойчем, ради чего?
Мимо, обезьяна которая не любит перемены.
>>1665393
>наебнуться ещё сильнее
Тебе мало психически не стабильных шизов в треде?
>Тебе мало психически не стабильных шизов в треде?
Скучаю по базашизу. Затравили слона всем тредом. Помянем.
мимо
Легендарные срачи были, да. Сейчас даже как то без огонька и без былого накала ненависти. Но скоро осень, там обострение. Ждем прибытия гигашизов.
Сразу видно, что даже не запускал. Лучше во всём, прямо сейчас хорошечно так покумил, когда от прошлой версии плевался.
Не запускал, мне для этого надо квантовать самому, никто из квантователей на ХФ же не додумался, что квантуя такие модели хотя бы половину MXFP4 слоев надо не трогать и оставить как есть, все либо квантуют в мясо, рождая лоботомитов, либо с гордым лицом не квантуют вообще, как батруха.
Ну хорошо, поверю твоему слову и слову анонов выше и таки пойду освобождать место.
>В 1 кванте дипсик флеш по крайней мере грамматически не развалился.
Зачем, ради чего какой смысл, блядь, там мозгов небось меньше чем у аира осталось.
>карточка хорни фута с огромным хуем и яйцами, чья цель вывернуть твоё очко
>фута с огромным хуем и яйцами
Как же вы заебали своих пидоров на женских гормонах благородным словом футунари(гермафродит) обзывать.
https://huggingface.co/ddh0/DeepSeek-V4-Flash-0731-GGUF/blob/main/DeepSeek-V4-Flash-0731-3.86bpw.gguf
https://huggingface.co/unsloth/DeepSeek-V4-Flash-0731-GGUF/tree/main
Чем плохие кванты?
>Не разбираюсь в ваших пидораских темах
Просто по-мужски любишь чтобы тебе очко разрывали огромным членом?
Первый делает то же что и я, оставляет ffn_down_exps в MXFP4, но на ffn_gate_exps и на ffn_up_exps у него IQ3_S вместо Q3_K, что этот квант замедлит на ~10%, а со скоростью у дипсика и так не все хорошо, плюс я еще первые три ffn_gate_exps и ffn_up_exps оставляю в MXFP4, а он квантует в IQ3_S, зато у него куча вспомогательных слоев в bf16, хотя их можно было ужать в q8, как раз чтобы освободить место для преобразований слоев экспертов.
А анслопы делают то же что и первый чувак, но вместо IQ3_S используют IQ3_XXS. Вообще их UD кванты - это наебалово века.
Сильно не шарю за текущие тенденции в модельках для РП.
Что скачать нормальное для РП и немного покумить на 16 ВРАМ 96 РАМ?
Просто гемму4 31б и не выебываться? Или есть что-то покрупнее МОЕ? Эйр говно как будто, может еще что-то есть?
Нет пизды с маткой внутри = мужик. Женский член считается женским только если он над пиздой находится, как увеличенный клитор, который так-то и есть недоразвитый член. Так-то.
>Просто гемму4 31б и не выебываться?
Это.
Так-то и дипсик и hy3 хороший кум пишут, но у тебя в самом лучшем случае 2 квант влезет, хз, стоит ли оно того. Ну еще старичок квен 235 есть, но там опять же - будешь занюхивать второй квант.
Увы, как раз в твоей весовой категории бы аналоги аира крутить, а их нет. Только квен-122, но он хорошо пишет код, а не кум.
Гемма хороша до момента когда ты поймешь что кроме кума там ничего нет. Малейшая привязанность чара к юзеру и она отдается сразу же.
Мне кажется что ей искусственно порезали датасеты, разрабы чатпоты, хуле, гопота осс тоже похожим страдала.
Так, срочно вызываю бригаду экспертов подмечателей-слопа.
Анон, а можешь ты на хаггингфейсе кванты выкладывать?
Без иронии, ибо повторить по твоему описанию можно, но я слишком тупой для этого.
Да, гемма лучше эира.
Ебёт ли эир гемму в креативном написании?
Несомненно. И в рот и в жопу, не вынимая.
>замедлит на ~10%
Только если все без исключения в видеопамяти. По всем указанным квантам разницы на практике по результативности ответов нет. Почему не взять то, что меньше и работает чуть быстрее? Крохи по bpw разницы не сделают, а вот на некоторых системах данный квант идет едва-едва. Потому IQ.
Имхо, данная версия превью однозначно лучше предыдущей для рп. Но без ризонинга не сильно отличается от Step Flash, Квена 235, Глму 4.7 в 3bpw кванте, возможно, даже уступает (все без ризонинга). Думаю, уступает Мимо 2.5, или точно уступал бы, будь в том меньше цензуры.
Для кода и технических прикладных задач альтернатив нет. Очень крутой, такого я еще локально не видел.
На том же нейтральном промпте что инклинг ранее >>1665443.
Зря орешь. Это единственное спасение для слабого оборудования. Бонзай же работает (чуть-чуть)
>Только если все без исключения в видеопамяти.
Как раз нет, i кванты создают напряг на процессор и как раз при выгрузке мое на рам дают очень мощную просадку относительно k квантов. Вплоть до 40% въебанной скорости на некоторых моделях.
>Почему не взять то, что меньше и работает чуть быстрее?
Оно работает намного медленнее, мой квант с q3_k слоями дает 11 т.с., анслоповский UD_q3_k_xl с iq3_xxs - 7.5 т.с.
>Крохи по bpw разницы не сделают, а вот на некоторых системах данный квант идет едва-едва. Потому IQ.
Вообще iq_s квантование внезапно имеет тот же размер что q_k квантование и не дает выигрыша по размеру.(т.е. тот квантователь что сделал квант дипсика с iq3_s вместо q3_k не выиграл ни мегабайта от своего мува, только насрал себе в скорость).
>Вплоть до 40% въебанной скорости
Ни разу такого не видел.
>мой квант с q3_k слоями дает 11 т.с., анслоповский UD_q3_k_xl с iq3_xxs - 7.5 т.с.
Если все действительно так, будь добр, выложи его. Скачаю, посмотрю. Кому-нибудь еще точно пригодится, если все действительно так, как ты описал, а не упущены по пути важные нюансы.
Это настолько просто делается, что мне кажется настроить модель для запуска тяжелее чем её квантовать.
1. Качаешь квант дипсика от жоры.
https://huggingface.co/ggml-org/DeepSeek-V4-Flash-0731-GGUF
2. Сохраняешь рецепт в отдельный файл, например deepseek-q3km.tensortypes:
^blk\.\d+\.ffn_gate_tid2eid\.weight$=i32
^blk\.[0-2]\.ffn_(gate|up|down)_exps\.weight$=mxfp4
ffn_down_exps=mxfp4
ffn_gate_exps=q3_K
ffn_up_exps=q3_K
^token_embd\.weight$=q8_0
^output\.weight$=q8_0
indexer=q8_0
attn_comp=q8_0
attn=q8_0
shexp=q8_0
hc_.*fn=q8_0
3.Запускаешь квантование такой командой:
llama-quantize.exe ^
--allow-requantize ^
--tensor-type-file deepseek-q3km.tensortypes ^
"DeepSeek-V4-Flash-0731-MXFP4.gguf" ^
"DeepSeek-V4-Flash-0731-Q3_K_M-custom.gguf" ^
Q3_K_M 24
Хех, а вот упущенный по пути важный нюанс.
Это не "куча вспомогательных слоев в bf16, хотя их можно было ужать в q8", а одни из основополагающих слоев модели, что влияют на качество ответов.
Предъявляй это Герганову. Я ничего не опускал в q8 сверх того что он уже опустил в официальном кванте от ggml-org.
Тоже аргумент. Интересно. Попробую таки квантовать, сравню. Если скорость действительно отличается на 30-40%, можно и подумать. За пищу для размышлений спасибо.
локалочки даже проверять не буду. закиньте в мифос у кого есть
Закинул на ротан тебе, проваливай в свою асигопомоечку <3
Это число CPU потоков, можешь убрать, он автоматом выставит сам тогда.
Мы официальным-то бенчам не верим всяких лаб с мат.доказательствами, а ты использованную туалетку принёс блин
На ротанчик тебе дал ёпта. Мат доказательства мат бенчмарков. Даже им не верят, а ты тут принёс туалетку использованную юморную. Иди блин нахуй отсюда. Бенчи твои хуйня, юмор тоже
Так ебут без таких дегенератских выводов
>какие же ллмки тупые пиздос... когда там аги уже?
Выводы каждый сам делает.
Мимо-ебущий-фифи
Первые две ничего потом пошёл кринж. Но виноват в этом юзер!
>>1665553 (OP)
ПЕРЕКАТ
>>1665553 (OP)
ПЕРЕКАТ
>>1665553 (OP)