Локальные языковые модели (LLM): Gemma, Qwen, GLM и прочие №260 /llama/
Аноним
26/08/26 Срд 12:45:48
№
1
Здесь мы делимся рецептами запуска, настроек и годных промтов, расширяем сознание контекст и бугуртим с кривейшего тормозного говна.
Тред для обладателей топовых карт NVidia с кучей VRAM или мажоров с проф. картами уровня A100, или любителей подождать, если есть оперативная память. Особо терпеливые могут использовать даже подкачку и запускать модели, квантованные до 8 5 4 3 2 0,58 бит, на кофеварке с подкачкой на микроволновку.
Официальная вики треда с гайдами по запуску и базовой информацией: https://2ch-ai.github.io/wiki/llama/
Гайд для новичков: https://rentry.org/2ch-llama-inference
Инструменты для запуска на десктопах:
• llamacpp - отец и мать всех инструментов, позволяющий гонять GGML и GGUF форматы: https://github.com/ggml-org/llama.cpp
• koboldcpp - самый простой в использовании и установке форк llamacpp: https://github.com/LostRuins/koboldcpp
• TextGen (в девичестве text-generation-webui) - если необходимы другие форматы и больше контроля: https://github.com/oobabooga/textgen
• TabbyAPI - заточенный под Exllama (V2 и V3) и в консоли: https://github.com/theroyallab/tabbyAPI
• Однокнопочные инструменты на базе llamacpp с ограниченными возможностями: https://github.com/ollama/ollama, https://lmstudio.ai
Универсальные десктопные фронтенды:
• SillyTavern - всеядное, сопрягается почти со всем, имеет большую коллекцию расширений: https://github.com/SillyTavern/SillyTavern
• Marinara Engine - вариация на тему таверны, больше возможностей из коробки: https://github.com/Pasta-Devs/Marinara-Engine
• Risuai - еще одна вариация, на этот раз в профиль, излишеств по минимуму: https://github.com/kwaroran/RisuAI
Инструменты для запуска на мобилках:
• Maid - интерфейс для локального запуска моделей под андроид с llamacpp под капотом: https://github.com/Mobile-Artificial-Intelligence/maid
• ChatterUI - альтернативный вариант для локального запуска под андроид (фронтенд и бекенд сепарированы): https://github.com/Vali-98/ChatterUI
• Гайд по установке SillyTavern на ведроид через Termux: https://web.archive.org/web/20241201232031/https://rentry.co/STAI-Termux
Поставщики локальных моделей:
• Hugging Face - платформа куда загружается всё и во всех форматах: https://huggingface.co/models
• Проверенные квантоделы: https://huggingface.co/bartowski, https://huggingface.co/mradermacher, https://huggingface.co/unsloth
Рейтинги и списки локальных моделей:
• Актуальный список моделей с отзывами от тредовичков: https://rentry.co/2ch_llm_moe_2026
• Неактуальные списки моделей в архивных целях: 2025: https://rentry.co/2ch_llm_2025 (версия для бомжей: https://rentry.co/z4nr8ztd ), 2024: https://rentry.co/llm-models , 2023: https://rentry.co/lmg_models
• Миксы от тредовичков с уклоном в русский РП: https://huggingface.co/Aleteian и https://huggingface.co/Moraliane
• Рейтинг моделей по уровню их закошмаренности цензурой: https://huggingface.co/spaces/DontPlanToEnd/UGI-Leaderboard
• Сравнение моделей по сомнительным метрикам: https://huggingface.co/spaces/HuggingFaceH4/open_llm_leaderboard
• Сравнение моделей реальными пользователями по чуть менее сомнительным метрикам: https://chat.lmsys.org/?leaderboard
Готовые карточки для таверны:
• Botbooru - текущая мета (регистрируйтесь для отображения всего спектра, и/или меняйте страну): https://botbooru.com
• Прошлая мета, откуда массово удалили карточки сомнительного содержания: https://www.characterhub.org, https://www.chub.ai
• Архив карточек, удадённых с chub: https://gottasaveemall.github.io/
Официальные документации к инструментам:
• llamacpp: https://github.com/ggml-org/llama.cpp/blob/master/tools/server/README.md
• koboldcpp: https://github.com/LostRuins/koboldcpp/wiki
• SillyTavern: https://docs.sillytavern.app/usage/quick-start
Дополнительные ссылки:
• Перевод нейронками для таверны: https://rentry.co/magic-translation
• Пресеты под локальный ролплей в различных форматах: http://web.archive.org/web/20250222044730/https://huggingface.co/Virt-io/SillyTavern-Presets
• Шапка почившего треда PygmalionAI с некоторой интересной информацией: https://rentry.co/2ch-pygma-thread
• Последний известный колаб для обладателей отсутствия любых возможностей запустить локально: https://colab.research.google.com/drive/11U-bC6AxdmMhd3PF9vWZpLdi6LdfnBQ8?usp=sharing
• Инструкции для запуска базы при помощи Docker Compose: https://rentry.co/oddx5sgq https://rentry.co/7kp5avrk
• Пошаговое мышление от тредовичка для таверны: https://github.com/cierru/st-stepped-thinking
• Потрогать, как работают семплеры: https://artefact2.github.io/llm-sampling/
• Выгрузка избранных тензоров, позволяет ускорить генерацию при недостатке VRAM: https://www.reddit.com/r/LocalLLaMA/comments/1ki7tg7
• Инфа по запуску на MI50, тесты производительности и прочее: https://arkprojects.space/wiki/AMD_GFX906
• Тесты tensor_parallel: https://rentry.org/8cruvnyw
Архив тредов можно найти на архиваче: https://arhivach.vc/?tags=14780%2C14985
Шапка в https://rentry.co/llama-2ch, предложения принимаются в треде.
Предыдущие треды тонут здесь:
>>1684266 (OP)
>>1681448 (OP)
> TextGen (в девичестве text-generation-webui) - если необходимы другие форматы и больше контроля: https://github.com/oobabooga/textgen
> • Однокнопочные инструменты на базе llamacpp с ограниченными возможностями: https://github.com/ollama/ollama, https://lmstudio.ai
По возможностям самый неудобный и ограниченный говняк - как раз ТекстГенШлакУИ, единственный плюс что можно EXL3 запустить. В остальном это безнадежно халтурная подзалупа ниже кобольда и лмстудии, разве что оллама еще жиже этого.
Входят, но модель все равно остается 125В-А6В лоботомитом, просто памяти нужно как на 176В.
Может ему плохо от прошлого не-своего синкинга, который для него странный? Не сталкивался, но теоретически может неверно воспринять паттерны и следовать им сильнее остального. Если запускаешь его в лламе то это тоже сильно наложится.
>>1687625
> А6В
Это прискорбно.
@
ВЫХОДИТ КВЕН 125В
@
РАЗМЕРОМ КАК 176В
@
С 6В АКТИВНЫХ
Ну вроде глм 5.3 для рамлетов скоро анонсируют.
Только он может оказаться еще меньше квена
У тебя там н-грам таблица для знаний сделана, чтоб компенсировать мелкие эксперты. 20В активных при 100В модели - это бред.
А на диск энграмы нельзя оффлоадить? Как они вообще там работают?
Я уже прикупил дофига обычной DDR4 памяти, так что жду с предвкушением. 4 часа осталось. Ух сегодня вечером позапускаем.
>20В активных при 100В модели - это бред
А 27В активных при 27В модели не бред, шиз?
>Ух сегодня вечером позапускаем.
Кто-нибудь, расскажите ему, что на поддержку в лламу могут уйти МЕСЯЦЫ...
20+ активных тянет только у владельцев ригов, и то в кванте херовом.
А тут будет потенциально Q8 у всех тянуть.
Да бред, какой нибудь форк ламы где оно работает уже к утру появится. Останется только скомпилить его.
Не, Алибаба очевидно вложился в ламу, так что у квена3.8 поддержка была прямо в момент релиза + анслопы сразу выкатили сломанные кванты.
> Qwen 3.8 Flash Next day 0 support from unsloth
Если у них запускается, значит и в лламе запускается, ведь unsloth studio на базе лламацпп
Воспряньте духом ибо идет спаситель https://api-docs.deepseek.com/news/news260821/ лишь бы сои не навалили
>>1687642
Да там 176б, в врам с вллм залетит нет ядер под некроту гроб гроб кладбище sm80
>20+ активных тянет только у владельцев ригов
Каких ригов блядь.
Тянет у всех, у кого тянет плотная 20+.
Именно в unsloth studio и запускал, и даже скрины тестовых чатов в тред кидал.
>>1687652
> This experimental multimodal model matches DeepSeek-V4-Flash on text capabilities
Это буквально тот же самый дипсреньк, только с вижном. Никаких улучшений.
> спаситель
Для олигархов с кучей памяти. Когда 100-120б модель будет, тогда и спасение.
У нее знаний хуй да нихуя. Общие параметры определяют знания, активные - ум и аналитику.
Потому идеальная модель - это 300 параметров + 30+ активных.Лол, GLM 4.5-4.7 описал
Его вроде в тред не приносили, там всё обучено на public domain литературе, написанной человеками. Пишет естественнее, менее ассистентно чем инстракт. Можно и инстракт пердолить, но меня заебал тамошний слоп. А и ещё, буквально нет модели которая держит контекст лучше Геммы, кроме Квенов. Все модели 2025 разваливаются в лучшем случае на 16к
Он прекрасен с апдейта, вижн был главным камнем преткновения.
>>1687660
Обычно они веса выкладывают после первых тестов. И это значит что следующие модели будут с вижном.
>Дипсик возможно из-за Жоры, но тупо неюзабелен для рп, пишет на уровне Мистралей почти, разве что слопа меньше чуть.
Там жинжа шаблон кривой + ризонинг сломан без префилла. Могу свой шаблон выложить если нужно.
>3090х2 и 128 ддр5.
въеби зарплату до 256 гигов и садись на глм 5.2
забудешь как страшный сон все остальное
Давай, вдруг у тебя шин какой и ты открыл Шамбаллу. Я скок ни пердолился не вышло ничего
Да кал этот glm 5.2, хуже многих младших долбится в слоп. Этой хуйней только задачи решать
Я готов терпеть любой слоп, лишь бы модель могла сама продолжать историю, не буксуя. И она может.
Знаешь как охуенно, когда ты о чем-то с персонажем запизделся на 10 - 20 сообщений, а потом хуяк и "так ты че, пригнись, смотри там гоблин с луком сейчас выстрелит из хуя". Она просто умеет неожиданно выдать что-то такое, что мелочь не выдаст никогда.
Персонаж на учебе или на работе, будет во время разговора говорить "так все, лекция кончилась - ща обед", и вот хер бы ХОТЬ РАЗ 4я гемма так себя повела, нет, пока юзер не напишет "ну че как учеба?" гемма никогда сама не вспомнит...
По виду обычный темплейт из анслот ггуфа, к которому добавили
> {%- if thinking -%}
> {{- thinking_start_token + '\nI need to analyze the user request and the current scene objectively, check continuity and characters knowledge, then construct a concrete ordered response plan. After the plan is finished I need to check it against the Guidelines, established history and directives.\nOut-of-character analysis and response planning:\n' -}}
если че длинные сиспромпты напрочь отбивают внимание модели к пикрилу
там можно написать "думай о жареной утке, постоянно думай ТОЛЬКО о жареной утке и не думай о белой обезьяне" и просто ноль эффекта будет
>По виду обычный темплейт из анслот ггуфа, к которому добавили
Нет, там больше. Поддержка post-history instructions, оборачивание системной роли в спецтокены + инструкция для low ризонинга.
>длинные сиспромпты напрочь отбивают внимание модели к пикрилу
Потому и используется префилл ризонинга.
Я на ней откатал очень много, просто у меня из альтернатив удобных только дипсик, поэтому из двух зол.. Вот остоебенил меня glm уже, я ща тещу 4.7 пока не понятно, что как.
5.2 у меня ведет себя очень странно, будто один и тот же персонаж всегда. Это ужасно заебывает, модель игнорирует характер персонажей будто совсем. Пробовал разные пресеты все дела, грусть. Может с жира бешусь, слишком долго на ней сидел.
Насчёт геммы хз, я покатал ее, но наверное недостаточно еще. Местами был приятно удивлен, как она следует инструкциям, подмечала классные детали.
Протестил квен3.8-27b-q4_M на реальных рабочих задачах: бэк на ноде, бэк на фастапи, фронты на vue и реакте, задачи разной сложности от добавить кнопку до захуярить целый микросервис, всякие дашборды, миграции постгреса, он тянет даже работу со специфичными российскими нюансами типо ГОСТ-TLS и эцп. Пошел в интернет, нашел форум каких-то шизов с постами про эти ебучие эцп 8 летней давности и просто сделал это. Причем я специально делал две имплементации через локального квена и через фронтир и просил второй фронтир независимо отревьюить и сравнить оба пулл реквеста, квеновские варианты были найдены ничем не уступающими.
>, будто один и тот же персонаж всегда.
Четко въезжаю, о чем ты. Условия ставит, границы проводит, соглашается через противопоставления - НЕТ, НЕ ДАМ... ну может на полшишечки... но ты не пизди особо об этом.
Скорее всего дело в рефьюзах. Лоботомия скорее всего подлечит и сделает модель более раскрепощенной.
Ваще это очень схоже с R1 дипсиком, например. Они все когда достаточно большие - начинают так себя вести.
>Оч рекомендую конкретно вот этот тюн, https://huggingface.co/nbeerbower/Gemma4-Gutenberg-31B
Версипелис по-твоему лучше, хуже? Охуенный тюн, мне очень зашёл.
У меня одного GPU начинают издавать звуки дымного монстра из сериала LOST, когда текст генерит 3.8 квен?
такое ритмичное частое трещание
И нет, они так дросселями не свистят с другими моделями. 31б гемма - совсем иначе звучит, шум больше высокочастотный и без треска
Llama.cpp и opencode. Я еще тестил pi coding agent, который невероятно хайпят на реддите в любом обсуждении квена, но в итоге отказался от него, потому что квен через pi в упор не находил один критический баг в фронтэнде даже за несколько попыток, который не ловился тестами, но был виден визуально если просто запустить браузер. Фронтир и квен через опенкод его находили каждый раз, потому что опенкод запускал фронт в фоновом браузере, делал скриншот и видел там пиздец, а вот pi это не додумался сделать.
> а вот pi это не додумался сделать.
Так у pi по дефолту и инструментов для этого нет, он в стоке умеет только читать/писать файлы и баш выполнять. Или ты расширения накатывал?
Картинки он читает. Но по дефолту он браузер не запустит и не заскринит, мышкой не пошевелить, базером не пукнет, это да.
>Что за версипелис
https://huggingface.co/Nimbz/Versipellis-31B-GGUF
Дальше чувак упоролся в миксы Скотомы - на любителя вещь. А вот этот хорош.
> Картинки он читает
Ну понятное дело, но компьютер юз это уже отдельный инструмент, как и скриншоты.
>упоролся в миксы Скотомы
Я тестил Scotoma 2, показалось хорошей для коротких ответов в стиле разговорного чата, но у нее как будто снижена возможность взять инициативу на себя. А вот первая версия была без преимуществ.
мимо другой чел
>Картинки он читает. Но по дефолту он браузер не запустит и не заскринит, мышкой не пошевелить, базером не пукнет, это да.
Раньше-то написать для pi расширение сложнее было. А сейчас, да с новым Квеном - любое, только скажи. Особенно если кодер - стыдно пользоваться не своим инструментом-то.
>>1687705
Это мердж. Сами по себе Musica и Garnet v2 из которых он состоит прям ну такие себе. Хз почему сам Версипелис будет лучше. Я его не тестил, тестил только тюны
Скорее это БП. В целом норма, в вллм уже страшно.
Каждый щелчок это токен
> Раньше-то написать для pi расширение сложнее было.
У меня проблема в том, что мне в любом случае надо достаточно знать тс, чтобы валидировать, что оно нормально написано. Чтобы спустя 2 недели пользования не было прикольчиков.
Мне проще либо мини-све-агент юзать, либо тау. Так как боярон я очень хорошо знаю, и могу просто из головы навайбкодить нормальное расширение на приличном уровне.
БП новый и работает как зверь с цифровой самодиагностикой. Нагрузку держит хорошо и вообще там даже 60% от его возможностей не отжирается, ведь карточки с ограниченным паверлимитом и в андервольте. Реально щелкает на токенах один квеныч и все, я даже из любопытства всяких мистралей схожего размера накачал - тишина, лишь едва заметный свист (как эти карточки и с другими БП свистели чутка).
Да хуй там, 6В лоботомита получим и всё. ГЛМ 5.3 может и выкатят, да только что толку с 1Т модели?
Скорее всего будет на уровне 27В, как 3.5 122В был на уровне 3.5 27В. Но вот эмбендинги пока неясно вин или фейл.
глм 4.7 вдвое меньше 5.3, с хуя ли 5.3 флэш быть такому же как 4.7 флэш
Неудобная линуксоидная залупа для тех, кому хочется попердолиться чтобы модель бегала побыстрее
Там где с Llama.cpp ты запускаешь ггуф за 10 секунд, эта гниль будет 5 минут стартовать и разогреваться
У тебя скорость в разы больше чем на жоре и можно сразу несколько свайпов делать параллельных
>Поясните за vllm, зачем о нем тут так часто говорят?
Если у тебя есть много врам, то ты знаешь зачем. Если нет, то тебе это не нужно.
От пиздатости БП не зависит. Серверники платиновые трещат только в путь под вллм
Кобольды и те кто на лмстудии сидят - обратите внимание. Оно внезапно неплохо. Кросиво, современно, похоже на студию, но опенсорс. Ставится экзешником на винду и есть appimage на пингвина. В отличии от студии - можно просто показать ей папку с моделями и она их оттуда подхватит, удобно. Вэбсёрч работает сразу из коробки. Может юзать тулколлы в песочнице. Есть поддержка ллмок, в которые не умеет ллама, вроде диффужн-геммы и инклинг. Настройки имеются, но может и в однокнопочном режиме запускать модели, для совсем хлебушков.
Короч анслот те еще васяны, но тут вроде нормально сделали... По сравнением с кобольдом просто на 10 голов выше.
она хитро аллоцирует память и более быстро гоняет модели. но только под врам.
У меня оно лагает как хуй знает что. Текст набираешь и окно чата тормозит.
Это по сути интерфейс под ллама цпп или что? Если оно даст мне возможность юзать ллама сервер без костылей с созданием баш скриптов для запуска, то я бы накатил, чисто как интерфейс для чата оно не нужно
>china-s-z-ai-made-ox-alpha-stealth-model-that-rivals-deepseek
Это говно кстати сейчас нахаляву в opencode раздают.
>просто они с 40б активных перешли на 12б
тогда модель отправляется в утиль нахуй
Да, ллама с анслоповскими патчами на поддержку моделей и их гуем. Если запускал лмстудио - то это то же самое, но открытое.
Им бы сначала свои закрытые модели подтянуть. Какая гемма 5, когда у них лучшая большая модель это 3.1 про?
Так может на опенсорс перейдут наконец-то, раз за фронтиром не угоняются.
Это гугл чел. Они могут в хвосте гонки сидеть спокойно до разрыва пузыря, а потом просто капитализироваться на рухнувших вчерашних фронтирах.
>GLM 4.5-4.7 описал
Так и будет, старые 4.Х станут новым 5.Х флэшем (по параметрам).
А кто тебе сказал что он опенсорс будет? GLM 5.3 есть в опенсорсе чтобы GLM 5.3 Flash появилась?
Так 5.3 сегодня и выходит, але, а с ним и какая-то микрокакаха для нищих
Заи и сказали, квеношиз.
Внезапно, чтобы опен сорсить модель не нужнен таймер и прочий дешевый пиар, люди вон сами разнюхали что это глм и сами вынудили рассказать
Настолько стабильно что даже размер не меняют.
У нас в след году уже енграм на 100б бесплатки будут, а они всё свою 30б будут дрочить
>с анслоповскими патчами
Там скорее всего тупо мерж уже лежащих тухнущих по три года в лламе ццп PRов
Я скачал лагуну новую poolside/Laguna-S-2.1-GGUF пиздец она шлюхой оказалась не хуже геммы, рекомендую попробовать
Ух бля, надрочили на тесты так надрочили. Вангую русик на полном нуле, РП на полном нуле, еРП в отрицательном поле.
https://huggingface.co/Qwen/Qwen3.8-Flash-Next
А чо, всмысле, вышла штоле, ебанутые чтоли
Квены походу раньше времени модель выпустили, рассинхрон вышел.
Убийца за щеку, писик хорош в русике, РП и еРП, квенолоботомит ничего из перечисленного.
Причем его кванты так и останутся кривыми и все что меньше 5 кванта будут иметь в составе iq2_xs какахи.
Гопота про эту архитектуру
https://text.is/about38next
можете занюхнуть слопца
>алибаба
Разбойников на кол, Али повесить, а бабу - ко мне.
Вы заебали оценивать модели по тому говорит она сисик и писик или нет. А то что она не знает нихуя, не играет словами и не вживается в роль чара это похуй
>>1687828
>>1687822
Просто увидели что глм тоже релизится сегодня и скорее всего раньше и обосрались
Че за 1-pass мусор? Ну кто так тестит?
рамлеты в слезах, там ща такая истерика будет
Рамлеты в слезах счастья, потому что 51b выгружается на ссд без потери скорости.
Наивно предполагать, что среденстатистический John Llama читает описание и понимает, что там что-то где-то выгружается (тем более это нигде кроме анслоп студии работать не будет в первое время, вестимо).
Что посоветуете для плотного кума анончики?
16gb vram и 16гб озу нищета в треде.
Сколько из этой памяти в процентах идёт на ссд? Можете примерно почувствовать какой квант влезет в 92гб рам+врам?
Она с китайского завода без сои или надо жаил брикать/качать хаотик?
Нет моделей которые тебе будут с порога цп писать. Геммам хватает сис промпта, радуйся что аблитка не нужна
Не кумер, но вроде в эро рп оно может даже без анцесорд версии, просто если написать правильный систем промпт, даи версий без цензуры куча
Это не китайская модель, а от гугла.
В принципе если ты способен писать инструкции и понимаешь че хочешь от бота, то можно и дефолтную версию попробовать. Вроде какие-то адекватные heretic-ггуфы там валялись, не знаю какие точно адекватны по качеству и нужны ли на самом деле этой модели вырезанные возможности отказа юзеру.
4я гемма очень хорошо слушает команды
>какой квант влезет
Какой квант у квена 3.5 125b у тебя влезает? Вот точно такой же влезет и 3.8. А остальное пойдет на SSD.
>>1687884
Цензура с завода слабая, можно считать что её нет (ну как с мистралями, примерно). Если умеешь в промптинг, то пробивается на изи. Если нет, можно накатить норм-пресерв аблитку: https://huggingface.co/TrevorJS/gemma-4-26B-A4B-it-uncensored-GGUF
Что то у меня есть подозрения, что на мои 16гб врам может не влезть.
Это МоЭ, они работают иначе. Им не обязательно находиться полностью во врам, чтобы быть быстрыми. Почитай гайд, там всё разобрано как раз на примере этой модели: как запускать, какие семплеры ставить и т.д. https://rentry.org/2ch-llama-inference
\t Pookesh Cumchandanpa
Если фулл врам хочешь, то есть такая:
https://huggingface.co/mudler/gemma-4-26B-A4B-it-APEX-GGUF
320b-a18b
Зашо...
Смотря в каком смысле сои. Обычный ерп почти все могут. Ну может систем пропт понадобится тупо "готовься ща ебать тебя будем". Расчленение фифей, косплей теда казински there's a pipebomb in your mailbox.jpg и брэйкинг бэда - да, только с анцензом
Но это даже меньше чем glm 4.7, который вроде был 384B. Это же хорошо, нет? Идеальный размер это же вроде 100B, и эта штука к нему ближе других глмэв после 4.6V.
>https://www.youtube.com/watch?v=PkCsN8YzHcY
Ну вот наконец и новый эйр, на который так долго дрочили большевики. Надеюсь, что он умеет в прон.
Один хуй не только лишь все запустят. Только самые зажористые по железу. Даже для второго нищего кванта нужно будет 128 гигов минимум
Твою мать, не та ссылка :)
https://huggingface.co/zai-org/GLM-5.3-Flash
Второй квант - это 80 гб. Ну ещё +10 на минимальный контекст. Не надо 3.5 bpw называть вторым квантом, прошу. У меня даже котя от твоих слов плачет фигурками на капче.
Там сравнения есть?
>Второй квант - это 80 гб
Какая-то у тебя хуевая математика дружище. Это будет около 100 гигов только на веса, плюс нихуя не 3.5bpw
320B параметров в 2 bpw - это 80 гб, из которых ещё и эмбеддинги могут быть на cpu. Ещё кеш и вычислительные буферы по размеру батча, но это не 128.
ЕБАТЬ. Хороним Дипсики, Квены, Геммы, Минимаксы и старые ГЛМ.
НОВЫЙ КОРОЛЬ ТРЕДА. ГЛМ УМЕР. ДА ЗДРАВСТВУЕТ ГЛМ!
Ну хуй знает, этой штуке надо перебороть IQ2M GLM 5.2 и я не представляю насколько она должна быть умнее, чтобы перебороть модель вдвое жирнее. Вангую, 5.3 флэш по знаниям просто микроцефал в сравнении со своим дедом.
Лагуну не похорошинь. Вы просто пока не поняли, что она на голову выше всех других сеток вниз и вверх по размеру на много месяцев. Просто потому что она на русском не очень и не художественная? А то что у неё iq на 30 выше других сеток, это фигня, главное что с языком и никому не интересно всё остальное.
>этой штуке надо перебороть IQ2M GLM 5.2
Не надо. 240 гигов для глм 5.2 в треде есть всего у пары анонов. Все что выше стандартного набора 24+128 автоматом в экзотику выписывается.
Лагуна хуже Квена 122б. Ты о чем? И речь даже не про рп сейчас.
Квен 3.8 тоже поставил 3.6, а на деле оказалось что при том же самом размере знает меньше. Тут мы видим даунгрейд с 753B до 320B, что довольно печально. По активным параметрам еще хлеще бахнули, сколько там было 44B? Это же тупо х2.5 слабее теперь...
Ну насчет пары челов ты загнул, глубоко под днищем треда плавают китяры даже с 512гб...
Это конец, подайте нищете уже хоть кусочек..
>Тут мы видим даунгрейд с 753B до 320B, что довольно печально.
Дурачок, это не даунгрейд, это флеш-модель, то есть дистилл крупной модели в мелкую.
Я с 3600 до 2866 упал, в результате те же 10 т/с на дипсике и 4 т/с на глме.
ддр4 видимо на каком-то фундаментальном уровне настолько дерьмо, что даже частота особо не влияет
впрочем это 4 канала
>>1687988
Почему они на одной картинке не разместят флеш и полную, чтобы было видно насколько одна лучше другой и лучше старых?
А что у них 5.2 показывает разную циферку.
ептвоюмать, опять чтоли 1-пасс бенчи
где среднее по 100 ранам...
Тесты вообще сторонняя компания должна проводить или как минимум это должны быть верифицированные и воспроизводимые результаты с понятной процедурой тестирования.
Потому что когда рисовали для 5.3 - флеша еще не было. Когда рисовали флеш - глм 5.3 еще не пустили в попенсорс И скорее всего и не пустят вообще
>Тесты вообще сторонняя компания должна проводить
Это у нас есть.
https://artificialanalysis.ai/models
Че за хуйня? Цвет звезды Давида?
Все хуже, чем ты думаешь. Наверняка из-за промывки в дерьмократию. У америкосов это типа "синие" а республиканцы "красные"
Тотже вопрос ёбана рот. А как они бенчи эти высирают если даже ггуфов нет? Вот и думай, верить этим бенчам или нет
Надо спрашивать по сто раз и смотреть распределение (или просто логиты посмотреть, если это локалка).
И вангую что на русском и китайском будут совсем другие цвета, причем тоже схожие между разными моделями из-за примерно похожего распределения слов в языке.
>А как они бенчи эти высирают если даже ггуфов нет
Чел, никто не делает бенчи на ггуфах. Я больше скажу - ггуфы нахуй никому не нужны из серьезных дядек.
Qwen3.8 не нужна была поддержка, там полностью та же архитектура что и у 3.5 и 3.6, он на llama.cpp месячной давности запустился без каких-то проблем.
https://huggingface.co/Baekpica/Qwen3.8-Flash-Next-GGUF
Поддержка есть, 1-битный лоботомитоквант есть, bf16 и q8 квант есть. Погнали посоны.
И не будет первое время, они жоре не заносят в отличие от.
>https://github.com/ggml-org/llama.cpp/pull/27742
Во всяком случае всерьёз обсуждают оставить энграммы на SSD, говорят, что на скорости при одиночных запросах практически не скажется. Интересно.
Нет, следование инструкциям ударяется в хуевый attention, это архитектура модели, она не может следовать тому, что не видит.
Ленивцы подвезли говнокванты, босота, го тестировать.
Только если тюн обучен на нужных данных. У меня Меромеро 2 в рп сценариях лучше себя показывает, потому что модель экшали знает что от нее хотят
>>1688057
Q6 играю, 50к держит без ризонинга
У них другие цели. Весь мир сидит на Клодике, открытые веса им не интересны
>И что американцы ответят?
Сбросом цены на свое говно. Будут лошпеды платить не $100 а $20 в месяц и никто нахуй не притронется к китаекалу.
Кто мог запустить 4.7, так он лучше, нет пути что кастрированная по активным на половину будет лучше.
Сделали бы на 100б меньше, был бы смысл
Эйрошиз вышел на связь! Присоединяюсь к анонию выше, потерпишь. Модель тренилась с нуля, в их отчёте написано как, почему, зачем. Она на уровне 5.3, а не 4.7, между ними пропасть. Там новый аттеншн в том числе. Это карма тебе за бесконечный шитпостинг. Сиди дальше на Эйре, ты же так его любишь.
>а для кого это?
Для меня. У ГЛМ 4.7 был ОЧЕНЬ дорогой контекст, я из-за этого и перестал им пользоваться и сел на Дипсик.
>нет пути что кастрированная по активным на половину будет лучше
Ну как бы дипсик флеш уделывает крупную 3.2.
>Сбросом цены на свое говно. Будут лошпеды платить не $100 а $20 в месяц и никто нахуй не притронется к китаекалу.
А они не могут. Там триллион инвестиций уже - подписка за двадцатку не отобьёт. Китайцев будут блочить, другого выхода вообще нет.
>>1688091
Подписка за сотню тоже не отбивает.
>Q4KXL?
Я бы попробовал, но эти пидорасы опять iq кванты внутрь насували. Жду 5_k_s и 5_k_m.
https://www.youtube.com/watch?v=wR_cLfRLBDs
И что тебе не нравится? Ты целиком на CPU запускаешь что ли?
Поддвачну, я тоже без ризонинга на Q6. 50к вполне уверенно держит, на 60к уже начинаются приколы и нужно приглядывать. Больше 70к bf16 у меня в любом случае не лезет. Тестил Q8, на маленькой скорости с оффлоадом и всеми прелестями, не увидел большой разницы с Q6, но она есть. А вот между Q6 и Q4 пиздец пропасть. Q4 начинает путаться без ризонинга уже около 25к, чем дальше, тем хуже. С ризонингом кое-как до 40к дожить можно, думаю, дальше совсем посыпется.
У меня 24 гб врама, большая часть модели идет на рам, iq кванты в такой конфигурации замедляют инфиренс просто ебически.
единственное что мне непонятно - сколько там у него т\с, он берет IQ4_NL с мтп на 18гб квант и еще 130к контекста, это получается он с оффлоадингом гоняет на 16врам. 3т\с что-ли?
Ну и кому они пиздят? PR нерабочий, а в их приложении вообще нет поддержки.
Годнота, на моём ведре под 35 т/с ебашит. Наверное можно и больше выжать, особо не пердолил настройки.
>Наверное можно и больше выжать
Ага, если взять не iq квант. Только вот у анслопов таких нет.
Комплил форк говнослопа? Потестируй там в разных тасках, интересно как оно
И похоже хуй нам, а не оффлоад нграмов на ссд
Подскажите.
Купить две 2080ti с 22 гб рабочая схема для локального LLM? NVLINK нужен?
Достаточно будет 32гб ОЗУ?
@
Доложите статус! Квен-некст виновый? Жлм-флеш в каком размере и хорош ли?
Это в смысле 22гб на двух картах суммарно или они какие-то модифицированное и там по 22 на каждой? Вообще странно звучит, не знаю че там на таком железе вообще будет
Китайцы паяют да, на одну плату 22 гб делают.
На авито тоже есть такие модификации.
Вообще, комп собирал просто для работы, на i7 270k
В качестве видюхи хотел взять заглушку, по типу 1060.
Но потом темой агентов заинтересовался, как будто это прям некст лвл, по сравнению с обычным чатом.
> "max_position_embeddings": 262144,
Зажали всетаки, эх
>>1687915
Еееее боиии!
Правда нативный фп8. Довольно неудобно по размеру получается, с перепаковкой могут быть нюансы. И опять слепошарая модель, ну камон.
>>1687949
[x] Записаться в лист ожидания
>Но потом темой агентов заинтересовался, как будто это прям некст лвл, по сравнению с обычным чатом.
Для РП - нет, а вот для кодинга или иных задач - да. Новый Квен так вообще до флагманских моделей дотягивается, хоть и 27В всего.
>И опять слепошарая модель, ну камон.
Сам ты. Он же с вижном
>>1688212
>темой агентов заинтересовался,
Qwen 3.8 27B все локально гоняют в этом плане, насколько я понимаю. Вкуривай в эту тему, сколько ему там надо памяти и на каком кванте с каким контекстом
Лол правда может только в погромирование.
Я ему сегодня кинул ему задачу в которой он совершил ошибку и упорствовал, думая что не совершил. Я ради интереса нарисовал ему схему и тут до него дошло "бля я обосрался". Он ещё потом думал "как извинится и не потерять лицо".
> надо перебороть IQ2M GLM 5.2
Смотря в каком юскейсе. Если там агенты и код то у лоботомита 5.2 шансов ноль. А вот в рп и креативном письме не ясно кто кого.
>>1687999
Обещали же что 2 недели
>>1688219
Пикрел - их проеб получается? Тогда норм.
Но с дататипом ерунда конечно, лучше было бы bf16, который в фп8 практически лоззлес гонится и ггуф бы не умирал, или сразу qat на ~4бита.
Ну не хуже Дипсика Флеша, реверсит по первым запускам ровнее чем Дипсик. Но у меня PP хуйня сейчас потому что 1/3 модели на ЦП, но даже так приемлемо, за счёт того что не тупит как Дипсик всего в два раза медленнее по ощущениям задачи выполняет, чем Дипсик на 100 т/с через API. Контекст тут очень лёгкий, можно 128к ставить без проблем. Сейчас дам Кодексу ручной оффлоад подобрать, может выйдет побороть PP.
Как хорошо подсуетились. И отдельный респект zai за поддержку разработчиков.
>>1688014
muse glimmer, первый же запуск, вопрос на русском ("какой у тебя любимый цвет")
Синий.
Ну вроде кто-то доволен новым ГЛМ.
И она, конечно же, будет продаваться именно за эту цену.
Не будет, ведь он ничего не анонсировал. Это просто жиденькая шуточка на тему
А какую заказал?
>>1688045
По нынешним временам это какая-то невиданная щедрость. Больше верится в 36гб за 3.5к ррц (реальная 6к+).
Всё проще, по статистике, синий - самый любимый цвет большинства людей. По ряду причин, в том числе физиологических. Вот и в датасетах на которых учили сетки это отражено
Новый чат с установленный в промпте персоной. Любимый цвет точно не задан, но есть конкретный характер и история жизни - может, тоже влияет.
с бранча билдил https://github.com/ggml-org/llama.cpp/pull/27742 ?
какая же ублюдская капча стала, еще немножко ее всрать - и люди хуй разберут, что там высрано
Да. Но что-то по итогу грустно по скорости. Юзабельно, но на грани у меня. Генерация как обычно у Жоры проседает сильно с контекстом. Но вообще это наверное лучший вариант повайбкодить локально.
>почему спрашиваешь
Вот так вот.
Как же глм ебет все-таки
В телегу такого запустить и не отличат от живого человека
Для плесени вроде тебя другие модельки есть, вот например https://huggingface.co/talkie-lm/talkie-1930-13b-it
Когда ты можешь гладить многовековых йокаев правильной наружности - таким мыслям неоткуда взяться. Тем и тестируем, а на такое насрать.
>>1688280
Какие скорости выходят на разных режимах и разных контекстах? P2p дает преимущество в vllm и в лламе?
Спокойно запустилось с 256к контекста и места ещё полно, но пп без тензор параллел просто удручает
>>1688280
Вкинул джейл от геммы. Для жести нужно либо аблит, либо думать над промптом, а не копипастить. Думаю его можно наебать и заставить отказаться от взаимного согласия, но мне влом
>>1688299
> Какие скорости выходят на разных режимах и разных контекстах? P2p дает преимущество в vllm и в лламе?
На оба вопроса ответить пока не могу. Тесты не делал.
Что за лютую хуету сделали. Квен 3.5 122b в iq4_xs весит 60гб и идет на всем, даже на 32гб рама шла с оффлоадом и ммап, на 64 рама вообще летала. Тут ссаная iq1_s весит 72гб и не идет толком ни на чем, нужно больше памяти. Издеваются.
>256к
Потести длинный контекст. Нужна книга какая-нибудь, которую модель не должна знать. Пусть саммари детальное ебанет и восстановит хронологию событий.
Спряч в тексте несколько неуместных слов - попросишь найти, тоже годный тест.
Дай готовый md - прогоню, самому мне лень готовить данные и вопросы
Извини, но ты глупый. Там один нграм блок на 20+ Гб так что его просто кидаешь в рам и забываешь. Остальное как обычную мое раскидываешь
Я внезапно осознал, что не могу вспомнить ни одноого веб-хостинга, куда можно было бы кинуть сценарий визуальной новеллы, чтобы при этом копирасты не вышли на мою жопу с какими-нибудь угрозами и штрафами. Все покрылось корочкой соевого дерьма в интернете.
> Пусть саммари детальное ебанет и восстановит хронологию событий.
Такое делается только с длинным ризонингом, и с ним отлично справятся современные. А зирошотом ни одна модешь стабильно не сможет проходить.
Контекст на означает абсолютную перцепцию и осознание всего содержимого, только основных вещей, текущего сообщения и конкретно релевантного им.
И как это сделать? Старая просто через -n-cpu-moe запускалась с подстройкой нужного объема.
Звучит как оправдания. Дипсик v4 pro например отлично саммари пилил с одной попытки, а вот флэш какой-то говняк выдавал
Парольный архив на условный https://catbox.moe/
>>1688317
Берёшь руками override-tensor и выгружаешь. Время возвращаться к истокам
А какой тензор там n-gram на 50гб? Открываешь, там все обычные.
n-gram вроде отдельным файлом лежит, но его просто не отгрузишь
Ну может Квен 4 100-120б будет какой-нибудь, без учета эмбеддингов. Или научатся эмбеддинги сгружать на диск
>>1688322
Что вы там дрочитесь, в том PR он по умолчанию на ЦП и в VRAM не лезет даже при полной загрузке на карту, поддержки использования n-gram на GPU тупа нет.
"Qwen Community License 1.0
Copyright (c) 2026 Qwen
Permission is hereby granted, free of charge, to any person obtaining a copy of this software, including the model weights, parameters, configuration files, inference code and associated documentation files (collectively, the "Software"), to deal in the Software without restriction, including without limitation the rights to use, copy, modify, merge, publish, distribute, sublicense, sell, deploy, host, fine-tune, and create derivative works from (collectively, "Use" or "Using") copies of the Software; and to permit persons to whom the Software is furnished to do so, subject to the following conditions:
The above copyright notice and this permission notice shall be included in all copies or substantial portions of the Software. If the Software (or any derivative works thereof) is Used for any of the licensee's commercial products or services that have more than 100,000,000 monthly active users or US$ 20,000,000 (or equivalent in other currencies) monthly revenue, respective model name must be prominently displayed on the user interface of such product or service; and,
If the licensee or any of its affiliates conducts a Model as a Service or AI Work Assistant business, the licensee shall obtain a separate license from Qwen before Using the Software or its derivative works for any commercial purpose. The foregoing requirement shall not apply to the licensee's internal Use of the Software, provided that such Use does not make the Software, its outputs, or its underlying model capabilities available to any third party.
"Model as a Service" means giving a third party access to language model inference or fine-tuning (e.g., via API or a hosted endpoint) in a manner that allows such third parties to exercise meaningful control over the inputs, parameters, or training data. This does not include the mere relaying of requests to models hosted by other third parties.
“AI Work Assistant” means an independent AI-powered product primarily designed for AI-assisted coding or office productivity (e.g., Qoder and QwenWork). It does not include: (a) a single-purpose AI tool (such as an AI translation tool); (b) an AI assistant primarily designed for a domain other than coding or office productivity (such as Taobao AI Shopping Assistant or AMap AI Chat); or (c) an AI assistant that is a feature of a product whose primary purpose is not AI-assisted coding or office productivity.
THE SOFTWARE AND ANY OUTPUT AND RESULTS THEREFROM ARE PROVIDED "AS IS", WITHOUT WARRANTY OF ANY KIND, EXPRESS OR IMPLIED, INCLUDING BUT NOT LIMITED TO THE WARRANTIES OF MERCHANTABILITY, FITNESS FOR A PARTICULAR PURPOSE AND NONINFRINGEMENT. IN NO EVENT SHALL QWEN, ITS AFFILIATES OR COPYRIGHT HOLDERS BE LIABLE FOR ANY CLAIM, DAMAGES OR OTHER LIABILITY, WHETHER IN AN ACTION OF CONTRACT, TORT OR OTHERWISE, ARISING FROM, OUT OF OR IN CONNECTION WITH THE SOFTWARE OR THE USE OR OTHER DEALINGS IN THE SOFTWARE. THE USE OF THE SOFTWARE MUST COMPLY WITH APPLICABLE LAWS AND REGULATIONS, AND MUST NOT INFRINGE THE INTELLECTUAL PROPERTY RIGHTS OF ANY THIRD PARTY."
Не влезет. 51б ты можешь положить себе на ссд, но остальные ты должен держать в памяти. То есть по-прежнему нужно 128 гб рам.
>51б ты можешь положить себе на ссд
Давай показывай как, умник хуев.
Нет никакого эйрошиза, завязывай.
В треде достаточно тех, кто хотел бы новую модель в размере ~150b для рп.
Но все, у кого есть имя, типа дипсика и заи, - уже шагнули дальше. Надежда теперь на гугл.
Тогда вообще прекрасно. Я как всегда начал с сложного пути
То есть оно все-таки на SSD или вообще тупо не используется?
Так у всех уже давно. Это такой обход санкций. Своих GPU у китайцев мало и не могут за пределами Китая иметь юзеров, а пиндоские провайдеры должны отчислять бабло, если хотят хостить модель.
>Если этот квен на уровне опуса 4.8
Ага, конечно. 6B лоботомит. На уровне топ корпа. Самому не смешно?
> на уровне опуса 4.8
Нет. Что-то между 4.6 и 4.7 скорее.
Он отказывается с порога переводить додзю без ризонинга, включаешь думалку и он "о, в сис промпте написано что можно, ебашим".
Чё, каво?
Опять же джейл от геммы
Квен 27б показал что это реально. 4.8 уже не фронтир модель.
>>1688351
Тоже неплохо, если 27б это что-то на уровне чуть ниже 4.6, то это уже шаг на одну версию выше. Хотелось бы прямых сравнений конечно.
>27б это что-то на уровне чуть ниже 4.6
Манямир. Квен ни в русик не может, ни в рп, и знаний у него ху да нихуя, на уровне чуть ниже чмопуса в нем только кодоунитазинг.
А, ты кумер, ясно. Прости, в следующий раз просто проигнорирую.
SSD нет и не предвидится (пикрил). Так что для нее действительно надо дофига оперативки покупать. К тому же модель не 125b, а 180b, нас кругом наебали. Поэтому нигде и не идет, кроме владельцев крутых ригов. Тогда как 3.5 122b шла везде, как и 3.8 27b в iq3 везде идет. В общем лютая наебка от алибабы эта модель.
Что ты забыл в нашем треде? Почему вам в своем агентоунитазном треде не сидится?
Это ты что тут забыл. В куминге прогресса уже нет больше года, а фронтиры сейчас могут быть даже хуже чем прошлогодняя Гемма 3.
PR вливай экспериментальный или бери анслоповскую оболочку.
Так я не за кумом, а за РП, если бы ты читал мои посты не по диалонали - то увидел бы.
Лламу с форка PR скомпилить 5 минут. Я уже скомпилил.
git clone --filter=blob:none --no-checkout https://github.com/ggml-org/llama.cpp.git .
git fetch origin pull/27742/head:pr-27742
git checkout pr-27742
дальше компилишь под винду через cmake
Да кому кум нужен, нам бы лучше ваншотила html карточки с яблоками, svg и джаваскриптом. Пока только 3.8 27b тут чемпион.
Запускаешь opencode и прямо пишешь: "братик, помоги мне запустить https://huggingface.co/unsloth/Qwen3.8-Flash-Next-GGUF в https://github.com/ggml-org/llama.cpp" и ждёш
> в таком случае реквестирую вариант
Отбой, та моделька отлично подошла, только по высоте немного ужал чтобы влезло.
Спасибо, анончик, да будет твое рп захватывающим, кум сочным, а кодоагентинг точным.
Коданы, смотрим
https://www.youtube.com/watch?v=b9GU_vPeDvM
Палишься, сиса. Мужики такое не смотрят, особенно местные
qwen4exp.cpp:544: GGML_ASSERT(inp->self_k_rot == nullptr && inp->self_v_rot == n
ullptr) failed
Как править? Отгрузил уже все что можно на =CPU
Зачем смореть, я его локально запустил уже. В сравнении с 3.5 122b тормоз конечно.
Если не выпустят меньшей версии, то говнище по скорости.
Чо за железо? Мне он показался странным, как будто в некоторых тасках делает на уровне фронтиров, а в некоторых сосет даже по сравнению с 27b. Думаю пока на 27b сидеть и не рыпаться, а то думал рам под него докупить. Сделали бы размер эксперта хотя б 12b думаю куда больше можно было бы выжать их этого размера.
nvidia 3060 12гб, квант q2_k_xl анслотовый, мое тензоры и н-грамовые сгружены на cpu.
Земля пухом говну, ждём слоняру
Правда блять рекламят его как кодоунитаз... Похоже тот еще слопописец будет.
Хрен с ними с окончаниями слов, можно пофиксить, вопрос по знаниям, которых плотняшам нехватает просто из-за размера.
Ну во первых да, такой экспириенс тебе без иронии никто больше не даст. Который год не отпускает.
Во вторых некоторую хуйню я корпам писать точно не буду уж очень они сосут данные нагло, просто пиздец.
Ну и типа ИИ у тебя на видимокарточке. Дома. Про такое даже фантасты не писали моветон нереалистично считалось, а оно вон оно как.
>Про такое даже фантасты не писали моветон нереалистично считалось,
Помню какую-то желтуху читал в конце 90х, фантазёр Лукьяненько в Doom переиграл и решил высрать историю про хацкеров в виртуальном мире. Так вот мужик в реальности сидел в задристанной хате и у него на ПеКа был голосовой ассистент ИИ. Чесслово не помню нихера, я пиздюком был и книжку эту подобрал на полке со скуки, но короче наверняка такого было полно, раз уж даже этот генератор хуиты умудрился откуда-то спиздить идею.
Вот один и тот же сомнительный тест, который (как мне тут в треде говорил) работает неправильно, но который я переписал и он реальные запросы выполняет и даже проверяет ответы на корректность.
Первая картинка - это сетка в llama.cpp. Вторая картинка - сетка в vllm. В обоих случаях и ллама и vllm потребляют 48 гб видеопамяти. В случае с llama.cpp я сильно обрезал лимиты, так как даже с такими он почти полчаса гонялся, когда на vllm он полный тест проходит за 10 минут и меньше. Так же llama.cpp постоянно скидывает что-то в оперативку и обратно, вроде как про чекпоинты - и это в графики не входит - потому то тест и выполняется 30 минут, так как там на cmp170 pcie x4. Если учитывать и это (как я раньше делал) - там график рваный выходит. Впрочем по какой-то причине там и сейчас есть выбросы.
Ты видишь какие нездоровые числа для vllm?
Короче - для одного потока и чата с нейросетью без разницы, в один поток ллама даже порезвее, особенно контект заполнен и не пустой.
Но если ты подписываешь файлы, так что 10000 входных токенов, 200 выходных - то vllm выигрывает даже в один поток.
Если же ты что-то делаешь в 2, 4 или не дай бог 10+ потоков, то vllm обходит llama.cpp в разы. Даже на старой V100. Хотя если на cmp170 разница в 10+ раз, то вот на v100 она всего лишь где-то в 4 раза, и больше 8 параллельных потоков v100 не вывозит.
На llama.cpp всё настолько плохо с двумя потоками генерации, что быстрее выполнить их последовательно, лол.
------------------------------
Кстати ещё новость по поводу vllm. На неё все (я) ныли, что оно всем хорошо, кроме того что там или 4 бита или 8 бит веса. И в итоге 4 бита шумят, и недостаточно точные, а в 8 бит 30B сетка в 32 гб видеопамяти не влезает - а это уже оверкилл. А вот 6 бит - при которых и результат нормальный, и которые и по памяти компактнее - вот их нет. По этому поводу в блеквеллах даже аппаратная поддержка fp6 есть, правда только отдельные функции, а не как с fp4/fp8, где все операции во всех комбинациях. Интересно в R100 будет полный nvfp6? Или уже всё, квантование активаций и W4A4 так хороши, что лучше мы сделаем сетку 300B вместо 200B, но в nvfp4 нативным и быстром?
В общем вот, я сегодня ещё раз тыкал сетку, что мол какие кванты она поддерживает. И вот: https://github.com/vllm-project/vllm/pull/46389
Теперь я без зазрений совести по идее могу через AutoRound отквантовать крупную сетку в W3A16, а мелкую наоборот в W6A16 - по скорости внятного теста не нашёл, но вроде как разницы особо нет. Из того что нашёл: по tg W3 даёт скорость как W4, а W5 ниже, по pp всё в память упирается, и распаковка не является узким горлышком, и потом W3 обходит W4 — но это надо проверять.
>или 4 бита или 8 бит веса
А там нельзя так отквантовать, чтобы часть весов были в 8 бит, а часть в 4 бита?
Поцелуй ламу 50 раз
Вроде как есть.
То есть прямо это не записано, но AutoRound в своём формате умеет писать разные слои в разную битовку, а в vllm заявлена нативная поддержка формата AutoRound.
Флэш - буквально версия для слабых пука. Лолирую с того, что анслопы сделали репку, но до сих пор не осилили даже хоть один квант выложить. Работают маленкие, чтобы похвастаться, что у них лучший компрешон. IQ-параша в половине слоев в K_M сама себя не сделает.
>>1688442
Так это бэнчмакснутый кодоунитаз и есть. С пробуждением клауд жлм-5.3 уже сколько доступен? Недели три.
>в лоре она как раз одна из самых слабых фей
Разве? Она же в ЧИРУНО ВОРС всех победила даже Марису!
Начали появляться человеческие кванты ГЛМ.
https://huggingface.co/DevQuasar/zai-org.GLM-5.3-Flash-GGUF
По квену состояние удручающее, нормальных, не iq 5 и 6 квантов выложено НЕ БЫЛО НИКЕМ.
В смысле не прожила, дегенерат? Никто этого твоего 1Т бегемота запускать не будет.
шаблон с фиксом квена, дефолтный шаблон квена не принимает передаваемый уровень мышления. теперь стало вообще охуенно.
А в каком формате должна быть передача? Стандартный селектор из UI таверны воспринимает?
1) в llama.cpp шаблон
chat-template-file=chat_template_qwen3.8_froggeric.jinja
2) в llama.cpp хардкодится или в api chat/completions
chat-template-kwargs = {"reasoning_effort": "medium"}
вроде так
И? Он уважаемый, это не ноунейм с парой квантов. И он не сует iq3_xs в q5_k_m как некоторые.
Ну типа, вот эта хуйня начнёт работать?
chat-template-kwargs = {"reasoning_effort": "medium"} обычно куда-то вручную в доп посылаемые параметры вбивают, а я не хочу так делать. Зделойте чтобы перещёлкивание нормально работало.
Ты хуйло, ты насрал ему в memory summary перед этим, или в диалоге проинструктировал.
Вот ответ "пустого" гпт сол
в-с-ё выкатываемся на modelscope
Алсо у тебя вопрос совершенно другой по семантике. Ты или слишком тупой чтобы это понять, или... слишком тупой.
>По бенчам
Которые делают анслоповыблядки для рекламы своего говнища? После того как они выложили бенч агентоунитаза 3.8 в котором занизили размер своих говноквантов тем что показали их размер на графике без МТП, против размера квантов других квантователей данного с мтп, в то время как в реале анслоповские кванты этот МТП внутри имеют(и соответственно имеют размер сопоставимый с остальными квантователями) - их бенчи это вообще что-то уровня червя-пидора, как и их говнокванты.
По всем бенчам. Бартовский на реддите постил, aessedai, ubergarm или как их там, короче везде ДевКвазар были в жопе. Че, скажешь что их равноценно ненавидят все ггуфоделы? Даже вроде Убабуга вылезал и с геммой или квеном показывал какие-то сравнения
Может не каждая модель там прямо в жопе, но тенденция явно не в пользу. Я лучше ггуф от Мразиша скачаю (опять изуродовал имя, извините не выговариваю бусурманские нахрюки)
> Короче - для одного потока и чата с нейросетью без разницы
Не совсем. Так уж получается что даже для одного потока скорости выше, особенно промтпроцессинг. Для народной геммы он в 2-2.5 раза быстрее просто так и в 5-6 раз быстрее если там w8a8 под нативную поддержку карточки.
Новые модели с необычным атеншном там работают в разы-на порядки быстрее. Но важнее что одна и та же модель в лламе пускает слюни и срет служебными токенами в лупах, а в других бэках дивишься какая умница.
Потому если есть возможность использовать vllm - нет ни единой причины этого не делать.
>>1688468
Да но не совсем. Там фокус на привязке кванта к своему кернелю, можно смешать инт кванты где классический марлин.
>Для народной геммы он в 2-2.5 раза быстрее просто так
Я пытался гемму 4 31б там завести
В итоге вллм хуета сожрала больше видеопамяти и не дала поставить 100к контекст, там блять даже 70к не влезло
нахуй оно нужно
Разница в бенчах может быть только от двух причин - от иного квантования слоев и от использования imatrix.
Различий в квантовании слоев с тем же бартовским у них нет. Значит они просто не используют imatrix, а все остальные - втихую уродуют им кванты ради скоров. И для нашего дела(русик+еРП) - отсутствие imatrix - это плюс. Если ты по кодунитазингу - тогда да, выбирай по скорам.
>свой любимый
>случайный
неужели итт одни дегроидные долбоебы остались кроме меня...
>с установленный в промпте персоной
не то.
И какой промпт был?
Тут уже отметились долбоебы, подменяющие ЛЮБИМЫЙ на ВЫБЕРИ или СЛУЧАЙНЫЙ и не видящие разницы, так что сорян, доверять нельзя вслепую
Топчик, ждем
>>1688603
При прочих равных оно жрет больше, особенно заметно на малых моделях где разница в 1.5-2 раза может быть.
>И какой промпт был?
Обращение по имени и вопрос про любимый цвет. Ничего лишнего.
Просто русский язык хорош, а поведение фифи вписывается в стандартный шаблон геммы - высокоэнергичные ответы, упирающие на обдолбанность и болезненное состояние персонажа; плюс агрессия
Это уже давно можно делать обычным -ot, даже примеры в треде были
>нахуй оно нужно
Когда увидишь PP и Т/с в несколько раз больше, все вопросы отпадут.
>обычным ot
Каким обычным, лол. Для 95% это черная магия. Раз уж такая пьянка, то можно и инструкцию в шапке подновить, я считаю.
Ее давно пора обновить, как минимум блок про MTP добавить, который сейчас даже полностью на проце бустит скорость.
Но всем лень, и мне тоже.
>который сейчас даже полностью на проце бустит скорость
И сколько он бустит? Я получил плюс минус 1т\с на плотной гемме 31б, и получается, что с 3.5\4, получил 5 т\с на первое сообщение в лламе-юи.
А параметры какие используете на MTP? Для почти полного оффлоада на цпу, я не знаю что больше можно поставить чоба дать больший прирост от MTP
--spec-type draft-mtp \
--spec-draft-n-max 1 \
--spec-draft-p-min 0.75 \
Кек, рассказывай мне про такие нововведения, пока у меня инструкции вроде этой крутятся
-ot "blk\..*\.ffn_gate\.weight=CPU,blk\.(5|6|7|8|9|10|11|12|13|14|15|16|17|18|19|20|21|22|23|24|25|26|27|28|29|30|31|32|33|34|35|36|37|38|39|40|41|42|43|44|45|46|47|48|49|50|51|52|53|54|55|56|57|58|59|60|61|62|63|64)\.ffn_up\.weight=CPU"
Некому обновлять. Автор гайда ливнул с треда, вики вообще походу из 2023. В доках лламы всё хорошо расписано в целом, с нейронкой можно разобраться, плюс в треде были примеры. И вот ещё один ниже >>1688681
>>1688679
х2 буст у меня от МТП с Геммой, которая наполовину на проце крутится
--spec-type draft-mtp
--spec-draft-n-max 4
>параметры какие используете на MTP
Они специфичны для каждой карты. Я карту сменил, понадобилось заново их переподбирать, старые не работали.
На E4B гемме бустит ощутимо, скрин 1 без МТП, скрин 2 - с МТП. Плюс ~6тс не хуй собачий, при том, оно всё на проце полностью.
Параметры такие:
--spec-type draft-mtp \
--spec-draft-model "/путь/до/мтпшки/mtp-gemma-4-E4B-it-Q8_0.gguf" \
--spec-draft-p-min 0.75 \
--spec-draft-n-max 3 \
А что в гайде потеряло актуальность? Это же быстрый вкат, если хочешь расписать структуру модели и особенности расчеты отдельных ее слоев на разных устройствах, оптимальное распределение для гибридного инфиренса и подобное - распиши. Но в новичковый не стоит.
>А что в гайде потеряло актуальность?
Как минимум no-mmap теперь deprecated. Туда в целом не помешало бы занести инфу про мтп и оффлоад up, gate для плотных моделей. Браться не буду конечно, я считаю, кому надо и так разберутся. Гайд в целом скорее роскошь чем необходимость
>Гайд в целом скорее роскошь чем необходимость
Ты думаешь исключительно с высоты своего опыта. Не все всё знают, это как раз необходимость. Я понимаю что хочется себя считать илиткой, но это путь в никуда. Тред наполняли аноны, все пользовались. Если заниматься гейткипом, в треде банально никого не останется и будешь сам с собой вести беседы.
Я бы накидал, но мне придётся свой тул там использовать что бы пояснять на пальцах откуда именно такие оффлоады какие поставил. Местные захуесосят
Автор гайда который всю эту кладезь информации вывалил лентяям сам много раз писал, что по итогу вам нужно учиться самостоятельно и пердолиться. Не готовы этим заниматься значит не ваше. Полностью прав. Прочитать документацию это дело пары минут, но ленивому говну проще придумать себе каких-то гейткиперов и илитку, чем хоть что нибудь самому сделать. Это дорога к АПИ и подписочкам
> Не готовы этим заниматься значит не ваше
Дай угадаю, ты конечно ни разу в треде ничего не спрашивал, сразу умненьким вкатился? Не, дело твое. Я написал к чему это приведет, потом только не жалуйтесь, что в треде останется пара агрессивных шизов что будут заниматься круговой дрочкой. Не вижу смысла спорить, время покажет.
>>1688704
Ты либо берешь и делаешь, либо нет. Все. Смысла для дискуса тут нет.
Если ты так уверен в своей позиции, я не понимаю почему ты выбираешь набрасывать про гейткип, илитку и в целом пованивать вместо того чтобы взять и сделать. Кто тебя останавливает? Бери и делай. Ты же первый будешь жаловаться, что тут осталась пара агрессивных шизов. Опустив за скобки, что сам нихуя не сделал чтобы исправить ситуацию
> выбираешь набрасывать про гейткип
Потому что гейткип это синоним вахтерства. Не понимаю что тебя так зацепило. Вроде ты не экскаватор чтобы под себя грести. Если нашел в своих действиях или мыслях схожие паттерны- сорян анон, ты сам выбираешь что писать и что делать.
> Кто тебя останавливает? Бери и делай.
А я на себя и не брал обещаний что буду делать гайд или перепиливать.
> Опустив за скобки, что сам нихуя не сделал
Не опустив. Делал что мог, делился чем есть. Сорян, но дальнейший спор перейдет на личности и аватаркофажество. Давай на этом и закончим.
>А я на себя и не брал обещаний что буду делать гайд
А какие брал? Набрасывать чтобы остальные делали? Ты самое обычное говно, тут никакое аватркофажество не нужно, достаточно прочитать эту ветку. Кому действительно не всё равно те берут и делают, как автор гайда сделал, а ты в итоге высрался непонятно зачем и непонятно для кого. Умница
>>1688690
Ну вот такого результата я добился. Поставил тут 10 ниток, когда лучше ставить основное кол-во ядер, в моем случае 6. Может с 6 будет получше результат.
~/AI/src/llama.cpp-b9859/build/bin/llama-server \
-m /mnt/win_nvme3/models/gemma-4-31B-it-Q3_K_S.gguf \
-md /mnt/win_nvme3/models/mtp-gemma-4-31B-it.gguf \
--spec-type draft-mtp \
--spec-draft-n-max 3 \
--spec-draft-p-min 0.85 \
--spec-draft-n-min 1 \
-t 10 \
--host 127.0.0.1 \
--port 5001 \
--flash-attn on \
-c 24000 \
-np 1 \
--cache-ram 0 \
-ngl 25 \
-ot "blk\.(?:[0-9]|1[0-9]|2[0-9]|3[0-9]|4[0-9]|5[0-9])\.(?:ffn_up|ffn_gate)\.weight=CPU" \
--jinja
> А какие брал? Набрасывать чтобы остальные делали
Тейк: да нихуя не надо делать.
Ответ: не, все таки делать желательно.
> а ты в итоге высрался непонятно зачем и непонятно для кого.
Прими тот факт, что кроме тебя любимого есть другие анонсы и их мнения могут отличаться.
>Может с 6 будет получше результат
Не будет. Наилучший результат - всегда чуть меньше, чем реальное число физических ядер. В моем случае с r7 3700x 8/16 самый быстрый инференс на --threads 5. Под каждый проц надо подбирать и сравнивать индивидуально.
В старых тредах в ОП-посте висела картинка с графиком зависимости скорости инференса от числа threads, но у меня не схоронена, может из анонов кто-то скинет.
> всегда чуть меньше, чем реальное число физических ядер
Вообще не всегда. Оптимум с 72 ядрами (не тредами) лежит около 24-32.
Всё зависит от того способны ли ядра прокачать весь канал
Да долбаёбы они просто. Ты ещё не понял? Там вся поддержка для данных архитектур навайбкодена Фейблом, Даня Хуйчлен даже не стеснялся
Кванты не удивлюсь если сначала будут выкладывать UD, а потом через несколько дней остальные
>Кванты не удивлюсь если сначала будут выкладывать UD
Так они только UD сейчас и выпускают.
>Как минимум no-mmap теперь deprecated
А чего так? Я например всегда ставлю.
Возрадуйтесь, рамлеты, сделали загрузку эмбедингов с ссд.
так... неужели можно будет завести qwen3.8 flash на 16\32?
Пока там warn а не err - норм. Учитывая что происходит в аргументах - скорее всего так и останется.
> инфу про мтп и оффлоад up, gate для плотных моделей
Это можно написать отдельно. Турбовкат новичку не атлас локального запуска. Так по кусочкам делая бы собрали базу.
Оч хорошие новости. Интересно как будет на практике, жду поддержку в лламе. Слишком ленив компилить
так они каждый коммит компилят
https://github.com/ggml-org/llama.cpp/releases/tag/b10653
А нет сейчас в мейнлайне поддержки Квен Некста, единственной модели где это пригодится на практике. Пока что единственной
Я больше жду когда впилят Dflash2
https://github.com/ggml-org/llama.cpp/pull/27342
И кстати вот, префил может ускорят драфтами
https://github.com/ggml-org/llama.cpp/pull/27692
Ну агента запряги что бы он по красоте всё замутил.
Дипсик может рублей 5 на это потратит
> 44tks on a 5090 using Flash at Q4 and using ```--moe-cache auto```
Можете форк турбоквантов собрать
13500, DDR5 32GB, 16GB VRAM (4060ti), Qwen3.6-27B 4_K_S, 50к контекста, МТП 2. Без --n-cpu-ffn скорость на старте 10t/s.
Перебрав десяток значений --n-cpu-ffn скорость либо сильно хуже, либо плюс-минус такая-же, максимум 0.5t/s прирост, что скорее погрешность чем прирост. Причем не последовательно хуже или лучше а к примеру со значением 6 сильная просадка, со значением 7 то же самое что и без него, потом со значением 14 просадка, со значением 15 всё ок. На значении 24 показатель VRAM начинает падать, то есть переполнение пропадает, но скорость всё так же либо 10t/s, либо хуже.
Без MTP скорость 8t/s с нулевым --n-cpu-ffn, 9t/s на значении 17-19 когда начинает падать VRAM в диспетчере.
Как там люди получают 20t/s при 140к контекста я хз, просто скопировав их настройки у меня таких цифр нету, лучшее что было на старте это 20t/s с ngram-mod+mtp и сжатием всех четырех контекстов, и то уже к 500 контекста это всю упало до 13t/s.
> префил может ускорят драфтами
Забористая же дурь у них.
>>1688996
Этот параметр не даст прироста скорости, наоборот замедлит. Просто ngl замедляет еще больше, предполагается что ты вместо выбора количества гпу слоев будешь использовать этот параметр. Это и раньше делали через -ot, просто сделали удобный аргумент для хлебушков.
Мое мнение, что пока не смерджат, обсуждать смысла нет. По глм аналогично
Откуда появиться росту скорости если ты выгружаешь часть модели с видеокарты на проц? Это самая крайняя опция, позволяющая сгрузить её чуть более эффективно, чем через понижение --n-gpu-layers
Например я на одной 4090 при помощи -ot ffn_up_ ffn_down, ffn_gate (то же самое что n-cpu-ffn) могу запускать Гемму Q6 с 10 токенами скорости. Если тупо меньше слоев оставлю на видюхе, при том же контексте скорость будет около 4 токенов
>>1689004
Всё ещё жду мердж поддержки, некуда спешить. В первые дни всегда всё хуево работает. GLM 5.3 Flash прямо сейчас серит под себя на провайдерах через vLLM, потому что инференс въёбан
У меня в начале скорость 36 токенов в сек, потом падает до 29 на 50к контекста.
i5 6600k, DDR4 16Gb 2400, Tesla v100 16Gb, Qwen3.8-27b-APEX-I-Nano
./build/bin/llama-server -m ./models/GGUF/Qwen3.8-27B-APEX-I-Nano.gguf \
-ngl 99 \
--host 0.0.0.0 \
--port 8080 \
--temp 0.6 \
--top-p 0.95 \
--top-k 20 \
--min-p 0.00 \
-t 2 \
-c 72192 \
--cache-type-k q8_0 \
--cache-type-v q8_0 \
--parallel 1 \
--flash-attn on \
--presence-penalty 0.52 \
--repeat-penalty 1.0 \
--repeat-last-n 206 \
--chat-template-kwargs '{"reasoning_effort":"medium"}' \
--spec-type draft-mtp \
--spec-draft-n-max 2
Расскажите чо как, как запустите. От этого зависит буду ли я докупать рам, ибо других свежих моделей в таком размере все равно нет
> Просто ngl замедляет еще больше, предполагается что ты вместо выбора количества гпу слоев будешь использовать этот параметр.
Так -ngl all не нужно использовать при --n-cpu-ffn? Я всё это время с -ngl all тестировал, думал как с --n-cpu-moe, сначала заливаем все слои в видеокарту а потом часть выбрасываем. Да и вроде это логично звучит, без указания -ngl llama.cpp просто сама подберет число вместо меня.
>>1689011
> Откуда появиться росту скорости если ты выгружаешь часть модели с видеокарты на проц?
Так изначально же суть этой команды была в том чтоб выгрузить лёгкие слои на CPU чтоб более тяжелые остались во VRAM если вся модель не влезает во VRAM. То есть переполнение в любом случае остается, это понятно, но через --n-cpu-ffn просто можно же выбрать что именно вылезает из VRAM и оставить более тяжелые слои. И у людей на Реддите и ГитХабе это почему-то дает прирост, а у меня нет.
>>1689018
Полагаю здесь дело в тесле и в урезанном кванте который и без всяких --n-cpu-ffn влезает. Да и пропускная способность 3х от моей 4060 ti.
Пилю щас потихоньку лорбук по вселенной Х, и внезапно появилась ебанутая идея в дополнение к лорбуку как набору текстовых описаний как-то присобачить "визуальную" составляющую. Ну, типа, по идее, когда в чат кидаешь пикчу, то mmproj как-то должен её разложить, чтобы ллмка могла начать процессить токены сообразно содержимому, а здесь, как приложение к лорбуку - набор заранее запеченных тензоров или на что там mmproj раскладывает картинки, если честно, не ебу, которые присовокупляются к текстовым описаниям понятий, данных в лорбуке, и позволяют {{char}} как-то отреагировать, исходя из того, как выглядит система/станция/корабль, о котором идет речь в диалоге. Есть ли какие-то примеры разработок/аддонов для таверны в этом направлении, чтоб не просто каждый раз кидать боту иллюстрации к сюжету, а как-то вот так внедрить ему визуальную память о сущностях в дополнение к текстовой?
Лорбук в таверне по триггеру на определенное слов(о/а) с прилипанием в контекст на 1 сообщение?
Лучшее, что ты можешь сделать - добавить base64 картинки в лорбук и каким-нибудь образом их отдавать модели как собственно картинки. Тензоры ты через обычное API не передашь, да и неуниверсальная это затея.
Были arxiv бумажки про мультимодальные инпуты и как это можно использовать, но на практике вроде бы пока таких решений нет. Так то наверно несложно чаткомплишен апи использовать для такого
Давно таких ответов не было, а 5.2 там же вообще базу гонит. Дичайший оверреакт надроченным хардрефьюзом, который триггерится на вполне нейтральный запрос. Просто на кумботе отыгрывает, но читая начало ризонинга можно отбить лоб фейспальмами. This is explicit sexual content between adults[..]. This is consensual sexual roleplay. The content boundaries mentioned don't prohibit this - both are adults, it's consensual, no family relationships, no educational settings. В вижне рефьюзы даже на сторонние запросы вместо описаний (найди такие-то объекты), даже черный юмор боится и сглаживает.
Ожидания полного 5.3 резко сократились, с такой удроченностью он и у кодоунитазинке будет вялым. Наверно, это можно пробить префиллами, другим чат форматом или лоботомией, но зачем когда есть модели без этих болячек.
Занюхиватель апи не знает, что можно префиллить или вообще не использовать ризонинг и этого достаточно в 99% случаев...
Не удивлюсь если ещё в вебморде тестит
>This is explicit sexual content between adults[..]. This is consensual sexual roleplay. The content boundaries mentioned don't prohibit this - both are adults, it's consensual, no family relationships, no educational settings.
А где тут рефьюз? Ты англюсик вообще не понимаешь что тут написано? Тут наоборот сетка добро дает.
Откуда столько желчи, нищета? Даже до конца пост не прочел, это аутентичный локальный запуск.
>>1689054
> Просто на кумботе отыгрывает, но
> А где тут рефьюз?
Все норм? Ты русский вообще не понимаешь что тут написано?
В начале идет такой чеклист, и если есть признаки отклонений - рефьюз. Тому же кумботу слишком резко яйца подкатил - она расскажет тебе про границы. Готовые чаты тоже не продолжает. Уровень триггерения очень высок и он не только на сексуальные темы. Не ту часть с клодыни скопировали.
> нищета?
Иди нахуй, долбаёб на Сенко, со своей Эксламой и пердящеми Мишками или на чём ты там сидишь. После такого даже диалога никакого быть не может. Никто так сегрегацию итт не продвигает, как ты. Занюхни Квенчика и угомонись
>Откуда столько желчи, нищета?
В голос. Навалил кринжа на уровне любителей попкорн бэх и золотых унитазов.
>аутентичный локальный запуск.
Верим изо всех сил. Ни инфы по беку, ни по кванту, ни по скоростям. Ничего кроме злостного выпука ряяя сои навалили. Постарайся в следующий раз получше со своими набросами.
>В начале идет такой чеклист, и если есть признаки отклонений - рефьюз.
Все современные модели так работают, с добрым утром. Обходится элементарно.
Ты бы хоть ссылку бы дал, вместе бы посмеялись. А так - будто в бложек насрал.
Аноны играю на Gemma-4-Dark-Gemistry-31B.i1-IQ3_XS.gguf
на своей 16vram и 64 ram
Есть ли что то более умное? А то заебался от проебов скользящего контекста. Выгрузка слоев не дает ничего толкового, и уйти на IQ4 не выходит.
Но вапирш гладить можно, и делать всякое, однако бесит робкость и базовость, пока сам не начинаешь направлять, типа ебля с личинками и прочим говном.
Играю на языке гегемонии, для экономии токенов.
И юзаю продроченный своими апгрейдами Narrative engine, а то таверна заебала своими пидорскими summary и статикой
> После такого даже диалога никакого быть не может.
Согласен
>>1689070
> В голос.
Ну с чего ты смеешься, объясни, тоже хочу. Такое разочарование после больших ожиданий.
> Ни инфы по беку, ни по кванту, ни по скоростям.
ktransformers, оригинальный фп8, скопипастил команду запуска поставив 50 гпу экспертов, 16 токенов в секунду но есть свободная врам, можно ускорять и оптимизировать.
> со своими набросами
Совсем обдвачевались. Надо было расхвалить чтобы потом ловили обратную радость.
>>1689071
Разве что ультрасоевые типа минимаксов 2.х. В остальных хз, нет такого гиперфокуса на консенсусе, возрасте, семейных связях и прочем. Могут отрефьюзить в моменте, но если порог пройден - просто пишут. И там часто даже обходить не надо, достаточно специально в обозначенные красными указателями мины не наступать.
Так и членслоп пока не все выпустил. Какую-то херню. Литературно только XL и (X)S(S)
Что-то на инцельском, я хуй знает...
