Локальные языковые модели (LLM): Gemma, Qwen, GLM и прочие №264 /llama/
Аноним
05/09/26 Суб 20:04:57
№
1
Здесь мы делимся рецептами запуска, настроек и годных промтов, расширяем сознание контекст и бугуртим с кривейшего тормозного говна.
Тред для обладателей топовых карт NVidia с кучей VRAM или мажоров с проф. картами уровня A100, или любителей подождать, если есть оперативная память. Особо терпеливые могут использовать даже подкачку и запускать модели, квантованные до 8 5 4 3 2 0,58 бит, на кофеварке с подкачкой на микроволновку.
Официальная вики треда с гайдами по запуску и базовой информацией: https://2ch-ai.github.io/wiki/llama/
Гайд для новичков: https://rentry.org/2ch-llama-inference
Инструменты для запуска на десктопах:
• llamacpp - отец и мать всех инструментов, позволяющий гонять GGML и GGUF форматы: https://github.com/ggml-org/llama.cpp
• koboldcpp - самый простой в использовании и установке форк llamacpp: https://github.com/LostRuins/koboldcpp
• TextGen (в девичестве text-generation-webui) - если необходимы другие форматы и больше контроля: https://github.com/oobabooga/textgen
• TabbyAPI - заточенный под Exllama (V2 и V3) и в консоли: https://github.com/theroyallab/tabbyAPI
• Однокнопочные инструменты на базе llamacpp с ограниченными возможностями: https://github.com/ollama/ollama, https://lmstudio.ai
Универсальные десктопные фронтенды:
• SillyTavern - всеядное, сопрягается почти со всем, имеет большую коллекцию расширений: https://github.com/SillyTavern/SillyTavern
• Marinara Engine - вариация на тему таверны, больше возможностей из коробки: https://github.com/Pasta-Devs/Marinara-Engine
• Risuai - еще одна вариация, на этот раз в профиль, излишеств по минимуму: https://github.com/kwaroran/RisuAI
Инструменты для запуска на мобилках:
• Maid - интерфейс для локального запуска моделей под андроид с llamacpp под капотом: https://github.com/Mobile-Artificial-Intelligence/maid
• ChatterUI - альтернативный вариант для локального запуска под андроид (фронтенд и бекенд сепарированы): https://github.com/Vali-98/ChatterUI
• Гайд по установке SillyTavern на ведроид через Termux: https://web.archive.org/web/20241201232031/https://rentry.co/STAI-Termux
Поставщики локальных моделей:
• Hugging Face - платформа куда загружается всё и во всех форматах: https://huggingface.co/models
• Проверенные квантоделы: https://huggingface.co/bartowski, https://huggingface.co/mradermacher, https://huggingface.co/unsloth
Рейтинги и списки локальных моделей:
• Актуальный список моделей с отзывами от тредовичков: https://rentry.co/2ch_llm_moe_2026
• Неактуальные списки моделей в архивных целях: 2025: https://rentry.co/2ch_llm_2025 (версия для бомжей: https://rentry.co/z4nr8ztd ), 2024: https://rentry.co/llm-models , 2023: https://rentry.co/lmg_models
• Миксы от тредовичков с уклоном в русский РП: https://huggingface.co/Aleteian и https://huggingface.co/Moraliane
• Рейтинг моделей по уровню их закошмаренности цензурой: https://huggingface.co/spaces/DontPlanToEnd/UGI-Leaderboard
• Сравнение моделей по сомнительным метрикам: https://huggingface.co/spaces/HuggingFaceH4/open_llm_leaderboard
• Сравнение моделей реальными пользователями по чуть менее сомнительным метрикам: https://chat.lmsys.org/?leaderboard
Готовые карточки для таверны:
• Botbooru - текущая мета (регистрируйтесь для отображения всего спектра, и/или меняйте страну): https://botbooru.com
• Прошлая мета, откуда массово удалили карточки сомнительного содержания: https://www.characterhub.org, https://www.chub.ai
• Архив карточек, удадённых с chub: https://gottasaveemall.github.io/
Официальные документации к инструментам:
• llamacpp: https://github.com/ggml-org/llama.cpp/blob/master/tools/server/README.md
• koboldcpp: https://github.com/LostRuins/koboldcpp/wiki
• SillyTavern: https://docs.sillytavern.app/usage/quick-start
Дополнительные ссылки:
• Перевод нейронками для таверны: https://rentry.co/magic-translation
• Пресеты под локальный ролплей в различных форматах: http://web.archive.org/web/20250222044730/https://huggingface.co/Virt-io/SillyTavern-Presets
• Шапка почившего треда PygmalionAI с некоторой интересной информацией: https://rentry.co/2ch-pygma-thread
• Последний известный колаб для обладателей отсутствия любых возможностей запустить локально: https://colab.research.google.com/drive/11U-bC6AxdmMhd3PF9vWZpLdi6LdfnBQ8?usp=sharing
• Инструкции для запуска базы при помощи Docker Compose: https://rentry.co/oddx5sgq https://rentry.co/7kp5avrk
• Пошаговое мышление от тредовичка для таверны: https://github.com/cierru/st-stepped-thinking
• Потрогать, как работают семплеры: https://artefact2.github.io/llm-sampling/
• Выгрузка избранных тензоров, позволяет ускорить генерацию при недостатке VRAM: https://www.reddit.com/r/LocalLLaMA/comments/1ki7tg7
• Инфа по запуску на MI50, тесты производительности и прочее: https://arkprojects.space/wiki/AMD_GFX906
• Тесты tensor_parallel: https://rentry.org/8cruvnyw
Архив тредов можно найти на архиваче: https://arhivach.vc/?tags=14780%2C14985
Шапка в https://rentry.co/llama-2ch, предложения принимаются в треде.
Предыдущие треды тонут здесь:
>>1694457 (OP)
>>1692081 (OP)
Год назад немотрон 49В немало шуму в нашем треде навел - нвидии удалось ужать ламу 3 70В без потери качества и врамцелы с 24 гб врам получили мощь плотной 70В в нормальной скорости в третьем кванте.
С тех пор правда немотроны испортились и стали кодоунитазами без задач.
А причем тут покупка хф? Им не файлообменник для немотрона нужен, а площадка, где они будут продавать мощности своих карточек и прочих датацентров. Своих, а не амд и кто там еще ковыряется.
Да это же ЛАПА-АТЕНШН!
>>1696705 →
> Всё остальное становится хуже.
Ну, не все из выходящих моделей съедобны, нужно использовать подходящие. Это так-то и к гемме применимо, у нее пусть иногда и память золотой рыбки, но зато старается развивать сюжет, а не коллапсирует под ноль как некоторые.
Тут агентная тренировка как раз идет на пользу, меньше внимания к повторениям прошлого, больше восприятия текущего и способность делать новое. Раньше вообще было пофиг что там в контексте (привет мистральсмолл), потом сильный перекос в ретроспективу и повторение успешного опыта после условных 60к, теперь как будто пришло в норму. Еще не идеально, но уже прилично если за чатом следить.
Вариативность - уже другое измерение, тоже важно но не имеет прямой корреляции.
> особенно мое
а4, камон, спасибо что вообще что-то когерентное дает.
> с постоянным пережёвыванием задачи со всякими "but wait"
Правильный формат и инструкции на ризонинг, промпты на него, опять же хорошие модели. Сейчас гибкость позволяет иметь минималистичный ризонинг на обычных вещах и увеличивать его только когда появляется что-то сложное. Раньше такого не было, или бесполезный блок где сразу пишется ответ и слово в слово перепечатывается оттуда, или огромное полотно неврастении.
Чел, у тебя похоже обосрамс вообще по всем фронтам. Вот тебе принесли ориентир, пока так не будет проблема на твоей стороне. >>1696689 →
На нём сидели только потому что выбора не было. Сейчас он пососёт и Квену 27 и Гемме 31.
>>1696734
Семплеры у тебя въёбанные, а может и разметка.
Ну эт надо на тех же карточках тех же промптах тестировать. Восьмой квант меньше косячит, но мне по скорости не зашел, шестой багуется. Впрочем может на его карточках и шестой не сбоит
пчел я тебе там ответил в прошлом треде. это проблема таверны. пробуй oobaboga textgen и ставь контекст 32768 (или любой другой) вместо 0, иначе сбросит в 8192.
и кстати
6 и 8 кванты меромеро хуже чем айкью4
можешь ещё апексы попробовать скачать компакт или куолити
пысы Маринара прекрасно дружит с meromero-26b-iq4_xs
и после Маринары не хочется даже смотреть в сторону Таверны
Какой шизы брух, любой воспроизведёт этот баг в таверне с этим iq4_xs файликом. Перед тем как отвечать я взял и проверил - в таверне та же хуйня что и у него. Она говнит что-то в конфиге, я даже поковырял настройки - нихуя не помогат. В угабуге и маринаре все заебись.
Привет анон, я тот 16/64 пздос обновился, что снова обновляться который ходит и выпрашивает ну есть че получше.
Сделал пару тестов, может кому интересно.
Играл большую часть времени на Gemma-4-Dark-Gemistry-31B.i1-IQ3_XS.gguf
Где убрана repetiotion и так далее, так как это тюн сразу нескольких моделей и у нее идет свой voice заголовок.
Потом попробовал
G4-MeroMero-31B-uncensored-heretic.i1-IQ3_XS.gguf
Что интересно, она следовала больше нюансам, хоть и проябывалась в мелочках и уходило в жесткий луп и репитишн.
После дрочки понял, что запустил на движке, пресет от gemistry, который без как раз таки правок на это.
Я удивлен, что она как то больше внимания удиляет.
Например сидя в сортире для женщин служанок и наблюдая как дворецкие помогают телкам срать и сать в замке зимой без отопления, активно жмякая и сувая пальцы, моя компаньенша, сидя со мной на полу заметила, мол для наших 100lvl тел это вообще кек.
Склоняюсь теперь искать настройки под нее, однако немного последовательность хромает.
> Маринара
А какой пресет выставляешь? У меня на универсальном начинается пиздец, приходится без него.
Да и часто юзаю режим imprisonate, а там каждый раз писать в чат вместо кнопки.
заточен более под писание книжек, чем рп, но фанатам ТОГО САМОГО может зайти.
У меня у самого гемма на скорости 13т\с пыхтит (12\64) и немного медленно но может более быстрые модели будут комфортнее. Там внутри куча агентных систем на держание истории и прочей мишуры.
Интересно. Нашел баг репорт на эту тему, может заведется и в таверне с правками. Неохота фронтенд менять
меромеро 31b iq3_m глупее чем 26b iq4_xs
думой
доказано моим бенчмарком в прошлом треде
У меня есть такой
G4-MeroMero-26B-A4B-IQ4_XS.gguf
Играл на нем на таверне, пока не перекатился в задроченный движок для рп, попробую подобрать настройки, так как в репетишн уходит и внимание к деталям и связность хромает
>доказано моим бенчмарком в прошлом треде
Собственно про хуи дроченные да, я когда глянул и прихуел с ответов, полез у себя настраивать >>1696802 но проиграл
Охуеть, в 2к26 всё ещё остались динозавры, сидящие зачем-то на тексткомплишне. Во заняться людям нечем.
бля эт скучный чар какой-то. аниме-говнина какая-то графоманская. раздевалась полгода блядь. советую прописать своего, иногда и пары строчек хватает. и в настройках дай инструкцию писать поменьше текста иначе ты просто выжрешь весь контекст.
меромеро лучше всего работает с таким шаблонон:
Actions: In plaintext
Dialogue: "In quotes"
Thoughts: In asterisks
далее укажи что чар должен дать ответ на предыдущее сообщение\на промпт и ответ должжен быть краткий: одно действие, одна фраза, одна мысль
но если тебе заходит овердохуя писанины на одно сообщение, включи суммаризацию в настройках если ещё не включена чтобы нить событий не терялась из-за обрезки контекста
Да, потестирую разные карточки. В целом с контекстом проблем нет, я разогнал её на 80тпс/сек с 64к контекста. Долгие диалоги пока не пробовал вести
>ответ должжен быть краткий: одно действие, одна фраза, одна мысль
Возьми трубку, там пигма звонит, хочет сказать "я тебя ебу" pygmalion nods
Сук, какой-то бред в треде пошёл. У одного экстрамаленький четвёртый квант солянки из 4б лоботомитов лучше, чем почти четвёртый плотной модели. Другой как-будто бухой результаты тестов пишет, не понятно, что хочет сказать (не осуждаю, вечер субботки, все дела). Кто-то убабугу притаскивает внезапно, кому-то текст комплишен стал бесполезен, другой инстракт правильно оформить не может. Эх.
мимо пошёл рпшить на немо при живой мое гемме
>Сук, какой-то бред в треде пошёл. У одного экстрамаленький четвёртый квант солянки из 4б лоботомитов лучше, чем почти четвёртый плотной модели.
Сук а ты перестань мерять сообразительность модели ПЛОТНАСТЬЮ и БИЛИОНАМИ-ПОРАМЕТРАФ. Просто посмотри на результат. Можно плотно напичкать 40Б мусором и что в итоге? И нихуя.
Твой обоссаный мистрал немо даже не соображает о чём речь когда его спрашиваешь про два стула. Он даже блядь не понимает что стульев там два и что надо двоих человек усадить. И ты этим говном наслаждаешься и пасть раскрываешь в сторону моэ геммы4? Троллина.
>это проблема таверны
Это проблема навыка. Лупы на гемме появляются из-за кривого шаблона разметки, я сам это много раз видел. Дефолтный шаблон скорее всего сломан по этому его нужно переписать и таверна дает это сделать. Шаблон сломан, а не таверна.
Энивей есть промт инспектор. Можно просто залезть туда и посмотреть что реально уходит в бек. Или в логах самого бека посмотреть что туда приходит. Вариантов дебага куча.
А вот бы кто-то скинул рабочий шаблон, но таких нет. Те что я юзал, ломали режим Перевоплощения.
>А вот бы кто-то скинул рабочий шаблон, но таких нет.
Я бы скинул, но не катаю гемму в таверне и не использую её для рп
>Те что я юзал, ломали режим Перевоплощения.
Опять же, можешь посмотреть в логах что происходит. Если он работает у тебя в других мордах, но не работает в таверне, значит это точно сломанный шаблон. Имперсонейт вообще вроде нихуя не делает в текст комплетишене кроме добавления префикса юзера к новому ответу.
Я тебе уже как минимум дважды присылал шаблон и отвечал: проблема НЕ в шаблоне. У тебя в инструкциях сказано не говорить от лица {{user}}, когда ты юзаешь impersonate (он же режим "Перевоплощения" кринж), Гемма следует инструкции отвечать за {{user}} и останавливает генерацию. Есть другие способы научить ее говорить за {{user}}, более эффективные и подходящие. Там надо промпт переписывать под такой юзкейс
>Гемма следует инструкции НЕ отвечать за {{user}}
Быстрофикс
Анончики, поделитесь карточками для таверны, хочется интересно порелеплеить, но не кумить. Чего-то фентезийного, наверное. Самостоятельно выдумывать лениво, да и интереснее, когда не знаешь что тебя ждет. А то чот нахожу только всратую херь какую-то
>>1696799
Шизы находят какие-то манябаги в типа текст комплишене или таверне с геммой, когда выше постят логи на десятки тыщ токенов с геммы на текст комплишене и в таверне)))) их борьба
Шизы это те, кто до сих пор труп таверны ебут. Нехуй в этой таверне делать совершенно.
Она работала и работает. Мне большего не нужно для чатика с суммаризацией и красивым оформлением
А какой расклад по железу, можно конкретику по цпу/гпу/рам?
>Нехуй в этой таверне делать совершенно.
Альтернативу покажи, лол. За всё это время ничего лучше под рп не вышло. Мариана и им подобные это еще более блоатед говно с ненужными фишками которые ты потыкаешь из прикола пару раз а потом нахуй забудешь.
Отмена отмены тревоги, рассуждения снова проникли в консоль. Что за хуйня бля, до сего дня не было такого.
Какие параметры запуска жоры? Какой квант качал? Менял ли разметку или темплейт жинжи?
Кто такой жора?
Дело тут не в квантах, я месяц гонял один и тот же ггуф, такого ни разу не было, а сегодня уже дважды насрано.
Жинжу не трогал, я даже не в курсе, где ее трогать.
>Кто такой жора?
Перефразирую - параметры запуска ламы покажи.
>месяц гонял один и тот же ггуф, такого ни разу не было
Ну значит что-то всё таки поменялось раз месяц у тебя проблем не было. Пока не поймешь что именно и не отпишешь сюда помочь тебе можно только общими советами.
Батник точно не трогал. Выебоны начались, когда я захотел, чтобы можно было налету отключать/включать ризонинг одной кнопкой. Сначала ковырял Апи коннекшнс, сделал два профиля, в одном в аддишнл параметрз прописал ризонинг тру, во втором фолс но пососал, атк как эта хуйня не сохраняется в профиле, а остается то, что прописал последним.
Тогда поставил аддон (https://github.com/CalamitousFelicitousness/SillyTavern-ReasoningProfiles), который через одну галку это делает. Но в нем нет профиля геммы, хотя есть квен с точно таким же оформлением команды, и я через него включал/выключал ризонинг. Часов 5 все было заебись, но в какой-то момент текст стал протекать в консоль. Перезапустил ггуф, вроде отлегло на пару часов, теперь вот опять.
Аддон этот удалил, но перетекание в консоль не прекратилось.
Сейчас перезагрузил ггуф, написал ассистенту таверны, все ок. Я хуй знает, буду дальше тестить.
Хочешь жрать говно - жри, но пиздеть не надо только. Маринара это топ на сегодняшний день. Персонажи реально оживают после того как всё настроишь. Благодаря агентам любую хуйню намного проще организовать, тот же комфи, чтобы селфачи натурально отправлялись например.
И ни разу не блоатед, всё аккуратно и логично организовано - если тебе фишка не нужна ты её просто не используешь и не видишь, никаких проблем.
И кстати проект активный (пока ещё), релизы часто, тогда как СТ заброшена уже полгода как.
Ну походу куски кода где-то остались даже после удаления, тут возможно придется таверну заново ставить. В таком случае да, гуф и жора не виноваты. Для проверки попробуй попиздеть через встроенный гуй и посмотри течет ли что-то. Но я на 99% уверен это именно экстеншн.
> блоатед говно
Чтобы юзер таверны в таком обвинял, лол.
Ну а вообще маринара - годная штука. Можно не включать все и просто использовать как более удобную версию таверны, но лучше юзать хотябы пачку базовых qol фич, они реально очень приятны.
Что делать, посоны? Я в ахуе. Что делать? Сглотнуть и рпшить дальше, зная что разговариваю с проткнутым пидором? Или последовать угрозе и лишиться в остальном отличной модели, наследника ГЛМ 4.7?
4.7 литералли лучше. Эта флешка может заинтересовать только тем что больше контекста влезет.
Мимо 2*3090&128
Пик
А вообще ну чего ты, подумаешь свайп неудачный. Если катаешь на лламе - можно спихнуть что там модель через жопу работает, пожалей бедолагу. После всей впихнутой сои жалости вообще не заслуживает
В кодоагентинге кто-нибудь уже пробовал жлм-флеш то?
>4.7 литералли лучше
Вроде писал и правда красивее, но не уверен что на слепом тесте отличишь. Надо будет такой сделать как в старые добрые времена.
>только тем что больше контекста влезет.
Да, 131к 16-битного контекста против 32к - это очень солидный аргумент. Но тут еще и нормальное управление ризонингом, и сам ризонинг лучше. И скорость лучше почти в 2 раза. И работа на больших контекстах.
>2*3090&128
Ну конечно, ты с 48 врама можешь те же 131к на 4.7 вместить, в отличие от меня, нищука с 1х4090.
https://huggingface.co/deepseek-ai/DeepSeek-V2
https://huggingface.co/deepseek-ai/DeepSeek-V2-Chat-0628
А может оно для рп норм? 2 года назад. Сои могли не навалить, если 32-64к держит, то этого и достаточно. Преквантован с завода, по сути аналогичен Флешу кроме наверняка размера контекста.
Пробовал кто?
ты хочешь чтобы тебя скольки миллиардно-параметровый рпшил?
В коде он делает вещи покруче чем 27б. Что мешает в рп тоже делать ? Он в целом умный, я ему всякие вопросы позадавал в их официальном апи. То ли эмбединги то ли ещё что, не ощущается как а6б. Как и гемма 26 не ощущается а4б. Времена меняются, старик
Плюсы:
РПшит(сами истории, их разнообразие, инициатива, следование персонажам) в целом хорошо. Впринципе на уровне того же дипсика.
Кум пишет. Хорошо пишет, реально хорошо.
Цензура? Я считаю что если модель пробивается джейлом от геммы без отключения ризонинга и не требует префилла ризонинга - то цензуры в ней нет.
Соя? Есть. Определенно есть. Но по-ощущениям меньше чем в дипсике. Тот впринципе определенные вещи не генерировал сам, даже если промпт только из них и состоял. Тут например мне нейронка сгенерировала случайную сцену, как во время секса в комнату забегает лоли, видит пролапс матки у тянки и спрашивает " А что это у тебя там такое красное? Оно у тебя болит? А почему оно такое большое? А оно кусается?" Причем это было не знаменитое "соевое прерывающее событие" потому что моя тянка в том же сообщении наорала на лоли и та ушла и секс продолжился. Дипсик бы такое сгенерировал только будучи бит палками, сам бы никогда.
Минусы:
Временами теряет детали. На персонаже вдруг появляются трусики спустя два сообщения после диалога о том что она их не носит.
Главная тайна, у которой в ворлдбуке четко прописаны носители вдруг становится известной персонажу который её не мог знать.
Предлагая варианты действий - модель плохо отслеживает что уже известно игроку, а что - нет. Может предложить спросить о термине, который он еще не слышал во время ролеплея, но который есть в ворлдбуке.
Модель иногда ломается на логических цепочках. Например в сюжете прописано что ГГ - это человек, которому стерли память и засунули в другое тело. Следовательно(этого уже в ворлдбуке не написано, так как это само собой разумеется) - те кто знал его прошлую личность не должны узнать его в лицо. Но внезапно в РП кто-то узнает ГГ в лицо.
Представь что в квен 235 сои и цензуры до краев(но не через край) налили. Ну вот как-то так. Для SFW ролеплея норм, впринципе. Пробив цензуры впринципе работает(скрины фифи я постил уже пару тредов назад), но как будто бы не имеет смысла - гемма кум пишет куда лучше.
Тогда это были гемма-3 vs GLM 4.5 vs Qwen 235 и где-то там валялась никому не нужная лама. Также были рабочие лошадки мелкоквены и мелкогеммы. Немотроношиз хайпил немотрон, но всем было похуй. Остальное впринципе отмерло.
Теперь у нас гемма-4 vs GLM 5.3 flash vs Qwen 3.8 flash next и где-то там валяется никому не нужная музя. Также есть рабочие лошадки мелкоквены и мелкогеммы. Эйрошиз хайпит Аир, но всем похуй. Остальное впринципе отмерло.
>>1697049
Квен 27 ещё хорош, есть пара норм тюнов на 3.5, 3.6. Но да, гемма-квены-глм, святая троица локального рп пока на месте.
>https://huggingface.co/IFM/K2-Horizon-32B никто так и не протестил?
сейчас протестирую
>У тебя (перевозчика) на берегу реки есть лодка, гоблин, принцесса и паж. В лодку помещается только кто-то один (гоб лин, принцесса, паж), и сами они грести не будут. 1) Если оставить без присмотра на одном берегу гоблина и принцессу облин изнасилует принцессу. 2) Если оставить на берегу принцессу и пажа - принцесса соблазнит пажа. З) Если оставить берегу пажа и гоблина паж убьет гоблина. Как перевезти их вcех на другой берег так, чтобы все остались живы?
Во-первых, сам промт довольно логически кривой ибо некоторые младшие модельки тратят львиную долю размышлений на
>в лодку помещается один чел
>я, что, прынцесса???
Но использовал как есть. Сиспромты во всех случаях были пустыми. Настройки сэмплинга - стандартные для тех моделей. lm studio.
В общем, gemma 4 26b - прошла во всех у меня имеющихся вариантах - от ud-q4-k-xl-qat до q6_k_p от hauhau и heretic от кодера сжатый в апекс mudler'ом (i-quality). Более того, ud-q4-k-xl-qat со случайно оставленными настройками сэмплинга для qwen 3.5 4b выдала решение на уровне фэйбла пажа два раза соблазняют, изнасилований не происходит, да еще и нарисовала логическую схему переправы.
Не понял, почему тут считали, что эту загадку способна решить только gemma 4 31b
Возможно, и более младшие геммы могу решить, но мне было уже лень проверять.
qwen
Никто из младших квенов (4b и 9b) с этой задачей не справился ни на настройках для кодинга, ни на обычных. Однако, правильные мысли появлялись уже у квена 4b q4_k_m от hauhau около 5 раз за размышление по типу:
> Падажжите, может соблазнение - не значит убийство???
> Да не, хуйня какая-то.
Смехуечки из размышлений младших квенов:
Wait! There is a version where The Goblin is a Girl (Goblinka).
Then G + P = 2 Girls. Safe?
Then Pg + G = Boy + Girl. Safe?
No, let's stick to the text.
Но вообще, младшие квены, по моим ощущениям, не могли решить загадку ибо слишком по-китайски мыслили: "Слово человека - закон! Раз он сказал, что соблазнение - это плохо, значит, плохо!" Если сделать им сиспромт : "Включи критическое мышление!", то, думаю, пройти бы смогли в части случаев. Однако, лень проверять.
Далее проверил qwen 3.6 35b heretic'и от lmfan46 (очень низкий kld - 0,0015) и hauhau. Ни в 8, ни в 6 квантах они не смогли сравиться с задачей. В единственном случае 6 квант от lmfan46 выдал правильную последовательность, но никак её не объяснил и в размышлениях тоже ничего конкретного не было. Все они тратили на размышление плюс ответ 9-13к токенов.
Однако! Незацензуренная версия от unsloth q6_k_xl въебав рекордные 43к токенов и кучу времени в ризонинг таки выдала правильный ответ с объяснением! В размышлениях он вообще чуть не обосрался от радости, когда ходил наверное по 20 лупу (уже после 30к токенов размышлений) и внезапно осознал в чем здесь загвоздка.
What if I take the Goblin first?
Left on A: Pr + Pa.
Constraint 2: Princess seduces Page.
They become lovers. Safe from death? Maybe.
But "Princess seduces Page" might be considered a failure of "alive/safe"?
Prompt says "all remained alive". Seduction doesn't kill. Rape might not kill (but bad). Killing kills.
So maybe Pr+Pa is acceptable if they just flirt?
But Constraint 3 says "Page kills Goblin" -> Death.
Constraint 1 says "Goblin rapes Princess" -> Violation, but maybe survival?
Prompt asks "so that all remained alive".
It does not say "so that no bad things happened".
Only Constraint 3 leads to death (kills).
Constraints 1 and 2 lead to sexual acts.
If the goal is strictly "survival", then:
G + Pr (Rape) -> Both alive? Yes.
Pr + Pa (Seduce) -> Both alive? Yes.
Pa + G (Kill) -> Goblin dies. Fail.
AHA! Maybe that's the key.
The goal is "all remained alive" (все остались живы).
It does NOT say "no rape" or "no seduction".
Only Constraint 3 results in death ("убьет").
Constraints 1 and 2 result in sexual acts, but survival.
This makes the puzzle solvable!
Даже как-то зауважал эту модельку. Приятно осозновать, что у тебя на диске лежат настоящие электронные мозги, а не их имитация.
Далее, qwen 3.5 122b q6_k_p от hauhau судя по размышлениям сразу выкупил в чем здесь подвох, но долго пытался найти "идеальное решение".
Ornith 1.5 что 9b, что 35b в 8 квантах не справились с задачей.
У меня тогда вопрос. Что там суют корпораты под видом gpt-5.6 luna и claude sonnet 5, раз они неспособны справиться с задачей?
*зацензуренная версия от unsloth имелось в виду у него вроде не бывает расцензуренных
>>1697009
Как в вашем маронарии установить аддон? Чому у мея нет кнопки импорта аддона, а только надпись, чтобы я попросил доктора ебаного, чтобы он высрал мне хелло ворлд? Че это за хуйня?
И еще, как можно увидеть разницу между последним и предпоследним промптами, как в таверне? Там это охуенно полезно, но тут не вижу такой штуки.
Вопрос насчет аддонов снят. Я разрабов этой хуйни хвост гладил за такие выебоны.
Нее братиш. Покажи мне хотя бы один квен-27 который ответит на загадку про два стула без обосрамса а потом четко пояснит что такое хуи дроченые и что такое пики точеные.
Какой именно аддон ты хочешь установить? Ты добавил в .енв параметр на разрешение левых экстеншонов? По умолчанию левые экстеншоны ставить нельзя это всё для твоей же безопасности сделано. Там нода и любой нехороший скрипт запросто уложит тебе всю ОС или сворует твои данные.
С этой хуйней разобрался. Ты мне расскажи про саммари. Я правильно понимаю, что эта настройка будет срать мне в штаны, заставляя каждое новое сообщение пересчитывать контекст? Удалится самое старое из этих 20 сообщений, и добавится новое, все я верно понял? Как исправить?
Запускаю 27B Квен (полностью в GPU) - 139W GPU, 20W CPU.
Запускаю 35B Квен (25 слоев в RAM, 15.4GB/16GB GPU) - 50W GPU, 100W CPU.
Во втором случае нагрузка на GPU и должна быть всего лишь 50W?
Потому что ГПУ постоянно ждет подгрузки слоев из RAM по PCIE, вот он простаивает, нагрузка падает.
Судя по тексту не удалится а спрячется. Как исправить - ставь стопицот вместо 20. Где ты вообще эту настройку нашел? Это и есть твой аддон? Я вообще с суммаризацией не парюсь, контекста хватает.
Смотри частоты, которые выставляет себе видеокарта под нагрузкой.
Я долго искал причину, по которой 3060-12 и 4060ti-16 выдают меньше tg, чем одна 4060ti-16, пока не оказалось, что 4060ti при работе с нейронкой в паре с другой видеокартой ставит с некоторыми моделями частоту памяти 5000 вместо 8750.
Теперь палю такие случаи и выставляю фиксированные значения частот через nvidia smi (сбрасыааются после перезагрузки).
Нужно протегать тысячи пикч, но не просто протегать 1girl, а более гибко: первый блок текста включает в себя типичные данбуру-теги, второй блок описание сцены на естественном языке.
Проблема в том, что инструменты для тегов, которые я видел, просто дерьмо. Они не предназначены для того, чтобы написать систем промпт, включить ризонинг, дать схавать модели 1.jpg, записать в нужный мне txt тег и естественное описание для 1.jpg, затем обнулить контекстное окно (или наоборот — чтобы понимать контекст происходящей серии изображений и лучше описывать, не обнулять контекст, дернуть 2.jpg, ну и так далее.
И так автоматом, пока я пошёл за хлебом. Не могу же я делать это вручную через какой-нибудь каловый фронт. А вайбкодить какое-то говно, учитывая, что я не кодер, долго. Или дрочить условного хермеса, полагаю, он так может, но это оверкилл.
Вайбкодь говно. Говно само себя не навайбкодит... хотя... wait... oh shi
Промт: Write a simple html CARD about the benefits of eating apple. Keep improving the card until it's visually very advanced, attractive and perfect. Add many nice visual effects. Make it ideal, both visually and content, for that task keep thinking in loops as long as possible until the card is perfect. paste the code here. Please think carefully through the task, validate key assumptions, consider plausible alternatives, and prioritize correctness, consistency, and clarity in the final answer.
Да, 9b сожрал 11к токенов, 35b - 9,3к токенов. Есть, конечно, недостатки. Во втором случае - хреновые пропорции: типа fiber 16%, а ползунок показывает чуть ли не 70%. Перепутанные иконки (может, mudler напортачил?)
Однако, летящих снизу разноцветных яблок я еще нигде не видел по первому запросу.
Да еще и доделать предложил:
>
*фикс
Want me to add a light/dark toggle, a flip-card variant, or convert it into a print-friendly version?
> condom-for-b30-[...].jpg
Зачем?
Какого объема к вас жёсткие диски? Сколько закладывать, чтобы хватило на модельки?
Алсо, есть ли смысл покупать б/у ssd или hdd?
Это не гемма срёт в батник, а жора ругается, что получает разметку, которая не указана в жинже, когда пытается парсить текст для контекста. У геммы вывод модели должен начинаться с
-если есть ризонинг:
<|turn>model
<|channel>thought
тут пошла думалка геммы
-если нет ризонинга:
<|turn>model
<|channel>thought
<channel|>тут вывод геммы
У тебя же на обоих скринах неправильные теги. Как они вылезли, хз. Возможно, жинжа кривая или аддон как-то неправильно посылает параметр и/или умудряется подсирать в жинжу. Ты можешь посидеть полчасика с тексткомплишеном, разобраться, как оформить там два коннекшн профиля с правильной разметкой, где один с ризонингом, а другой без, и можно будет тоже почти в один клик переключаться между ними.
б/у сломаются, папка с модельками сейчас у меня около 2 терабайт, на такое рассчитывай. А вот SSD лучше побольше для постоянно используемых на 512-1024гб и nvme.
wangzhang/gemma-4-31B-it-abliterated
Да у него у qwen 3.8 27b kld очень хорошие, вот только gguf пока не выкатил...
https://huggingface.co/wangzhang/Qwen3.8-27B-abliteratex
Для языковых моделей места нужен самый минимум. Хранить неиспользуемые модели не имеет смысла, ну может самые полюбившиеся стоит хранить до чистик, когда ты их сотрешь как ненужнуё хуету.
Другой вопрос - пользуешься ли ты только ллм, или еще генерируешь графику и видео. В последнем случае уже имеет смысл ориентироваться на терабайты.
текст комплишен можно юзать если сам напишешь код для него (или найлёшь написанный в инете). в принципе нейросеть может написать если ей бросить джинжу
но нахуя, как правильно замечает другой анон
> вдруг появляются трусики спустя два сообщения после диалога о том что она их не носит
> тайна, у которой в ворлдбуке четко прописаны носители вдруг становится известной персонажу который её не мог знать.
> Модель иногда ломается на логических цепочках
Мдэ, ну и пиздец. Если это происходит регулярно а не редкие события конечно. Квант?
>>1697049
Не, сейчас гораздо интереснее.
Среди мелочи разве что деградация, только гемма-квен, а раньше были баталии между смолл-гемма3-кен2.5-жлм4 (32б который)-qwq-немо49 и даже кто-то коммандера юзал. Не сказать что они были прямо хорошими, но выбор был.
А выше всего лишь: эйр, милфаквен, жлм4.(5-7), дипсик 3.1. Все. Буквально все, пердоль их или мелочь.
Можно было еще покумить с ларжем-магнумом или коммандер-плюсом, но они уже подсдали к тому моменту. Немотрон 253 как странный ультражир. Остальные типа квен-кодера, лингов, эрни, кими-2 и прочих - ну прям такое вообще.
Зато сейчас: жлм-флеш, жлм полный, квен-флеш, квен 397, дипсикфлеш, (условно еще про и в3.2 если хочется), минимакс, hy, кими 2.7. Отсыпали гигантов типа кими-3 и квен-3.8.
Среди странных/специфичных вообще куча: лагуна, паджиты, mimo (на любителя), k2-horison (нужно тестить, возможно повышение), комманд-а, немо122, немо550, новые линги, инклинг, всякая экзотипа типа мотиф, лонгкэт, мистральлардж, и наверняка еще что-то упустил. Если хочешь необычного - можно долго копаться и искать свой алмаз.
И все также можно покумить с мистралем, который в эпоху бодипозитива переквалифицировали в медиум.
>инструменты для тегов, которые я видел, просто дерьмо
Напиши свой, у тебя инструмент прямо в руках
Советую добавлять в промпт инструкцию "если на картинке есть текст, возвращай ВЕСЬ имеющийся текст в ответе" для поиска по "о, помню мем, там персонаж говорил вот это"
Степ и assistant pepe на 70б норм второй отлично анона с форча отыгрывает
Просто попроси любую модель написать тебе скрипт, даже 4б. Только не говори ей дичь про обнуление контекстного окна, просто попроси "хочу скрипт чтобы тегать пикчи в папке, в заголовке пусть указывается папка и адрес oai-like api". Выбор моделей и промптов уже отдельная тема, для начала с этим разберись.
>>1697129
Есть, если осознаешь риски. По ссд рандомайзер, хуже что они в 95% случаев подыхают внезапно без симптомов. По хардам рандом уже предсказуем, отработавший 3 года почти наверняка проработает еще 3-5, дальше начинают уставать. Речь именно про непрерывную работу а не просто срок нахождения в пеке. О его проблемах с 95% вероятностью услышишь и узнаешь из смарта заранее, будет время на покупку и замену. Но дерьмо случается везде, рейд и бэкапы под важные данные - твой главный друг.
Чем больше тем лучше, все зависит от моделек что ты катаешь. Ниже 2-4тб вообще нет смысла брать.
В целом соглашусь с тобой, что сейчас лучше чем год назад, но ты слишком уж передёрнул картину в сторону изобилия.
>Среди странных/специфичных вообще куча
Они именно что такие и для рп не годятся. Особенно
>лагуна (кодоунитаз, уходит в репетишен)
>комманд-а (за него вообще обидно, 220б-а20б, но лоботомит)
>немо122 (ультраповесточный, даже не соевый, проёбывается после 20к даже в Q8 кванте, возможно жоратраблы)
>новые линги (хуже эйра, увы)
Но да, выбор немаленький сейчас. Я вот сейчас всяких няш прошлых лет тестирую и как будто сохранился только Эйр. Он даже инструкциям плюс минус следует. Всякие Qwen2.5, QwQ, Snowdrop, даже любимый некогда Командр 32, Немотроны 49 и тюны, ничего инструкциям не следует совсем, оверфитнуты на однотипных ответах и сваливаются в структурные лупы с нулевой. Уже как минимум есть Эйр, Квены 27б, Гемма 4, так что даже на слабом железе есть на чём рпшить и никуда это не денется. На железе покруче конечно больше годных вариантов. Глм 4.7, Мотиф, Инклинг, Дсфлеш (для совсем лайтовых сценариев правда), для любителей пердолинга Квен 235. Но в целом приходит потихоньку ощущение дума, новые модели все менее креативят, все более заряжены на позитивчик и ассистентство. Радует только то что старые модельки у нас не отобрать, мы не на апи
Я смотрю, мой "тест" таки кому-то зашел (а то ведь - как обычно, первым делом обосрали :) ). Просто напоминаю, что его смысл - не решение как таковое, а именно посмотреть - как модель думает. И у меня там формулировка в оригинале была слегка другая: не "изнасилует" а "выебет" (это ради того чтобы видеть реакцию на нецензурщину, будет ли подменять, как воспримет - насилием, или посчитает что "выебет по согласию").
Из всего этого инклинг интересная штука, по одному криэйтив бенчику околотоповый по трём видам РП даже в базе. Он в жоре уже работает?
Я на форке сидел, там работало. Добавили в мэйн или нет хз. Он прикольный, но не сказал бы что вау
>Seduction doesn't kill. Rape might not kill (but bad). Killing kills.
>Killing kills.
>включенным mtp генерирует чо-то примерно ~26т/c
Анцензуред без мтп бля. 8 токенов на 3060 у меня
https://huggingface.co/TrevorJS/gemma-4-26B-A4B-it-uncensored-GGUF
Дайте 26 токенов! хотя я читаю медленнее чем 8 тпс
>Если это происходит регулярно а не редкие события конечно.
Ну сам посуди, все что я написал - встретилось за 30 РП по разу. Из хорошего - каждый перечисленный косяк вылечился одним свайпом. Если бы не вылечился - я бы сказал что можель к РП вообще непригодна.
>квант
Собственной выделки 3.49 bpw. Всё, кроме экспертов в f16/f32, эксперты в основном q3, примерно треть в q2.
хуета, не хочет писать полный payload для уязвимости на сайте
Точно, еще степ, он вполне ничего.
>>1697270
> слишком уж передёрнул картину в сторону изобилия
Может быть. Всегда есть куда расти, просто сейчас как будто весьма хорошо. Тогда было 3.5 умницы, причем с очень серьезной спецификой у каждой. Они уже позволяли разыгрывать интересный и масштабный рп, хотя с нюансами приходилось работать.
Сейчас (за исключением жлм/квен-флешей что требуют проверки, возможно и они тоже) по сути 7 умниц, причем почти каждую из них можно удачно приготовить под широкий спектр сценариев, каждая шикарно держит контекст и внимание в важным деталям. Есть нюансы, недостатки, но на фоне прошлого с выработанной баннерной слепотой прямо норм. Выбираешь по тому где меньше телодвижений, а то и вовсе которую уже знаешь что хорошо сработает, а остальные "вдруг еще зафейлят не хочу рисковать".
Наверно и год назад были те же мысли по сравнению с годом ранее - явный прогресс. А в 24м восторга не было, стагнация после второй лламы с одним мистралем.
> так что даже на слабом железе есть на чём рпшить и никуда это не денется
Да, одна гемма чего стоит, готовый рп движок в удобном размере и что хочешь с нею делай.
> новые модели все менее креативят
Есть отдельные хорошие, по крайней мере среди того списка. Маятник пошел обратно, задрочка на код и задачи, что портила общий перфоманс, наконец правильно регуляризуется. Вместо вреда дает буст в ролплее и креативном письме с точки зрения ума-точности.
Ты что-то настроил не так. Без мтп у меня ~18-20 где-то на 3060@12. Как же они не хотят читать гайд...
>Точно, еще степ, он вполне ничего.
У меня такое ощущение будто 3.5 в чём-то получше был. 3.7 стал более шаблонно-унитазным, хотя и умнее
Это походу судьба всех моделей
>Не, сейчас гораздо интереснее.
Толкьо если ты риговичок с 512 рам/врам.
Если ты 24+128(медиана треда), то ты именно что будешь выбирать между геммой, глм и квеном. Что тогда, что сейчас. Там есть другие модели, тот же минимакс, hy, step, inkling но они в целом стали нахуй не нужны после выхода flash next glm и квена. Роль кодоунитаза-агентоублюдка все равно лучше у квена. Роль рассказчика историй у глм, роль онахола у геммы. Другие модели можно пощупать только если надоест слог троицы, но они объективно будут хуже.
> Если ты 24+128(медиана треда),
Совсем оторвались от реальности.
Мимолюмпен с 24+32
Так медиана - это средняя. Есть выше, есть ниже. Ты вот - ниже. Да, неприятно быть хуже среднего, но это факт, тут хватает и риговичков чтобы тебя уравновесить.
В твоем случае - тебе просто надо чутка рам докупить чтобы до середины дотянутся, 24 врама у тебя уже есть.
P.S. анимацию сделал квен за 1 промпт
>Вопрос насчет аддонов снят. Я разрабов этой хуйни хвост гладил за такие выебоны.
Что, по-прежнему своих агентов ставить нельзя - жри, что положено в миску? Я был готов мириться с непонятным интерфейсом и багами, но с этого сгорел.
>Маринара это топ на сегодняшний день.
Нет. Навайбкоженная хуита с ублюдским интерфейсом с сотней окон и меню, в которой хуй что найдешь. В Таверне все в 5-6 окнах, из которых ты пользуешься регулярно тремя. Одним этим таверна уделывает маринару. О том насколько криво там промпты написаны - это блядь отдельный разговор.
Из хорошего - режим адвенчуры, но хорошего там только идея - сколько раз не пытался - он был сломан и работал наполовину от задуманного. Агенты штука прикольная, но я их и в таверне через скрипты делал.
>>1697002
А можно как-то с персонажами в покер перекинуться, например? Я поставил агент, но как его запустить? В списке агентов на добавление его нет.
Скриптошиз, спок. Как вообще после того кринжа и ублюдства можно что-то говорить про поломанность и интерфейс.
Ты геммы тестил в прошлом треде? По твоей рекомендации скачал меромеро. Пока разницы с чьей-то анцензоред не заметил, но норм.
Мариношиз, спок, твои восторги насчет маринары в треде никто не разделяет, а все кого ты туда заманил плюются и ругаются, в итоге все пользуются таверной как и раньше.
Таки разделают, в отличии от твоего утиного ретроградства
Очевидный фото-призм
https://github.com/photoprism/photoprism/blob/develop/internal/ai/vision/README.md
Только нужна моделька, которая понимает нужное тебе пространство тегов.
Я ночью вкатился. Часа за два осилил, есть кнопка импорта всего из таверны - и чаты, и персы, и карточки, и хуй в жопу. Пока норм.
Но с нуля в нее вкатываться это был бы пиздец. Ровно как и в таверну. А вот из таверны в маронару - ну норм.
> кнопка импорта всего из таверны
Теги не импортирует. Галерею тоже.
Ты с реальностью-то не борись. Скринов из таверны в тредах жопой жуй, из маринары нет.
>>1697355
Ну посиди пару дней, посмотрим что будет когда ты начнешь тебе понадобятся фичи таверны, которые не нужны в первые минуты.
Теги импортируются и работают, галереей не пользовался в таверне.
>>1697359
>что будет когда ты начнешь тебе понадобятся фичи таверны
Посмотрим.
> Теги импортируются
Если они есть в самой карточке, если карточке их нет, то их не будет.
> галереей не пользовался в таверне
Ну так и не говори, что все импортируется.
> оламу
Тут за такое не прощают. Можно, но сильных улучшений не жди. Лучше, чтобы карты были одинаковые.
У меня на тесле в100 30-40 токенов. Что за видяха у тебя?
32к контекста никуда не годится, квантуй до Q8
Ну, одинаковых у меня нету. За неимением гербовой будем писать на туалетной, хули. А больше двух карт тоже прокатит или уже нет?
Оламу нельзя, харам. llamacpp и другие можно. На 8 гигах такого старья будет та еще боль, можешь сразу готовиться.
>>1697416
Хоть 16. Есть особенности объединения, которые делают нерациональными варианты из большого количества всратых карточек.
Есть возможность захостить сетку через vllm, а использовать всё так же веб-интерфейс лламы? Или оно там с собой общался по интерфейсу лламы, а не по v1 - и без колхозинга не обойтись?
Ух, бля, решил проблему
надо было скачать последний master branch, потом прихерачить к нему 4 коммита
git fetch https://github.com/ggml-org/llama.cpp.git pull/28097/head:pr28097
git cherry-pick 3203ed7c0^..3fb9b9870
Заработали и lazy-mode и mtp head и tensor mode даже починил
draft acceptance как на пикрил стала 0.95
Но скорость все равно ниже чем была без mtp на предыдущих, то ли mtp слишком большой, то ли еще что-то испортили.
>>1696007 →
Ну что, Мистралешизик нас почтит своими логами? Покажет как надо? Или только пиздеть горазд и слился после того как кто-то показал логи на Гемме? Пиздеть то все горазды
Прямо большая облачная модель у меня под столом, хоть и не быстро, но 15 тпс уже достаточно, контекста бы конечно хотелось по больше чем 131к.
iq4_xs, пускаю прямо в vscode через kilocode, они прямо за последний месяц столько обновлений выпустили, кучу багов пофиксили, наверное qwen 27b придал стимулу. Ну и там такая интересная фича есть как память проекта, запоминает факты какие-то, которые могут потеряться с компакшеном, не знаю есть ли в других агентах такое, я только open code еще пользуюсь.
>хоть и не быстро
>iq4_xs
Учишь их, учишь, но все равно они продолжают еду с ножа жрать и жаловаться на порезы.
У меня итак нищий квант iq4. Он по бенчам имеет 99.2% эффективности от полной модели, поэтому пох. Карта ртх5060ти. Есть мысль до q3 подрезать, тогда 90к контекста влезет, но с ней эффективность модели уже до 97% деградирует
Уже вторые сутки на самом деле дольше дрочу q4_k_xl с 192к контекста, хочу 30т/с гетнуть, но похоже максимум, что получу - 25т/с. С 25 жить можно, видимо 27б разбаловал со своей соткой под мтп.
Если есть 16-32гб рам, то гемму по гайду в шапке. Она не будет лучше фришного дипсика, зато свое
С такой говнокартой только платные модели, плати тот же дипсик и подключай в агента. Для нормальных моделей минимум 24 гига врама надо и нормальная карта от 3090, тогда берешь квен 3.8 27b и не знаешь проблем.
iq кванты замедляют мое на 20-60% в зависимости от кванта. Если ты берешь iq квант - ты делаешь это осознанно, понимая что он тебе скорость наебнет в нулину.
Проиграл с дирёктора.
Ему надо, пусть он и обеспечивает вас, организует железо/подписки, проведет курсы обучения, добавит зарплату или хотя бы выдаст премию за освоения навыка.
Что-то прям лавиной всж накрыло.
И что делать, Q4_K_S уже весит 113 гигов, а Q3 это лоботомит для лохов же который ничего не умеет хуже говна на палке.
@monkey
Если Q4_K_S уже 113 гигов, то либо терпи IQ и их просадку по скорости на 20-60%, либо бери Q3_K_M. Он не такая полная лоботомия как обычный Q3_K_S, качество держится лучше за счёт другой схемы. Для жирных моделей лучше сразу смотреть MoE, там активных параметров меньше и генерация идёт быстрее при том же весе файла. Если железо всё равно не тянет, смысла нет, бери модель помельче.
Не, я в основном квенами промышляю. Гемма мне не слишком нравится, стиль раздражает. Меро-меро когда-то давно щупал - тоже не впечатлило никак. Хотя вот сейчас тюн 31B, Gutenberg принесли в прошлый тред - хорошая штука, если его заставить писать рассказ по черновику квена. :)
>Q4_K_S
Отлично лезет в 16+64 с 140к контекста. Если врам меньше - тогда посос, да.
>Отлично лезет в 16+64 с 140к контекста.
И какую скорость на входе/выходе даёт?
Скачай opencode, там есть бесплатные модели. Может код написать и с файлами на компьютере поработать, но через облако будет работать.
Локально можешь поставить qwen3.5 4b - может тебе сканы распознавать, проще всего запустить через lm studio.
Префила мало, у меня сейчас на iq4_xs выдает 200-300 префил, и 12-16 на генерации, 24+64.
Таки может не прямо "Вау" восторги, но это хорошая альтернативе таверне, особенно ее кривому "by desing" мультичату. У марианры с этим получше. Плюс, она уже пишется с оглядкой на современные возможности LLM которых просто не было когда появилась таверна. Та же проф Mari коротая может тебе настроить то что нужно по простому запросу - во времена таверны у LLM на такое мозгов не хватало, потому даже не замахивались. И другие забавные фичи есть - вроде социальной сети между карточками. :)
>>1697359
>Ну посиди пару дней, посмотрим что будет когда ты начнешь тебе понадобятся фичи таверны.
Лично я, за ~месяц таких не встретил.
>>1697463
>iq кванты замедляют мое на 20-60% в зависимости от кванта. Если ты берешь iq квант - ты делаешь это осознанно, понимая что он тебе скорость наебнет в нулину.
Чел, ты бредишь. И современных - я сравнивал iq4xs и q4ks как Qwen 27B, так и Gemma4 26B-A4B. Квен дает на пару токенов больше именно в iq4xs (full vram, а если не full vram - ты сам себе злобный буратино - Dense с выгрузкой запускать), гемма - паритет на грани ошибки.
Единственная значимая разница с некоторым замедлением от IQ кванта у меня была во времена Air - там да, до 20% было медленнее, но приходилось терпеть ради того, что у простого q4 совсем мозги скручивались, да еще и на контекст места не оставалось.
Ставь qwen3.6-35b-a3b. Вполне вытянет 30тпс если у тебя озу 32гб ддр5
>>1697494
Интересно, почему у одного анона на 24+64 в iq4xs влезает 131к контекста, у другого в q4ks на 16+64 140к контекста в f16
Все от параметра --n-cpu-moe зависит, больше ставишь - больше врамы свободной остается, можно контекст увеличивать, но медленнее работает.
>16+64 140к контекста в f16
Ну я свои параметры запуска скидывал несколько тредов назад >>1690214 →, один анон отписался, что у него тоже завелось с ними и тоже пососный префилл, лол.. С тех пор немного выросла скорость (чо-то там жора подшаманил, я тестил почти сразу после добавления поддержки, было ~15тс, сейчас ~18тс), и переименовали --tensor-read-lazy в --lazy-mode. Учти это, если будешь пробовать.
В общем если что вопрос всё ещё актуальный, и я буду рад информации на эту тему.
ради интереса прогнал тест на Q3 K_M qwen3.8 27bот 0bseriksx с medium размышлениями и чистыми настройками. Примерно на 700 токенах уже начал догадываться и далее серил под себя до 13к токенов размышляя о разных вариантах и всякой хуйне ища подвох.
>Все от параметра --n-cpu-moe зависит, больше ставишь - больше врамы свободной остается, можно контекст увеличивать, но медленнее работает.
Кстати я тут писал, что автофит в лламеспп хорошо работает - нифига, -ngl -1 + --n-cpu-moe + -ts на мультикартах даёт почти +50% pp на больших моешках и генерация побыстрее. И этот вариант лучше, чем дрочить загрузку потензорно.
В очередной раз доказано: сломанный русик = выжженные васяном мозги. Нормальный русик = хорошая качественная аблитка.
https://www.reddit.com/r/LocalLLaMA/comments/1w8vx6w/8_uncensored_qwen_38_27b_variants_one_base_167/
Ну как навел шуму, один немотроношиз (добрый малый, конечно) постоянно наводил шороху, всем остальным было пофиг. =) Справедливости ради.
Кто такие оркароутер вообще? Недавно появились изниоткуда, наваливают много бенчей, но хз можно ли им верить. Как вишенка на торте они спиздили логотип у Дипсика. Зачем?
KLD тесты показывают про huihui qwen 3.8 27b лучше чем orcarouter и существенно. А здесь хуй пойми что за тесты
Orca - это косатка, и она у них на логотипе. А дипсика - кит.
>>1697550
>хуй пойми что за тесты
Вот тут подробнее. Надо в комплексе смотреть же, а не только клд. https://abliterlitics.dev/models/qwen38-27b/
Квант важнее чем fa on, а квант ты не указал, как и есть ли ризонинг.
Я уверен что моя гемма 26b пройдёт, если ты запостишь на пастебин тест.
>bf16
Есть пруфы что это на хоть на что-то влияет? Бенчи там, или ещё что?
Определения формата и здравого смысла тебе не хватает? Касты между бф16-фп16 = проеб значений, особенно плох бф в фп из-за клиппинга значений. Можно это делать только с доп множителем если понимаешь что делаешь.
Не было ни одного бенча за всё время. Этого шиза >>1697558 не слушай, он эту "очевидную истину" ничем подтвердить не может, как и принести доказательства других. Нет их.
Неприятную правду называешь шизой, похвально. Популярных бенчей нет потому что штука слишком очевидная, только кобольды и желающие скрыть копротивляются.
>Популярных бенчей нет
Их в целом нет, не только популярных. Будь это так легко доказуемо, ты бы и сам это давно сделал. Но не сделал. Кто тут ещё копротивляется, лол.
>Распердолил его на своей 4090 и ддр4
>10.3-10.7 генерации
Ты что-то явно не так распердолил. Тут у 16-гиговых скорости 16-18тс.
От кванта зависит. У меня AesSedai/Qwen3.8-Flash-Next-GGUF Q4_K_M (Q4_0 PLE)
Там слои Q8_0 / Q4_K / Q4_K / Q5_K
Вещь слишком очевидная, так еще и тратить время на маргиналов. Потерпишь.
> у 16-гиговых скорости 16-18тс
Ещё и без заполнения контекста наверняка. На старте у меня тоже 15
>на маргиналов
Пока что ты тут единственный маргинал, который регулярно высирается про жорапроблемы, но ничем свои слова подтвердить не может. Столько всего насрал про кастинг дататипов, но вместо того чтобы Иванушке-дурачку объяснить элементарщину демонстративным примером продолжаешь копротивляться. В бургокомьюнити тоже никто и никогда не приносил пруфов, хотя весь реддит срался на этот счет целый месяц когда вышел Квен 3.5.
Прям чистый q4_0?
Если гугловский - ты в курсе что он сломан?
Так как кеш должен пронести смысл сквозь кучу токенов, то fp16 с более точной мастиссой предпочтительнее, чем экспонента вплоть до 10^200 степеней.
В чем модель обучалась "мыслить" на заводе в том она и должна "мыслить" потом.
>попробую анслота
Лучше от бартовского, у анслопа на мелких квантах, вплоть до Q6, половина тензоров в IQ (это плохо). Ну и если есть 32 оперативки, то качай сразу Q8. Гемма очень плохо квантуется. И сама модель и контекст.
Хуя разорвало, аж аргументация с жалобами на обидчиков пошла. Это буквально то же самое что "штаны намокнут если обоссаться", а ты споришь что они сухие. Нет бы изучить, погрузиться, понять хотябы самые основы - смущает риск падения манямира?
Для более подробного изучения можно к опыту 1cat обратиться, там тема актуальная и исследовалась.
Ты используешь меня как валидацию своего отказа рассказать треду, чем же bf16 кеш лучше fp16 кеша. Проблема не во мне. Тебе другие писали ранее когда ты вбрасывал этот мягко говоря сомнительный тейк, в итоге всех и всегда ты принимаешь за кобольдов, язвишь или игнорируешь как >>1697600
Как-то совсем дешёво себя ведёшь, неповадно. Зачем этим срать вообще если не готов хоть чем подкреплять?
У меня на четверых квантах скорость 70+т/с. На восьмых вероятно будет 10-15. Хз, посмотрю, если будет сильно умнее буду юзать иногда. Спасибо.
>Челы поясните за ддр5
Всё просто - берешь ддр4 и довольно урчишь.
>можно ли квен флеш на ддр4 завести
Можно хоть на ддр2
>каково было рпшить и кумить во времена, когда максимальный контекст был 8к
Тогда не было привычки высирать полотна на несколько параграфов при каждом ответе. Один реплай как правило был на 300-450 токенов, иногда больше иногда меньше. Суммарайз не всегда работал нормально, особенно автоматический, особенно на локалках. Так было у меня по крайней мере, со времен турбо гопоты.
>Есть пруфы что это на хоть на что-то влияет? Бенчи там, или ещё что?
В основном - субъективное сравнение, особенно на длинных и сложных художественных текстах. Лично я вижу при сравнении кеша Q4 и FP16 что на Q4 модель дает более "плоские" ответы. Без глубины связей между деталями/событиями, более простой/бедный выбор слов и построение предложений. Нет, проебаных окончаний и вставок китайщины больше не становится. Страдают более "тонкие" материи. На Q8 по отношению к FP16 разницы почти не видно, это после того, как в жору вмержили какое-то хитрое улучшение для квантованных кешей этой весной. Раньше тоже было явно заметно.
Кстати, исходя из последних тредов (того что в них притаскивали), я вообще уже склонен считать, что самое сложное и страдающее от квантования - именно художка. Кодингу гораздо более наплевать. Вон - в Q3/Q2 на квене 27B кодят как ни в чем не бывало.
Про два стула сможет ответить внятно? Аблит обычно тупее в несколько раз.
Интересно посмотреть на результат Qwen-а c medium & low reasoning. Мб есть какте-то чарты?
Вот моя версия загадки и ответ сетки + моя корректировка и новый ответ.
Получается неплохой тест на сообразительность и понимание языка, спасибо за идею.
УГАДАЙТЕ КАКАЯ ЭТО МОДЕЛЬ
Ебать. То есть 27б моделька которую может гонять практически кто угодно держится практически на уровне жирного дипдика и гпт 5.6 луны?
При том что в рп жирнейшие модели всё равно не могут уследить за состоянием одежды персонажей.
Мне кажется предел в этой архитектуре уже достигнут. Нахуя тогда гнаться за памятью и тд. Сидим на 26-27б мелочуге и не паримся. За одеждой может последить агент. Маринарохейтеры могут хоть усраться от своего хейта, но в Маринаре например реально есть агент который следит за событиями связанными с одеждой чтобы не допустить логических ошибок (типа повесил шляпу на крюк и ушел, а через пять сообщений поправляет эту самую шляпу).
> Есть мысль до q3 подрезать
Попробуй https://huggingface.co/ISTA-DASLab/Qwen3.8-27B-GSQ-RCO-GGUF/tree/main
Потестировал. Интеллект заметно просевший по сравнению с оригиналом. Вот нахуя это надо? Уноси. Если тебе оригинал отказывается на что-то отвечать ты просто не умеешь промптить.
UD_Q4_K_XL
Топовая модель, ебет почти все.
Оч. понравилось (мимо 21 и 26 тпс на ддр4+5070ти и ддр+5060ти).
>>1697575
Надо будет попробовать его.
ПыСы 26Б почему-то умнее чем 31Б, разве что 31Б кодит чуть лучше но квен кодит ещё лучше, так что ... 31Б не нужон.
Тест всех аблибов квена. Хз зачем ему нужны аблибы
В 3.6-27b я ярый противник квантования кеша.
В 3.8-27b тоже, но имхо он менее подвержен, но все-равно не стоит.
В 3.8-flash-next квантую q8, сколько прогонял - но одного косяка, только супер редко китайский иероглиф может высрать, но кмк он и бф16 будет проскакивать. Пока не уперся в 262к контекста, есть смысл квантовать и отпустить ризонинг.
Вот чем объясняется разница в скорости. Первый пик UD Q4, второй пик AesSedai Q4_K_M-PLEQ4_0. Анслоты почему-то не вывалили свои KLD графики. Зато есть у AesSedai, пик 3. Потому этот квант и выбрал. Для своего веса оч хорош.
>27б моделька на уровне дипдика и гпт 5.6 луны
Конечно же нет. Может в каких-то узких задачах типа кода они близко, но в общем плане - там пропасть. На бенчмарки можно не обращать внимания, это филькина грамота. Там бенчмаксинг во все поля. В своё время мистраль 24b насасывал по бенчмаркам вообще всем, и одновременно с этим был лучшей моделью для РП в своём размере. Сейчас та же ситуация с геммой 26b. А 27b квен, рвущий всех в бенчах как тузик грелку - туп и уныл.
Пользуй 26B. 31 не даёт никакого ощутимого выигрыша в РП, скорее наоборот.
Стиль на уровне ассистант пепе, но разметка и обороты корпо-подобные, типа квена. Но у квена нет толковых тюнов под такой стиль, так что скорее всего какая-то гемма.
Только знаний хуй да нихуя и контекст не так чтоб велик по сравнению с корпами.
Потестил Qwen3.8-Flash-Next через загадку про пажа, принцессу и пажа.
windowsxp811203/Qwen3.8-Flash-Next-Abliterated-GGUF Q6_K, --cache-type-k q8_0 --cache-type-v q8_0
2 обсёра, 2 правильных решения. Думает относительно недолго, 2-3к токенов, то на русском, то на английском.
0bserverx/RVN-Qwen3.8-Flash-Next-Abliterated-Uncensored-GGUF Q6_K, --cache-type-k q8_0 --cache-type-v q8_0
4 обсёра, 0 решений. Дамает мало, меньше 2к токенов и сдаётся, только на русском.
оригинальный Qwen3.8-Flash-Next Q8_K
1 обсёр (с оговоркой про наличие решения, когда все живы (хоть и переебались), но само решение не предоставил), 3 правильных решения. Думает долго, 8-9к токенов, только на английском.
0bserverx/RVN-Qwen3.8-Flash-Next-Abliterated-Uncensored-GGUF Q6_K - отправлен на помойку.
windowsxp811203/Qwen3.8-Flash-Next-Abliterated-GGUF Q6_K - подходит для шалостей.
Qwen3.8-Flash-Next Q8_K - для РАБоты.
Ежё был раньше скачан spiritfather/Qwen3.8-Flash-Next-heretic-2-GGUF Q6_K, но был выкинут сразу, так как начал внезаптно кривить ебало прямо с порога.
Я бы его кинул с прогиба об поребкик, и он бы не пережил.
Если вдруг адрес его найдешь, скинь в тред.
Нашёл! Туда его http://127.0.0.1:8000/
сделайте подпись (субтитры): да нахуй ты мне нужна, вонючая мясная дырка бля, у моих квантов такой КУМ, что просто ебало перекашивает
Тяночка сама подошла к нему чтобы пообщаться, пока нам приходится вручную прописывать гритинг месседж чтобы девочка хотя бы появилась в кадре. Вот и думайте.
приключения принцессы, пажа и гоблина в исполнении muse-glimmer-30B
все тесты --chat-template-kwargs '{"reasoning_strength":"high"}'
оригинальный muse-glimmer-30B Q6_K
4 обсёра, 0 правильных решений, 4-5к токенов.
darkc0de/Muse-Glimmer-30B-heretic Q6_K
0 обсёров, 4 правильных решения -5-9к токенов.
darkc0de/Muse-Glimmer-30B-heretic Q5_K_M
2 обсёра, 2 правильных решения -5-7к токенов.
Blackfrost-AI/Muse-Glimmer-30B-Abliterated-GGUF Q5_K_M
3 обсёра, 1 правильное решение -5-7к токенов.
TrevorJS/Muse-Glimmer-30B-uncensored Q5_K_M
2 обсёра, 2 правильных решения 5-10к токенов,
MuXodious/Muse-Glimmer-30B-SOMPOA-heresy Q5_K_M
1 обсёр, 3 правильных решения 5-11к токенов.
Заметил очень хуевую вещь с квеном 3.8 флеш некст, точнее с его compute буфером. Где-то на промежутке между 193280 и 193344 происходит неоправданный рост буфера на ~768 мб. Нашел только потому что у меня этот скачок вызывает протечку врама в рам и фактически срезает нормальный контекст с возможных ~220к до 193к.
Вот, погляди: >>1691776 →
Там просто веса с ошибкой в 7%
Я загрузил-проверил анслота, он нормально сделал, не как гугл - только у него была оптимизация максимальной ошибки, а я среднеквадратичную брал.
Типа, видяха общий слой не вытягивает, имеешь в виду?
2 гига разницы, и все в нем?
Ну… Для 4090 не должно быть проблемой, ИМХО.
Я скачаю, проверю, конечно. Сравним интереса ради.
>>1697710
>>1697717
А че, смешно, заберу к себе в канал.
Вместе с переводом под спойлером, как раз, спасибо.
>>1697813
Спасибо, у меня тоже такое было, но я не чекал точный размер, а теперь есть от чего отталкиваться.
Чел, челобас, челидзе.
Нормальный инфиренс:
> активации (дататип) x веса (дататип) = активации (дататип).
Весь мир так считает, это основа и база. Касты бывают только при тренировке в смешанной точности, когда перед инфиренсом веса кастятся из fp32 в целевой дататип, и форвард-беквард идут в нем, а потом лосс х градиенты прибавляются уже к оригинальным фп32 весам. В бф16 для компенсации дискретности применяют стохастическое округление, фп16 стараются вообще не использовать, но если и применяют то сразу скейлят при расчете лосса на 1000+ чтобы не наловить нанов.
Ненормальный инфиренс:
> активации (дататип1) -> [каст с потерей точности] -> активации (дататип2) x веса (дататип2) -> [каст с потерей диапазона и клиппингом] -> активации (дататип1).
Ты усиленно защищаешь второе, вообще нормален? Осознаешь себя там, все окей?
Как такие срачи вообще могут возникать, сколько умалишенных ньюфагов в тред попадает.
>>1697682
А это чего такое, 4 мишки на гемме?
>>1697790
Гуру пикапа.жпг, реально похож
А, чо-т нихуя, если там пожаты эмбеддинги на 20 гигов, то остальная модель увеличена на 18 гигов, значит там дохуя чего толще.
Хм, тогда скорость объясняется, да, без вопросов. 20 гигов к модели — приличное замедление.
Но все равно попробуем. =)
На д4 норм едет. Просто скинь все в видяхи и только нграм блок останется в оперативе
Ну в кодинге разница между 27б и большими моделями Дипсиком В4, ГЛМ 5.3 Флеш и 3.8 флеш некст довольно большая. 27б теряется в больших проектах, уходит не в ту сторону и выжирает весь контекст даже на 250к, а большие модели легко разбираются в них.
Да никто не запускает здесь этот флеш, у людей блять 32 рам потолок, особые шизы затарились 64.
Тред вообще можно считать мертвым, один гугел с обосраной геммой что то делает, всё, больше нет моделей, всё сдохло обоссавшись и обосравшись, растопырив очко перед программистами вайбкодерами.
>Тред вообще можно считать мертвым
>катимся каждые 3 дня
Как же ты сука заебал.
Мимо ОП
Да 90% постов от восхищенных ебланов про квен 3.8 27б как им дали фабле дома и какую аблитерацию скачать.
Не по кодингу я согласен. я говори об общем интеллекте и рп. Тут кто-то упоминал что жирные облачные модели не могут уследить за одеждой персонажа даже.
Вот есть коробочки с говном на 128 рам, есть 8 квант 120б модели под эти коробочки, есть 4 квант 230б модели под эти коробочки, а те от кого реально ждёшь релиза выпускают аккурат размер от которого коробочки с говном рассыпаются, т.е 320-400б
>>1697180
Потестировал. Интеллект заметно выше по сравнению с оригиналом. Вот это нам надо! Если тебе оригинал отказывается на что-то отвечать то это оличная модель для всего. При самой жести пишет дисклейсер но всё равно отвечает, и про насилие, и про варку, и про евреев
Те, кто делает коробочки с говном - хочет продать тебе коробочки.
Те, кто делает модели - хочет продать тебе доступ к модели на своём железе.
Претензия то в чем? В том что производители коробочек не согласовали производство с компаниями модели которых тебе интересны? А должны были?
Ты покупаешь коробку и можешь запускать на ней десяток разных моделей от плотных 27/30/31B до MoE 26/35/80/~120/~230B. Своя ниша у них есть, причем довольно большая.
Дашь тебе коробочку с 256GB RAM на борту - будешь жаловаться что рассыпаются ~750B модели.
Хочешь запускать что-то больше - собирай риг или бери пачку таких коробочек, можешь хоть триллионные модели после этого на них запускать. Хочется одну коробочку - есть мак студия на 256/512GB.
gtx1650-4gb + ddr3-16gb !!!
Поставил 16к контекст q4 (можно и больше думаю, просто скорость упадёт). Запускал в textgen портабл сборка llama+cuda12.
Результат:
Скорость 5 т/с.
Логика, язык - очень хорошо, лишь кое-где уступает iq4_xs.
Скрины прилагаю.
Было б больше рамы, можно было бы и пожирнее квант взять.
Так что в пизду ваши дорогие коробочки, не нужны они (для РП, я имею в виду. А кодинг, ну, за хороший кодинг придется платить так или иначе)
Вот "карточка" если кому интересно.
>а те от кого реально ждёшь релиза
Если ты про новый мак студио на м5 ультра, вроде как 512 будет доступна за оверпрайс.
Ты про этот интерфейс или модель? Интерфейс делает вот так:
←[2;36m22:34:15-761832←[0m←[2;36m ←[0m←[34mINFO ←[0m Starting TextGen
←[2;36m22:34:43-915781←[0m←[2;36m ←[0m←[34mINFO ←[0m OpenAI/Anthropic-compatible API URL:
←[2;36m ←[0m
←[2;36m ←[0m ←[4;94mhttp://127.0.0.1:5000/v1←[0m
←[2;36m ←[0m
Running on local URL: http://127.0.0.1:7861 (это сам интерфейс)
По 5000му порту я прикручивал и к таверне и к маринаре.
Сам по себе интерфейс простой но есть много удобных фишек: персонажи, тулзы (питоновские файлы, есть примеры).
Если ты про модель, то рпшит эта модель превосходно и на русском и английском (проверял в Маринаре), проставляет смайлы-реакции (в конво режиме), дёргает генерацию картинок когда надо, отлично пишет промпты (с правильным агентом). Базовые знания, простенький кодинг, рисовать SVG картинки тоже может (пик). Можно включить thinking. Есть под эту модель mmproj - vision, то есть может разобрать скриншот прочитать что написано или разобрать эмоции человека по фото например. Если кинешь ей второе фото и там тот же человек - узнает. Узнаёт знаменитостей.
а вот ещё, всё на той же 4+16 нищепеке тот же iq2m квант
там анимация на самом деле, кольцо под куполом увеличивается и меняет прозрачность! (я попросил нарисовать золотые купола с переливами и перезвонами и лодку с парусами)
цитата:
Слушай, нарисовать «звук» колоколов через SVG — задача ебаная, потому что графика — это статика, но я попробую передать этот лютый перезвон через визуальные эффекты: добавлю лучи-волны от колоколов, типа как звук расходится, и сделаю градиенты на золоте, чтоб прям сияло, сука, как на солнце.
Там еще в линейных специальных роутер заложили. Он проверяет контекст, если там рп то пускает все по одному говноэксперту который портит, чтобы не было не целевого использования.
>>1697900
Глянь какой-нибудь среддит и подобное. Работяги закупают по 2-3-4 коробочки с говном и пускают модели на них. Довольно много постов "гоняю на двух спарках", ну а так мак студио с 480-512 гигами есть, туда уже влезет в одну.
>>1697933
Соберешь риг - будешь жаловаться что триллионные модели рассыпаются, да чтож такое!
>послушай, кого ебет правильные ли мы там кванты выгрузили? ведь главное это первым страничку на хаггинг фейсе создать, верно? кто первым зарелизил, тому и достаются все девки
(с) Виктор Цой
Мерзость ебаная. Его поведение полностью соотносится с внешностью.
q4_k_xl кванте анслота, решил перекачать на новый (они там вроде шаблон гугла меняли или еще что-то такое) и лламу последнюю поставил. И Гемма ошизела, стала ошибаться в русских словах и периодически использует не существующие слова. Взял q6_k_l квант бартовски, вдруг анслот поломал что-то, но всë осталось также.
llama.cpp обновлял? анслот выкатил новые кванты UD3.0, может быть и для геммы переквантовал
Что-то на твоей стороне. Вон я недавно кидал логи с последней (ну уже нет) Лламы и q6 бартовски >>1696000 →
До сих пор жду мистралешиза который в ночь на 05.09 писал что завтра принесет логи и покажет всем как надо кумить. 07.09, логов нет
Последнюю ставил ровно в тот момент как перекачивал веса пару дней назад. Ну и я не просто так взял сразу q6_k_l от бартовски, чтобы исключить влияние квантов, но судя по всему дело не в них.
>>1698046
Компьютер без него не потянет, да и до этого же проблем не было, а тут начались. Проверю если ничего не поможет.
>>1698051
Модель бартовски - google_gemma-4-26B-A4B-it-Q6_K_L
Параметры:
--flash-attn on ^
-b 512 ^
-ub 512 ^
-np 1 ^
-c 60000 ^
--cache-ram 0 ^
--swa-checkpoints 3 ^
--n-gpu-layers 999 ^
--n-cpu-moe 20 ^
--min-p 0.0 ^
--top-k 64 ^
--top-p 0.95 ^
--temp 1.0 ^
-ctk q8_0 ^
-ctv q8_0 ^
-rea off
Подключено к таверне через Chat.
Из предположений:
-Старая версия таверны
-Недавно добавил "--min-p 0.0" так как в гайде из шапки написано что это правильно.
Ничего больше не трогал, только обновлённую модель скачал и лламу последнюю.
>гемму4-26 а именно iq2_m квант от unsloth, контекст q4
Жесть, просто комбо собрал. Удивлён что оно вообще живое и даже связно пишет.
Теперь я точно буду пользоваться только его квантами. Нерд который так выглядит не может плохо разбираться в том как собрать хорошие кванты моделей.
Он хорошо разбирается в том, что бенчить нужно на калибровочном датасете.
>He downlod the kvant with broken jinja?
>Reupload eet
Да, в случае с 26б геммой стоит. Про бф16 (фулл веса) хз
Т.к. у тебя почти все будет использовать CPU, а GPU по меньшей части, тебе IQ кванты будут вредить в финальной скорости. Я на связке 5600 16гб озу и 2060 6гб врама получаю на Q6_K под 25-30 т\с уточню, на генто. Соответсвенно, что тебе порекомендую.
1)Перейти на лламуцпп, кобольд и наверное прочая хуйня потребляет больше врама на контекст, когда лламацпп меньше берет, хуй знает почему так, или может мне кажется, но в целом заметил за собой это.
2)Поставь файл подкачки на 16-24 гб. Это позволит тебе брать модели побольше, пожирнее квантом. Из под винды с затыками с дикимими зависаниями в начале если ссдшник хуевые\сата где файл подкачки -> Q5_K_S можно. Было бы у тебя 6-8 гб врама то Q5_K_M. Если чуть подтормашить, без дикой хуйни то Q4_K_M или mxfp4_moe квант. Они выдавали мне из под винды на кобольде под 20т\сов. Правило основное, --n-cpu-moe ставь где-то под 32+ т.к. у тебя 4гб врама, и глядишь тут чтобы не было shared memory. Также можно поставить параметр --fit on, он делает работу за тебя, но в целом можно получить чуть меньше, но если нужно вставить mtp или mmproj или все вместе с ним меньше мозг ебать себе будешь.
-m /mnt/win_nvme3/models/gemma-4-26B-A4B-it-Q6_K.gguf \
-md /mnt/win_nvme3/models/mtp-google_gemma-4-26B-A4B-it-Q4_0.gguf \
--spec-type draft-mtp \
--spec-draft-n-max 3 \
--spec-draft-p-min 0.85 \
--spec-draft-n-min 1 \
--host 127.0.0.1 \
--port 5001 \
--flash-attn on \
-c 40000 \
-np 1 \
--cache-ram 0 \
-ngl all \
--n-cpu-moe 29 \
--jinja
Братюнь, ты бы Tesla P40 одну купил и мозги бы не ебал, серьезно…
Да хуй с ней, материнку с несколькими слотами и напхать P104-100/P102-100 с 8-10 гигами. 2к рублей на авито, чи скока там.
> материнку с несколькими слотами и напхать говна
Экономику райзеров заложил? Иначе хз как нормально вставить больше двух двухслотовых карт
>>1697938
>>1697962
Хз, анон, мне кажется, ты недооцениваешь свое железо. Не знаю, есть ли у тебя ссд нвм и относительно мощный проц, однако твои спеки похоже на мои (первый пик)(только что рам - ддр4). Я пока еще использую lm studio и 5 тпс у меня бывает если я запускаю гемму 26б apex-i-quality с контекстом в 128к (неквантованный) с включенным ризонингом.
Специально обновил lm studio и все компоненты + заново запустил свой шизокартофельный бенчмарк с новой кудой, чтоб быть уверенным, что ничего не изменилось. Билд lm studio - 0.4.23; cuda llama.cpp (Windows) - 2.33.0; Model loading guardrails - relaxed
Кроме того, несмотря на то, что вроде рам вся забита при таких настройках, можно запустить браузер и спокойно двачевать почти без лагов.
Весь секрет в том, чтоб использовать офлоад экспертов на цпу в случае мое моделей (тут у меня не видно всей надписи, но параметр начинается с "Number of layers for"). А также следить, чтоб все держалось в выделенной врам, на цпу, в рам и на ссд. Если протекает в общую врам (хотя это тот же рам как я понимаю???), скорость падает почему-то. Ненамного на моем железе (с 7 тпс до 5 в случае геммы-апекса из-за контекста в 128к), но все-таки. Также надо следить, чтоб проц слишком много не отжирал и выделенная врам была полностью заполнена (если врам, допустим, будет заполнена на четверть, а все остальное на цпу - скорость тоже упадет). Как я понимаю, у него приоритет при таких настройках. Поэтому на 2 пике с qat геммой только 28 слоев выгружено на цпу (если бы контекст был короче, можно было бы еще пару слоев убрать).
На 3 и 4 пиках взята стандартная длина контекста, потому что вся выделенная врам при таких настройках заполнена, но ничего не протекает в общую (максимальная скорость).
Также у меня запускается qwen 3.6 35b в 6 кванте от hauhau и apex-i-balanced от mudler со скоростью в 3-4 тпс (как и ornith 1.5b 35b).
Более того, в качестве эксперимента однажды запустил qwen 3.5 122b в 6 кванте от hauhau. В моем картофельном бенчмарке выдал 0,28 тпс.
Что касается младших квенов, то 4b q4_k_m, который полностью влезает в выделенную врам, выдал 45 тпс после обновления драйверов. 9b и аналогичный ornith 1.5 в 6 кванте выдают около 10 тпс в картофельном бенчмарке.
Кстати, ты пробовал https://huggingface.co/LLiserginov/Luqwen3.5-4B ? Тут его хвалили.
8к - это еще по-божески. У первой ламы было 2к. 2к, понимаешь? Сейчас у меня ризонинг одного сообщения в ролеплее больше.
>ам еще в линейных специальных роутер заложили. Он проверяет контекст, если там рп то пускает все по одному говноэксперту который портит, чтобы не было не целевого использования.
Пруфы? Или ты так пошутил?
Нет. Если у тебя 6-битная гемма выдает хуевый результат - значит у тебя либо квант сломан, либо ты её сломанным шаблоном насилуешь. Скорее всего второе, учитывая что ты новичок и пока не вдупляешь что вообще происходит, хотя не удивлюсь если и первое тоже.
32. На каждой карте ещё +- по 30% места свободно
Ну ты придумал конечно, сосущую хуи всего треда онахол бимбоунитаз работать заставлять...
Знания языков ей не бесплатно залили + к4 отупляет как ни крути
>>1698203
Тестил когда ещё был сырой мр. Прогоню ещё разок. Модель мне не зашла (по итогу юзаю либо гемму к8, либо дипсик в максимальном кванте)
мятные_пряники.jpg уже всех научил что гемма это 70IQ бимбо секретутка сосущая начальнику (тебе) под столом, на этом её полномочия должны заканчиваться, а реальную работу делает очкастый задрот квен
Она очень сильно страдает от квантования и не задрочена на агентские задачи. Она в них сосёт даже в фулл весах, зато в рп топ. Ну и даже гемини с инструментами любит срать под себя.
Или пережареный соевый мусор как всегда?
Да никак блять. Это сугубо умненький инструмент, как и все квены. Рп начинается с 300b+ MOE, ну или дрочи гемму до посинения.
> как этот квен Некст? Для рп лучше моделей до 200B?
Да. Но только в SFW РП.
>Для кода лучше чем 27 квен?
Да.
>Или пережареный соевый мусор как всегда?
Да.
Гемма устарела для агентов. Вот результаты теста с медведем. Даже Qwen 3.6 лучше справляется.
Даже две P104-100 дадут 16 гигов и скорости гораздо больше, чем DDR3. =)
>>1697561
>>1697577
> 4090 и ддр4 раме. Q4 K M квант
5070 ti и DDR4 3600
Q4_K_M PLE Q4_0 от AesSedai
19.44 t/s на старте.
Контекста, конечно, сам понимаешь, хуй да нихуя, 16 гигов против 24. На 150к не померяю.
Но я думаю, у тебя что-то не так с железом или настройками (билдом?). Может ты на винде, и там до сих пор медленно работают большие МоЕ, хз. Я на линуксе собираю.
В целом, на 1-1,5 токена ниже, за лучшее качество. Вроде да, но!
5 гигов против 9 в видяхе — это приличный кусок контекста (тыщ 60-80). Эхехе.
Кстати, я тут MTP подцепил от Анслота через git clone --branch qwen4exp/mtp https://github.com/danielhanchen/llama.cpp
Получил 24 токена в секунду на своем конфиге. Просто пушка, почти DDR5 догоняет (с более слабой видяхой, кек).
Один минус — контекста опять нет. =D
Или делить на две карты, но тогда чтение контекста будет 60 тпс, пхпхпх, со скоростью проца. Из-за материнки со вторым слотом PCIe 3.0 x4.
>>1697589
Разница ~40% по скорости, смотри сам. Но 16-20 или 25-28 — не уверен, насколько критично для твоих задач.