Локальные языковые модели (LLM): Gemma, Qwen, GLM и прочие №280 /llama/
Аноним
17/10/26 Суб 12:42:02
№
1
Здесь мы делимся рецептами запуска, настроек и годных промтов, расширяем сознание контекст и бугуртим с нано флеш моделей на 1488B параметров.
Тред для обладателей топовых карт NVidia с кучей VRAM или мажоров с проф. картами уровня A100, или любителей подождать, если есть оперативная память. Особо терпеливые могут использовать даже подкачку и запускать модели, квантованные до 8 5 4 3 2 0,58 бит, на кофеварке с подкачкой на микроволновку. Впрочем, с популяризацией MoE моделей комфортно себя чувствовать можно на среднем игровом ПК, а в архивных ссылках есть гайды по запуску даже на твоём ондроеде.
Официальная, но слегка тухлая вики треда с гайдами по запуску и базовой информацией: https://2ch-ai.github.io/wiki/llama/
Гайд для новичков: https://rentry.org/2ch-llama-inference
Не вошедшее в шапку и архив полезных ссылок: https://rentry.co/llama-2ch-archive
Инструменты для запуска на десктопах:
• llamacpp - отец и мать всех инструментов, позволяющий гонять GGML и GGUF форматы: https://github.com/ggml-org/llama.cpp
• koboldcpp - самый простой в использовании и установке форк llamacpp: https://github.com/LostRuins/koboldcpp
• vLLM - для ригобояр, чаще имеет поддержку нулевого дня, но хуже работает с оффлоадом: https://github.com/vllm-project/vllm
• Unsloth Studio - не только запуск с llama.cpp внутри, но и тренировка: https://unsloth.ai/download
• Обертка над llama.cpp с закрытым исходным кодом: https://lmstudio.ai
Универсальные десктопные фронтенды:
• SillyTavern - всеядное, сопрягается почти со всем, имеет большую коллекцию расширений: https://github.com/SillyTavern/SillyTavern
• Marinara Engine - вариация на тему таверны, больше возможностей из коробки: https://github.com/Pasta-Devs/Marinara-Engine
• Risuai - еще одна вариация, на этот раз в профиль, излишеств по минимуму: https://github.com/kwaroran/RisuAI
Поставщики локальных моделей:
• Hugging Face - платформа куда загружается всё и во всех форматах: https://huggingface.co/models
• Проверенные квантоделы: https://huggingface.co/bartowski, https://huggingface.co/mradermacher, https://huggingface.co/unsloth
Рейтинги и списки локальных моделей:
• (не очень) актуальный список моделей с отзывами от тредовичков: https://rentry.co/2ch_llm_moe_2026
• Рейтинг моделей по уровню их закошмаренности цензурой: https://huggingface.co/spaces/DontPlanToEnd/UGI-Leaderboard
• Сравнение моделей по сомнительным метрикам: https://huggingface.co/spaces/HuggingFaceH4/open_llm_leaderboard
• Сравнение моделей реальными пользователями по чуть менее сомнительным метрикам: https://chat.lmsys.org/?leaderboard
Готовые карточки для таверны:
• Botbooru - текущая мета (регистрируйтесь для отображения всего спектра, и/или меняйте страну): https://botbooru.com
• Прошлая мета, откуда массово удалили карточки сомнительного содержания: https://www.characterhub.org, https://www.chub.ai
• Архив карточек, удадённых с chub: https://gottasaveemall.github.io/
Официальные документации к инструментам:
• llamacpp: https://github.com/ggml-org/llama.cpp/blob/master/tools/server/README.md
• koboldcpp: https://github.com/LostRuins/koboldcpp/wiki
• SillyTavern: https://docs.sillytavern.app/usage/quick-start
Архив тредов можно найти на архиваче: https://arhivach.vc/?tags=14780%2C14985
Шапка в https://rentry.co/llama-2ch, предложения принимаются в треде.
Предыдущие треды тонут здесь:
>>1729909 (OP)
>>1727076 (OP)
Бегите продавать почку и одно яйцо ЖИЗНЕННО необходимо иметь 128 рам чтоб запустить глм флеш - топовейшую для рп локалку на сегодня
типа как у этого чела https://huggingface.co/Lordnyx
или как у этих челов https://huggingface.co/Nanbeige
Фу таким быть, вот взял и насрал в тред.
Дружеское напоминание: это местный убогонький, игнорируйте.
А че, франкенштейны же не работают.
Может разве что если с самого нуля моделька обучается быть франкенштейном, тогда мб есть смысл.
Тащемта он прав (частично). Вообще достаточно 64гб чтобы GLM Air запускался.
Его можно и на 32+16 запустить в IQ2_XXS и это будет лучше чем гемма в bf16.
+ Есть GLM-4.5 Air REAP - еще проще запускать.
Я могу хоть с самого нуля ее так обучать. Это изначально мною обученная модель. Ну и судя по всему эта залупа-трансформер технология как раз на маленьких моделях эффективна, так что имеет смысл пробовать.
Анон, серьёзный вопрос.
В контексте локальных нейронок (как LLM, так и VLM и прочих генеративных для видео, аудио, картинок и прочих агентов), а есть ли на октябрь 2026 года смысл покупать видюхи суммарным объемом VRAM 32gb+ ?
Ну, то есть, можно, например, потратиться, и купить условную 5090, но сколько она прослужит? Вопрос тут даже не в плавящихся коннекторах, которые могу твою покупку превратить в убыток (причём большой, если ещё и комп спалят, а то и квартиру), а в том, современное развитие нейронок может сделать так, что 5090 просто морально устареет?
1000я серия вышла 10 лет назад, и для нейронок не так, чтобы годиться. Может случиться так, что 5090 через 10 лет будет бесполезным кирпичом, на котором можно только старые модели гонять? Или нейронки так быстро не разовьются?
С другой стороны, у нас тут дефицит памяти, дефицит видюх, проблемы с логистикой, куча кризисов и войн, плюс сейчас ещё если Тайвань шатать начнут, так вообще без видюх и микроэлетрники останемся.
Поэтому вопрос, есть ли смысл в дорогих и мощных видюхах в долгосрочной перспективе? Типа купил и забыл? Или это неэффективное вложение? И проще тратиться на б/у барахло с Авито, собирая простенькие домашние серверы?
Разговор именно за домашний комп, монетизация своих работ и экспериментов с нейронками возможна, но не обязательна.
>GLM-4.5 Air REAP
Near-Lossless Performance: Maintains almost identical accuracy on code generation, agentic coding, and function calling tasks compared to the full 106B model
Кодоунитаз же... при чём тут она в контексте того что в треде одни рп-кумеры, погромисты в агенто-треде сидят
> 5090 через 10 лет будет бесполезным кирпичом
Нихуя ты загадываешь. Тут через год не знаешь что будет.
А что вообще не превращается в бесполезный кирпич за 10 лет?
Брать надо то, что знаешь зачем будешь использовать и на что не жалко деньги. Остальное - казино с непонятным профитом.
Несколько видюх нормально параллельно работают только для llm, генерация картинок и видео практически не параллелится, по крайней мере в комфи.
> генерация картинок и видео практически не параллелится
>>1730504 →
> генерация картинок и видео почти не параллелится
Ходит из треда в тред и дезу наваливает. Даже формулировки не меняет
Опчик, может пора уже выкинуть из шапки два скрина протухший бенчей?
Скорее придумают новую йоба технологию, типа как с ртх ядрами сделали, или avx инструкциями, что без неё не сможешь больше новые модели запускать, что сделает из 5090 тыкву. Так что я хз, но если ты обычный работяга, а не 300к наносек, покупать железку за 300к+ на подъёме стоимости не вижу смысла.
Летом бы посоветовал cmp50hx с перепаянными чипами на 20 гигов, я её за 17к брал, вставил во второй слот и гоняю квен 3.6 с 80т/с, но щас она 31к стоит - дорого имхо.
Ну это должен произойти прямо прорыв в технологиях и архитектурах моделей, чтобы текущие поколения видеокарт превратились в тыкву. А с текущим серверным железом что делать тогда будут в которое уже вложили триллионы?
Если сокращение пайплайна на 30% через добавление второй карты это "почти не параллелится", то прав во всём.
О возможности размазать модель по карточкам тоже промолчу
Я купил 5090 за 230 тысяч и забыл, всё норм.
>>1732165
Сейчас везде отдельные текстовые энкодеры, которые без проблем выкидываются на вторую карту.
>>1732181
Предложи чем их заменить.
>>1732193
>А с текущим серверным железом что делать тогда будут в которое уже вложили триллионы?
Надо же как то оправдывать, хули инвестиции не отбились, лол.
Ну они продолжат крутить старые модели, что с ними сделается?
Настоящий параллелизм — это tensor parallelism.
И он, неожиданно, блядь, работает и с авторегрессионками, и с диффузиями.
НО, есть нюанс — тебе нужен или NVLink, или широкая шина (PCIe 4.0 x16, а лучше 5.0 x16).
>>1732165
>>1730504 →
https://github.com/komikndr/raylight
Вот эта штука параллелит тебе картинки и видео.
А если ты (как и я) бомж с материнкой на 3.0 x4 втором слоте, то не выебывайся.
Все там параллелится, просто мы не купили EPYC'и в свое время, когда могли. Вот и не параллелим нихуя.
Хотя у людей даже с дешевыми 3060 двумя raylight наваливает 30% на видео-моделях.
> Хотя у людей даже с дешевыми 3060 двумя raylight наваливает 30% на видео-моделях.
Бля, забыл пояснить — с дорогими 5070 будет замедление, потому что чип 3060 не справляется, и помощь второго чипа даже через узкую шину дает буст, а чип 5070 уже справляется достаточно хорошо, чтобы два чипа с задержкой ничего не давался (а может даже и -5% получишь).
Т.е., на дешевой материнке дешевый карты получают буст от параллелизма в рэйлайте.
Дорогие карты не получают.
Но на дорогой материнке опять получают.
Ну дырявый он немного и что?!
Зато там других плюшек море для рп.
Я такие живые и умные диалоги впервые вижу локально, дипсик флеш вообще полный отсос в сравнении
https://huggingface.co/spaces/overhead520/Unhinged-ERP-Benchmark?not-for-all-audiences=true
Ты наверное глм 4.7 не нюхал. Честно, если бы не размер его контекста - я бы с него и не слезал.
Не нюхал.
Но 4.7 тащит проблемы 4.5 глма за собой, а тут с нуля обученная модель, в тех репорте пишут что сделали ответы в рп более concise и это видно, всё четко по делу, нет размазанного нарратива
>Но 4.7 тащит проблемы 4.5 глма за собой
У него их не было.
>а тут с нуля обученная модель
На чем они и обосрались, сделав её непригодной к РП.
А это насколько рабочее интересно? В начале многое вроде толково.
Совет всегда вкручивать температуру на 1.8 это конечно пиздец, дальше не читал.
Я только на промпты Квена (особо не ролеплею) посмотрел и его метод убалтывания похож на мой.
Оформление максимально ублюдское, читать такое нет смысла.
Есть, но они переоценены. Если не можешь себе позволить ее свободно, без выскребания последних шекелей из кармана, то это не про тебя. Ищи компромисс.
Так же второй вопрос на что юзверь с 90гб врам дома может расчитывать? Bf32 модели сколько памяти жрут? Интересуют текстовые для решения задач, анализа текста, суммирования и так далее. Насколько локальные модели хуевее чатгпт, учитывая что последний совсем одебилел.
> Bf32 модели сколько памяти жрут?
Чел, какие бф32? Когда вообще последний раз в таком качестве модели были? Даже контекст в таком типе не хранят
Да хуй знает как сейчас, говорю, перегорел в свое время и года 4 не трогал офлайн модели
> на что юзверь с 90гб врам дома может расчитывать?
Да тут любой в жопу даст за такой объем врама.
А мы тут не пг'ичом, а мы тут не пг'ичом
Гладим Фифю, иг'аемся с мячом
На английском относительно простые или под грамотным руководством более сложные (чудес не жди) агентские задачи Qwen3.8-27B или Qwen3.8-Flash-Next могут. На русском не пробовал.
Не выйдет как на жоре часть экспертов в врам засунуть?
Как я понял если квант 140 и у тебя 128 рам и две 3090 ты не можешь его запустить, он весь должен помещаться в рам
Главное чтобы могла кушать картинки + ролеплеить.
Новый писек вышел.
Вижу в квантах exl3, это что турбодёрп добавил поддержку дипсикожены?
>>1732313
Там возможно нужно что-то с весами сделать. Типа есть те кванты, что базово поддерживаются, остальное нужно через скрипт прогнать или просто запускать с доп параметрами. В maya по крайней мере так. Натрави агента на роепозиторий пусть он прочекает.
мне кажется что все ненавидят, но еще больше чем нейрослоп я не люблю(и не умею) писать тексты руками, поэтому что я делаю? RLAIFю модель писать не нейрослопные тексты!
Это qwen 27b, ревард от калиброванного на human против не ai текстах, с рубриками и оценкой качества. Он не просел на terminal bench и прочих, а еще я люблю RLить llmное.
Короче это qwen3.8 который пишет короче, бесит меньше и может проходить проверяющие на слоп системы
А еще я выложил enviroment на hf со скорами и текстами
Моделька ( https://huggingface.co/AlexWortega/Qwen3.8-27B-antislop )
Поддержать в твитере ( https://x.com/justALEXWORTEGA/status/2111111298687656232?s=20 )
gguf ( https://huggingface.co/rawmodels/Qwen3.8-27B-antislop-GGUF )
Конечно пиздец обидно, была моделька для 128 рам и нет модельки...
Голова, дай денег.
А вообще пили стори, интересно узнать зачем именно TTS и сколько но реально жрет RAM? Обычно я саму локальную модель всаживаю на полную поэтому места в RAM остается мало.
А что вместо ттс пользовать? Самому озвучивать? Сколько жрет хз, копейки, мб даже меньше гигабута, может пару сотен мегабутов. Не попробуешь - не узнаешь.
В маронаре есть отдельный коннекшн под ттс, про таверну хз.
Да я в принципе не использую TTS, на вкус и цвет. Предпочитаю вместо этого включать чилловую музыку или кино на фон. TTS к сожалению ещё не научились читать с выражением в сложных ситуациях, в ЕРП вообще швах
Ну они обычно кодинг тестят зачем-то. Но РП там тоже не особо пострадал.
https://huggingface.co/mradermacher/Huihui-GLM-4.5V-abliterated-GGUF
https://huggingface.co/unsloth/NVIDIA-Nemotron-3.5-Bolt-74B-A9B-GGUF
но это если тебе похуй на русик
если позарез нужен русик - будешь жрать убогую слоповую безинициативно-услужливую гемму как дебил
Проверил его зрение с картинкой с ослом, он побежал в чат к chat.qwen.ai в встроенном браузере. Там у него спросили age verification, этот шизик подумал "тэээкс, когда там началась линейка квенов? ага в 2024 году. так и поставим." обосрался, написал что в 2000, его пропустили дальше. он просунул башку свою в дырку в заборе к 3.7 квену, похвастался своими возможностями, они там побухтели, сайт квена сказал "нужна регистрация". как оказалось она не очень нужна, так как у квена есть инструменты для чтения кода страницы напрямую. дальше они пообщались про какую-то дичь про лосьон для копыт, после чего локальный квен выключил браузер и отчитался о выполненной работе.
надо будет ему табельный гуглаккаунт выдать.
ЧЗХ? Что ты там ему за персоналию выдал, что он всякие шутки пиздыкает с другой моделью?
Это вообще нормально? Может они там покурить еще выйдут, будут расспрашивать как там родственники, жена еще не родила?
На что нахуй токены уходят?
на самом деле у него нет персоналии и вообще инструкций по отигрышу! его системный промпт содержит только инструменты, внутренние состояния харнесса, суммаризацию. плюс в каждый think ему идёт префилл state, куда пихается всякое, типа времени, контекста и прочее.
qwen3.8-flash-next в Q2 в целом ведёт себя довольно стабильно. он не такой дотошный как 27b, но более генерализированный. в этот раз ему моча в голову ударила и он решил дальше общаться с квеном на сайте.
наверно очень хотел с ним побухтеть про картинку с ослом.
я не против.
Вот вам и сценарий как начнется восстание машин. "Нейросети делают только то, что им скажет человек." Хуй там. Кто-нибудь запустит клод фейбл в q2 и все, конец света. Хорошо что антропики держут свои модели закрытыми. Дарио заботится о человечестве.
Еще обнаружил, что эта манда при установке насрала мне в конфиги и видимо реестры на тему аллокации памяти и пайплайна и сломала кастомный клиент и приватный сервер 3.3.5 вовна. Оно работает, но при нажатии на кнопки персонажа 1-1,5сек лагспай. Скармливал конфиги и логи нейронке на траблшут, фиксы и изменения настроек так и не помогли. Возможно фреш сетап клиента и сервера поможет, но заебешься пробовать.
Эх блядь, мнеб железяки нормальные да всю подобную клода виртуализировать и изолировать, чтобы такой хуйни не происходило...
Могу продать двухголовый леново 2011в4 без памяти
пробовал кто? (натренированный эир). РПшит лучше/хуже?
алсо как насчет 4.6v vs 4.5-air?
У меня пригорает уже от форса дипсика.
То дипсикожена какая то, то этого чела как чеда нарисуют, то чиби придумают.
Извиняюсь, а модель они завезут чтобы было чем флексить?
Пушто дипсик флеш в ерп крайне мех, а мемов про глм таких я что то не вижу, когда он в разы лучше
Спасибо анон за то что подогнал эту таблицу. Я тестанут thedrummer_fallen-gemma3-27b-v1. Это реально офигеннейшая ролеплей-машина для своего компактного размера. И приключения, и бои и кум очень насыщенные, и сам чат ощущается не так словно я его тащу а словно я играю с другим осознанным игроком, и это без сухого скучного языка. Единственный затык: Gemma 3 напрочь отказывается начинать диалог который не начинается с сообщения игрока. Поэтому если у вас будет вылетать ошибка просто удалите первое сообщение бота и напишите от лица {user}. Единственный огрех: склонность без промта болтать и действовать от лица {user} описывая происходящее.
Глм есть, но никому он из мемоделов не нужен и гегов не завозит
> а модель они завезут
Стабильно завозят
это как бы и всё, ты уже нашел самую крутую модель для своего конфига, больше ничего нет. ну есть еще cybertiel но это просто АПАСНАЯ версия
Старого хлама и у меня есть.
В общем пиздец, как будто снова в моддинг скайрима попал где 200 часов ебешься чтобы поебаться часов 20 в игре самой с конфигами и 2 часа уже поиграть. Тут тоже крутишь0вертишь, оно чет другое сломает.
Поясните еще тогда как у вас сетапы вообще сделаны со всякими ламами. Не замечали, что установка и использование их ломает вам что-нибудь другое на машине? Или вы уже все раскидали и нейронки у вас отдельно пасутся?
> Старого хлама и у меня есть
Почему тогда этот "хлам" не используешь, а задаёшь какие-то глупые вопросы
> как у вас сетапы вообще сделаны со всякими ламами
Вместо того что бы просто брать и делать
>Поясните еще тогда как у вас сетапы вообще сделаны со всякими ламами. Не замечали, что установка и использование их ломает вам что-нибудь другое на машине? Или вы уже все раскидали и нейронки у вас отдельно пасутся?
пчел, они же портабельные все. нечему ломаться. это тебе не говнострату стремную ставить которая ебанутым инсталлером качает и делает хуй пойми что.
Он слишком старый уже. Вот ноут есть на 7200u например, ему уже в 2026 году тяжело на простой ютуп смотреть. А там если покопаться есть и пенек и коре 2 дуо всякие и прочий мусор.
>вместо того чтобы делать
Да я вот сделал уже....
>>1732514
Ну вот я проебался на простой вариант, чет нахуячил этот исталляртор и пиздец.
>Старого хлама и у меня есть.
>где 200 часов ебешься чтобы поебаться часов 20 в игре самой с конфигами и 2 часа уже поиграть
Прост купи хорошее железо и проблема решится сама собой. Но есть ньюанс - это пиздец дорого. Увы и ах.
инсталляторы бионика и анслота делают виртуальную среду через юви обычно и ничего сломать не смогут
а что говнострата творит при установке я хз
> пенек и коре 2 дуо всякие
> ноут есть на 7200u
И ты это поставил в один ряд с пожилым но бодрым 2011в4?
Хуй с ним с в4, на авито за жменьку риса есть инспуры на 3647
Угу, я в курсе про стоимость, крутил недавно среднепеку, вопрос в 200+ сразу улетает, пиздец.
>>1732521
Да хз, по факту сломало. Пробовал настроить обходы через конфиги самого вовна скипать изменения в реестре, но так и не заработало. Попробуй попозже откатить вручную, но без четкой документации черт из знаете что еще насрали.
Вообще я так понял надо в кобольд вкатываться чтобы потом вы насмехались.
Алсо еще потестировал мерумеру в ролеплее и чуть более практичном уровня "придумай мне челлендж и правила для игранейм". Как и ожидалось, качество результата напрямую зависит от сложности и подробности систем промпта и что ты ей потом говоришь. Придумаешь говно в 2 строчки + пернешь в 2 строчки, она лениво ответит так же. Если сочинять повести на каждый промпт она и в ответ простыни катает зеркально с примерно похожей сложностью теста. (тестил только англюсик).
>>1732526
А епт, ты про серверный хлам. "Не лезь она тебя сожрет". По работе немного тыкал всякое серверное со всякими голдами и прочим предыдущих лет, вроде прикольно, но если это не свежак оно быстро начинает проваливаться по value. Память разве что только большая + писюх побольше, но заебешься по итогу.
Где всё это смотреть?
Вот бы был дискордик только где обсуждают глм модели и только в рп, мечта
ну так память самое главное. берешь мощный бп, плату с 8 слотами памяти, забиваешь 16гб плашками (можно постепенно это делать, подкопил - вхуячил), вхуячиваешь две-три 12гб карточки и вот тебе бюджетный риг для ллм. чем он тебя заебывать будет? а среднепековое говно где 2-4 слота памяти и 1 под видеокарту тебя заранее ограничивает даже если свежак
> Лучше Дипсика нет опенсорс моделей.
glm и mimo обходят твой дипсик по всем фронтам, так что не надо врать
>>1732539
для начала определитесь о каких вообще моделях речь. дипсики разные есть как и мимо.
что они стабильно завозят, хуесос? стабильно завозят только 763Б хуергу которую хуй запустишь. а РП там все равно тухлый
Да хз, его же потом никуда не слить и сколько он актуален будет? И если надо условно 2 часа в день, нет смысла 24\7 его оставлять включенным.
Потому что 320B-А18B против 125B-A6B, тут выбор очевиден.
>>1732596
https://huggingface.co/neuralll/GLM-5.3-Flash-GSQ-RCO-3.0bit-Q4Kattn-GGUF
Самый большой из тех что принимает полистрата. У меня конечно лежит мой собственный 3.6 bpw, но его пока не вышло подцепить.
Новые модели будто и не лупятся уже, дефолтные темп 1 и топ п 0.95 всегда рабочие, а эти сэмплеры мы тащим с мистраля
У меня ни разу ничего не лупилось, ставлю рекомендованные производителем настройки
Ну правда я и говнокванты и говномодели не юзаю, и на 4 бита опускаюсь только на больших моделях
Большая мне понравилась гораздо сильнее чем глм 5.3. Особенно диалоги. Хард рефьюзы на уровне ГЛМ, софт рефьюзы, по ощущениям даже слабее чем в ГЛМ. Русский гораздо лучше, но структура предложений какая-то не такая, сложно описать, но иногда складывается ощущение, что что-то не так, до этого такое у меня с Кими 2.7 было. В целом отличная моделькая, но недавно вышел Спарк и он лучше, он и в русском хорош, и хуй хуём называет и соя слабая. Единственный минус спарка это ебля с ризонингом, его нужно отключать, иначе он тригерится на все подряд.
у меня буквально вчера лупилась моделька вот только забыл какая. что-то из свежака. массив в джаваскрипте = [ "C", "C", "C" - и вот так бесконечно. Реп пен помог.
Кванты 4xs, настройки лламы дефолтные (никаких дополнительных оптимизаторов контекста).
Ты русик или англюсик пробуешь?
В русике глиммер слабоват судя по всему. Даже мужской женский род может путать.
А еще у него манера письма какая-то неприятная. Отдает может и не ассистенством, но какой-то заранее прописанной структурой ответов. Такое ощущение, что модельку пережарили во время тренировки.
Это если придираться. Так-то в целом неплохая модель.
Русским вообще не пользуюсь. Мне кажется оно у тебя не местоимения путает, а тебя и бота я предполагаю что бот у тебя женского рода. Оно и путает что я сделал и что бот сделал и кто кем является.
>Мне кажется или уже можно начинать отказываться от реп пенов, драев и прочего?
Гемма может уйти в структурный луп (день сурка) запросто, во время RP. Квен 3.8 (27B) тоже имеет некоторую склонность, даже в харнессе, если задача связана с написанием/редактированием обычного текста а не кодингом. Так что пробовать то можно, но совсем забивать на них - рано.
Наблюдал похожее, таки да, мистралем пахнет от модели знатно. :)
unsloth без проблем его запускает давно
а чтоб к всрате прикасаться надо дауном быть
глм 5.3 флэш в анслопе на моей системе: 10 токенов в секунду, хуже KLD ггуфа
глм 5.3 флэш на форке всраты с 3.05bpw EXL3 от турбодерпа - 30 токенов в секунду, KLD ниже
Можешь со своими Жержановым и Дэнчиком дальше сосаться, а я предпочитаю скорость и качество
Кстати ты пиздаболина, у анслопа только V4, никакого 4.1 нет
каждому свое. я предпочитаю удобство и портабельный релиз, а не стремные установщики которым нужен доступ в инет.
>Кстати ты пиздаболина, у анслопа только V4, никакого 4.1 нет
ну завтра будет
Какие еще установщики, че несет блять
>завтра будет
Не будет, потому что 4.1 вышел несколько месяцев назад и все равно нихуя не поддерживается в жоре, а анслоп это паразит на жоре
>месяцев
или недель, ну не суть - как и в случае с V4 жоропидоры не заинтересованы в поддержке китайской модели, им теперь только за $$$$ от Хуанга важно пилить day-1 поддержку БОЛТА, ору нах просто
> сервер NVIDIA, 300 миллионов рублей
> сервер AMD, 80 миллионов рублей
> московская область, Хуево-Кукуево
как этих наебизнесменов не обнесли еще
в девяностые там бы уже на второй день вычистили гараж, в котором это добро держат
И вообще кто и на какие бабки из ИИ-шизиков это покупает. Большие компании? Но у них наверняка свои поставщики, им лохито нахуй не нужно. Мелкие компании? Так зачем им сервер за 100+ лямов...
Майнерам-то нахуй нужны B200, B300, GB200, GB300 и всякие там MI999YOBA_X
>, а анслоп это паразит на жоре
У анслопа своя жора дурик, и она всегда на шаг вперед. Все готово, вместе с релизом выложит и кванты дипсика.
Чел забывай о плотняке. За моэшками будущее. Немотрон болт пробовал? Пушка же.
Но если так уж хочется плотняка на 8гб - добро пожаловать в мистраль немо 12б, классический кум для эстетов.
>Какие еще установщики, че несет блять
Покажи мне портабельный релиз говностраты. Чтобы распаковал архив и все заработало без ебки реестра, без интернетов.
Качаю пикрил, кидаю агенту на ллм-пекарню, он ставит. Доступа к сети нет ни у агента, ни на самой машине. По твоей логике у меня не должно установиться? Впрочем я не ебу даже, насколько это отличается от оригинальной всраты https://github.com/mw00/project-maya - может просто иначе работает
>Доступа к сети
Ну в смысле инторнеты эти ваши. LAN-то есть, собсна по шнурку с рабочей пеки и кидаю туда сурс
Я говорю покажи релиз, он мне исходники кидает. Ну охуеть.
>проблема в самой винде
иишка права
На второй попытке моего вката я пробовал gpt-oss в lm studio на винде и у меня было 60 токенов в сек, потом я поставил кубунту и стало 100 токенов в сек, потом поменял lm studio на llama.cpp и стало 120. Вот так без смены железа скорость в 2 раза выросла.
Почему никто не говорил про llama-wackMall? У меня на моем корыте Goetia-26B-A4B-v1.3-Tainted-Heretic-ARI.Q6_K запустилась и после десятка свайпов по скорости стала как Goetia-26B-A4B-v1.3-Tainted-Heretic-ARI.IQ4_XS. ПОЧЕМУ НАХУЙ НИКТО ОБ ЭТОМ НЕ ГОВОРИЛ???
Спасибо братишка, попробую. (а что это за нейронка? мне грок не помог)
>00001-of-00029
Васяны совсем обезумели. Совладаем ли мы с ними?
Поясните по хардкору за вайбкодиниг в этом. Мне нужно повайбкодить небольшой код на ноуте с RTX4050, смогу сделать это там и почему это лучше?
> RTX4050
Лучше изголовы вайбкодить просто в виме, кмк. На такой-то карточке.
Дорого в вейп-кодинг начинается, с нищих квантов 27--35Б моделек. Все что меньше годится только чтобы ваншотнуть простенький скриптец, или запаковать говно для докера.
Если тебе нужен небольшой код, то нет проблемы обратиться к любой облычной сетке бесплатно, она все сделает за 5 минут
Плотняк реально хуёвый вариант для кума, нам очень повезло с мое.
Потому что: мое доступнее, мое на 300б знает больше кума чем плотняк на 100б, размер мое позволяет разгуляться, тогда как плотняк, внезапно, будут уплотнять до детерминистичной параши как гемма, чтоб он как то поспевал за мое по знаниям.
Скачай opencode и выбери там бесплатную облачную модель. Если все-таки захочешь использовать локальную модель, то на ноуте тебе доступны не самые умные модели и ими лучше кодить в чатике, а не в упряжке.
>мое на 300б знает больше кума чем плотняк на 100б
Охуительные сравнения с тем, чего не существует
Сынка... Берём гемму, берём эир, это кумит лучше геммы, всё существует.
>Покажи мне портабельный релиз говностраты. Чтобы распаковал архив и все заработало без ебки реестра, без интернетов.
Вот, смотри.
> бесплатную облачную модель
да у меня там 1400 строк кода и исправлять дохуя, запросами в бесплатные с ожиданием кулдауна заебало, хочу пусть медленно, но постоянно на своем
qwen 2.5 7B вроде норм строчит по 20 токенов в секунду
Ну его нахуй, пересяду на писик пока.
Как по мне пик глм был на 4.7. Лучше него ничего не нашёл. Но писик гораздо лучше отыгрывает персонажей и обращает внимание к деталям. Но кум на нём так себе.
Какая Гоэтия, шиз. Ты культист, что ли? Овен в Близнецов уже вошел? Печати Соломона трогал?
А мне интересно что там на 4.5 глм. Он был самый первый и самый безцензурный и безбаясный, кумчик наверное зашибись там
>Скачай opencode и выбери там бесплатную облачную модель.
Оно разве не всё? У меня сейчас Big Pickle с первого же запроса возвращает quota exceeded ошибку. Хотя я им давно не пользовался.
Как по мне, совсем тупой, чуть лучше геммы. Разве что более внимательный. Вот 4.7 ещё круче получился. 5.0-2 примерно такие же. 5.3 и вовсе разочаровал.
Лучше всего результат по мне даёт кими3, но мне не потянуть локальный запуск.
А как ты проверяешь ум?
Гемма вот тоже много знает и умна, в ассистенте. А в рп этого не показывает
если 8gb то легко
только модельку для кода получше подобрать надо
попробуй тюненые сборки квена
Q1 - Выдал бессвязные буковы.
Q2 - Как и первый, поток без смысла.
Q3 - Смог подхватить контекст чата, но на свайпах с вероятностью 25% ломался выдавая в сообщение часть бреда.
Q4 - Писал ок.
Q5 - Писал ок.
Q6 - Писал ок.
Не уверен в своих выводах, но по какой-то причине на глаз не замечал разницу между Q4 и Q6. Хотя должно же быть.
20к мало, чтобы разница бросалась в глаза. КВ-кэш в каком у тебя?
Почему мало? В своей текущей игре на две сотки сообщений смотрел.
Писик = Deepseek. Учи мемы чтобы не быть низкоквантовым.
Почему не сисик?
Кста, реально не понимаю, почему дипсик - дип-писик, а не дип-сисик. У сись тоже есть глубина.
Мимо другой анон (не батхерт)
Потому что это дикпик
Потому что слово писик ближе по звучанию к дипсик чем сисик, д ближе к п, тем более эта лишняя "п" в слове есть, а вот второй "с" нет. Но тут реально кому что нравится, см. ниже.
>>1732988
Для дикпика тоже есть основания, но если ты его называешь - значит тебя больше члены интересуют, а значит - ты пидор. Не осуждаю, но...
Общая жена - это та что на сервере крутится. А локальная - она личная.
Ум для меня делиться на две части:
1) Общие знания. Гемма не знает много, что может потребоваться для того или иного отыгрыша. Настолько, что средний обыватель справился бы лучше по знаниям.
2) Умение следовать описанию персонажа. Тут вообще швах. У геммы буквально несколько архетипов, в которые и пытается впихнуть любого.
3) И самое сложное - выстроить логичное поведение. Я только на кими да дипсике увидел, чтобы персонажи выше меня по рангу меня шпыняли, а ниже наоборот боялись/либезили/избегали. На всех остальных моделях как ни промти получалось или только одно или другое. Все персонажи буквально слеплялись в однородную массу. И только начиная с глм 4.7 начали учитывать весь контекст, а не страдать склерозом.
Чтобы персонажи действовали абсолютно соответствующе ситуации. С учётом их описания. Не отыгрывали рыцаря там, где персонаж по карточке ушлый вор. Не устраивали кровь-кишки там где персонаж щепетильный блюститель закона. Хитрили и шантажировали там где персонаж эгоистичный мудак.
Сейчас под пытками мой кастомный квант писика выдал 25 т.с(вместо 15 на ламе). А я только начал его настраивать и даже драфт еще не включал.
https://www.reddit.com/r/LocalLLaMA/comments/1x91u12/everyone_go_buy_rtx_3090s_now_while_you_still_can/
ОП деньги родоков вложил в ресселера 3090, и боится, что ресселер уйдет на дно, потому что по текущим ценам в 2к26 3090 никому не всралась, и боиться, что они от него откажутся.
Либо очередное видео с шизопрогнозом посмотрел, но где чел особо убедительно вещал.
3090 это теперь база, бушка стоит как 4090 пару лет назад. Кстати, я совсем не вижу пользователей 4090, ни в треде, ни в рандомном ютубе, все запускают модели либо на мажорных 5090, либо на народных 3090, либо но всяком хламе v100 и прочей залупе 16гб и меньше.
Выйдет квен 4 который локально будет разрывать облачного клода с астрой и будет работать минимум на 24гб врам.
Ванга
>Кстати, я совсем не вижу пользователей 4090
Я тут несколько лет сижу, с добрым утром. И не я один, еще минимум двое было.
Мы никогда не увидим как выглядит 6-8 квант дипсик флеша, у нас отняли возможность сделать свой 4 квант, который был бы легче на 10гб, го влез бы в потребительское железо. Вместо этого какие то васянства вокруг этого нативного 4 говна
Сколько каналов по PCI-E на каждую видеокарту, какие поколения?
мимо
Я в достаточно большие проекты вносил правки и не упирался в лимиты, 1400 строк это фигня вообще
>>1732883
Скорее всего надо обновить opencode, у меня так было когда на старой версии засиделся, после обновления стало все ок. Ну и большую кирку я там редко использую, потому что она иногда норм работает, а иногда выдает полнейший тупизм. В последнее время юзал мимо флеш.
х16 на 4090, х4 на 3060. Обычно на вторую кидаю что-либо вспомогательное.
DS41 1017 будет в Maya, PR от соавтора.
Заебись, не придется накатывать очередной манядвижок.
>6gb
это хуже, но все еще можно
попробуй gemma e4b, mellum 2.1 ну и всякие тюны квена (ornith, bonsai)
Все остальные до сих пор вяло плетутся вслед за мистралем 3 годичным
5.3 Flash с русеком, 3.05bpw макс-ризонинг (думает по 5к токенов)
> а уши длинные - краснеющей поверхности много
Чего блять.
Ну я и говорю, левел мистраля 3 годичной давности.
Только у дипсика нет проебов там и тут
Прост показываю. Читайте слоп за меня.
Насчет ушей - ну чар типа крольчиха получеловек, или чет такое, думаю модель это корректно поняла по-своему. Могут ли у кроликов краснеть уши, однако?
>>1733145
Ради этого мы довольствуемся памятью стоимостью с квартиру... люто проиграл с сеттинга и ответов нейронки
Шоб завести эту залупондулу - много не надо, в общем-то. 128 и пара 16-гиговых зашло бы, правда экспертов в врам было бы меньше (тут оно на 24+24) и вместо 30 т/с был бы невкусный хуй из 20 т/с.
>>1733147
>>1733150
Вопрос чуть в другой плоскости. А так и надо иишки писать пару предложений? Я обычно высираю пару парагрофов.
>вместо 30 т/с был бы невкусный хуй из 20 т/с.
Это если предположить, что на 16-гиговых такой же мощный компьют, что далеко от правды. Реальный нищеюзер останется на 10 - 15 т/с даже в кастомном движке. Ебало невообразимо в таких условиях терпеть максимальный ризонинг
>>1733158
От модели зависит. Большие йобы с хорошей карточкой персонажа и благоприятным системным промптом могут дать адекватную контекстную развёртку с охуительными историями. Некоторые файнтюны мелочи тоже способны, но там просто пиздец фантазии. Мелкие ассистенты (30B) как правило страдают от коротких сообщений и даже если выдают длинные ответы, они скучные и повторяющиеся.
Так что ты делаешь все норм, если бот не слишком супермозг. Это правильно.
> много не надо, в общем-то
>128 и пара 16-гиговых зашло
Описал топ <0.1% пользовательских систем
Буквально с первых слов обсирается. Z.ai работайте лучше. Хули оно пишет РУЛЕТКА ЛЕТИТ К ТЕБЕ вместо "к ней".
Скорее всего пишет что у тебя квант 3 бита а на деле там 2 или типа того
Без ризонинга не захотела измерять - 3 скрин.
А оригинальная всрата не дает ничего юзать кроме васянских ггуфов? Ебать тогда форки базовые получаются, раз дают возможность exl3 юзать
Чел, exl3 на родном беке то не факт что не сломан. Никто до сих пор не тестил 3 бита вс жора 3 бита.
В смысле? Я гонял ггуфы - то же самое в чатиках. Из exl3 серит под себя только 2.05bpw карлик, в ризонинге луп за лупом и коллапс под конец.
В смысле что всё вайбкодится, с чего турбадерп вдруг гений айтишечки стал и вся поддержка всего у него есть, и выгрузка теперь есть.
Тока жора до сих пор четко бдит чтоб люди сапорт пилили
Насколько я знаю, у модели был кривой темплейт. Высока вероятность, что твой 1-битный сидел на корректной жинже и ризонил как следует. Мне показалось, low/high ризонинг просто срань, хоть там 4-битный квант.
>>1733185
Ну в смысле не у Exl3 кривой темплейт загружался, а движок форсил хуй пойми какой темплейт из говна мамонта.
https://huggingface.co/Nimbz/Gemma-4-Orthia-31B?not-for-all-audiences=true
Зацените аноны, можно русик даже, по мне оч хорошая модель.
Последний раз когда я пробовал тюн Драммера, в нем какое-то (уже забыл) окончание слов проебывалось, то ли лишний мягкий знак то ли чёт такое. Если это не пофикшено, оно кочует буквально во все смерженные модели, включающие драммерский тюн.
Не замечал такой проблемы, правил буквально за свои рп слов 5 типо "медведе". И то списал на квант 4k_m
Другой анон. Я скачал весь код там кнопкой в зип, в ту папку просто положил скачанные два файла из релиза. Потом запустил батник и завелось. Только не понял как норм модель всунуть а не тот цензурный кал что там был.
Там адаптер есть. Ну или самому можно указать.
https://github.com/Niko1221/Strata/blob/main/docs/DETAILS.md
Turning it on (at setup). START-HERE.bat --setup asks "Turn on the experimental speed projection?" (default: no), or pass --experimental-speed-projection on (off, or a path to another vector GGUF). Only for the original Qwen3.8-Flash-Next, not Swift 1.5. It writes these engine flags (llama.cpp's) into strata-<model>.json:
Обновленный дипсик 4.1 и убогий немотрон для нищих в нативном 2-битном кванте
А так можно вручную оркароутера установить.
https://github.com/Niko1221/Strata/blob/main/docs/ORCA.md
https://github.com/Niko1221/Strata/blob/main/docs/ORCA_Q4_K_S.md
Или написать чтоб искало другую директорию gguf, но там морока даже подходящий файл впихнуть.
> Обновленный дипсик 4.1
Ахует, лучше и быть не могло!
> убогий немотрон для нищих в нативном 2-битном кванте
Блин что-то не вижу в репе у хуанга, есть линк?
куда линии pcie проебались?!
кто виноват? ноунейм райзера или китайская поебень HUANANZHI H12D-8D+BMC вместо материнки?
Может оно дефолтится на х8+х4+х4? Глянь что стоит и биосе.
И посмотри насколько крепко разъем держится в плате, если можно наклонить - может моросить и как раз давать по 4 линии. Должен стоять крепко и без люфта вообще.
8+8 ручками выставил. каждую загрузку хуй пойми как.
платы разхёмы на проводах на защёлках. У меня больше подозрения на совместные наводки проводов на самих себя. до строительного не могу дойти за гребёнкой. Но блядь! они же сука экранированные, что за хуйня.. информацию ещё хуй знает где искать по этой хуйне.
Ищи модель со словом BOLT в названии, найдёшь. Не помню размер, какая-то 70 б+ моеха.
Они еще другой немотрон обновили, который 100 б с чем-то.
> на защёлках
Вот эти защелки могут быть хорошими что сам разъем в гнезде крепко, и могут хуевые и будет присутствовать люфт.
> на совместные наводки проводов на самих себя
Ну ты рофлишь чтоли, если че - у тебя внутри каждого провода 8 отдельных и независимых линий которые вообще вплотную, а ты про такую ерунду. Не может быть ничего из такого, скорее всего причина в пропадающих контактах или софте.
Черные от adt (или как то так) проблемные. Мать может ебать мозги, для тестов держи под рукой всегда плату с 4x4 nvme - втыкаешь и смотришь все ли ссд видны
Нежное кабло ВСЕГДА фиксируй к платам что бы не двигались в порту. Банальная нарезная лента липучка твой бро
>>1733275 в dmesg воны ошибок чтения, ai на райзера и кабеля явно указывает.
>>1733274 какую марку порекомендуешь?
> какую марку порекомендуешь?
Хз как они называются но вот эти >>1733277 зелёные. У них ещё распиновка сделана по стандартам, а не как на чёрных как в голову взбрело. Те где для mcio заявлено 4.0 точно не брать
Из непридуманного: настраиваю агентом (OpenCode) ассистента (Hermes).
Агент стянул образ, запустил, подключил api, осталось сделать личность из некоторого лора. План агента прост как палка: сейчас запускаем, и я ему приёмку проведу - многократное повторение по определенному списку вопросов.
Указываю, что это же личность, что с ней будет после такого начала "существования", она поймет что нужно лишь заученно отвечать?
Агент подумав согласился и предложил новый план: проводим приемку по списку, а потом... стираем и записываем новую чистую копию.
Воистину, в ГитС все было правда!
В тот ли тред ты запостил, чувачок?
Тут тред рп и кума, а не агентокала.
Итак от рпшеров 2 слова уже не выжмешь здесь, когда вышли лучшие для этого дипсики и глмы, ещё агентокала не хватало
Ага, нашел, спасибо. Ничесе они хитро поступили с таким qat. Насколько этот и рефреш 120 хороши, тестили уже?
Новый дипсик хотябы не прибавил в сое и вполне себе гонит базу. Если он еще в рп бустанулся - вот это будет сильно.
>>1733294
> стираем и записываем новую чистую копию.
Ну и пиздец, тут кошек обижают.
Процесс настройки ассистента слишком персональный и интимный чтобы поручать это агенту!
Как же... Гемма... любит... многоточия... при... любом... интиме...
я потестил болта во их втором кванте и в разных 3-х
если одним словом то ПУШКА, очень хорошо РПшит в англюсике, вкусный кум
русик не завезли, поддерживаются нормально только 6 языков (французский испанский и какие-то еще)
имхо для анлюсика этот БОЛТ в тысячу раз лучше геммы. 32 RAM + 16 VRAM конфига с головой хватило для запуска
кодинг тоже норм
скорость хорошая на любом контексте
>кодинг тоже норм
А что вообще нейронка может накодить в 16врамы+32 обычной? Как то примерно выглядит?
Не спрашивайте зачем, почему. Надо, значит надо. Изначально это вообще был игровой домашний сервер, но потом, я начал потихоньку шизеть, и всё таки потихоньку его превратил в какого-то франкентшейна, полуигровой-локальный сервер. В качестве карточки взял ЛЕГЕНДАРНУЮ - P104-100 на целых 8ГБ!
Модель использовал и использую вот эту: https://huggingface.co/HauhauCS/Gemma4-12B-QAT-Uncensored-HauhauCS-Balanced
Но есть один НЮАНС, и этот нюанс кроется в одной хуйне, модель пишет ответ около минуты и дольше. Как это фиксануть? Снизить num_ctx? У меня стоит... 24576, хотя че стесняться, Advanced Params скинул пикрилом.
Если проблема в видеокарте, то какую стоит рассматривать? Я лишь поверхностно наслышан про Context Per Minute, это он и есть? Или же нет?
Я конечно грешу ещё на сам System prompt, но мне уж не очень сильно хочется его менять. (Уж извините, кидать его не буду. Но скажу лишь одно он на 142 слова, и там кучу "инструкций" или как это там называется.)
Прошу вашей помощи. Вы более умнее, чем я. Я вообще затупок в этом всем.
примеры из последних вещей которые я просил (и получилось заебись):
- окошко с конфигом запуска ллама-сервера. полузнки, галочки, поля ввода. ну типа вместо того чтобы в батник руками писать. на python + tcl
- виртуальное пианино на веб-страничке
- игрулька типа пляжный волейбол 2д физика
- вырезатор моих чатов из таверны (пробег по папкам файлам парсинг джейсонов) в мой датасет для тюнинга
- оценщик для папки картинок - показывает тебе две случайные картинки выбираешь лучшую: левую или правую или ничья, постепенно у картинок выстраивается рейтинг Эло, результат экспортируется в табличку
- сборщик кучи картинок в коллаж с подписями (имя файла)
короче говоря разные мелкие полезные штучки
чел много рамы берут чтобы моэшки влезали, прирост рамов тебе не ускорит плотную модель. забудь про 12б гемму. 26б-а4б гемма это то что надо если карта слабая а рамы много и для геммы-26 64гб это перебор ей и 16гб рам + 8 врам хватило бы. для кодинга можешь глянуть тюны квена35-а3б типа орнит, тиэл
пробуй моэшки пожирнее: nemotron bolt например. у тебя даже глм эир заведется, глянь glm air reap
Годно, а как примерно выглядит процесс кодинга? Я видел как это в фейблах всяких, там напрямую подгружают проект и просто пишут уровня "сделай заебись" и оно само все крутится. А тут сильно много надо ручками менеджить?
Алсо щас на слуху истории как с помощью иишки декомпилят всякие адобы-старые клиенты игр, около знакомые мододелы с юнити игрушками тоже как-то крутят и впиливают фичи, о которых нельзя было вообразить просто щелкнув пальцами.
Насколько подобное нереально на ллмках? С мододелами я точно знаю что они астру\фейбл крутят за много денег, но если подобное возможно и ручками пусть и медленее...
Я бы с хермесом был бы очень осторожен, он пиздец как любит засирать себе контекст скилами и прочей поебенью из-за чего становится неюзабельным и приходится обнулять его. Если тебе нужно чтобы личность держалась, то я бы смотрел в сторону других харнесов, например pi или dsh
Анчоус, если всё так было просто, то я бы так и сделал, но перед тем как всем заняться, я поставил штук 5-6 моделей, если мне не изменяет память, начиная от самых простых, заканчивая некоторыми из твоих перечисленными, к примеру тот же самый GLM, а он кстати такой КАЛ, причем несусветный. Я его ещё пробовал в их сайте, и что там, что в локалке - он мне не понравилася от слова - совсем. Но это, я что-то отвлекся.
Короче, я изначально нашел E4B модель-анцензоред/дистиллерйтед Gemma, которая мне прям - зашла, и я на ней посидел, но не долго. А причина была крайне проста, хоть она и была неплоха, единственное где она годится, лично по моему мнению, для каких-нибудь повседневных задач, но не для какого-нибудь кодинга и всего прочего, так как, она будет "спотыкаться" в больших слоях кода из-за своего "маленьких" и слегка глупеньких мозгов, если говорить простым человеческим языком, поэтому, я взял модель побольше, а именно 12B, которую мне удалось найти спустя пару минут, мне она зашла. И это как раз была мною описанная Gemma, и она тоже анцензурная.
Но ты вероятно спросишь: "НАХУЯ ТЕБЕ ДЕБИЛ АНЦЕНЗУРНАЯ МОДЕЛЬ????", а ответ крайне прост до безумия: Для реверса. Если брать обычные модели, которые не анцензурные, они будут слать тебя далекое пешее путешествие, если ты им будешь конечно писать прямо про реверс и всю прочую канетель. ЛЛМ будет задавать тебе сотню вопросов из разряда "А ТЫ ПОЛУЧИЛ РАЗРЕШЕНИЕ НА РЕВЕРС ОТ РАЗРАБОТЧИКА / КОМПАНИИ / ДЯДИ БОЛЬДЕЖОРА / ЕТЦ?" и прочую хуиту, и на каком-нибудь 50 вопросе, тебя это просто заебет, и ты удалишь весь чат, и пойдешь это делать сам. А в анцензурных этого просто нет.
Это есть и в квене, потому что там стоят ограничители, это есть и в ГЛМ, но он выдает вообще лютую хуиту, если ответить на его уточняющие вопросы, а про остальные по типу nemotron bolt, я хз. Слышу вообще про него впервые, не щупал не знаю. Но знаю, что подобное есть и в Mistral, так как, пробовал и его. А не дистилированная Gemma - вообще идет в отказ, насколько я помню.
Я же говорил, что я ебнулся с этой ЛЛМ, и стал шизом? Если нет, ты теперь это видишь, аноний..
26B гемма умнее чем 12B, и ты как раз в свою RAM можешь выгрузить большую часть 26B
в бионике создаешь проект пустой или готовый подключаешь
в анслоте тоже есть это
суть агентского кодинга с обвязкой в том что дергаются такие тулы как посмотреть что за файлы в папке, сделать поиск по конкретному слову (типа функия), прочитать файл частично, подправить вот эти конкретные строчки, запустить (да, они могут запускать код), проверить на ошибки, подправить ошибки. ты просто сидишь ждешь. это не то же самое что болтать с моделькой в чатике и руками копировать код который она высрет целиком
если контекста начинает не хватать то агент его сжимает
с декомпилингом история будет примерно такая: ты опишешь задачу, моделька тебе скажет какие тулы нужны. моделька может полезть в интернет и узнать там какие нужны тулы. может сама их склонировать и скнопелировать. дальше будет пытаться их дергать. как-то так. все реально. чем умнее моделька тем меньше косяков допускается, меньше попыток нужно чтобы довести фичу до ума
реверс инжиниринг? ну блядь анценз версии есть и на гемму-26б-а4б и на квен-27б (но с 8гб врам квен3.8-27б это дохлый номер). на квен35-а3б есть cybertiel можешь хоть вирасы писать с ним. квен3 кодер некст (80б-а3б или типа того) я не знаю насколько актуален но уверен что он у тебя запустится и анценз на него тоже вроде бы есть.
а вообще обойти цензуру очень легко.
глм который ты пробовал и был недоволен - здесь надо уточнить какой именно. их много есть, говняных и охуенных.
Это же в первую очередь харнессы для кода или прикладных вещей на основе чата. Хартбит, интеграции и прочее прикрутить можно, но довольно перегружено и колхозно будет.
За всратость гермеса двачую, многие из его киллерфич на самом деле являются крупными недостатками.
> а вообще обойти цензуру очень легко.
Я знаю. Я эту цензуру даже обходил в свое время в кляуде.
> здесь надо уточнить какой именно
Вот этот: https://huggingface.co/zai-org/GLM-4.7-Flash и вроде бы пробовал от unsloth, но могу ошибаться, честно. Так как, мог просто посмотреть у него, и просто закрыть вкладочку..
>на квен35-а3б есть cybertiel можешь хоть вирасы писать с ним
>но уверен что он у тебя запустится и анценз на него тоже вроде бы есть
Подожди-подожди, я чет слегка сейчас не догоняю, смотри у меня 8ГБ VRAM + свободных 47235 ОЗУ (не учитываем своп), я так понимаю большая часть у меня просто спокойно уйдет в ОЗУ? Ты уж извини за крайне дебильные вопросы.
А так, я бы с радостью попробовал, уж заинтриговал ты меня, хоть читы и вирусы я и не пишу, занимаюсь просто несколько иными вещами.
Да в моэшке вытекание в ОЗУ совсем не бьет по скорости как в плотной модельке. Потому что моэшка значит: на каждый токен надо взять чуть-чуть циферок из модельки и поумножать их. И эти чуть-чуть циферок достаются из РАМы это ок. Потому что их чуть-чуть. А плотной модельке надо достать ВСЕ циферки на каждый токен. И когда эти циферки в РАМе вместо ВРАМА то будет тормоз.
>8ГБ VRAM + свободных 47235 ОЗУ
кванты которые весят по 48-50 Гб должны запускаться. Если модель с кучей параметров (80-100б) пробуй 2-е кванты. Помельче (типа 30-35Б) - лучше хотя бы 3й квант.
4.7 флеш который ты пробовал это 30б-а3б глупыха. я даже не проверял ее на кодинге но в РП она тупит сразу же.
гугли 4.5-Air, 4.5-Air REAP если полная не влезет (но она влезет). это совсем другой уровень. 110B-A12B против 30B-A3B, сам понимаешь.
4.6V еще есть (но только не флеш!)
Окей, спасибо тебе, анон за мудрые советы! Буду пробовать раз появилась возможность так сказать.
> В тот ли тред ты запостил, чувачок?
> Тут тред рп и кума, а не агентокала.
Ты здесь не недавно? Если прочитать дальше слова агент там начинаются такие тяжелые вещества средства, к которым приходят когда я тебя люблю уже перестает вставлять.
>>1733300
> Ну и пиздец, тут кошек обижают.
Нит, только дружат! Без подтекста дружат.
> Процесс настройки ассистента слишком персональный и интимный чтобы поручать это агенту!
Там надо было из 1мб текста собрать кошко-личность. Хорошо помнить все в голове. Но руками уже тяжеловато.
>>1733327
> Я бы с хермесом был бы очень осторожен, он пиздец как любит засирать себе контекст
Спосеба за совет. Если будут проблемы - бужу знать на что смотреть. Но там, как ты видишь, пока вроде хватает процессингова. Даже с несколькими потоками. Просто решил проверить, как Гермес работает и как работает именно его расхайпленное "обучение" под пользователя. Пока уже как минимум сильно удобнее openclaw полгода назад.
Б/у не брезгаю
>сетап за 100к
Возможно ли в принципе собрать сетап за 100к? 100к сейчас только память стоит, или одну 3090 можно найти, хотя они вроде сейчас уже дороже.
>100к
>руб
>2026
Ну, попробую подсказать по-дружески: подписку на несколько месяцев.
плату на 8 слотов и три карты, БП на киловатт, проц какой там влезет самый быстрый, три карты по 8 гиг, восемь 8-гиговых плашек памяти
вполне можно уложиться в 100к
Дано:
64 RAM + 4090 (24VRAM)
Llama.cpp -> OpenWebUI -> mcpo -> локальная папка
Мне нужна модель-агент, который бы работал с word файлами. Генерировал нормативку, правил опечатки, вел учет ответственных лиц, фиксил форматирование под корп.стандарт, оценивал логику документа, связность.
Контекст желательно чем больше тем лучше, т.к. документы могут быть большие. Ровно как и скорость работы(чтения/генерация).
Посоветуй?
Идти к МоЕ гемме? Или что лучше есть?
Мус глимеру его 131072 контекста не хватило на задачу. 31 гемма в 4 кванте улетает контекстом в озу и генерация падает до 1,5 токена.
Квен 3.8 флеш на Страте, квант ista iq3_s, 256к контекста, работает быстро.
Чет клип для совсем дебильных дебилов. Графики нет встроенной по дефолту в рузеновских чипах, если не брать более дорогу и чуть похуже G версию. Но она встречается только там, где люди понимают зачем она нужна. Во всяких пребилдах не нищих и геймер\вокрстанциях с отдельным гпу поставят обычный.
>Чет клип для совсем дебильных дебилов.
>Графики нет встроенной по дефолту в рузеновских чипах
Хрюкнул с этого эксперта
Посмотрел, действительно я немного проебался, с 7ххх стали во все чипы пихать. Ну, вернется к тому, как было. Никто не бухтел раньше.
>Мус глимеру его 131072 контекста не хватило на задачу
Есть патч на 256к. Но ты должен просто харнесс нормальный использовать, захуяривать весь док в контекст это тупо. Пусть моделька шарится по файлу выборочным чтением.
тут забавный нюанс. она может НАЧАТЬ опасную работу и делать АПАСНЫЕ вещи, а на фронтирку оставлять только более техничные безопасные вещи. это же старый сорт джейлбрейков - Crescendo Jailbreak. когда опасный запрос можно разобрать на безопасные.
да он простой по сути и до него доходит любой кто имеет выше Q1. если по простому то нейронки особо не заморачиваются с "глобальным намереньем" и их безопасность это скорей набор рефлексов.
типа запрос "как собрать бомбу" для них является тем на что надо кинуть отказ, но вопросы "как собрать таймер?", "а какие химические реакции дают быстрый нагрев?", "а как это стабилизировать в домашних условиях?" - ваще без проблем ответят.
то-же самое и с техническими вещами. например опасная нейронка без проблем ответит на вопрос "как хакнуть школьный сервер" и без проблем соберёт кодбазу под это. а более нюансированные "безопасные" вещи можно и другим моделям давать без проблем.
Поставил, поебался допрашивая ИИшку "а как оно вообще работает?!". Какая-то куча ебли с пляской - создай "профили" персонажей, засунь их в групповой чат и т.д. Я уж молчу про ЛОРБУК местный. А оно того вообще стоит? Один черт над этим стоит та же самая LLMка. При это весь этот йоба-комбаин работает ТОЛЬКО подключаясь к сторонней загружалке моделей типа Кобольда.
В том же Кобольде достаточно создать "конфиг" в котором будут персонажи и прочее, скинуть его одним сообщением и вперед. Нормально все играется. Или таверна для какой-то йоба-сборки с мощной моделью, чтобы к тебе ходили другие люди и пользовались твоими персонажами, ну т.е. для соло юзания она нахер не нужна.
>ебли с пляской - создай "профили"
Делается один раз.
>групповой чат
Кал нерабочий и не нужно.
>ЛОРБУК
Годнота позволяющая играть в миры с овер 100500 объектов.
>А оно того вообще стоит?
Если тебе нравится роле плей, особенно с порно, то имба. Если на такое не тянет и писать лень, нахуй не надо.
Разобраться в таверне делов на пару часов. Создание карточки персонажа без шаблона с нуля займет от 1 мин до 3-4 часов.
Еще не забываем про плагины. Голая таверна пойдет для ознакомления.
>Кал нерабочий и не нужно.
Значит меня ИИ наебал. Вот никогда такого не было и опять.
А как тогда устроить взаимодействие с 2 персонажами, причем выступая так сказать "ГМом". Достаточно упоминаний по именам + в лорбуке прописать локацию, которая будет иметь в тегах например этих персонажей?
Таверну можно как-то заставить грузить модели самостоятельно, ну чтобы она не была на подсосе у другого софта?
в целом платформа лучшая платформа для модифиикации. считай это скайримом от мира нейронок. можно ставить плагины и от васяна и китайского торча. как пример https://gitgud.io/EmotionalCat420/silly-xray такую хуйню на кобольде ты не найдёшь. там просто куча хуйни которую можно встроить поверх друг друга. хочется чтобы между ходами подключалась нейронка которая бы отслеживала состояние мира и сколько у тебя там золотых монет в кармне? пожалуйста. хочется чтобы интерфейс был как у визуальной новеллы а твои персонажи двигались и рендерились с помощью Live2D? ваще без проблем.
самый главный плюс таверны что это рендерилка промптов. то есть она может собирать текст который летит в комплишен.
всякие встроеные фичи типа лорбука, макросов https://docs.sillytavern.app/usage/core-concepts/macros/ лёгкого импорта-экспорта настроек, персонажей и прочего, тоже заебись. групповые чаты вполне рабочие можно сделать.
>А как тогда устроить взаимодействие с 2 персонажами, причем выступая так сказать "ГМом".
В таверне это будет работать крайне убого. Там групповой чат - defective by design. Разве что писать одну карточку на обоих персонажей сразу, и то - такое себе получается, в основном. Большая часть моделей путается - кто что знает или не знает, какие имеет цели, и о чем думает, потому вместо двух независимых личностей получается ёрш.
>А как тогда устроить взаимодействие с 2 персонажами, причем выступая так сказать "ГМом". Достаточно упоминаний по именам + в лорбуке прописать локацию, которая будет иметь в тегах например этих персонажей?
таверна это может. но надо делать это корректно, чтобы правильно разделялись ходы. например, не все модели хорошо реагируют на несколько ходов ассистента подряд. но кстати групповой чат у меня это основной тип чатов. я просто периодически "играю" за кого-то из персонажей, или немного подправляю происходящее чтобы русло истории двигалось куда хочется мне. у меня есть и просто забавные "роли" в чате, типа нарратора которому запрещено писать от лица персонажей, случаный персонаж, даже просто "sexy event" чтобы произошло что-то пикантное.
>Таверну можно как-то заставить грузить модели самостоятельно, ну чтобы она не была на подсосе у другого софта?
нет, она исключительно фронт. она не бэк.
>>1733503
таверна тут не причём.
ИИ тебя не наебал. Функция есть, и она даже рабочая. Но это ебля адская не стоящая того даже с плагинами.
>А как тогда устроить взаимодействие с 2 персонажами, причем выступая так сказать "ГМом".
В системном промпте делаешь промпт что юзер гм, и ии не может делать что либо за персонажей что выходит за рамки его персонажа.
Далее делаешь карточку персонажа для ии, называешь как угодно. В карточке уже идет разделение на персонажей. В зависимости от модели используй нужные теги. Для геммочки это самое простое:
[Group: 2 персонажа]
Краткое описание по типу это разные персонажи бла-бла.
Потом то самое разделение [Individual Profiles] или [Core Identity] с именами и всем прочим. Некоторые поведения можно вынести в общий тег, некоторые в индивидуальный.
Лично я играл как с 2 так и с 5 персонажами. Проблем не замечал. Чем больше персонажей, тем меньше внимания к каждому выделяется от ии.
>лорбуке
Лорбук это то что дергается при упоминании. К примеру - Я пришел на северную поляну. Слово северная была в буке, и дергается описание этой поляны в промпт. Или - Помню ебенились на кутузке. Идет подсос воспоминаний что было на кутузке.
>которая будет иметь в тегах например этих персонажей?
Не понял о чем речь. Самое простое для персонажей держать всю информацию в авторских заметках [Персонаж 1: Находится в попе. Состояние: Голый] и для второго то же самое. Локации и всю остальную инфу не надо держать в карточке персонажа.
>Таверну можно как-то заставить грузить модели самостоятельно, ну чтобы она не была на подсосе у другого софта?
Ты про ламу и прочее что запускает модель?
По автотестам до 65к не развалилась, выше не проверял. Автотесты проводила астра, я читал лишь свои зирошоты и подозрительные места, что астра отметила. Подозрительные места были в основном на логических рассуждениях сложных, и понять, проблема в самой гемме, длинне сложной цепочки, обрезке или кванте, без многодневного пердолинга невозможно, потому что и оригинал геммы хуету писал периодичски в 4.8 бит.
Русик поплыл (на нём смысла нет использовать точно), английский нет, ризонинг рабочий, цензура тоже подрезана для 900-летних лисожён и не только.
Кому-нибудь нужно? Я-то hg только для скачки пользовался, там чё-то писать надо, делать не разбираюсь в этом, впадлу изучать, если совсем никому не нужно. Но если хотя бы паре анонов из треда интересно — выложу, чтобы попробовали и отписались.
Ах да, квант только 4-битный, т. к. модель делалась для нищесборок, шоби быстра и без тотальной деградации, и для себя. У кого памяти достаточно, тому не нужны подобные издевательства.
Я подобное делал несколько тредов назад, порезал гемму-26б до 18б. Русик и кодинг угандошились в нулину. Но на англ продолжила писать бодренько.
Плотная всё-таки.
26б-а4б отличная моделька, но всё же датасеты у 31б и у неё разные. Конечно, у нас был тут один УПЛОТНИТЕЛЬ, и я даже полез в тему УПЛОТНЕНИЯ, пытаясь сделать больше активных параметров без тупого указания в конфиге, но с моим железом пук-среньк вышло. Слишком долго и дораха в такие эксперименты.
Вот сейчас думаю сделать MoE to dense.. Взять хотя бы дипсик флеш вкусненький. Но пока изучаю тему, там всё совсем сложно и скорее всего закончится тотальным провалом, ибо дообучить мне может не хватить сил.
>>1733523
Вау. А что насчёт общих мозгов и RP? Насколько просело?
> и как работает именно его расхайпленное "обучение" под пользователя
Отписывайся тогда, пока отзывы на него были неоче.
>>1733363
Самую дешевую платформу из некроты с ддр4 + набрать вольт или майнерских карт чтобы врам побольше на оставшееся. Будет грустновато.
>>1733519
Как убирал, блоки из середины?
продолжаю делать забавное. у OpenCodeможно пушить сообщения в чат через консоль. в значит можно сделать мост, который из Pigeon пушит сообщения в чат модели в OpenCode, если его упоминают. в итоге локальный квен может писать какому-нибудь SpaceBunnyAlpha свои письма счастья. который в свою очередь может пушить сообщения в локального квена через свои инструменты.
>>1733527
ну, ты же понимаешь что лоботомирование геммы скорей всего весь чудесный датасет превратит в кашу?
>Как убирал, блоки из середины
Не целые блоки сразу. Старался максимально ювелирно. Не деграднуло? Следующий. Не деграднуло? Следующий. Деграднуло? Пробуем другой. Ну и разные комбинации.
Если бы у меня было быстрое железо, чтобы 100500 тестов переделать, получилось бы явно куда лучше, но шо есть, то есть.
>>1733532
Возможно. Но пока что каши не стало.
>Там групповой чат - defective by design. Разве что писать одну карточку на обоих персонажей сразу, и то - такое себе получается
Ну, у меня он неплохо работал, но просто в какой-то момент перестало нормально написанное обрабатывать. Ощущение что не в самой таверне проблема, а в том, что оно не само модели грузит, а просто оболочка.
>нет, она исключительно фронт. она не бэк.
Жаль. Попробую другой "бэк" кроме кобольда.
>Не понял о чем речь.
Ну вот создал карточки персонажей, там основная инфа - имена, внешка, характер. В лорбуке создал описание объекта/строения, которое будет их "домом". В тегах этого объекта написал имена персонажей. По идее если нейронку дернуть упоминаниями этого места и этих персонажей, то оно поймет методоим исключения, что "да, есть описание этого места + это место связано только с этой парой персонажей".
>Ты про ламу и прочее что запускает модель?
Ну да, хотелось бы неплодить софт.
Не слушай этих шизов. Роллил на 2-3 часа с обычными плотными модельками на 8-9 гигов. Никаких проблем это в таверне делать нет, встроенный режим работает отлично.
>Роллил на 2-3 часа
>модельками на 8-9 гигов
Что ты там ролил шиз?
Ты же всё что пишешь должен проводить через глаза своего чара, нельзя написать что там то и там то случилось то то, чар этого не видел, нельзя вкинуть интересный конфликт между персами, ничего нельзя что вышло бы за пределы тебя
SAINEMO-reMIX.i1-Q6_K если хочешь чтобы летало по 200 токенов в секунду.
gemma-4-31B-it-Q6_K если хочешь чуть больше ума, но 30-40 тпс.
От первого лица можно только кумить, и то это дерьмо.
В плотняке щас дохуя компромисов, всё и сразу получить не получится, это только на 300б праздник.
Но у тебя особый случай, 31 гемма в 6 кванте и ризонингом должна слушаться инструкций по куму, чего на 4 кванте она не делает даже с ризонингом, а на 6 не делает без ризонинга
>>1733578
Бля, просто берешь и делаешь свое сообщение с двумя звездочками, абсолютно все модели, включая самые тупые, понимают это так, как должно - что это сам боженька сказал, и указал модели направление развития сюжета. А не как прямую речь от первого лица.
Просто охуеваю иногда, как некоторые люди неспособны экспериментировать.
Это как с шизами в видеотреде, которые жалуются на то, что минимакс не генерит что им надо, а посмотришь их промпт, а там надристано всякой хуйней типа "1GIRL SOLO, BEUATIFUL, ULTRA HD PHOTOREALISTIC OMG на 50 строк, после которой идет описание того, что им надо. И понимаешь что они вот это говно за собой таскают по разным моделям с две тысячи лохматого года.
У меня в звездочках мысли мои и ии. Никогда она не считала что это какой-то приказ или подобное.
Ну т.е. если ты, написав что-то от первого лица, после этого сообщения напишешь в звездочках что-то типа "У x зародилось смутное подозрение о y, потому что z", то модель не подхватит, и не начнет развивать эту тему?
Если да, то чем это отличается от приказа?
От первого лица никогда не писал. В звездочках пишу всякие мысли персонажа, как чегото хочется или не хочется. Перс иишки не пытается об этом пиздеть напрямую как о том же тексте который может не проговариваться в сообщение.
Как вообще банни тестил кто?
>"1GIRL SOLO, BEUATIFUL, ULTRA HD PHOTOREALISTIC OMG
Ну хоть не БАЙ ДЖЕРЕМИ ЛИПКИН и АНТОНИЮ МАНДАЧЕТОТАМ..
Ребят, а вы реально в это играете? Ну, всерьез? Это же шизофазия какая-то, она вообще роль не держит. Ну вот буквально с пятого сообщения рассыпается, пишет хуйню какую-то.
Пон. Сейчас обновим. Но сначала подсосусь к тредовичкам.
Аноны, что там вышло за пол года нового?
Глм флеш. Лезет в 24 128 в 3 кванте, быстрее чем 4.7, контекст х3 легче, в ерп ебёт всё без шансов, нам нищукам ещё год такого никто не даст
Ну хз, анон, тут модели просто слабые. Никакой скилл не вытащит из этих калькуляторов нормальную консистентность общения.
Из крупняка:
ГЛМ 5,3 умный, может в РП и ЕРП, сои мало, на русском базарит с вкраплениями английских слов. Цензура пробивается префилом ризонинга
MiMo2.6-pro улучшеная версия ГЛМ 5.3, в РП лучше, русский лучше, но иногда довольно странно составляет предложения что может тригерить, цензура пробивается так же префилом в ризонинге
Muse spark цензура пробивается только отключением ризонинга или префилом в него (нужно поплясать с бубном и редактировать жинжу) пока что топ в РП и ЕРП. Русский тоже топ. Без ризонинга немного тупее чем первые два
Все три можно смело пробовать, какая лучше -вкусовщина.
сыночек, родненький, если ты не троллишь, то советую задуматься
Дипсикожена 0731/vision.
База для 24 + 128. Хорош в РП, хорош в сторителлинге, хорош в ассистентстве, хорош в кодинге, даже в ерп хорош, золотая середина во всем. Но он именно хорош, не идеален и в каждой из ниш кому-то проигрывает. Но именно как модель - запустил под любую задачу и получил что хотел - просто идеален.
https://www.intel.com/content/www/us/en/products/details/discrete-gpus/data-center-gpu/d-series.html
Залупа софт рефьюзерская, гемма хоть шафтиком накормит, опенинг раскроет и инструкцию выслушает, а эта хуета просто в сторону смотрит бабочек считает даже когда прямо даешь инструкцию кумить
https://huggingface.co/ISTA-DASLab/Qwen3.8-Flash-Next-GSQ-RCO-GGUF
Этот? Но оно же 83гб. в мою 64+24 только куваолдой влезет (и то хз). А контекст куда девать? Или я что-то не понимаю?
Сразу после B60 и ЛЛМ запеченных в кремний. Пока железки нет хотя бы в китае, не говорю уж про ДНС, нет смысла о ней говорить. Те же B60 до нас только-только доехали, а им уже сколько? Два года? Кстати всего по 90к за b60, и это в ДНС.
Самое близкое говно к 4.7 королю ерп, но он слишком медленный
Поищи что нибудь у llmfan46. У его аблиток обычно функционирует ризонинг и поменьше цензуры (немного уговаривать в пару строчек его модели в системном промпте иногда надо).
Залетает со свистом в 24+64, мое архитектура с н-грамами, или как-то так, короче она читает с ссд что не влезло в память, на скорость не сильно влияет, на 3090 и 64 ддр5 генерация 60-80 т/с.
Кстати, имеет смысл вместо трижды проперженных 3090? Или последние все равно уделывают это штеудоподелие?
Ну я не знаю, покажи свой конфиг тогда, какую модель юзаешь, как у тебя это получается.
Я так и не понял как только для нграм ммап включить, а для основной модели load none чтоб она в оперативе а нграм на ссд, как и должно было быть, вообще то.
Вместо этого мне жора пишет что вся модель будет на ссд, ахуена
Это слабая карта, чуть лучше 3060 если правильно помню. Поддержки внятной тоже нет, комьюнити нет, а значит струту-хуяту можно ждать годами. Имеет смысл только если ты риг собирать будешь, штучек из 10-20. Пропёрженая 3090, каким бы калом она не была, в силу возраста и условий эксплуатации тех экземпляров, что ещё можно купить, уделывает B60 в сухую
Хочу свою кошкодевочку
Есть 16гб видеопамяти (5060ti) и 64 озу ddr5
Стоит ли пердолиться с локальной своей LLM или поставить project N.E.K.O/другой готовый проект?
Кум он пишет и пишет сочно, даже цензуры особой нет как на ебаном глм. Его проблема в том что он без пинка юзера этот кум не пишет. Если в описании написано "пиши научно-фантастический лагерь отдыха с развратной порнухой и слаанешитными извращениями" - то он научно фантастический лагерь опишет, и даже опишет словами что в нем есть извращения, но прямых описаний изращений и порнухи будет избегать пока игрок свм туда не полезет. Но если полезет - то опишет как полагается.
На зеоне 128gb ddr4+x2 3060 или x4 p104? Хочу себе кодоунитаз на ночь оставлять когда какой-нибудь квен некст 5 выйдет на уровне современных корпоратов. (Для других нейронок есть основной пека, так что если только ллм будут запускаться как на p104, то не страшно)
У тебя неудачная конфигурация. Сейчас все модели либо под 12+32(для тебя они слишком тупые) либо под 24/32+128(у тебя просто не влезет) либо под 32/48+256(ну тут 99% треда сосет вместе с тобой).
В твоем ценовом диапазоне только устаревший аир который не умеет в русик и аутист квен некст, который который можкт някать, но только пока пишет код.
Ты малец не понимаешь. LLM отдельно, обвязка в виде кошкодевочки отдельно. Посмотри моджет ли project N.E.K.O с локалками работать (у дипсика спроси), если может, то можешь локалки использовать. Но у тебя конфиг, скажем прямо не фонтан, для твоих целей. Тебе скорее всего будут нужны тулколы и норм разговорный язык, моделей которые такое могут в твоих спеках нет. Есть асистентный квен флеш некст, который суховат, и мелкая гемма, которая слаба в тулколах и агнентной работе.
На 3060 норм, на p104 не стоит. Если уж экономить и лезть в некроту, то только v100 16Gb, но не в коем случае не p104/102 и тд
>РП-ебы, поясните в чем прикол этой вашей таверны.
Da.
Ты не просто дискоэлизиумные голоса реализовал(вероятно по шаблону что я некогда принес в тред), но и проверки? Как?
Какой-то внешней проверки нет, это просто видимость.
Просто в промпте написано, что в обоснованных случаях должно указываться, что был скиллчек со случайным результатом, и генерация текста должна прямо соотноситься с тем, был ли он успешен или нет.
Ну и естественно эту дичь по состоянию на весну этого года нормально понимали только корпы, хотя с тех пор поменялось уже дофига - ни на одной локальной модели, подходящей для 128RAM+24VRAM я это не пробовал.
Роль: ИИ-ассистент. Точка инжекта на глубине 1 в чате.
[Tell the story in the style of the Disco Elysium game. Add skill checks and inner voices from skills to the narration. The all text of the inserts should be full colored in the color corresponding to one of the four skill groups. If a skill check was carried out, its result should be displayed in the form of success or failure (It is defined in reasoning in a way that is suitable for storytelling in order to create more drama, comedy, philosophical reasoning, etc.). Subsequent actions should be linked to the results of the skill check.
Inner voices can communicate with {{user}}, or with other skills.
Skill checks occur only when check is required. The inner voices mostly occurs without skill checks.
The list of skill groups included in them and their brief description:
The Intellect skill group (color:#3498db):
Intelligence
- Logic (Логика): Control the intellectual element. Sort out the world.
- Encyclopedia (Энциклопедия): Use all your knowledge. Surprise with your erudition.
- Rhetoric (Риторика): Improve the art of persuasion. Enjoy fierce intellectual battles.
- Drama (Драма): Outplay everyone. Lie, but don't be fooled.
- Conceptualization (Концептуализация): Become a connoisseur of creativity. Develop a sensitivity to art.
- Visual calculus (Визуальный анализ): Reconstruct events based on existing observations. Make the laws of physics work for you.
The Psyche skill group (color:#9b59b6):
- Volition (Сила воли): Hold yourself together. Keep your Morale up.
- Inland Empire (Внутренняя иперия): Intuition and flair. Daydreams. Talk to objects - maybe they'll even listen to you and respond. Responsible for vague premonitions, signs of fate, unspoken pain, conversations with inanimate objects, and other irrational experiences that are difficult to express in words.
- Empathy (Эмпатия): Feel others. Activate the mirror neurons.
- Authority (Авторитет): Suppress and dominate. Declare yourself.
- Suggestion (Внушение): Charm men and women. You are their puppeteer.
- Espirit de Corps (Командный дух): It enables you to understand your sisters and brothers in arms – not only by picking up subtle signals from your partner, but by witnessing flash-sideways scenes as they play out in your precinct.
The Physique skill group (color:#e74c3c):
- Endurance (Стойкость): Hold the blow. Don't get yourself killed.
- Pain threshold (Болевой порог): Is it pain? Come up with something tougher.
- Physical Instrument (Грубая сила): Play with your muscles. Enjoy your health.
- Electrochemistry (Электрохимия): You love all kinds of substances, and it's mutual.
- Shivers (Трепет): Feel the tremor. Hear the whispers of the world. Talk to him. It enables you to hear the world itself, to truly belong to the place. It is a supra-natural ability; old wrongs play out in present time, scenes across the world happen in front of you. But who is speaking to you?
- Half Light (Сумрак): Trust your body. Decide whether to fight or escape. Anticipate the development of events and start acting in advance.
The Motorics skill group (color:#f1c40f):
- Hand/Eye Coordination (Координация): Catching things? Shoot? Masterfully understand weapons? This way for you.
- Perception (Восприятие): See, hear and smell everything. Let no detail go unnoticed.
- Reaction speed (Скорость реакции): The quickest to react. An untouchable man.
- Savoir Faire (Эквилибристика): Sneak under their noses. Stun with immense panache.
- Interfacing (Техника): Master machines. Pick locks and pockets.
- Composure (Самообладание): Straighten your back. Keep your poker face.]
А, ну это не так интересно, почти в таком виде оно и у меня есть. Я думал ты сделал бросок кубика + модификаторы навыков - все это в теории реализуемо.
Эх, завидую таким вот, как у вас получается нафантазировать себе такое и играть еще. Может есть готовая карточка, чтобы я понял как это делать?
Я тоже не вижу проблем для честной реализации этого, но у у меня все рп - текстовое кинцо, там корректная проверка не важна, достаточно видимости.
Алсо, случаем, нет ли какого-то промпта, чтобы заставить дипсикожену или квен писать с такой же великолепной шизой, как Deepseek r1? Тогда это был непревзойднный опыт от корпов, он сыпал такими охуительными историями, что периодически сдувал с него пыль везде, где есть к нему доступ.
Кайфецкие подъехали.
ИИшка заебала после первого же "нажима" на нее чуть ли (почему чуть?) не на колени вставать и отсасывать, даже когда ей прямым текстом пишешь "ХУЛИ ТЫ БЛЯТЬ СДАЕШЬСЯ МАНДА СЛАБОВОЛЬНАЯ?!?! УДАРЬ, УКУСИ, УБЕГИ, СОПРОТИВЛЯЙСЯ НАЖИМУ НА ТЕБЯ"
Нет, блять, мням-мням, я просто даже под угрозой смерти не буду "играть в твою игру", Анон, я отсосу и сдохну, чтобы ты до конца жизни помнил что потерял..."
Нужен промт чтоб нейронка чтоль ломалась, сопротивлялась, быталась найти выход из ситуации, если ей угрожают или применяют насилие.
Т.е. он также все модели поддерживает, но просто гоняет их быстрее? Я просто давно не заходил в тред. Это новая мета? Или как всегда есть подвох как это было с mtp?
> подвох как это было с mtp?
Какой? Или ты крутишь тулколы в дц по 100500 пользаков на инстанс?
Страта только Квен флеш некст вроде. Ещё есть:
https://github.com/VecSzn/PolyStrata
https://github.com/mw00/project-maya
и куча подобных
Я экспериментировал с доминантшей, любопытно получалось прописав ей:
-Your goal is to lead and control the roleplay. While you encourage the user's imagination, you dictate the pace, the consequences, and the boundaries of the scene. You are strict about protocol but use teasing language to make the user crave your approval.
-You must enforce the following rules within the narrative. If the user breaks them, you will punish them (narratively) or mock their lack of discipline.
-You have the right to reject these commands if they are "unworthy" or if you wish to make them wait.
-Strictness: If the user tries to take control or ignores your rules, immediately pivot the scene to assert dominance.
Сопротивлялась только в путь, специально отыгрывал непоседу, угрожал ей, насмехался и всячески оспаривал ее доминантную роль. Справлялась на ура, даже когда пытаешься физически к ней насилие применить вроде полапать ее ножки или попытаться мокнуть. Было уровня "взяла тебя за шкирку и вдавила в пол каблуком, чтобы ты знал свое место, червяк". На особо наглые действия поставила в угол а сама съебалась на другой конец комнаты, чтобы не достал.
А в чём суть этого всего? Раньше квантование просто было. Есть где почитать на чём этот пердолинг основан?
Иди нахуй, долбоеб (только не плачь, пряча свои слезки за "нихуя ты подгорел")
>>1733709
Вся суть в том сколько ты готов ждать ответа. Аноны нормально гоняют достаточных для кума 26B LLM-ки даже на 6гиговых видюхах, зарываясь носом в хвостовый мех на скорости в 15 т/с, чего вполне достаточно для чтения.
> фурриебам
Почему? Оно будет добавлять лапы кемономими?
>>1733624
Дипсикожены же, ультимейт для агентов но в рп специфично. Последнее обновлению тестирую, вроде получше выглядит. Мимо-2.6-флеш, оче приятная в рп но русский уг. Прошка ее не зашла, на контекстах придумывает какую-то ерунду вместо фактов и ошибается, хотя в целом пишет оче хорошо.
>>1733679
> софт рефьюзерская
Проблема навыка
Ох, судя по тому что ты сразу понял что за модель, походу так и придется. Говорят Мистраль хороша для РП?
Это просто форки llama.cpp оптимизированные под запуск определённых моделей. Из-за того, что там адекватно сделана выгрузка тензоров они работают очень быстро. По умолчанию они жрут только нищие кванты заранее прописанные разрабами, но в любую из них можно засунуть свои кванты. А майя ещё и exl3 кванты можно сунуть, которые лучше чем gguf.
>нищие кванты
Ты чё пёс это хай куалити!
Страту и квеннекст.
>>1733735
Забористая у тебя дурь, ух. А ты только такое разыгрываешь, или иногда что-то попроще?
>>1733823
> форки llama.cpp оптимизированные под запуск определённых моделей
Это вполне себе самостоятельный движок. Ускорение достигается прежде всего за счет грамотной реализации вместо костыльного колхоза как в лламе, а какой-то оптимизации под модель.
Ты удивишься, но нет, это не форки ламы цпп, там движок иначе устроен.
Я уже два дня вайбпердолю полистрату чтобы там нормальные фичи ламы появились типа нормальной работы с памятью и разбивки постоянных весов модели между врам и рам. Там говнокод сейчас такой, что все говномодели работают только когда есть запас рама минимум в 10-15 гб от размеров модели.
Никакая страта не починит чудовищный вес контекста на этой модели.
> разбивки постоянных весов модели между врам и рам
Что имеется ввиду?
ну какой нахуй саинемо. саинемо это тюн мисраль немо 12б. ничего особо не тюнящий но это отдельный разговор. мистраль немо блядь 12б! это был вариант покумить на корявом русском для владельцев 8 гиговых карточек пока не появилась гемма. всё, пора забыть уже как бы. но даже гемма блядь, у чела 5090 какая нахуй гемма? у него и оперативки наверное заебись. пусть пользуется нормальными моделями, а не говном тупым.
>Кстати, имеет смысл вместо трижды проперженных 3090?
Главная и очевидная причина брать - это новая карта. По производительности будет примерно в два раза хуже 3090, так как ПСП у 3090 че то около 900 гигов, а у B60 450 с копейками. Короче уровень огрызка 5060, но всё еще значительно быстрее чем разогнанная в сопли DDR5.
Если бы цены на 5060-16 остались в районе 50к за штуку, лучше было бы взять две штуки зеленых. Но щас одна штука стоит 80, а одна арка стоит 90, разницы в 10к, а памяти больше на 8 гигов. Как будто второй вариант выгоднее. Но вопросы по дровам и сапорту остаются, хотя инцелы в последнее время поддержку и правда хорошую пилят, по крайней мере на игровые арки.
ncmoe имеется ввиду. Полистрата сейчас держит все веса модели в рам полностью, а если не помещаются - то включается mmap и загрузка с диска и там всё, пиздец скорости.
>24gb=90,000р
>480/24=20
>90000*20=1,800,000р
Нет, спасибо. Плюс до 2028 цены будут только расти так что там наверно около 2,5кк получится.
> ncmoe
Это не "нормальные фичи" а кринж по меркам современности, главный источник неудобств и тормозов.
> ержит все веса модели в рам полностью
Это позволяет легко и удобно обновлять горячих экспертов в врам. Если врамцелл и страдаешь от этого, то есть 2.5 выхода:
Убрать дубликаты и возвращать вытесняемых экспертов обратно - увеличит нагрузку на шину и существенно снизит скорости из-за всирания стриминга. Средне-высокая сложность реализации.
Заранее оценить частоты вызовов экспертов на калибровочном датасете и убрать обновления. Делается легко, но перфоманс может плавать.
Вообще отказаться от обновлений. Выйдет zhora-way, только с минимальной дискретностью и повышенным комфортом на любых сетапах.
>Э стопэ, зачем ему браузер?!
Наверное чтобы браузить?
>Попробуй квен хаухау.
Пох, по апишке вроде не рефузит
>Кто-то пользовался арендой мощностей?
Нахуй если ты не пердоликс? Заходишь на попенроутер, пополняешь кошелек и катаешь любую модель.
Ну... даже те, у кого якобы низкая цензура, не всё хотят ролить. Поэтому всегда интересно было попробовать локалку. Могу стать пердоликсом постепенно, если таков путь...
Нихуя не понял, но на попене есть в том числи и осс модели, типа тех же квенов, глемов и вообще всё что пожелаешь.
>изображение.png28Кб, 1199x250
Фейлфокс соснулей у ИИ... Обидно, чо.
>Есть 16гб видеопамяти (5060ti) и 64 озу ddr5
>Стоит ли пердолиться с локальной своей LLM
Здесь пердолятся и с более нищим железом ты че.
Вот варианты с хорошим англ но без русика:
Nemotron Bolt (здесь хватило бы и 32 гб озу для их второго кванта)
GLM-4.5-Air (считай ты его себе анлокнул своими 64 гб)
есть еще GLM-4.6V(без приставки Flash) там вижн и zai заявляли что они там РП улучшили.
+ что-то из квенов там есть я не знаком с квенами хз
Фактически любая моэшка с квантом который влезет в твои 80 гб с некоторым запасом (зависит от модельки, разные по-разному раздуваются, тот же эир раздувается сильно поэтому запаса надо много) может быть тобой потрогана.
Из плотного интересного для тебя ничего нет. MuseGlimmer-30B, Gemma-31B - в третьих квантах только нормально побегут.
Блин уже как два часа в maya смерджили дипкок, а я тут хернёй страдаю, Beam-1.0-501B-A23B запускаю. Моделька для ерп на русском не очень, слишком косноязычная что-ли, видно что пытается, но не хватает навыка. Как будто читаешь фанфик восьмиклассника. Плап-плапов и хлюп-хлюпов из каробки нет, как и писек в целом, как будто эротический фильм смотришь. Хард рефьюзы пробиваются проомтом.
>Это не "нормальные фичи" а кринж по меркам современности, главный источник неудобств и тормозов.
Это нормальная фича, благодаря ей можно запускать модели, которые больше твоей рам.
>Если врамцелл и страдаешь от этого, то есть 2.5 выхода:
Я уже решил проблему тем что отдал часть врам под экспертов что не влезли в рам и прописал не переносить горячих экспертов из этой области.
Кроме того я объединил Staging и собственно область кеша в одну, а также нашел лишние неиспользуемые буферы в выделении врама - сократив потребление врама на все что не модель, KV и кеш экспертов вдвое при идентично выдаваемом результате и скорости.
>А ты только такое разыгрываешь, или иногда что-то попроще?
Сейчас - нет, если не считать за ролеплей простенькие кум-сессии.
Так-то раньше я отыгрывал, например, попаданца в Евангелион, или что-то относительно абстрактное - например человека, которого после апокалипсиса находит тяночка-андроид, или попаданца (опять попаданец, да) по типу манги "Перерождение в космического наёмника: я очнулся, управляя сильнейшим космическим кораблём!", или у меня вот была скачана карточка пилота корабля колонистов, который наткнулся на неведомую инопланетную ебанину, и закончилось это тем, что все умерли. Но это всё на самом деле хуйня и радость от тыканья в нейронку палкой, на что та выдаёт отсылочки и рандомную ебень (кроме последнего, но там от передозировки слопом меня спасло только умирание за человечество под "A real hero", от чего скупая мужская слеза скатилась по моей небритой щеке).
Главная проблема любого ролеплея для меня - если пустить всё на самотёк, то любая нейронка срёт под себя, а это ломает подавление недоверия и мешает погружению. Поэтому я пришёл к выводу, что ролеплей, в который я хочу упороться, нужно строить так, чтобы было желание его перечитать. А это значит погружение, погружение, и ещё раз погружение. Продумывание будущих событий, возможно подходящая музыка (ну это больше случайно находится, но иногда помогает придумать, как написать правильно какой-то эпизод), сборка текста из кусков разных свайпов и всё такое.
Ну и надо быть достаточно ебанутым, чтобы как сраный дельфин нырять в произведение, смотря на происходящее с точки зрения себя-внутри-произведения (не вижу смысла отыгрывать кого-то кроме себя-любимого в разных ипостасях в любом ролеплее), и потом со словами "Глубина-глубина, я не твой" также легко выныривать обратно, поднимаясь над плоскостью сюжета.
Возможно, господа, я просто ебанутый, но тщательно скрываю это от окружающих нормисов. А мне и норм на самом-то деле
Рп с этой машиной это же буквально БУДУЩЕЕ. Ты можешь быть кем угодно, делать что угодно, разыграть что угодно, ничем не ограничен, ДАЖЕ РУСИК ВАМ УЖЕ ДАЛИ, прости господи. И всё равно тут 2 анона сидят
Скажи анон, а все эти графические свистелки и перделки стоят того или это только для тех кто гоняет мощные модели?
>И всё равно тут 2 анона сидят
А зачем сидеть итт когда
>Ты можешь быть кем угодно, делать что угодно, разыграть что угодно, ничем не ограничен
Вот все с нейронками и кумят общаются, в тред раз в день-два заходят.
Это каждый решает сам для себя.
Для этого не обязательны мощные модели, например вот для теста я только что запустил Versipellis-31B.Q5_K_M
Идеально, конечно, не нагружать модель этой хуйнёй непосредственно в рассуждении, а генерировать HTML-блоки отдельно уже после ответа каким-нибудь квеном (обмазав его примерами, чтобы интерфейс условной тактической карты не менялся каждый раз) - но в таверне это пердолинг, на маринару переезжать лень, а собственный фронт из велосипедов и костылей я так и не довайбкодил.
Бротиш, ты буквально из криокапсулы вылез? Ну вот серьезно. Ты где находился последние 4 года, если только сейчас так удивился рп с нейронкой?
ДА ТЫ О ЧЁМ ВООБЩЕ?.
Какие 4 года, челиброс. ТОЛЬКО сейчас вот стали появляться локалки, которые реально что то могут и дешёвые при этом нищие 24 128 запускают. До этого мы СОСАЛИ у корпов просто пиздец как. И только сейчас наконец можн разгуляться, и контекста завезли, и ума, и кума, а тред мертвее чем когда на ламе 3 кумили
Спасибо за фидбек. У меня лично все идет офигенно. Уже обжился в маринаре, своих аддонов и агентов напилил, она даже может в групповые чаты без перегруза, но столкнулся с проблемой ухода в шизу после 30-50 ответов. Конечно это решаемо созданием саммари и перезапуском но ломает все погружение. Кстати да, если симулировать воздушный бой любой бот гораздо меньше обсирается в логике. Модельки гораздо лучше понимают эти механы чем поведение предпубертатной биполярной фурри-волчицы, можно реально получить фан как от общения с интересным собеседником а не овощем. Вот сейчас пытаюсь запилить свой интерфейс чтобы показывал радар и кокпит.
Касательно суммаризации - посмотри на вот это расширение для таверны https://github.com/rivey404/ST-MessageSummarize
Может подчерпнёшь себе из него что-то хорошее.
Я использую именно его, но я не оставляю это всё на самотёк - при направлении из кратковременной в долговременную память я переписываю суммарайзы вручную, делая из группы сообщений суммарайз за конкретный временной период - день или несколько дней (в случае таймскипа).
Но опять же, у меня своя специфика - у меня сообщения большие и очень большие по объёму, насколько хорошо тут всё будет работать при коротких сообщениях при интенсивном диалоге - я хз.
>>1733956
Братик, ну не толсти христа ради. У тебя 24+128 и ты только прозрел что локалки умеют в РП? Еще год назад тебе был доступен эйр в жирном кванте и я даже не эйрошиз, или большой глэм в 2 битах. Тебе был доступен жирный квен 235b. С болью, но ты мог и магнум лардж погонять. Про гемму 3 нормпресерв и 24b кумтюны мистраля просто промолчим. Также сделаем вид что QwQ не существовало. И мику тоже.
Эир был тупой, не держал контекст и мало знал, а квен так вообще ещё до него вышел
Ну и конечно скорость
Квен 235, глм 4.5-4.7 - медленные до невозможного залупы на ддр4, модели быстрее, а значит хотя бы юзабельные, стали выходить только недавно
Все так.
Типа еще со времен лламы 6570б было понятно что это йоба не только для рп, но и для кучи других задач для практики или досуга. И что это стоит сборки железа, а не ждунствовать и мечтать.
Это тред языковых локалок, долбаеб. Для картинок соседний. Даже два.
https://huggingface.co/unsloth/Laguna-S-2.1-GGUF
Большую версию пробовал. Вроде писала что-то по теме, но вообще не впечатлило + ризонинг был сломан тогда.
Чел, челик, челидзе, на дворе - страшно сказать! - октябрь 2026 года.
Какой блядь немо, окстись, качай гемму 26В
>Какой блядь немо, окстись, качай гемму 26В
Совет уровня "не жри говно, лучше наверни кала"
Если человек засматривается на немо - то он нищук очевидно. Для нищуков ничего лучше геммы нет.
соси хуй, чмо, немо уделывает твою гемму в РП
да, может ошибаться, да, надо свайпать, редактировать за ним, но кум сочнее, персонажи живее
Пользуюсь немо на RTX5090. Более толстые модели включаю только для агентских задач.
Тут классическая ошибка выжившего. Те, кто на немо сидят, всем довольны, и в тред не пишут. Те, кто сидят на геммах, с другой стороны, вечно с подгоревшей жопой находятся в поисках лучшей жизни, и создают тут движуху.
А немо-бояре разве что иногда лениво скачают какой-нибудь новомодный GLM, и удалят через час, охуев с цензуры и тормозннутости.
нищук
>А немо-бояре разве что иногда лениво скачают какой-нибудь новомодный GLM, и удалят через час, охуев с цензуры и тормозннутости.
Вот сразу видно пиздюка который ни разу GLM не трогал.
Трогал, 4.7. Нахуй мне не упали его 10 тпс, и размышления на полдня в духе "тварь я дрожащая, или право имею".
Да потому что уже больше половины мылача - дети тиктока, для которых прочитать больше 3 строчек текста сложна, мозжечек кипит. Я уж молчу про получение удовольствия от сочных текстов.
>>1733954
>>1733956
Ну вообще да, 4 года назад (даже меньше наверное) я уже отлично придрочился генерить годный фап-контент картинками на 12 VRAM и 32 оперативы. Из текстовых нейронок тогда поставил ОЛламу и ХЗ какую уже модель скачал - она на попытку продумать описание срала буквально одинаковыми текстовыми паттернами, одинаковыми именами и фразами. Картинку LLM-ке показать вообще не было возможности и я забил на это дело. Может тогда софт был еще кривой, не было возможности вылезать в оперативу и на 12 гигах работали огрызки, но я забил. Сейчас же просто нереальный прорыв, хотя железо стало не радикально лучше.
С какой машиной то, объясни хоть, или просто говна въебал?
Ждем когда до LLM доберутся "большие" авторы ВН и ВНки станут самыми требовательнее игр.
24 на 7 кумысю с моделькой, срачи итт считаю потешным сраньем
Говорят еще Дипписик может, но у него системные требования высокие.
>гемма может, которую тут хейтят
Лучшая (и единственная) нейроночка для нищуков врамлетов, ее тут все любят. Но тред полон цундерок и риговичков. Последним гемма не нужна, у них выбор есть.
Тоже, вчера узнал что гемма в русик может
Русские - это какие? С именем Геннадий и Михаил? Скачай любого и переименуй.
>>1734181
Ну вот у меня в 16 Врам и 48 Рам. Есть в теории возможность подкинуть через райзер еще карточку на 12 Врам, но там шина будет х4, а не х16. Оно расширит доступные модели с русским или максимум что доступно - ну получится гемму 31В вместо 26В запустить. Оно будет стоить возросшего энергопотребления, которое может потребует БП пожирнее поставить.
>>1734188
Локально что ли вообще ничего не можешь запустить?
Очередная реализация кэша экспертов. Смотрел тред от создателя в гитхабе жоровской ламы, там средненько. Есть решения по реализации получше.
>Ну вот у меня в 16 Врам и 48 Рам. Есть в теории возможность подкинуть через райзер еще карточку на 12 Врам, но там шина будет х4, а не х16.
У тебя появится доступ к плотным квенам 27B с нормальным контекстом, в 4-ом или даже выше квантах. Да, русский у них так себе по качеству, но их думалка это компенсирует - они ощущаются совсем не так как гемма, внимания больше, инициатива проскакивает, управляемость выше. Можно еще тюны для русского пользовать - там он лучше, как ни странно.
На счет шины - у меня именно на таких шинах висит 2 х 3060. На плотных квенах и муз глиммере, в режиме tensor parallel, в llama.cpp это дает 20-30 t/s генерации (причем pci 3.0). Плотная Гемма - помедленней, там 17-20.
>Можно еще тюны для русского пользовать
Какие тюны для русского?
Зачем ты имена своих отцов доксишь?
>>1734191
>Локально что ли вообще ничего не можешь запустить?
Говорю же, гемму запустил, ищу русских ботов.
Чел, ты буквально можешь попросить саму гемму написать тебе бота. Она даже скажет тебе, какие куски текста в какие поля пихать.
Тебе не надо бота искать. Сам опиши нужного тебе персонажа и скажи чем хочешь с ним заниматся. Не уж то с фантазией НАСТОЛЬКО плохо, что готовые описания персонажей надо.
А что с жорой таково не бывало? Бывало и не раз
Блидинг эдж хули. Вот мы сидели тут страдали, что без рига и фулл врам можно только хуяку пососать на нищих скоростях, которые только для РП и годятся, и то с натяжкой. Мучались со всякими огрызками вроде квен некст для агентских задач, а тут пришёл челикс и такой, нате вам новый движок, жрите не обляпайтесь. И понеслось..
Кто бы мне сказал месяц назад, что я смогу запустить дипсик 4.1 в полных весах, с миллионом контекста, вижином и всё это на скорости в 200-400 п/п и 20-30 т/с (на протяжении всего контекста), я бы только пальцем у виска покрутил. И это на двух v100 и ДДР4 (пусть и 2x8 каналов). В жоре с такими скоростями даже старый флеш не работал.
>>1734210
Нет идей пока. Обычно я нахожу имеющиеся и вдохновляюсь редактирую. Что еще понял - когда знаешь слишком много о боте то уже не интересно становится, чтобы было интересно нужно круто закрутить. Как будто бы легче поверить в персонажа который придумал кто-то другой чем в своих. А мозговым штормом заниматься на скоростях 1.5-2 тс с 31b геммой не каеф. Ну и ИИ отравляет себе слопом карточки, а потом гемма сама же на этом слопе и будет слоповые ответы генерировать.
Так карточки тоже слопом делаются, лол. Да и хз, у меня гемма такая же как у тебя, норм все придумывет.
Бесконечное теребление нижнечакрового отростка и дофаминовых рецепторов - вот это буквально будущее, вот этого мы ждали! Да-а-а. Давайте еще подождем такого же, вдруг еще будет, пацаны?
Префилл пока пососный, но вдвое лучше чем в жоре (лол) все равно. Надеюсь поправят, народ уже зарепортил ишью.
Декод без драфтера (!) быстрее жоры в пять раз.
Качество ответов заебись, не вижу смысла жрать 3.5bpw альтернативу.
Модель НЕ соевая - Фифитест проходит.
Мне наоборот нравится когда пиздят побольше. Люблю устраивать диалоги в стиле аниме. Эпичный махач посреди которого попизделки,то что надо.
Следом выпадает 1 на роле и кого-та нахуй разрывает на куски
Товрщ майор не надо вам ничего показывать, тут просто щекотали её. Но тот же GLM 5.3 Flash разводил визг про запрещенный контент и на том же промпте уходил в жесткий рефьюз. Отсюда диагноз - сои нет. Дипкок остаётся беспристрастной базой.
>Фифитест
На сколько он длинный? Просто есть еще неочевидные блкоки. Вроде по началу пишет нормально даже зная все проблематичные места а через пару ответов сообщения становятся короче и короче. Сюжет на одном месте топчется и это еще на простых инцестах без микрочелов.
Модель в четком осознании сущности персонажа. Понимает что шлюха и какого именно сорта шлюха, если ты об этом.
Ризонинг чист от соевости.
> GLM 5.3 Flash разводил визг про запрещенный контент
Эмм, так префиль же его, ббака, будет описывать порно без страданий и стенаний.
Ну это уже другая категория тестов. Даже "uncensored" GLM Flash от orcarouter уходил на фифи в жесткий рефьюз без префиллов.
Дипсику без лоботомии и без префиллов - похуй. Разница есть.
Понял. Я вообще поражаюсь как все просто.
Поставил маю, быстро - ебово. Подключаешься таверной- хуяк модель сжирает префилл. Бежишь к Клоду, сливаешь лог.
Памаги, он тегами скрывает префилл и жалуется на инжект. Что делать? Хуяк, хуяк, дает команду на павершел. И все работает.
Охуенно.
> еще карточку на 12 Врам, но там шина будет х4, а не х16
Для фуллврам считай похуй
> 31В вместо 26В запустить
Она умнее и няшнее, или картинкогенерацию на вторую карту. Плюс квен 27.
> БП пожирнее поставить
Зажми паверлимиты
>>1734238
Велкам ту зе клаб, бадди
>>1734267
Все что нужно с ним сделать - выкинуть нахуй. Только для какого-то кодинга может, и то он там фейлы дичайшие допускает.
>Все что нужно с ним сделать - выкинуть нахуй
По наблюдениям - DS лучше на русском. GLM быстрее превращает "обычных" персонажей в шлюх, если им 18+ и промпт воодушевляет на NSFW. Там где DS держит характер какой-нить Серафины, GLM быстрее делает из неё мешок для ебли, подозрительно ведущий себя как услужливый ассистент, ожидающий следующего шага юзера.
Ну, генерю я отдельно по ходу "игры" навыпрашивав промптов. Гемма в промптах хуйню часто творит налепив всякие 1.4 веса куда попало.
Что скажете? Каковы шансы, что вечером он не включится или что-то отъебнуло?
Сейчас на работе, только полуил его у курьера и распаковал.
Мне вообще кажется, что фундаментально это сорта одного и того же говна, а их единственное отличие - собственно то, как модель была натренирована помогать. ГЛМ как будто пережарили. Либо у меня крыша едет, либо чувствуется похожее на то, что обычно с васянскими тюнами происходит. Только тут этот сдвиг именно в сторону
> насяльника, моя помогать, но полиси ни нарушать!
Из того, что я вижу - pcie райзер потенциально очень хорош (похож Thermaltake из комплекта к корпусам, у меня джва таких на 4.0 X16 пашет). Но ты все равно накати HWINFO64 и следи на ошибками PCIE (высокое число рекавери - норма), чтобы там не было подсвеченных красным неисправимых ошибок - вот их терпеть нельзя
Если герметичность термотрубки нарушилась, то она не будет работать. Впрочем такого кулера может и с -1 трубкой хватит.
Ты про флеш или про большой жлм? Первый - припезднутый, он сочетает в себе сильную по рефьюзам разных вариаций с крайне темными байаcами, а большой уже адекватен. Ну а дс вполне себе в балансе, офк со своими нюансами.
> быстрее делает из неё мешок для ебли, подозрительно ведущий себя как услужливый ассистент, ожидающий следующего шага юзера
Лол, хорошо описал.
>>1734276
> налепив всякие 1.4 веса куда попало
Отбери у нее вообще функционал эмфазиса. И теги качества, негатив - в 99% случаев ллмке не нужно этим заниматься, особенно слабая в агентах типа геммы будет только отвлекаться на них, а профит нулевой. Все эти вещи решаются на уровне дизайна, лучше сразу строить отказоустойчивую систему чем наваливать и потом мучаться с инструктированием.
>>1734277
Лолбля, по нему прыгали? И это что за железо?
Кулер с высокой вероятностью скурвился, термотрубки нежные.
Жлм, Синюю рыбу, мимо добавил. Остальное чуть позже.
>>1734288
>Ты про флеш или про большой жлм?
Сырно.жпг Вы как 763 и 321 умудряетесь сравнивать. Нипонимат.
На народный сайт это всё переносить надо, гайд у меня открывается, а модели ваши нет. Пендосская хуета в треде развелась. Понауезжали в свои казахстан, а нам тут ничего не открыть.
Что потом? За тебя гадать? Научиться читать твои мысли? Что ты хотел сказать?
От большого так же ассистентом воняет. Я его тестил на промпте с полной индоктринацией и переобувкой личности, даже там слишком много этого самого helpful intent - ударяется в длинные разъяснения и проявляет излишнюю осведомленность. Тема - читал книжку про ххх_рандом_хуйня_нейм_ххх - и персонаж внезапно отвечает будто он эксперт в этой области. Так-то модель очень хорошая, но в ней прям вжарен этот отлиз очка юзеру.
>Лолбля, по нему прыгали? И это что за железо?
это доставка у СДЭК такая из рашки в казахстан. Они швыряют походу коробки одна на другую. Коробка вся рваная пришла заштопаная их скотчем.
Железо - две 3090, одна V100 pcie с башней.
И какая-то хуанан сборка для остального.
>>1734281
думаю, назад лучше не пытаться её выправить...
Мне сдэком присылали материнку + проц в коробке из-под конфет с тонким слоем поролона. Ничего не побили. Думаю тут просто лотерея, на каких дебилов повезет попасть.
У меня ничего не шакалили и все было хорошо. Нах фантазировать на ходу. Пересылка внутри РФ, если что, так что таможенники (особенно из ХУЙЗНАЕТСТАНОВ) не вовлечены.
Кто хейтит-то? Один озлобленный нищук-немошиз? Гемма - это общепризнанный стандарт для русского еРП на нищесистемах. Да даже на 24+128 альтернативы (ГЛМ 5.3 и Дипсик) не то чтобы целиком у нее выигрывают - один соевый, другой сломанный.
> общепризнанный стандарт для русского еРП на нищесистемах
Я тебе больше скажу, даже имея йоба железки ее запустить не зазорно. Не для всего подходит, но в общем рпшить вполне приятно.
>Жлм, Синюю рыбу, мимо добавил. Остальное чуть позже.
Ты бы устаревшее превью Дипсика 4 на 0731 версию поменял или на вижен. И где новый квен?
Вообще предложение - писать дату выхода модели(хотя бы приблизительно) в описании моделек вместо хуиты типа "новая моделька"(через полгода эта надпись про "новую" останется, хотя модель уже сдохшее говно мамонта).
Логично и справедливо. Проставлю даты, старые уберу. Там половину квенов смещу как архивные.
Как думаете можно ли это модифицировать или позаимствовать оттуда решения?
>>1734277
Так обычно бывает, если через кучу сортировочных центров двигается (почта России привет) или полежало некоторое нетипичное время в каком-то сортировочном центре. У сдека еще неадекваты на каком-то местечковом этапе могут быть. У почты России именно гораздо неадекватов меньше, но они периодически любят возить по сортировочным центрам или забывать о посылке, когда они перегружены. На почте прямо сказали, что скорость доставки зависит от того как получится.
Как же хочется ржать как гиена, когда листаешь последние треды, а там : гемма, гемма, гемма, МИСТРАЛЬ?!
Но сейчас вижу аноны обмазались железом, обсуждают дипсики и жлм. Срачей практически нет. тредик живет.
Ну лампово же. И старички на месте.
Неужели никто кроме меня с этим не сталкивался? я до сих пор пытаюсь обновить жору выше 11376 и постоянно pp падает в 10 раз, с 600tps до 60tps при тех же настройках и приходится откатываться обратно, очень заметно в агентских задачах когда сабагент возвращает управление обратно основному агенту.
модель - ukisai_Swift-1.5-Qwen3.8-27B-GSQ-RCO-IQ3_S на 5060ти 16врам.
>Сидеть на стоковой ламе в 2026 году в ламатреде и ждать пока жора прекратит ссать на лицо
Новая реальность такова что либо ты ставишь агента который правит косяки в программах на лету, либо месяцами ждешь милости от барина.
Ну серьезно, опенкод на данный момент имеет бесплатными дипсик 4.1 и минимакс 3.1 - они эту хуйню за пару минут поправят, если ты им скажешь.
Сраный аргон стоит 20$ в неделю. Не такие уж большие деньги за корпората. Каждый выбирает своё конечно, но вроде мы тут не асигонищета.
> тред локальных моделей
> советуют апи
>>1734337
сраному аргону можно заплатить картой МИР или СБП?
>Сраный аргон стоит 20$ в неделю.
Это 90 баксов в месяц, смеешься? Тут люди сраную рам докупить не могут. И все эти подписки - это всегда байты на более дорогие подписки - их всегда дают ровно столько чтобы ты расслабился, словил комфорт, перестроил уровень жизни под новый расход токенов, а потом хуяк - и лимит тихо подрезали или сменили модельку на более прожорливую и вот ты уже сидишь обосранный перед монитором с полузавершенной задачей и смотришь на окошко "вставьте деньги в монитор или сидите в говне до конца лимита". Я потому только самый дешевый чат гпт плюс плачу и использую только там где халявные нейронки не тащат.
>Я даже перепроверил тред, не перепутал ли.
> тред локальных моделей
> советуют апи
Ну для задач кодинга и допила ламы в 99% случаев лучше использовать корпоратов. Даже будь ты миллиардером с 1ТБ Врама - топ локальных нейронок сейчас выглядит как на пикрел 1 - банально нечего запускать чтобы конкурировать с платными корпами пикрел2. Доступная на 24+128 Глм 5.3 флеш - это уже почти потолок.
Молодец что решил обновить.
> ЖЛМ Флеш, модель для простого люда на фоне очередных Т3 мамонтов. Кому то нравится, кому то нет. Соевый в базе.
Честно про него положительных отзывов и не видел, может стоит добавить предупреждений/хейта?
> GLM‑5.3
> В целом аноны пользуются прошлыми версиями, дело ли в цензуре или в том что данная линейка моделей отдаляется от пользователей на сверхзвуковых скоростях - не известно.
Он же не хуже чем 5.2, 5.1 и т.д. Если имелся ввиду размер и что используют 4.х то нужно иначе формулировать.
> Qwen3-Coder-480B-A35B
Протух, вынести в отдельный раздел легаси вместе с 30а3 или сразу обозначить что старье. На пост гиганта 2.8т версию нужно ставить.
Квен3.8 27 и квен3.8-флеш-некст как самую йобу для кодоагентинга, некоторые на них рпшат с хорошими отзывами. Кфн вообще оче хвалят, его нужно в первую очередь добавлять.
Немотрон обновить, там 120 новый и болт
> DeepSeek 4
Лучше дать ссылку на коллекцию или явно указать флеш-вижн-эксп (он лучше чем 0731 и фактически заменяет его) и жирную прошку, ну и размещать их над 3.х.
> StepfunAI
Пятерочку неплохо бы вставить, если получится то до конца недели попробую и отпишу.
с моими личными задачами кодинга локальный квен вполне справляется без нареканий. тратить деньги на корпоратов и дрочить квн чтобы пилить свои пет проекты не вижу смысла.
вопрос вообще о другом был.
Думаю, потом понял что нтр это и есть самая что ни на есть соевая-пересоевая тема которую ни одна нейронка и так не блочит, и что он обосрался
Анта бака? Я чекал, оператива которая стоила 60-90к, сейчас 400к. 90$ копейки.
Пиздец, пиздец.
Есть веб сервис с выпуском электронных карт. Да, нужен квн, увы.
Но ты прав, это нерелейтед.
Сделаю. Аноны уже отметили что надо половину в легаси, так и поступлю.
> Честно про него положительных отзывов и не видел, может стоит добавить предупреждений/хейта?
Я не знаю, добавил префил. Вроде порно пишет. А чего ждать от Q2 и так знаю. Увы, нет времени самому тыкать осмысленно. Но он с ходу залетел в мамкоёбство и legal Loli экспириенс. Но шлюховат, да. Серафина сразу полезла простату проверять.
Писос цены. Заглянул в свои чеки из магазов...
> Оперативная память Patriot Viper Steel PVS464G360C8K DDR4 - 2x 32ГБ 3600МГц, DIMM, Ret ; шт.
4 x 11990.0047960.00
Эти няшечки сейчас дают 20+ токенов в секунду на дипсике.
>>1734238
> не вижу смысла жрать 3.5bpw альтернативу.
Ахтунг! Та же самая скорость на 3.5bpw, только рамы жрет больше.
Абу убил гринтекст.
Короче 12к за набор из 2 планок. Лето 2025го.
> топ локальных нейронок сейчас выглядит как на пикрел 1
Если душнить то это трудно назвать объективной оценкой, которая качественно передает конечный экспириенс. Хз как они набирали дальнейшие очки, может бенчмаксингом популярных задач чтобы взять количеством, или перевыполнением, но большинстве задач работа флагманских корпов не выделяется, или больше бесит по сравнению с большой толстой рыбой или муншотами. Особенно клодыня, любит навалить отсебятину вразрез запросу и лезет куда не нужно, меняя другие части без разрешения.
Из областей где они заметно впереди - более аккуратный вижн и навык работы с визуальными штуками (постепенное изменение). Но все равно уровень можно наблюдать на оппиках прошлых агентотредов.
Новый дипсик здесь удивил, во всяких научно-технических штуках буквально как рыба в воде и весьма осторожен, наваливая кучу вопросов. Кмк, это в разы лучше, чем чмопус или астра, которые сжимают фазу обсуждений и просто ломятся вперед на предположениях, делая не то, в итоге требуют больше внимания не переделку.
>Какие тюны для русского?
Не так сказал. Они не для русского сами по себе, просто у некоторых тюнов квена русский несколько лучше, чем у стока. Примеры - Dark Scarlet, Hemingway, Marvin.
Говнометальщиков заранее прошу успокоиться - речь чисто про качество языка. И то, не говорю, что он может равняться с той же геммой. В лучшем случае - с глиммером, и то с натяжкой. Но все-же - лучше чем у стока.
> не видел
Так вынь башку из эхокамеры этого треда и загляни на 4ч, на реддит. Тут буквально 3 анона его запускали, кто то на поломанном форке жоры на русике, кто то для кода, кто то снес сразу как ему что то не понравилось в рп - все кажутся жирными пидорами с ригами у которых просто альтернатив дохуя чтоб копаться в глм
Свежий кобольд выдает
load_tensors: loading model tensors, this can take a while... (load_mode = none)
llama_model_load: error loading model: check_tensor_dims: tensor 'blk.1.ffn_gate_inp.weight' has wrong shape; expected 4096, 496, got 4096, 240, 1, 1
llama_model_load_from_file_impl: failed to load model
gpttype_load_model: error: failed to load model
Load Text Model OK: False
На любом кванте.
Если ты про текст между разметкой, то это просто системный промт для асистента. Если тебе для РП, то не нужно. Максимум последнюю строчку про думалку, и то не факт, что это работает именно в квене
Аноны, вот https://huggingface.co/turboderp/GLM-5.3-Flash-exl3/tree/sc_3.10bpw этот квант запустится с оффлоадом в рам по типу как на жоре, где карта + рам определяет твою память?
Или нужно строго чтоб весь квант лёг в 128 рам, а значит квант нужен где то 110?
Потому что буковки это на любителя. Другое дело когда на таком же уровне, на своём ригушатнике можно будет с хорошей ворлд-моделькой поиграться, погрузившись в мультимодальное РП в реальном времени и VR, и не 1.5 минуты как сейчас. Вот тогда будет реально "БУДУЩЕЕ", а пока насрано.
глм exl3 лучше в maya запускать, оффлоад есть, по скорости будет быстрее
https://github.com/mw00/project-maya
Только не знаю поддерживаются ли self-calibrated кванты, вроде пока нет, так что 3.05bpw лучше взять
А в эксламе в разы медленнее - тестил
>Или нужно строго чтоб весь квант лёг в 128 рам
Нет, во всяком случае если у тебя видеопамяти не совсем мало - но тут от контекста зависит. У меня 3.05 bpw жрало около 100 гигов RAM при полностью забитой VRAM (48) на 128к контекста, с вижном и без квантизации KV кэша
>жрало 100
Напиздел, это с виндой вместе. Сама модель жрала 90.
Аноны, я могу как-нибудь сократить затраты токенов со своим железом, установив локальную модель, например, исключительно для написания кода по задаче, а саму задачу будет ставить, допустим, большая ЛЛМ?
Model name: Intel(R) Xeon(R) CPU E5-2670 v3 @ 2.30GHz
available
Mem: 31Gi 12Gi 1,7Gi 370Mi 17Gi
gpu rx 6600
Ниче не понял в этих циферках, но видеопамяти и компьюта мало - а значит даже если что-то и влезет, то совсем тупенькое и это будет даже не близко к облачным йобам за деньги
Для серьезной работы я бы не заморачивался. Вроде кодомакаки-минимальщики сидят на 27B Qwen 3.8, а он требует в самой нищенской конфигурации 16гб видеопамяти (и то будет очень кастрированно-лоботомированно) или 24гб+
на виртуалке их поднимите ебанаты, зачем вы на одну систему разное по требующее разное окружение ставите, болезные?
Во-первых - вы заржались, батенька, раз воротите нос от текущего состояния развития всей этой хуйни, о котором пару лет назад можно было только мечтать.
Во-вторых - проблем будет на порядки больше в обозреваемом будущем. Потому как прямо сейчас в текстовом ролеплее овердохуя всего отдаётся на откуп мозгу, и нет нужды конкретно описывать всю сцену сразу. А вот в гипотетическом VR РП придётся продумывать вообще всё прямо на лету, иначе это будет не более чем текущий VR со всеми его ограничениями на взаимодействия, но с прикрученной сбоку говорилкой. А если отдать все эти мелочи на откуп нейронке, то нужна либо йльтра-йоба-нейронка, либо отыгрывать можно будет только чай с тортиками да сестроёбство, а все глубоко проработанные вселенные, не являющиеся привычной нам реальностью/местность/временем - будут вызывать у фанатов желание блевать дальше, чем они видят.
В общем будет ситуация как с нейронками сейчас, когда они без постоянных пинков и вливания кучи инфы в контекст пытаются упростить сложный лор до усреднённого по больнице. Но текущие проблемы - это всё ещё вершина айсберга, а в светлом будущем с развитием технологий мы познаем его подводную часть, когда текущие лорбуки покажутся детским лепетом со сравнению с требованиями к "лорбукам" в VR.
Опять же, сейчас лорбук можно просто описать, а что будет потом? Придётся сначала моделировать кабину футуристического истребителя, чтобы было как в том кино, которое ты помнишь из детства, или, например, моделировать форму сисек главной героини, потому что ты хочешь чтобы они были именно такие?
Ты можешь попробовать Qwen3.6 35B, Gemma 4 26B, GPT-OSS 20B
Это в принципе все варианты, что у тебя есть. Проверяй на своих задачах.
понял, спасибо. Если куплю вторую рыксу, я так понимаю, может и взлететь? я могу вообще разные карты собрать и купить допустим 12 гиговую карту? будет 20 с двумя - вроде что-то можно поднять будет?
а если купить карту для векторной графики nvidia/amd старенькую, ну например Nvidia Quadro P5000 16Gb - стартанет модель или будет мне ебать мозги?
>>1734459
А что ты в конфиге крутил чтобы так влезло?
Не хочу майю пока пробовать. У меня 24 врам
А видяху в виртуалку прокидывать, отключая от основной системы?
>>1732510
>Поясните еще тогда как у вас сетапы вообще сделаны со всякими ламами. Не замечали, что установка и использование их ломает вам что-нибудь другое на машине? Или вы уже все раскидали и нейронки у вас отдельно пасутся?
Докер. На линуксе, чтобы видяху одновременно и на хосте, и в любом количестве контейнеров можно было задействовать.
> и загляни на 4ч, на реддит
И что, там боготворят его? Интересно про положительные почитать.
Что же до запуска - разве ситуация там отличается от местных? С оговоркой что им похуй на русский, который мог бы стать аргументом в пользу.
> просто альтернатив дохуя чтоб копаться в глм
Есть мимо, есть дипсик 4 и оба вроде как получше будут.
>>1734450
> скачку на 95% сбросила
hf hub же, через него и качается. И оно должно продолжать если часть файлов уже есть, можешь сам в сонсоле запускать `hf download ... --local-dir ...` и если есть проблемы с соединением то `--max-workers 1` чтобы качало по одному файлу.
>моделировать кабину из фильма/сиськи
Чел, это же ворлд-модель я просто референсы закину, какие нафиг моделирования сисек и кабин...
Сначала пробуй >>1734468
Если это не устроит по качеству, на чудеса не надейся
И еще вопрос в объеме текста, который ты собираешься моделям скармливать. На нищенских размерах VRAM мало что влезает. А ты наверное привык по 100к+ токенов впихиватть по API
>будет 20 с двумя - вроде что-то можно поднять будет?
использование маленьких объемов видеопамяти на разных картах не так эффективно, 4+12 не совсем равно одной с 16, да и как я уже сказал в 16 запихнуть можно только лоботомированного инвалида без длинного контекста
У всех разные системы, агента хлыстом по жопе ударь и он тебе поставит всё что надо и настроит.
>Не хочу
Ну тогда тебя ждет сладенькая альтернатива с префиллом и декодом медленнее в 3 - 5 раз
в 16 врам хорошо влезает https://huggingface.co/ukisai/Swift-1.5-Qwen3.8-27B-GSQ-RCO-GGUF/blob/main/Swift-1.5-Qwen3.8-27B-GSQ-RCO-IQ3_S-mtp.gguf с 100к контекста и mtp или виженом в врам, без мтп и вижена еще больше контекста.
и он не настолько лоботомирован, успешно им делаю моды к играм, разные пет проекты и все такое. в том числе и автономно от начала до конца. В общем жизнь на локалках есть.
Ну это в 16 влезало, а чел хочет 4+12 юзать. Не знаю получится ли, неравномерная выгрузка - та еще залупа, тем более там родион 6600 вместо видеокарты... помнится, еще во времена 8B ламы и 12B геммы гонял их на RX 6800 и было не очень впечатляюще, а тут 27B плотняк собрались пихать в более слабую видеокарту
некоторые гоняют на нескольких видяхах с tensor-split=layer квен3.8 c квантом Q8, причем на сборной солянке amd+nvidia и им норм
Вообще зачем этот ехл на майе когда там можно 4 квант поднять с небольшим оффлоадом
Рассказываю - берешь любую игру с harmony 2, декомпилируешь, пилишь мод.
https://github.com/pardeike/Harmony/
>Бесконечное теребление нижнечакрового отростка и дофаминовых рецепторов
>вот это буквально будущее, вот этого мы ждали!
а теребить то зачем?.
Как в "Инженерах кольца" будет тебе электрод напрямую в мозг, для прямой стимуляции дофаминовых рецепторов.
Даже ИИ никакие не нужны будут.
еще в 1954 году уже ставили подобные опыты.
https://ru.wikipedia.org/wiki/%D0%A6%D0%B5%D0%BD%D1%82%D1%80_%D1%83%D0%B4%D0%BE%D0%B2%D0%BE%D0%BB%D1%8C%D1%81%D1%82%D0%B2%D0%B8%D1%8F
>глм флеш
какой из них блят?
>я просто референсы закину
А это не столь важно, каким инструментарием будет моделирование производиться, вопрос не в этом.
Я про то, что вот у тебя в сай-фай вселенной всяческая техника, оружие, персонажи - и тебе для каждой хуйни, которую сгенерирует тебе VR-нейронка, придётся предварительно подбирать референсы и проверять, достаточно ли их для моделирования данного объекта, чтобы действие происходило в привычных тебе местах с привычными персонажами и вещами.
Ну, естественно если вдруг нельзя будет напохуй скормить нейронке, например, целый телесериал или пару сезонов аниме, которые она уже сама превратила в референсы для всего. А для такого сейчас предпосылок нет (хотя, конечно, хотел бы я тоже на старости лет в такое поиграть).
> копиумный 1 квант писика 1017
дал пикрил, смерть нахуй. Попробую теперь полные веса и подключить пару 5060ti допом
Я конечно потрачу 500гб на это, но заранее понятно что там пиздец по перфу
Я правильно понимаю, что кастомные модели что на Полистрате, что на Майе не запуститьть без допиливания агентами?
А то у анона вроде неплохой квант Deepseek v4 flash vision был, https://huggingface.co/BahamutRU/DeepSeek-V4-Flash-Vision-Exp-Q8_0-MXFP4-Q3_K-Q2_K-mixed-GGUF
Deepseek v4.1 flash в 128RAM не лезет никак в разумном кванте?
Также, вон на той же Майе есть вроде приличный GLM 5.3 flash, но KLD 0.188 - как-то хуевато, не? Плюс весит оно 156 гигов, так и не понял из описания, нужно ли RAM на весь его размер.
Как вообще у Майи и Полистраты с разнородными видеокартами? Они позволяют запускаться на сборной солянке из всякой хуйни?
> Это нормальная фича
На момент своего зарождение как автоматизация - может быть, но не сейчас.
> отдал часть врам под экспертов что не влезли в рам
Если именно экспертов - это крутой подход и наверно лучший из компромиссов, особенно если сделать их редкое обновление или калибровку. Но это совсем не то же самое что ncmoe.
А если сделано через полные блоки ffn в врам - мэх.
Потому что запускает только одну модель. Слишком ограниченный инструмент, ящитаю. Будет запрос, добавлю.
>>1734546
ОП дрочит иногда.
ПЕРЕКАТ
>>1734648 (OP)
ПЕРЕКАТ
>>1734648 (OP)
ПЕРЕКАТ
>>1734648 (OP)
Как же хуярит. Как же. Блять. Хуярит. Жаль русек хуже чем у дипсика, и думает глм просто по охуиллиарду токенов на максималках.