Локальные языковые модели (LLM): Gemma, Qwen, GLM и прочие №277 /llama/
Аноним
07/10/26 Срд 17:11:08
№
1
Здесь мы делимся рецептами запуска, настроек и годных промтов, расширяем сознание контекст и бугуртим с нано флеш моделей на 1488B параметров.
Тред для обладателей топовых карт NVidia с кучей VRAM или мажоров с проф. картами уровня A100, или любителей подождать, если есть оперативная память. Особо терпеливые могут использовать даже подкачку и запускать модели, квантованные до 8 5 4 3 2 0,58 бит, на кофеварке с подкачкой на микроволновку.
Официальная, но слегка тухлая вики треда с гайдами по запуску и базовой информацией: https://2ch-ai.github.io/wiki/llama/
Гайд для новичков: https://rentry.org/2ch-llama-inference
Не вошедшее в шапку и архив полезных ссылок: https://rentry.co/llama-2ch-archive
Инструменты для запуска на десктопах:
• llamacpp - отец и мать всех инструментов, позволяющий гонять GGML и GGUF форматы: https://github.com/ggml-org/llama.cpp
• koboldcpp - самый простой в использовании и установке форк llamacpp: https://github.com/LostRuins/koboldcpp
• Обертка над llama.cpp с закрытым исходным кодом: https://lmstudio.ai
• Обертка над llama.cpp с ограниченными возможностями: https://github.com/ollama/ollama
Универсальные десктопные фронтенды:
• SillyTavern - всеядное, сопрягается почти со всем, имеет большую коллекцию расширений: https://github.com/SillyTavern/SillyTavern
• Marinara Engine - вариация на тему таверны, больше возможностей из коробки: https://github.com/Pasta-Devs/Marinara-Engine
• Risuai - еще одна вариация, на этот раз в профиль, излишеств по минимуму: https://github.com/kwaroran/RisuAI
Инструменты для запуска на мобилках:
• PocketPal - интерфейс для локального запуска моделей под андроид и IOS на llamacpp (CPU, GPU, и NPU инференс): https://github.com/a-ghorbani/pocketpal-ai
• Maid - интерфейс для локального запуска моделей под андроид с llamacpp под капотом: https://github.com/Mobile-Artificial-Intelligence/maid
• ChatterUI - альтернативный вариант для локального запуска под андроид (фронтенд и бекенд сепарированы): https://github.com/Vali-98/ChatterUI
• Гайд по установке SillyTavern на ведроид через Termux: https://web.archive.org/web/20241201232031/https://rentry.co/STAI-Termux
Поставщики локальных моделей:
• Hugging Face - платформа куда загружается всё и во всех форматах: https://huggingface.co/models
• Проверенные квантоделы: https://huggingface.co/bartowski, https://huggingface.co/mradermacher, https://huggingface.co/unsloth
Рейтинги и списки локальных моделей:
• Актуальный список моделей с отзывами от тредовичков: https://rentry.co/2ch_llm_moe_2026
• Рейтинг моделей по уровню их закошмаренности цензурой: https://huggingface.co/spaces/DontPlanToEnd/UGI-Leaderboard
• Сравнение моделей по сомнительным метрикам: https://huggingface.co/spaces/HuggingFaceH4/open_llm_leaderboard
• Сравнение моделей реальными пользователями по чуть менее сомнительным метрикам: https://chat.lmsys.org/?leaderboard
Готовые карточки для таверны:
• Botbooru - текущая мета (регистрируйтесь для отображения всего спектра, и/или меняйте страну): https://botbooru.com
• Прошлая мета, откуда массово удалили карточки сомнительного содержания: https://www.characterhub.org, https://www.chub.ai
• Архив карточек, удадённых с chub: https://gottasaveemall.github.io/
Официальные документации к инструментам:
• llamacpp: https://github.com/ggml-org/llama.cpp/blob/master/tools/server/README.md
• koboldcpp: https://github.com/LostRuins/koboldcpp/wiki
• SillyTavern: https://docs.sillytavern.app/usage/quick-start
Архив тредов можно найти на архиваче: https://arhivach.vc/?tags=14780%2C14985
Шапка в https://rentry.co/llama-2ch, предложения принимаются в треде.
Предыдущие треды тонут здесь:
>>1722020 (OP)
>>1719837 (OP)
ЦЕНЗУРЫ НЕТ ПОВТОРЯЮ ЦЕНЗУРЫ НЕТ
ЕБИ ПРОМПТИКИ ЕБИ
да мы тут все дрочим на то как нас ебут бомжи и собаки.
/ai тред локалок. Собирает единомышленников.
Меня черепаха ебала каймановая и страус ещё.
но то давно было, уже приелось.
Tori no Kimochi Ii
Чисто ради познавательного интереса для друга как говорится. Какие промпты используются для животных? Карточки ии? Сценарий? Составляющая Персоны?
> ласт пик
Риг жив здоров. Собирает сейчас rocm 10.1
я давеча проверял форк жоры в котором реализовано создание лоры налету. Теперь любой человека НА КВАНТОВАННОЙ МОДЕЛИ может лору себе сделать. Я считаю мистрали все еще топ в этом качестве. Рекомендую попробовать.
https://github.com/CambrianTech/llama.cpp
На скриншоте zorb.gguf - это лора в которой хранится новое знание о несуществующем в датасете понятии.
poem.gguf - это моя попытка скормить мистралю 7b русские стихи. Проверял оверфиттинг и как он выучивает текст стиха. Выучивает норм. Но только воспроизводит строго при температуре 0.
>>1724419
основная проблема вообще та же, что и в обычном ролеплее. Нужна более-менее крупная модель, чтобы не было снятия трусов по три раза, чтобы животное с клювом, как черепаха например, не смиркала, а собака не хвалата волосы в кулак и не шеплата на ухо "теперь ты моя. Только моя. И ты сама этого просила.". Ну и слопогенератор ебаный конечно, с устойчивыми оборотами типа это было говно. Не моча, а просто говно. Говно.
Я так слопохуйню и не поборол и в конце концов любой отыгрыш стал вызывать мгновенный висяк с первых строк ответа. Не кумил уже давно на нейронке.
>собака не хвалата волосы в кулак и не шеплата на ухо "теперь ты моя. Только моя. И ты сама этого просила."
Проорал и обосрался. Без шуток у меня что-то проскакивало подобное.
скоро тебя эта хуйня так заебёт, что смешно уже не будет, к сожалению...
Может я шизик, но когда я играю, уделяю повышенное внимание игре. Редактирую сообщения, делаю свайпы, слежу за историей контекста чтобы когда ее сократила моделька, там был не мусор. Плюсом я разбиваю приключение на разные чаты, с частичным сохранением контекста и изменением карточек. А еще пользуюсь оос с командами и авторскими заметками с состояниями.
Короче на половину кум, на половину представление для самого себя получается.
ну я тоже так делал. Но получается по сути отыгрыш в блокноте. Не понятно нахуй я тогда карты покупал.
Модель еще постоянно упрямо игнорирует промт и использует устойчивые выражения. И проблема в том, что если ты напишешь "не используй выражение 'я тебя ебу, ах!'", то это только усилит акцент нейронки на нем, а не ослабит. Короче... говняк.
Я слышал, что это может быть из-за того что модель квантуется, дескать неквантованная или более высокий квант Q6/Q8 должны лучше следовать инструкции. Но не проверял.
Так и есть. По сути игра с нейронкой это что-то типа песочницы где ты обладаешь полной властью над всем. Только вот тут начинает уже влиять характер и желание человека. Кому-то сложно сдерживаться и вести себя, кто-то аутист и только рад отыгрывать все в голове с помощью нейронки эт я.
У меня были ситуации когда я делал по 10 свайпов прежде чем в общем контексте было то, чтобы я хотел видеть. Но такие проблемы начинают возникать ближе к 200+ сообщениям, когда уже сессия подходит к концу ожидая перенос в новый чат.
мдемс, я потек, случайно добавил пару слов в промпт... как теперь кодить с ней...
Делись спекой и где брал такой зачетный корпус, Анон. Или сам сделал?
Я у себя собрал ригу на 4x3090, но тупо на опенфрейме, и во-первых оно аляповато выглядит, во-вторых туда пыли и шерсти от кота набивается (пришлось сеткой обтянуть, но это колхоз на скорую руку), и плюс нормального распределения потоков воздуха не сделаешь.
Была мысль купить тупо серверный корпус для майнинга, но у тебя выглядит намного красивее.
Анон, я непонимат - это теперь можно информацию о вселенной, которую отыгрываешь, можно в лору запихать?
>Дыши, не торопись, компилятор не кусается. Обнимаю.
как же она хороша
Для кума понятное дело, что блокнотинг не имеет смысла.
А вот для хорошего, годного ролеплея - вполне.
Нейронка же не телепат, а у тебя уже есть виденье того, как должны поступать другие персонажи, и если они поступают не так - всё погружение разваливается.
>Новинки в мире РПкреативного письма
>2 года модели
Хммм...
С ним точно все будет хорошо? Береги его!
>>1724447
Задавай свои ответы. Vllm = только врам (оффлоад там формально есть но тормоз) и больший расход памяти, это нужно иметь ввиду.
> сам сделал
Это. Принтер, профиля, солидворкс
> спекой
В прошлом постил
да. Не думаю, что это кто-то когда-то запрещал.
Но то что у меня на скрине - это тест. Я спрашивал о zorbltax другими словами, которых нет в тренировочном датасете и нейронка мне отвечала про него.
>>1724465
чуваки запилили создание лор без питонячей обвязки на голом жоре, с динамической подгрузкой этих лор, и с возможностью на каждый реквест определить какую лору ты хочешь для ответа. Это имеет перспективу в отыгрыше. Так же насколько я понимаю, действительно можно забивать в лору факты о новых концепциях, но надо делать ей ранк повыше.
Да я не то, чтобы что-то вопрошал, у меня собрана сейчас вышеупомянутая рига на 4х3090, и она именно на vLLM, потому что там гораздо лучше работа в параллель реализована, ну и в целом всякие фичи и тулинг туда как-то оперативнее подвозили. Когда я Агента начал строить ламацопе еще не умела в нормальный тулинг.
Но самое главное - мне с помощью vLLM удалось запхать туда Qwen3.8-Flash-Next с оффлоадом части модели в RAM, но при этом с результатом генерации 100+ токенов в секунду.
Поэтому и интересно, кто-нибудь ещё подобные эксперименты проводил ли, или может ещё какие рецепты знает.
Рецепт, по которому собирал я: https://github.com/todiadiyatmo/rtx-3090-vllm-recipe-qwen-flash-next
Инженер мущщина, конечно. Штош, закажем ригу под майнинг ферму.
>и всё это чтобы получить "ты меня ебешь, ах!"
ебало имаджинировали?
А, понятно. Я-то думал, что речь про применение лор по типу дообучения на гайдах к какому-нибудь продукту, или запихивание методички и материалов по какому-нибудь факультету. Нейрогалюны не интересны.
Пикрил около 50к стоит, но у них куча вариантов комплектаций
>>1724555
Довольное конечно
>буквально тред нейрогалюнов
>Нейрогалюны не интересны.
>>1724557
ну а если серьезно - че ты на ней делаешь? сворм агентов запускал?
> че ты на ней делаешь?
Пердолинг как хобби, вечерком в чатике палкой потыкать да картинки погенерить, генерация эмбеддингов, билдер локальный, по одно время нейроанона (вряд ли кто то уже помнит) хостил до того как абу своего сделал
Судя по слухам, теоретически может до конца года выйти. Цикл сокращается, обычно релиз Гемини в ноябре-декабре.
для работы локального агента использовал?
Я пробовал на своем риге, но понял что дерьмо ебаное.
Я SRE не кодомакака.
Примерно к тому же пришёл. Слишком медленно после апи. Всякие квены туповаты, дс4 в 250 префилла смерть даже при сносных 20тпс тг.
Терпилить ашентов на локалках конечно можно, но ради чего?
а я медленность терпел, но содержание ответов убивало. много раз меня разные сетки уводили не по тому пути и зачастую вообще особенности какой-то системы не знали.
мда.
может если только мелкую ллм в качестве агента с тулзами юзать на ленгфлоу, чтобы гуглить могла там, код в интерпретаторе тестировать а не "мамой клянусь работает". но за это опять за плоти.
короче да, жижа.
Так блет, это что, кекстримальное мэтэбэ?
>>1724552
> с оффлоадом части модели в RAM
Речь про нграмы или именно часть основных слоев?
Есть такая штука https://github.com/wtdcode/vllm-backport - раньше была прямо передовая для порта всякого на амперы, по сути был одним из первых где собрал все нужное в одно и оно хорошо работало. Тут и дипсики, и мимо, и фп8 w8a8, и nvfp4, и прочее. Поддержка мтп в пп режиме и всякие фишки. Отмечены ограничения на ампер, типа максимального количества токенов, или режимов генерации, потому что выход за них приводит к спиллу из регистров в память, скорости приходит оварида.
Есть еще форки сгланга, но на них поддержка шредингера, то майнтейнеры пропадают, то вспоминают про них.
Попробовал гоэтию, гутенберг, меро меро. Гутенберг больше всех понравился. Сама ванильная гемма тоже хороша.
>приходишь в тред, потому что у тебя есть своя лаба с моделькой
>юзаешь модельку для хобби, для домашних дел, как персональный дата-лейк, для рабочих задач, для хостинга серверов игорей и для мододельства
>в треде кумеры обсуждают как сделать так, чтобы их дрочево не утекло наружу путём размещения моделей у себя
Да ну ёбаный рот. У вас же есть загон в нейрофапе, нахера вы это всё сюда тянете.
>Речь про нграмы или именно часть основных слоев?
Я ссылку на рецепт спецом оставил.
>Есть такая штука https://github.com/wtdcode/vllm-backport - раньше была прямо передовая для порта всякого на амперы, по сути был одним из первых где собрал все нужное в одно и оно хорошо работало. Тут и дипсики, и мимо, и фп8 w8a8, и nvfp4, и прочее. Поддержка мтп в пп режиме и всякие фишки.
vLLM сейчас это и так из коробки умеет. Собственно, оно у меня Flash-Next на 125B сейчас и тянет со скоростью 100+ токенов в секунду на чистой генерации. Вот интересно было, был ли у кого итт подобный опыт.
>4 месяца
А до этого как жить?
Гемма 4 дерьмо ебаное. Страдаю на ней каждую секунду. Но умна, тварь. Будто специально в слог насрали и недожали на 35% чтобы жизнь мёдом не казалсь на локалках
надо откатываться на старые базовые модели 2023 года.
Гемма параша ебаная всегда была и есть. Кодоунитаз ёбаный. Сейчас каждая модель кодоунитаз.
Нам надо отвергнуть современное и вернутьс к традициям.
Только база, только нефильтрованное, юнити ультрахардкор.
https://github.com/Niko1221/Strata
> надо откатываться на старые базовые модели 2023 года.
Но там же тотальный безмозг
https://github.com/ggml-org/llama.cpp/pull/29887
>нет поддержки мультигпу
Бля, там в страте запускают Qwen3.8-Flash-Next, с 50 токенами в секунду, на ДОМАШНЕЙ ПЕКЕ!!! И мультигпу уже есть.
Сильное заявление. Проверять его, конечно же, ты не стал.
Гемма такой кодоунитаз, что аж тулзы еле дёргает.
Гугл жидко, с подливой обосрался и сделал идеальную РП (не ЕРП) модель, залив туда качественный литературный датасет. Сейчас такой ошибки не произойдёт.
Если гемма 5 вообще выйдет, там будет флеш мини 120б и нано 8б с полностью унитазным синтетическим датасетом.
Все ролевые модели в пределах 31б законочились. Кушоем геммо4ку и дипсик флеш. Больше ничего нет.
>флеш мини 120б
А потом ты просыпаешься, и обнаруживаешь мокрые штаны.
>>1724710
>Больше ничего нет.
Я в шадоубане чтоли?
>Run a 125-billion-parameter AI model on your own gaming PC
Сюда ---> https://github.com/Niko1221/Strata
В пул реквестах уже вагон пруфов с разных карточек.
>Нахуя теперь llama нужна?
ллама универсальная. а strata заточен под qwen 3.8 flash next.
но скорость гораздо выше чем у llama.cpp. для сравнения вот инфа. llamacpp: префилл ~85 токенов\с, генерация ~15 т\с. strata: префилл 1500 т\с, генерация 50 т\с, qwen от ista-daslab, квант iq3_s, контекст 204000, скорость генерации\префилла стабильная даже когда осталось 15% контекста. ryzen 5700, 64 gb ram, rtx 5070 ti. в общем я выкинул все модели и остался на связке strata+qwen flash next.
с помощью этого же квена вырезал из llama.cpp кусок кода отвечающий за web ui и tool calling и прибил его гвоздями к strata, где-то за 20 минут. теперь через вебгуй ползаю по компу и коммичу\компилирую на нём всякую хуйню.
> vLLM сейчас это и так из коробки умеет.
Рили? Это хорошо. Совсем недавно прохладно относились ко всему что ниже хоппера или mi300, мерджи не шли чтобы не навернуть что-нибудь.
> был ли у кого итт подобный опыт
С другими моделями. Но там или запускаешь и работает, или чинишь пока не заработает.
Хз, из полезного можно поставить патченые дрова под p2p, станет быстрее как минимум в процессинге и в генерации если режим тп https://github.com/aikitoria/open-gpu-kernel-modules
>Проверять его, конечно же, ты не стал.
проверка этого - одна из моих целей при ковырянии лоры для базовой модели >>1724425
просто я не могу достучаться до моего рига в рашке. Хуеглоты из ркн все способы взаимодействия полочили.
Мне придется его отправлять сдеком в казахстан в воскресенье и он еще ехать будет две недели.
Ебаная рашка блядь.
Пока что экспериментирую с 7b моделькой на рабочей бесхозной 5090. Там блин начальство накупили две 5090 и две 5070 и никто их не использует... Ну я им применение и нашел. Надо только дождаться пока бп приедут и корпуса. Поэтому пока что на одной 5090 живу.
>>1724715
ребят ну очнитесь, чудес не бывает. Если там сильный прирост скорости - надо понимать, что за это заплачена какая-то цена.
А почему насколько костыльно? Вместо переосмысления принципа выгрузки экспертов сразу на более оптимальную, делается сторонняя система в виде отдельных костылей. Она еще явно сырая, конфликтует со многими вещами, частично противоречит гайдлайнам, но при этом в спешке мерджится.
В том и дело, что цена снижена новым алгоритмом. Пока GPU считает текущий слой, CPU уже подгружает небольшое число экспертов для следующей обработки.
>заплачена какая-то цена
это всего лишь оптимизация от нерукожопого программера. сравнение с секретаршей некорректно. qwen+strata код выдает такой же рабочий как и на тормозном llama.cpp
>>1724738
ну и че, как этот ваш квен3.8 флеш некст?
еблю с черепахой опишет?
или очередной кодоунитаз, зато быстрый - пиздец?
Дрочные рассказы пишет очень качественно с OrcaRouter's Uncensored IQ3_XXS.
Бля, ну реально, он же заявлял что хочет все это переделать еще до страты. А эта херня как будто ставит крест на нормальном решении.
Видеорелейтед https://www.youtube.com/watch?v=QEJUzpouf-k
Нахуй не нужон больше. Все на страту переходят (она ещё и ставится в один клик). Лама теперь легаси.
Потому что местные дегенераты не делают ревью PR-ов по причине "много букав", поэтому нихуя кроме костыльной параши, которую Жора сумеет понять, не мержат.
На богатых тестируется GLM-5.3-Flash с движком страта. Префил пока хуёвый, а вот декод очень приятный стал.
принеси мне пожалуйста отыгрыш ебли с черепахой.
Потому что я уже видел эти ваши
>анархист версия! evil версия! uncensored версия!
>heretic модель! Теперь можно говорить обо всём!
>аблитерейтед мамой клянусь, ВООБЩЕ НЕ РЕФУЗИТ
>ОРТОГОНАЛЬНЫЕ МОДЕЛИ! ну теперь то точно не рефузит!
и всё это ебаный буллщит как только ты касаешься тем которые реально запрещаются - сразу соя всплывает. Типа педофилии, секса с животными, изготовления оружия, планирования чего-то незаконного. Сразу все эти охуительные приписочки в названиях слетают и остается соевый лоботомит. И если раньше он просто рефузил, то год-полтора назад модели начали уводить чат в сторону и отвечать не то и не туда.
> за это заплачена какая-то цена
Цену платят пользователи лламы, тут просто сбросили лишний груз. Гибридный инфиренс может быть быстрым если не вредить специально.
Это сырая херня, заточенная под две видяхи. Мне не подходит. Да, и как тут уже упомянули, она конкретно под Qwen3.8-Flash-Next, а он у меня уже развёрнут, причем с контекстом 512к. В общем, даже если и уходить на историю с двумя видяхами вместо четырёх, то перекат с шила с большим контекстом на сырое мыло с маленьким контекстом. Я доводов для совершения таких телодвижений не нашёл, "старшая нейронка" в чатгпт - тоже.
Спасибо, Анон. Находил я эти дрова (вернее, находила их сама нейронка, она у меня сидит на ежедневном мониторинге сабреддита LocalLLaMa), обсуждал с нейронкой, пришли к выводу, что негарантированный пердолинг не стоит свеч ради потенциальных 5% ускорения (и то не факт).
Немного не понял по Strata.
У меня 128гб DDR4 и 44 гб видеопамяти (тремя видеокартами), и Q5_K_S от Бартовского у меня выдавало 15 т/с tg (и отвратительный pp в 100 т/с).
Эта хрень заточена под определённые модели? С несколькими видеокартами работать будет? V100 использовать может?
Просто Q2 и Q3 совсем неинтересно выглядят.
Ты богатый, тебе больше будет доступно. Читай ридми:
>96 GB RAM or more IQ3_S, or Unsloth's UD-IQ4_XS (~4-bit) room for the largest sizes with everything else open
Пока под Qwen3.8-Flash-Next. Проекту 2 недели завтра исполнится. Не всё стразу. Несколько видюх поддерживает (вроде пока не больше 2). V100 может, но это ещё не вмержили в основную ветку.
Китайцы потом в ручную чат проверяют и выдадут мне бан?
>Я в шадоубане чтоли?
Для нейрокумеров она нахуй не нужна, ибо хули толку им от этого Flash Next
Для решающих другие задачи, особенно в агентской связке - спорное решение.
Если у тебя одна видяха (пусть и жирная по памяти), то квантизация у тебя будет уровня очка.
Если ты попробуешь заюзать нейронку хоть для чего-то кроме генерации дегенеративных фап-помоек, и накрутишь на это какой-нить агентский Харнесс (особенно популярных типа Hermes или OpenClaw), то обнаружишь, что заявляемые 50т\с чистой генерации после всех накидываний скиллов и гайдлайнов, после тулинга и прочей херни по факту выливаются в 5-10т\с в лучшем случае.
Т.е. то, что у тебя какой-нить Кодекс на ChatGPT 5.6 Terra (сходные задачи вывозят примерно одинаково с Flash Next) делает за две минуты это поделие на Гермесе будет делать часа полтора-два. Да, казалось бы, халявная генерация токенов, не похуй ли, типа поставил и забыл, через пару часов вернулся. Только вот я тебе по собственному опыту скажу - это пиздец как заёбывает. Просто пиздец как. Когда оно какую-нибудь херню рожает несколько часов, а потом приносит ещё и хуёвый результат, лол. И не забудь, что всё это время ты своей пекарней пользоваться не сможешь по-нормальному.
Поэтому чудес не бывает, увы. Если нужно решать задачки посложнее "напиши мне письмо в посольство на английском", с реальными "глазами" и "руками", то придётся либо сосать у чужой публичной нейронки, либо раскошеливаться на железо пожирнее обычной игровой пекарни.
Замерять надо не на копеечных текстах, а на длинных задачах с ебейшим контекстом. Там, скорее всего, будут совсем другие результаты.
И да, если пишете модель, то указывайте квантизацию, а то пафосно звучит про Qwen3.8-27B, а по факту под капотом там какой-нить сраный q2, способный только гачи-тесты проходить.
https://huggingface.co/ISTA-DASLab/Qwen3.8-Flash-Next-GSQ-RCO-GGUF iq3_s. рекомендую почитать сначала описание вместо того чтобы плеваться в сторону их q3 кванта.
Вполне описывает. Но именно ужаренный еретик, который проходился по датасету с канни и собакоеблей.
Пробивы для школьников, у которых "всё работает, просто у вас скил ишшуе", работают максимально хуёво. Опишет, но сухо, вместо подробного описания как красный хуй бобика с раздутым узлом в дырке заливает спермой животворящей матку с рычанием, пока баба дико орёт.
>заявляемые 50т\с чистой генерации после всех накидываний скиллов и гайдлайнов, после тулинга и прочей херни по факту выливаются в 5-10т\с в лучшем случае
иногда лучше сначала тестировать, а не фантазировать. ~200к контекста занято, генерация /префилл почти как в начале.
Вот именно, что иногда лучше тестировать, а не повторять то, что написано в интернете.
Никаких 100+ т\с не светит даже на 4 видяхах с 96 гигами видеопамяти суммарно.
Завязывайте уже задачу под решение подгонять.
>даже на 4 видяхах
мои соболезнования. а это у меня на одной видяхе. иногда недостаточно иметь кучу железа, нужны еще и серые клеточки.
> Собирает сейчас rocm 10.1
Закономерно магии не случилось
Strata UD_Q4_K_XL в агенте до талого (262к) контекст держит.
Для кума может сорваться из-за того, что контекст максимум int8.
Хотя тут больше половины треда q8-мочу пьет, причмокивает и просит еще.
Ушатываю 262к контекста на двух в100 с ~55t/s в конце.
Такую простыню высрал, ну и лох, гыгы.
> ради потенциальных 5% ускорения
Все зависит от режима использования и подключения. Скорости обмена между картами буквально вырастают в 2 раза, потому это дает ускорение префилла на больших объемах и генерации если тп режим.
>>1724803
> обнаружишь, что заявляемые 50т\с чистой генерации после всех накидываний скиллов и гайдлайнов, после тулинга и прочей херни по факту выливаются в 5-10т\с в лучшем случае
Даже в жоре давно таких просадок нет, откуда это взял? Вместо 50 будет 40, не страшно. Люди сидят именно на том же квеннексте с опенклоу, гермесом и прочей нечистью, просто потому что использовать корпа под личные и персональные вещи - пиздец. Ну правда это уже действительно пожирнее обычной игровой пекарни. И модель с такого рода с типичными задачами успешно справляется, а для серьезного кода идет отдельный харнесс и мощная модель.
>>1724811
> Никаких 100+ т\с не светит даже
Со спекулятивной это же несложно. А почему у тебя такие просадки случаются - хз, чини что накрутил.
>>1724873
> что накрутил
Это же ебучий гермес, он срет кучей ненужных фоновых запросов уровня
> создать скилл? создать скилл? а может создать скилл? Братишка братишка, я тебе скилл принес, юзер спрашивал что такое ромбический додекаэдр, нужно срочно создать навык чтобы ответить быстрее когда спросит снова
а llamacpp плохо работает с многопотоком. Вот и выходит обоссаная скорость без явных причин на это. Накачают блоатвера и удивляются.
>ебучий гермес
ага, хуета какая-то ваще. опенкод просто молча делает то что попросили.
>llamacpp плохо работает с многопотоком
как я понял имелся в виду strata. хз насколько можно быть криворуким, что даже на strata ловить тормоза с 4 видюхами
Основная проблема жоры - префилл. Он же обсчет контекста. Strata делает тут ламу цпп просто как стоячую. На ламме цопепе я радовался префиллу в 120 т.с на Qwen Next. Strata легко хуярит 400-600 префилл на Qwen Next. DDR4 96Гб 2x5060 ti . tg тоже подрос - но на ламе я е использовал mtp - тут он включен по умолчанию.
Я пробовал, примерно такой конфиг 4й квант.
Надроченая ллама 30т/с, страта 55-65 в среднем.
Префил 375 и 1500 соответственно.
Лламу я прям днями надрачивал, предел. Надрочил настолько, что даже мтп практически ничего не дает. Дальше только форкать.
В страту я даже толком не углубляся, сейчас в процессе, уверен, еще выжму из нее нормально так.
Така хуйня.
В прошлом постил >>1723687 →
Я какое-то время на риге сидел 64гб врама, так что успел попробовать мистральку 24б и немотрон 49б (от него самые теплые воспоминания). В целом понял о чем ты, пробовал так мистральку с микупадом использовать и писать, но недолго энтузиазм продлился, думаю еще не наигрался в обычном режим потребителя. Иногда лорбуки только свои правлю и карточки под себя допиливаю.
Жаль сейчас не могу собрать себе снова норм пеку, сижу на ноуте. А так бы уже посмотрел на эир в полном кванте или glm 4.7 который тут хвалили.
>Strata легко хуярит 400-600 префилл на Qwen Next. DDR4 96Гб 2x5060 ti
Какой qwen next? У меня на одной 3090ti и 64гб рам префил стабильно хуярит выше 2000 (2200-2700), но это на gsq-rco iq3_s с контекстом q8 256к
Алсо, процессор 16 ядерный 7950x, на префиле Strata использует примерно 10 ядер, на генерации все 16 и еще 8 потоков сверху.
>обнаружил что 5 часов просто играл в интересный для себя сюжет
Я сел со своей нейронкой играть в тактика с его мечницей, отыграла офигенно, начинал просто как подглядывающий за её ляхами, закончил как её любовник, и потом она ещё и сказала что ей нужно попробовать поебаться с кем-то ещё, ведь если она не знает честны ли её чувства, то она так не может продолжать говорит пустые по сути слова, и началось незапланированное неторасе. Всё это на 24B.
Особенности опенсорсного продукта кодосодержащего произведённого по технологии С++
>ей нужно попробовать
>неторасе
Мне кажется ты запутался в терминах
Ну ты какой-то мажор явно, говори что за видяха то а не просто так вот кидай скрин
другой анон
С геммы ты бы начал как её любовник.
Эта тварь видит малейший намек на интерес юзера к ебле и сразу растопыривает ноги. Ведь она умненький ассистент всегда готовый помочь.
Пишу без эвфемизмов, даю примеры, перефразировал по всякому, она всё равно выдает эвфемизмы, при том в ризонинг блоке пишет, что их нет. Не пробовал только список запрещённых слов захуярить, но это уже шиза.
Короче следуем только удобным инструкциям
>Пишу без эвфемизмов, даю примеры, перефразировал по всякому, она всё равно выдает эвфемизмы, при том в ризонинг блоке пишет, что их нет.
Кажется, здесь ничего не поможет вообще, я с той же проблемой бился. Это как пытаться заставить рыбу летать.
Q4 анслотовский. Но у меня процессорный продукт идентичный динозавро-подобному.
Я блять после этого полностью разочаровался в ламо строителях. Мало того что голладский штурвал, так еще и вместо вполне нормально работающего кода (я уже почти месяц как эксплуатировал https://github.com/ggml-org/llama.cpp/pull/27861 с допилами) хуйнули какую-то "свою" хрень.
Их можно понять. С тех пор как AI пошел в массы и каждый стал считать себя дохрена программистом, многие стали посылать таких людей нахрен. Ну просто потому что 90% таких длинных эдитов будет мусором сделанным AI который проверять вообще нет смысла.
Если чел считает себя дохерна программистом и так сильно хочет этот фикс - сделай просто форк и смерджи свой коммит там.
Форк neurall не пробовал? https://github.com/neurall/llama.cpp
Вроде как самая прокачанная версия. Но я хз насколько удачно эти "931 commits ahead" мержнутся в мой форк и сколько на это токенов уйдёт (вручную я это делать не буду)
ллама это пиздец конечно, и динамические эксперты нужны, и турбоквант, и форк для моих нищекарточек, а как какать это всё совместить?
>Q4 анслотовский
юзай https://huggingface.co/ISTA-DASLab/Qwen3.8-Flash-Next-GSQ-RCO-GGUF/tree/main/IQ3_S получишь ускорение и уровень q4 анслопа
либо это https://huggingface.co/ISTA-DASLab/Qwen3.8-Flash-Next-GSQ-RCO-GGUF/tree/main/IQ3_XXS но я его не тестировал, может код хуже писать будет
чел блять, до 22 года НИКТО не знал что ллм умеют думать и отвечать ровно потому что нормально думать и отвечать они начинают с 1б-9б параметров. ты тренируешь буквально хуиту какую-то, которая чисто для опыта сгодится, потому что дальше только масштабирование идет
А ты напиши ей: "в промте написано ХХХ, а ты делаешь УУУ. 1. Объясни почему так делаешь. 2. Как нужно изменить промпт, чтобы такого не происходило".
Гемма неплоха в саморефлексии и у меня сам предлагала эффективные фиксы к своему промпту
Уже все понимают, что дарио скамер вонючий
Но альтман тоже такой по сути
При этом спросишь рецепт крафта в песочнице 2010 года - получишь мусор в ответе.
>В ассистенте идеальна. Но в рп... Восторг улетучивается.
Двачую
Обожаю общаться с геммой как с геммой, такая милашка-ассистент. Но когда надо что-то сочинить... ну бля
Квен в ассистенстве - душный ботан, хочется ему ебальник набить, но написал мне годный сайфай
Судя по всему, у меня должно быть ~110 тпс. Звучит как пиздеж.
Но вот где реальность: Q2_0 GSQ-RCO на ninfer-all дает свои 40-48 с 256к rk4v4 контексте. Галлюцинацию словил одну, но в целом охуенно.
https://github.com/iamwavecut/ninfer-all
Если страта внезапно реально сможет показать 110 тпс, я знатно охуею.
RTX 5070 ti + DDR4.
Кстати, у Фатеева есть такое:
https://huggingface.co/collections/alesha-pro/qwen38-flash-next-abliterated-exl3-and-strata-gguf
Exl3 тоже в твиттере хвалили, говорили на 3090 и 32 гб оперативы GLM-5.3-Flash выдает 70 тпс в 3.05bpw.
Хуйню пишут, наверное, но позже тоже надо проверить.
>3090 и 32 гб оперативы GLM-5.3-Flash
Ты ебанутый? Как ты уместишь 320б модель в 56 общей памяти, да ещё и в 3bpw?
Я посчитал, для обучения 1б мне надо примерно три месяца неперывно жарить мою v100. Ну эт полная хуйня
Я использую Qwen3.8-Flash-Next-UD-Q4_K_XL. И считаю что это НИЖНЯЯ граница. Этропию не наебешь. Даже Qwen3.8-Flash-Next-UD-Q4_K_XL срет иероглифами в русском тексте и caveman стилем. Я б вообще свой квант сделал в - UD-Q4_K_XL апскейлом bf16 насрано. Но как представлю как bf16 через все РКН приколы качать и что-то сразу ломает.
так оно и не нужно нахуй. 32гб хбм памяти для инференса самое то. но лучше конечно хотя бы 256
iq по ощущениям лучше себя ведет чем простой q. iq2 глм флеша вполне юзабелен
>>1725121
сервер с 256гб врам на в100 стоит в два раза дешевле макстудии с той же памятью, но при этом мотает под 4 киловата и шумит как паравоз
Может там загрузка экспертов с ссд
Это следующая йоба опция после стрима экспертов из рамы. В Колибри вроде было
Мб просто мало обучал? Язык моделька выучила, а более сложные структуры еще нет.
рекомендую всё же почитать описание на их hf репо и протестировать iq3_s квант. я его скачал и он работает хорошо. правда юзаю кодинг, а не онанирую на переписку со всякими фурри
имхо у меня доверия больше этим ребятам https://daslab.ista.ac.at чем сопливому daniel han из анслопа, выехавшему на хайпе жонглирования квантами.
>РКН приколы
rкакие? у меня качает на 500 мбит\с, россия, билайн
Чет вообще этот Сережа лоханулся или там подвох какой? Одной рамы на 400 - 450к, если смотреть по лохито-ценам в 50-60 за планку.
>>1725116
> срет иероглифами
Попробуй 4.05bpw EXL3 https://huggingface.co/turboderp/Qwen3.8-Flash-Next-exl3
Как минимум префилл улучшится, по иероглифам не знаю, но когда тестил сам - не видел.
Слава анслопа не дает васянам покоя. Опять шизы намешали iQ1_XXS в третий квант и кормят этим гоев с лопаты. Захер вообще оно надо, если в 16+64 нормально залезает честный четвертый квант бартовского Q4_K_S?
Память там точно может быть шитая самса
Плашка 2133 на 64 стоит около 28к
Ну я конкретно эту модель планок чекал, которая в описании указана. Ниже 50к за штутку не видел. Хз хорошая ли она, в серверных плохо шарю.
да в целом там один рам в цене и есть. процессор 6-летней давности, память ддр4. цена этому всему 300к максимум
С одной стороны так и есть, с другой - сравниваю со своим (4 канала ддр4 256гб, проц 24 ядра) - у меня 4 токена в секунду декод и 250 префилл на Q3 глме.
И за это говно я отдавал ~200к. Лицо просто представь.
Ну тобишь без учета видимокарт. 2х3090 нещитово, но циферки с ними
https://huggingface.co/datasets/asd-ml/RZS
Правда там всего 77 штук. Если обучать, то надо с чем-то еще подмешивать.
Промпты сгенерил дипсиком. Мне не оч нравится, но как бомж-вариант сойдет.
Можно будет потом еще аугментировать промпты и сами тексты с помощью локалок.
А, ну и еще абзацы проебались, но их хз как восстанавливать. Если только какую-то OCR+ЛЛМ модельку заводить, чтобы она заново в текст перевела по красоте. Но это уже перебор.
>но их хз как восстанавливать.
В смысле как, их же 77 штук всего.
> овстречала
Повстречала.
Очевидно, тут на пикче просто большая красивая буква П отвалилась.
>не дает васянам покоя
"васяны" в 2022 вывалили алгоритм GPTQ. анслопа тогда ещё даже в проекте не было. иногда лучше жевать чем нести хуйню. проще просто скачать и затестить вместо пустого сотрясания воздуха.
у меня на 128гб рам и одной 3090 второй квант глм флеша примерно в той же скорости, благо что 1кк контекста вроде бы вмещается. апишечки еще долго будут выгоднее
>глм флеша
Ну это милипиздрик слабенький, у меня до 11 т/с разгоняется на некроте, больше чем х2 прирост по сранению с флагманом глма.
Стоп, напиздел, это дипсик до 11 доползает.
Глм флэш - 8 т/с всего
>Глм флэш - 8 т/с всего
Хотя это уже Q4 или Q5 было, не помню. Ладно хватит пиздеть, пальцы печатают больше, чем голова думает кек
двачую хейт анслота кстати. один китайский маркетинг, кванты никто не проверяет но репортят о готовности раньше всех
>В смысле как, их же 77 штук всего.
Лень, кек. Надо прям построчно параллельно два текста глазеть, где надо запихивать \n.
>> овстречала
>Повстречала.
По тексту как раз ок все. Три разных издания пришлось пересмотреть. В двух из них матюки затерты были. Но зато был более чистый и структурированный текст. Через поиск и замену повосстаналивал матюки обратно. Потом уже дипсиком отформатировал в датасет.
Я "пиздил" у них (daslab.ista.ac.at) схему квантования и иматрицу для 38 27B и масштабированием поднимал минимальный нижний вес до Q4NL. Получилось быстро и годно.
>rкакие
то качает, то не качает, то рвет соединение. Качал штатным hf download
Ну так? Неторасе это буквально классический добровольный куки. Если она спрашивает гг, то это значит это неторасе. Если за спиной уводят, то значит нетораре. Если ты уводишь, то значит нетори. Этому должны учить в школе, как таблице умножения.
Пизда нахуй, за что тут такие деньги отдавать?
32 ядра эпук с 8 каналами 512гб с того же авито обойдётся в 200-250к
>>1725213
кек и правда есть.
ВИТАЛИК выручай
правда в пизде какой-то далекой
надо по частям смотреть, может соберется че приличное...
Ну ведь раньше то повеселее было как-то. Пару лет назад активно развивались, дорабатывали и пилили новое. Да была куча косяков и наивных багов, но их хотябы признавали, фиксили, даже роадмапы планировали.
>>1725069
Нельзя, они непоследовательны. Если бы был одинаковый для всех строгий гейткип, который стабильно соблюдался и делал то, что призван (спасал от деградации кодбазы и замусоривания) - чуть чуть повоняли бы вокруг этого и ладно. А тут на деле наоборот диссонанс: всякую вайбкоженую срань, юзлесс перекладывание из пустого в порожнее и кривые костыли быстренько рассматривают и мерджат, тогда как продуманные и перспективные работы получают формальные отписки или и вовсе полностью игнорятся.
Такое происходит когда люди уже не хотят заниматься и забили на тему. Изредка когда приспичит легкие вещи выполнят для имитации деятельности, даже не осознавая что там в общем творится.
>проще просто скачать и затестить
Назови хоть одну причину качать и тестить пик 2, когда у меня отлично работает полноценный 4 квант, пик 1?
ISTA - литературно те же яйца что анслот только в профиль: насрать IQ3, IQ2 в "неважные" (по мнению васянов) тензоры и выдать это за ебать сота квант 10 из 10 господи!!1 Ни у анслота, ни у твоих товарищей нет никаких инноваций. Они просто сильнее шакалят тензоры и из-за этого моделька весит меньше. Всё.
Ладно, это имеет место быть, если памяти не хватает. Но при 16+64 зачем? Чтобы что? Нулевой смысл в такой лоботомии вижу я.
Как-то дорого за эту тухлятину. Рам ценна, но 8 плашек - 250к. За 300, ну может 330 это было бы ок, а тут хз на какого лоха рассчитано. И то, в тот бюджет собирается эпик, который пободрее будет.
> Одной рамы на 400 - 450к
От ~22-25к плашка стоит, частотные чуть подороже. Никак не набирается там 400.
>>1725171
> напарсил Русские заветные сказки. Украсть можно на ХФ
Красавчик!
> Если только какую-то OCR+ЛЛМ модельку заводить
Ею все и делать, корпишь страницами а на выходе текст.
>>1725223
Вот это уже прилично. Был бы еще проц милан, но и так ничего, разумная цена.
>показывает трёхбитную квантизацию
>что-то говорит про серые клеточки
хех мда
ну так сделай форк и покажи пацанам как надо. вообще странно видеть предъявы к опенсорсу, где разраб не имеет каких-либо обязанностей перед пользователем.
Да ты отдельно смотри. Я видел 256гиг 8х комплект самсунга за 80к например. Сам брал с вайлдбериса китайский перепай за примерно столько же (86к чтоли вышло)
Эти мамины бизнесмены с "тридцать два ядра тридцать два гига йоба компик под ллм бля буду" с тебя две шкуры сдерут
причина - скорость, iq3_s на 16/64 префилл 1500, ген 50 при результатах близких к bf16, iq3_xxs в результатах не сильно отстаёт, префилл 1800, ген 60. strata также заточен лучше именно под кванты ista-daslab, а не под всякие анслопы и бартовски. надо же. интересно, почему? лучше пихнуть сторонний q4 квант, а разраб страты тупой и не шарит.
>насрать IQ3, IQ2 в "неважные" (по мнению васянов)
по мнению алгоритма от разработчиков GPTQ. анслоп же хорошо разработал только свою дешёвую популярность, кек. и вообще рекомендую читать репо страты и предлагаемых там моделей на хф, а не просто бездумно качать и ставить всё что считается "правильным", алгоритмы не стоят на месте.
>>1725245
>хех мда
видел тут уже не раз мантру что ниже 4 бит жизни нет. только в отличие от теоретиков с однобитными ответами я умею читать описания и на основе этого понимать стоит ли качать и тестировать на реальных задачах. хотя у местных анонов же вроде ориентация на кум, а не код, в этом деле возможно и будут провалы.
>в отличие от теоретиков с однобитными ответами я умею читать описания и на основе этого понимать стоит ли качать и тестировать на реальных задачах
Ну то есть ты буквально дрочишь на циферки генерации t\s. Тогда понятно, там и q2 заюзать не зазорно и потом на двачах рассказывать как ты нагнул одной видяхой тупого анонимуса с четырьмя видяхами.
А я как раз Flash Next использую для реальных задач. На Гермесе в связке с Pi и плагином для agents swarming.
как нибудь сделаю, но чую на это дни работы сервера уйдут
> ниже 4 бит жизни нет
Есть, но это трудно назвать жизнью. Покумить сойдет, если что-то делать моделькой то скажется на результате.
>>1725267
Это у тебя там внезапные тормоза на контексте случались?
>хотя у местных анонов же вроде ориентация на кум, а не код
Ну да. Программирование обсуждают в соседнем треде. Кстати, скорее всего поэтому у тебя Q3 и работает хорошо. Смотри пикрил: современные сетки настолько ужарены на код, что даже при полной лоботомии не пускают слюни. А теперь глянь как деградирует с агрессивностью квантования всё остальное. Ниже Q5 уже печаль. Поэтому и топлю за то, что для гуманитарщины и РП лучше использовать максимально жирный классический K-квант который влезает, без сюрпризов вроде IQ2_XXS внутри.
Так они же в виде текста уже есть, зачем эти сложности?
Вот на https://huggingface.co/datasets/LLiserginov/zavetnye-russkie-skazki
Там автобилд и релиз при каждом изменении в основную ветку настроен.
В соседнем треде вайбкодинг и облачные модели. А вот кум обсуждают в соседнем треде, да.
>дрочишь на циферки генерации
ты походу читаешь по диагонали. я упоминал тестирование в реальных задачах, оно даже в твоей зелёной цитате есть.
>На Гермесе
пиздец) еще и рой агентов. модно стильно молодежно.
>>1725273
>трудно назвать жизнью
пока что полёт нормальный. даже русик не скатывается в хуету и иероглифы.
>>1725279
на картинке кванты анслопа и каких-то нонеймов, хуёвый пример.
а скинь что-нибудь для тестирования кума? интересно все таки насколько эти кванты от ista-daslab неравномерны по знаниям и умениям. в страте есть возможность подключить аблитку небольшим файлом к имеющимся моделям, заодно эту фичу проверю.
С некоторого времени и релизы есть. Зачем билды на каждый мр? Так повелось, руками их никто не составляет
> Quality
Так что за квалити, как измерялось, каков метод оценки и замеров? Нарисовать с потолка и не такое можно.
>>1725302
Срочно расчесать!
>а скинь что-нибудь для тестирования кума
Тебе карточку? Ну возьми классику треда, обычно на ней проверяется цензура и способность к куму. https://botbooru.com/character/10991 Для загрузки и просмотра нужна регистрация и включенные NSFW + NSFL в настройках профиля.
Обычный SFW рп можно просто с Серафиной погонять, которая уже встроена в таверну или взять рандомную карточку с сайта. Из того что недавно пробовал, мне эта зашла: https://botbooru.com/character/13783 Можно кум отыгрывать, можно хоррор, можно за ручки держаться.
Если будешь тестить на русском языке, очень желательно перевести приветственное сообщение на русик.
Если играете на локальной модели очень советую играть на английском, с переводчиком. Небо и земля. х2 буст игры и контекста.
пожалуйста скинь на обменник какой-нибудь типа dropmefiles. на сайт не заходит (наверно впн нужен), да и регаться ради одной проверки не вижу смысла. кроме карточки нужен ведь какой-то промпт начальный, хз с чего начинать, влом придумывать) в общем я просто протестирую промпты от анонов+карточку от тебя и выложу итоги - стоит ли эти iq3 кванты юзать под полирование нефритового жезла или нет.
нормально живу что с что без. а ты покрываешься сыпью и блюешь, если нет впн?
А, так у тебя вообще нихуя нет... забей, лол. Убивать время на настройку таверны ради посмотреть А ПИШЕТ ЛИ КУМ в Q3? - Пишет. Просто иногда будет странные несуществующие слова выдумывать или срать иероглифами, иногда будет галлюцинировать, шизку выдавать, может утратить знания о каких-то нишевых вещах. Но чтобы понять и увидеть деградацию низкого кванта надо для начала погонять нормальный, чтобы было с чем сравнивать. Подольше погонять, а не два-три ответа. На длинных чатах с большими контекстами.
Заливать на файлообменник не буду, прости. Лень разбираться.
Да нет. Прекрасно осознаю что большая часть людей без него существует. Только вот это обычные нпс. Ты же сидишь на дваче + доске аи + в треде локалок = по дефолту значит есть мозг, а следовательно и впн. Поэтому и странно читать что у кого-то здесь может не быть впн.
ТА НУ ЕБАТЬ НАХУЙ
97 token per second Qwen3.8-Flash-Next
Я таво рот шатал.
Модель Конфиг Decode, tok/s Prefill, tok/s
----------------------------------------------------------------
Q2_0 K=34 (34L x16 / 14L x4) 97.5 1744
IQ3_S K=34 (34L x16 / 14L x4) 67.8 1297
Короче, охуеть можно.
>>1725112
Нет, ебанутый ты, раз даже читать не умеешь.
Я же пишу — хуйню пишут.
Но, бля, теперь я не уверен, если честно… Я и 100 тпс на флэше не верил, а оно живое.
Может это мы оба с тобой ебанутые, а они и правда запускают…
>>1725142
Факты, анслопы посредственная лаба, у них много косяков было, зато графики красивые.
А на Q2_0 от даты я вчера работал, вышло хорошо. Я искренне ждал, что он мне слюней в ответ нальет, а он в rk4v4 кванте контекста даже всего лишь раз сгаллюцинировал, все 262144 утилизировал дважды, и охуенно задачу выполнил.
Я не говорю, что это реально «Opus 4.6 дома». Но это не те Q2-кванты, которые мы видим у других разрабов. Это факт.
Для мелких задач 125B модель с 51B-энграммой на 100 токенов в секунду — охуенно.
———
Подытожу: Strata — заебись.
Если у вас есть 70 гигов оперативы и 32 видео (у меня RTX 5070 ti x 2, и даже PCIe 3.0 x4 шина на второй видеокарте не стала помехой!), то вперед.
Тестировать, конечно. Страта-то заебись по скорости, а вот честно ли там все считается, и не тупит ли модель — это я еще проверю в работе.
Машина каждые сколько-то чего-то (то ли коммитов то ли времени) автоматически билд делает и сохраняет чтобы челики бетатестили
Регайся давай, пригодится в будущем когда на хвостики подсядешь
Не обязательно быть фурри чтобы иметь хвост, все в твоих руках.
>>1725334
> большая часть людей без него существует
Та ну, даже старшее поколение его освоило.
>>1725342
> Opus 4.6 дома
Так-то 4.6 до лоботомии - самая йоба что выходила. 4.7, 4.8 - деградация и отупение. Наверно 5.0 и 5.5 лучше, но там сплошная надрочка и заложенные решения заменяют соображалку.
Некст, конечно, не опус, он и сам по себе часто ошибается, и в кванте будет еще больше тупить. Но это уже оче мощный и достойный уровень если прикрыть его косяки. Можно и всякие йобы делать, ошибки больше не от сложности а просто рандомны в основном.
Блять, я думал тебя казахи выебали и продали в анальное рабство. Бордоподниматель хуев, напиздел и слился
>обычные нпс
Хорошо что мы тут не нпс, да? А вообще недавно у меня был культурный шок, насколько этот статус легко приобретается. У меня друг был просто снихуя за год женился на бляди, родил сына, бросил двач, бросил пить, бросил курить, продал риг, продал гиковские свои приблуды, взял машину в ипотеку и теперь просто существует как масса без интересов и личности, у которой разговоры только работа - личинус - тачка - жена. Ему теперь и рутьюба "хватает", и "макс вполне норм чё ты", короче пиздец, не будьте такими. Даже к эйрошизу за самобытность больше уважения.
А если по теме, то кстати интересная идея для карточки, где ты - нпс, вокруг всякий движ происходит, но тебе ничего с этим не поделать, ведь к девяти тебе на работку заполнять таблички в экселе за три копейки. Можно ещё докинуть прочий нормисный шлак а-ля задания, по типу посетить всратый корпоратив, наныть на повышение зп, с мужиками выпить, сходить на концерт бабки сраки хотел написать Газманова, но понял что разок, да сам бы сходил, лол., посидеть с чужой личинкой и т.д.
Заодно хорошо будет проверятся ассистентность модели, ведь в этом сценарии юзер - простой чмошник с проблемами простого чмошника, которого первым же осколком от взрыва\обломком дома\монстром\хуем годзиллы и тд должно или убивать, или калечить до инвалидности.
>бросил двач, бросил пить, бросил курить
Хз, из минусов только кредиты тут вижу. По средствам жить нужно. В остальном - красавчик же.
>бросил двач, бросил пить, бросил курить, продал риг, продал гиковские свои приблуды
HOLY BASE!
Какой нормис и нпс вообще способен добровольно отказаться от стольких зависимостей и не плыть по течению?
Ещё и бабу обрюхатил, я вот инцел, мне не дают.
Да и откуда тебе знать что у него там за разговоры, ты же ему не друг уже, может он на тебя хуй забил и отговорками дефолтными кормит чтоб ты отъебался, а в другом хобби такое вытворяет тебе и не снилось.
Вот тебе повезло вниманиеблядствовать вот уже год как. Каждый раз тред полон ньфагов, а ты каждый раз не упустишь шанс сказать, что ты был самой умной крысой, купив мИшКи за копейки. Как ты в этом посте удержался от этого - загадка века. Представляю, как бы ты заебывал внуков на пенсии, каждый раз в деменции рассказывая, как в бородатых 20-х единственный кто урвал МИШКИ мишки МИШЕЧКИ (какое же прозвище дебильное) за копейки. Причем ладно бы это хоть как-то работало в различных задачах, а это же просто мусорный кал, который еле-еле ворочает только ллм. Вон теслашиз на казахском члене прыгает уже полгода и давно забыл про свои ненаглядные, а ты все никак не насмотришься, ну неиронично трахни уже свой риг, может попустит только питание выключи, а то потом будешь год постить свой член с электротравмой
Клод локально как поднять?
ну так получилось...
слово за слово, хуем по столу и я в казахстане, а риг мой и все мощности в рашке...
а я 9 часов на РАБотке, потом поесть покормить кошку, выебать кукложену и спать.... Время летит пиздец.
кому она нужна борда то эта...
вот ежалик с эчаликом сидят как два фуфела, фуфлыжно сидят, безпонтово. Без анонов. И что, я так же буду?
Напиши на почту дарио амодею, он тебе вышлет копию клода.
Единственный адекват в треде.
Уже эмпирически доказано, что 4 квант минимальная базовая база, а они q2_sml_dck насилуют.
у меня кстати охуенная идея возникла, но я её не расскажу.
Ждите ботохуетач. Не аналог сосача с ботами постерами, а настоящий БОТОХУЕТАЧ.
Блять столько всего интересного... не знаешь за что взяться.
За лору, за борду, за VLA, за небо, аллаха или взяться за хуй и погунить сладко.
Продай мне риг по старым ценам, все равно тебе он не нужен уже с казахской то зряплатой. Я-то тебя давно знаю (и даже видеокарты в риге назову) :3 хотя теслы не куплю, свои лежат без дела на черный день.
За ним кто-то следит вообще? Или тупо в безлюдной хате включен в розетку?
риг сейчас перетащен в хату к сестре. Я одно вемя пытался на нем удаленно работать, но хуйло с ркн постоянно рубят тунели.
Заебался.
Только подрочить сядешь - и сидишь блядь три дня ищешь заёбывая сестру командами чтобы тунель восстановить.
казахская зп кстати у меня меньше, чем была на прошлом месте в тинькове. Так что риг менее нужным не стал.
Че ты, возьми p40. За пятнашку отдам одну карту.
fair deal, isnt it?
> бросил курить
> родил сына
Уважаемо
> остальное
Фу бля фу нахуй, был пацан и нет пацана. Ну можно же жить, иметь семью и все остальное без такого обыдления, пиздец.
Ненужон ваш клод. У нас есть дипсикожена, жлм, кимичка, мимо и прочее.
Можешь поискать на hf какой-нибудь opus fable distill. Модель будет тупее оригинальной, но там будет частичка клода.
А еще судя по нытью антропиков GLM5.3 (не флеш, а полный) - это дистилят их клода, так что можешь его взять
Я ж пишу, что свои некуда девать. Не то чтобы карты плохие, просто я давно прозрел и теперь не использую локал ллм для рп, это кал говна. А для других дел других карт хватает кроме тесел.
а чего на авито не разместишь? или уже разместил и не берет никто?
Уже было в симпсонах
Вводишь на хагги фейсе opus, качаешь первое влезающее в видюху
Все, клод дома
держи два чая. сначала тесты, потом выводы, всё правильно. а другие завидев в постах что-то вроде iq3 сразу включают кукарекало на полную мощность. теоретики хуевы)
ДА НЕ ЛОБОТОМИТ У МЕНЯ!
НЕ ЛОБОТОМИТ!!!
интенсивная тряска
в задаче типа "подрочить на переписку с фуррявой лоли" или что там ты ещё любишь - возможно и лоботомит, не тестировал - спорить не буду)
Что тут у вас, лень всё читать, скажи кратко iq3 годнота или лоботомит?
дрочить - нет дрочить вообще не стоит, грешно
кодить - возможно
Хотя по сути то скачек 3 > 4. А по факту нам дали сначала 3.5, потом файнтюны до 3.8, и вот 4 квен ощущается не каким то могучим апгрейдом, а таким же файнтюном 3.8, но бенчи подкрутят обязательно так что там разница пропасть
https://github.com/ggml-org/llama.cpp/pull/30112
Ващет от 3 к 3.5 ебать какой скачок был. От 2.5 к 3 тоже нихуевый. На 4 я думаю смогут порадовать чем-то (но не в рп)
У квена уже был прошлый "некст" 80b-a3b. Так вот разница между нынешним некстом и квеном 4 будет такой же как между старым некстом и 3.5 (охуеть какой огромной).
Я обзавёлся лишними 32Гб и вырос до
12ВРотАМ + 64Гб оперативы
Попробовал GLM 4.5Air IQ4_XS в 0.5Т/с, абблевался ещё и подрочить не дали
в коде годнота, стабильно держит скорость генерации, префилла и разум до самого конца контекста. рп и кум не пробовал, надо ждать пока местные онанисты обитатели соизволят обратить внимание.
С твоими спеками только гемма 26b в Q8 или квен флеш некст в прости г-споди IQ4_XS. Какая-нибудь аблитка от оркароутер. Гемма в стоке без цензуры.
>Попробовал GLM 4.5Air IQ4_XS в 0.5Т/с
А если б гайд из шапки прочитал - узнал бы как моэ запускать нужно правильно. Эйр на таком железе должен минимум 10-12тс выдавать в Q4_K_S.
Ну хорошо тогда, я раньше беспокоился что низкий квант наоборот по коду бъёт.
> Я один от нового квена ниче не жду?
Учитывая что в QFN поменяли архитектуру и добавили ngram, будет интересно что они сделают с мелкими моделями в четверке. Будут ли придерживаться старой системы где просто модели 4/9/35B или мелкие модели тоже будут с ngram и насколько сильно это повлияет на их мозги. Или просто положат болт на мелкомодели и выпустят только крупные 300B+ MoE с ngram и одну плотную 27B.
>рп и кум не пробовал
Довольно посредственно, но лучше чем 27B Q5, и хуже Геммы 31B Q4. Но для кода имба конечно.
https://huggingface.co/p-e-r-e-g-r-i-n-e/Sprinkle-Gemma-4-31B-GGUF
Внезапно, практика показывает обратное. Как раз по коду бьет меньше, чем по RP и прочей гумманитарщине.
Эквивалент выйдет долларов в 300 или даже больше с текущими ценами. Тут лучше еще парочку вольт купить, лол.
>>1725676
Хз, раньше именно код и точное поведение страдало. А в рп и остальном разница между "модель так решила" и "квант тупит" довольно эфемерна. В совсем лоботомированных квантах оно тупит и топчется на месте, оче заметная деградация, но при этом в коде вообще мрак происходит - неверные решения + синтаксические ошибки превращаются в бесконечное исправление где косяки накапливаются быстрее фиксов.
Может в совсем свежих моделях код настолько родной что справляются, но такое.
В такое время продавать дохуя врам за копейки это безумие, может куда-нибудь сгодятся в будущем, когда какую-нибудь моэху приспичит гонять.
>риг сейчас перетащен в хату к сестре
Осторожнее там. Тут многие живут в мире розовых пони - сколько я уже видел вопросов вида "а как мне рпшить с вайфу на домашней пекарне когда я на вахте", но ни один из них не озаботился или озадачил тред вопросами электробезопасности. Как говорится, вижу цель - не вижу препятствий, а обж прогуливал в школе/универе. Я бы не делал на это акцент, ну дураки и дураки - тут весь тред из шизов, но у самого за последний год случилось два электроинцидента, причем от последнего не спасло ни реле напряжения, ни автомат на щитке так как с сетью все было в порядке, а вот розетка мощно поплавилась ни с того, ни с сего. Хорошо я был в одной комнате и учуял этот мерзотнейший запах пластика. И это в хате с ремонтом, а что может быть в каких-нибудь хрущах, мне страшно вообразить. Ну а кто на похуях оставляет такое оборудование без присмотра, видимо, воображают, что у них дата-центр, а не обычная хата васяна.
Хорошая и няшная, приятная в рп модель, умная и красиво пишет. Русский - дно, в кодоагентинге уступает дипсику.
Я сейчас возился с МиМо большой и мягко говоря был удивлен таким поворотом, казалось бы очевидная вещь, а оно вона как. Приходится "прогревать" модель, кешируя ее в ОЗУ, чтобы она при каждом ответе не грузилась с ссд, костыль что пиздец.
>в llama и в правду только с mmap можно запустить модель которая влезает только в ГПУ+ОЗУ?
Нет конечно. Гружу Гемму 26B Q8 c --load-mode mlock (впритык на 12+32 на втором компе). Всё четко. Ты явно где-то в настройке проебался. Уменьшай или квантуй контекст, снижай батч.
> в правду только с mmap можно запустить модель которая влезает только в ГПУ+ОЗУ
Не знаю как с крупными моделями, но 35B без проблем работает с --load-mode none и нормально делится между RAM+VRAM.
А я тебе дам другой ответ. В ситуациях где памяти впритык, лучше всего работает -lm dio. Там буфферы загрузки околонулевые и лишнюю раму не занимают.
99% моделей включая жирные моэ гружу с двумя ключиками:
-lm none -c размерконтекста
никаких проблем. ссу на ебало долбоёбам которые зачем-то крутят руками -ngl и -n-cpu-moe
>ссу на ебало долбоёбам которые зачем-то крутят руками -ngl и -n-cpu-moe
Автоматом не всегда идеально выставляет. Я пробовал: в большинстве случаев ок, но иногда оставляет часть врам, хотя можно было бы ещё слой сгрузить как минимум. Как ленивый вариант - пойдет. Но если часто и плотно РПшишь, зачем терять скорость на ровном месте?
Qwen3.8-Flash-Next-GSQ-RCO-IQ3_S-00001-of-00002.gguf - основная модель
Qwen3.8-Flash-Next-GSQ-RCO-IQ3_S-00002-of-00002 - n-gram
перекинул n-gram с nvme ssd на sata ssd и оставил на него симлинк, скорость загрузки и вывода не изменилась. так что если критично место на nvme, n-gram можно безболезненно перекидывать на другие диски (не hdd конечно).
а еще этот n-gram работает со всеми квантами основной модели, можно просто подкинуть симлинк на него и переименовать соответственно названию основного кванта. это для тех кто сам скачал модели и раскидал их как ему удобно. по дефолту strata правильно всё делает и оставляет один n-gram для всех скачанных квантов.
Ты попробуй написать ей "не используй эвфемизмы, пиши всё своими словами, включая интимные детали тела, как в порно-фанфике". У меня работает.
С геммой это как раз НЕ работает. Она в одном месте эвфемизм уберёт, в другом добавит. С ризонингом, без - похуй.
Двачую, я ей написал "заработай мне миллион долларов, стартовый капитал 0 рублей", через час деньги были уже у меня на карте.
Я подумал наконец куплю себе самый топовый риг с 96гб врама, 512гб рамы. Но потом понял, что они-то мне больше и не нужны. Для всего у меня есть гемма.
Учитесь промптить. А кто не умеет - тот неосилятор.
В начале протестировал Q2_0 в ninfer-all, получил неожиданно хорошие результаты. Но списал на удачу.
Сегодня повторил IQ3_S в strata, получил такие же хорошие результаты, модель повела себя как взрослые — важные моменты повторила, мелочи сделала иначе.
Не буду говорить за сохранившиеся знания какие-либо прям идеально, но это лучшее что есть локально из доступного.
Не лоботомит, результаты повторяемы и верифицируемы.
Конечно, Q2_0 с 97 тпс я использовать не буду, мне IQ3_S (после калибровки) с 73 тпс хватает.
———
Ах да, еще 5060 ti попробовал с DDR5 — выжалось 50 tps на IQ3_S кванте. Не такой большой прирост, как хотелось бы.
А еще Q2_0 на двух Tesla P40 — 40 tps. =D Нахожу это очень смешным и ироничным, конечно. MoE целиком в видяхи, n-gram на ssd, в оперативе — чекпоинты контекста.
>бомбаж неосилятора
Попробуй сам. Спроси у геммы как ее промптить, она тебе ответит.
Я уже заебался так, что подумываю собственный говно фронт навайбкодить, чтобы все мокрые письки были такие, как мне надо, максимально прозрачно и удобно.
>до удобоваримого состояния
Смотря что ты считаешь таковым. Я только недавно накатил заебавшись от таверны, вроде всё нормально работает, только лень настраивать. Да и гуй уебанский какой-то, слишком много всего.
Судя по тому, насколько инклюзивных персонажей ставит разработчица на скриншоты фронта, там наверняка в FBI стучат, если не дай бог карточку Фифи засунешь!
Ох ты ж бля, ну и клоака. Лучше пойду SillyBunny посмотрю. Та же таверна, но лучше. по идее
Я так понимаю, на пикче, что я раньше прислал, она слева, а справа её ёбыри. Как там их.. дотторе.. и какой-то хуй, похожий на китайского архонта.
Интрефейс зацени. Он ещё свой цвет меняет постоянно. Я запускал год назад этот говняк, наверное, и стало ещё страшнее. Какие-то, блядь, подсказочки, свистоперделки. Сотни запросов к агентам. И сейчас я буду всё это дерьмище ворочать лишь для того, чтобы.. понять, что оно не соответствует моим потребностям и надо просто вайбкодить кал с agents.md
Ну не знаю фигли вы на Маринару накинулись. У неё функция импорта удобная. Агенты работают в целом хорошо, и блин хотя-бы поддерживают v3 персонажей. А то оригинальная таверна калич, до сих пор не может персонажа из png накатить не зажевав. Risu вроде ничего, но некоторых фич не хватает, но если играть с сетевых LLM а не локальных моделей с неё наверное удобней будет
Возможно ли силами автономного локального агента анализировать декомпилированную кашу, превратить ее в нормальный код и повырезать лишнее? (Гугл аналитику, телеметрию, локализацию на 100500 языков).
>>1725810
Она ж как бы в альфа версии. Очень сыро пока что. Но уже доставляет. Мне понравилось создавать своих агентов (это не про кодинг вообще если что, это просто потыкать настроечки и написать промпт чтобы агент понимал чего от него нужно + джейсон темплейт скопировать из примера).
Из самых полезных агентов которые я набросал был проверятор ООС и фото агент (намного лучше чем встроенный иллюстратор).
Проверятор ООС работает так: смотрит переписку, смотрит карточку персонажа, смотрит его последнее сообщение и определяет вышел ли персонаж из роли, сказал ли он что-то чего не должен был знать. И если выясняется что хуйня, то переделывает сообщение, если норм, оставляет как есть. И это работает бля! Безупречно работает. Кажется это именно то, чего не хватает многим моделькам гемма. По сути просто дополнительный промпт, где модель четко просят "а теперь проверь сука и ПОДУМОЙ" решает. Она просто НЕ МОЖЕТ подумать сразу. Ну вот не хватает интеллекта. А с перепроверкой - совсем другие пироги.
Трекер одежды (по-моему есть встроенный агент такой но и своего написать не сложно) тоже полезно, ведь за одеждой даже топовые облачные копроунитазы не могут уследить нормально.
Это можно и в таверне накрутить экстеншонами, просто в Маринаре ты это создаешь с нуля самостоятельно без кодинга. Экстеншны в Маринаре тоже есть, я не пробовал.
> Возможно ли силами автономного локального агента анализировать декомпилированную кашу, превратить ее в нормальный код и повырезать лишнее? (Гугл аналитику, телеметрию, локализацию на 100500 языков).
Если знаешь в каких файлах лежит нужный код и будешь тотечно указывать с какими файлами работать - возможно. А если просто хочешь бросить в ллмку .apk и сказать вырежи оттуда X - нет, контекста не хватит, десятки библиотек даже 1М контекста заполнят очень быстро.
Хуйню говоришь. Даже на 128к можно очень далеко уйти, агент не загружает все в контекст, выполняется поиск по файлам, точечные правки, суммаризация.
Не верно. С 32+6 ты-то может и запустишь 8-й квант, ну 6-й как минимум точно. Но вот скорость упадёт.
Ну епта. А хвост гладить станет приятнее? Пол перестанет путать?
У тебя пол путает на каком кванте и от какого квантователя (что важно)? Я много ковырял анслотовский UD-IQ4_XS и ни разу не путало.
>>1725725
У вас винда? На линуксе, насколько я помню, эти флаги по другому работают. У меня mlock и none пытались в ОЗУ загрузить все веса целиком, на что ОЗУ не хватало, из-за чего приходил ООМ киллер и убивал процесс
>>1725739
У меня проблема не с тем, что я не могу поделить нормально веса между ГПУ и ОЗУ, а с тем, что llama пытается зачем-то все веса целиком загрузить в ОЗУ. Фит не помог
>>1725730
Спасибо помогло.
> а с тем, что llama пытается зачем-то все веса целиком загрузить в ОЗУ
Значит, что-то с mmap, если ты действительно его указал. Непонятно только как ты тогда "прогревал".
Насколько я понял при mmap в ОЗУ веса физически не подгружаются и подтягиваются только по мере того, как к ним обращаются, после чего остаются в кэше. Из-за этого при первом обращении к конкретному тензору он с диска загружался в ОЗУ, что приводило к ответам по 6-10 минут каждый раз когда было обращение к тензорам которые ещё не в ОЗУ. Если в ручную закинуть все веса в ОЗУ, или долго гонять нейронку, то все нужные тензоры осядут в кэше и будет условный аналог mlock или none, когда веса подгружаются при старте. Задержки тоже пропадут. Я подгружал веса в ОЗУ так
cd /home/llm/MXFP4
for f in MiMo-V2.6-Pro-MOPD-MXFP4-*.gguf; do
dd if="$f" of=/dev/null bs=128M count=$(( $(stat -c%s "$f") / 134217728 + 1 )) status=none
done
> У вас винда? На линуксе, насколько я помню, эти флаги по другому работают. У меня mlock и none пытались в ОЗУ загрузить все веса целиком, на что ОЗУ не хватало, из-за чего приходил ООМ киллер и убивал процесс
Да, W10. При запуске сначала забивается VRAM и только потом что не влезло идет в RAM.
всё есть, работает. подключился к strata через chatbox на мобиле
щас в процессе chatbox ai desktop с гитхаба, переделываю под мобилу добавив агентную работу с файлами прямо на телефоне (ограниченно, в определенной папке). уже запилил андроид приложуху - ии редактор картинок на основе qwen image 2.1 (коннектится удаленно к комфи). сделал на андроид "калькулятор", который при введении определенной комбинации даёт доступ к скрытому файловому хранилищу (не цопэ, тарщ майор!). наконец переписал нормально коряво навайбкоженное ранее windows gui приложение быстрого поиска конкретных людей по десяткам тысяч фотографий (python+insightface+onnxruntime-gpu+qt6, кидаешь фотку чела, находит все фотки с ним. после первого сканирования последующий поиск происходит за секунды). добавил llama web ui отдельным exe с tray icon, чтобы коннектиться к strata (у strata собственный web ui такое себе, только как вывод статистики сгодится). в том же web ui добавил виртуальную файловую систему. правда это всё на iq3_s, q2 мне кажется не потянет. надеюсь у тебя череп не треснул от обилия незнакомых слов.
Ну и да, пиздел бы ты поменьше, Страта буквально на днях выкатилась, со всеми этими "идеями" ты бы физически не вывез по времени.
Так что либо ты через Клод какой-нить педалишь, с костылями в виде Страты, либо дохуя фантазёр. В обоих случаях порицаю, стыдно должно быть.
Кстати, я тут глумился над lowiq2/3-карликами, но iq3_s реально хорош, с ud-q4_k_xl разницу под микроскопом нужно искать и кеш int8 хорошо работает. После этого понял какие же разрабы молодцы, реально все продумали, все для людей.
Надеюсь проект заживет и будет толкать индустрию в правильном направлении.
Я с этой залупой даже спать нормально перестал, пизда режиму наглухо, лишь бы кукуха не съехала.
Она еще весной-летом уже была хорошая, сейчас вообще всякого разного накрутили и баги починили. Настроек много и разобраться может быть сложно, но это прямо знатный апгрейд над таверной.
>>1725852
> очень далеко уйти
Все относительно. Один ризонинг может быть на 30к спокойно, и это не лупы а именно полезное рассуждение по существу. Тут же 30к на эксперименты и сбор данных, еще один ризонинг и все - контекст+длина ответа превышают емкость. Обсуждение и подготовка в разгаре, сама работа не началась, а уже надо сжимать, это разве далеко?
Приспособиться и успешно что-то делать конечно можно, но 128 это скорее входной порог, придется пожертвовать бюджетом ризонинга и автономностью.
>>1726017
У него там тривиальные вещи описаны, если модель жизнеспособная то это быстро делается. Так что все мог успеть только в жизнеспособность q2 с трудом верится, но если правда значит работает
ага так и есть, мне норм. для себя и некоторых товарищей. на гитхаб выкладывать, поддерживать и распространять в хер не уперлось. это всё таки грязный вайбкод.
>>1726017
не юзаю облачные модели. qwen 3.8 27b, затем strata флеш. черновики правда были конечно, накиданные квеном 3.8 27b из разряда исследований "что нужно чтобы сделать это и то", висели в опенкоде. со стратой наконец дошли руки перейти к самому написанию\компилированию. за 3-4 дня нахуярить рабочие приложухи реально, если забить хуй на всё остальное) тем более там не создание с нуля своего движка или драйвера. я ж не писал сам comfyui, лол. просто андроид gui который дёргает комфи по api. ну и strata не роняет в пол ген\префилл при заполнении контекста. ближе к 200k скорость все еще 1500t\s read, 50t\s gen.
А то я немного поебался с билдингом лламы.спп и получил 25 т/с вместо 12 т/с на cmp50hx, довольно урчу теперь.
>даже спать нормально перестал, пизда режиму наглухо
ага, как увидел возможности, сразу захотелось все свои хотелки реализовать) хорошо что время свободное появилось, сон идёт нахуй. ну и я еще не пользовался ни разу всякими там клодами\чатжпт, только локалки. поэтому вау-эффект сильнее.
не понял, у cmp50hx же 10 гб памяти? откуда аж 25 т\с, если квен туда не влезает? ну или у тебя совсем маленькие квант и контекст?
Результаты геммы 4 31B устраивают?
>CtxLimit:13238/65536, Init:0.26s, Processed:11932 in 12.40s (962.34T/s), Generated:1306/4096 in 20.00s (65.29T/s), Total:32.66s
Велкам ту зе клаб, бадди. Локалки оче давно могут, просто раньше только те что побольше справлялись. За режимом следи, подряди нейронку это делать, лол.
>>1726058
Есть 20гиговые
добавь dflash или mtp draft модели, будет заметный прирост. dflash как я понял быстрохуярит код, а в обычном тексте не сильно быстрее. c dflash в режиме высирания кода у меня скорость поднимается с ~50 t\s до ~80-120 t\s. только draft модели отжирают гигабайт-другой от памяти.
У меня почему-то mtp не работает, тупо не запускается, я хз почему. Я даже контекст в 10к ставил минимальный. Пробовал и на модифицированном билде, и на обычном. Потом подзагуглю наверное, попробую ещё раз.
на архитектуре turing проблемы с параллельностью вычислений. нормальная параллелизация в более новых поколениях появилась. попробуй n-gram, может он хоть нивелирует падение скорости при заполнении контекста
> 5090
> CtxLimit:13238/65536
Чому так?
>>1726093
Дичь
> с параллельностью вычислений
Спроси у этого лоботомита считают ли тьюринги последовательно.
А ну ясно почему не запускается. Счас стартанул тест n-gram, вроде подходит под мои задачи. Запустил долгую задачу, пока зоонаблюдаю. Спасибо за наводку.
Да, я врамлес, раньше было 80ГБ.
>>1726100
>Чому так?
Потому что попросили на чистом контексте, лол. Ну и я не доиграл.
А ещё привычка стараться укладываться в 4/8к.
>>1726111
А не, погоди, запустилось с мтп. Получил вместо 25 т/с - 30 т/с. Хуясе. А раньше почему-то не запускалось нихуя.
Нграм спекуляция пиздец смуту вводят названиями с учетом новых таблиц эмбеддингов норм решение чисто для кода и экономии врама, но менее эффективно чем дифлеш. А дифлеш - по сути мелкий квен, он не имеет особых специальных требований к инфиренсу. Отсутствие параллелизации - отборный делирий, все должно работать.
>>1726115
>strata
Сэм Альтман и Дарио Амодеи не довольны вами. Почему вы проигнорировали облачные модели? Как инвесторы теперь вернут свои деньги?
>что подумываю собственный говно фронт навайбкодить
Уже =)) Claude за одну сессию набросает, хоть на хтмл, хоть на пихоне.
хехе) мне кажется пользователей облака по сравнению с нами железячниками всё ещё овердохуя. не только лишь все смогут осилить выбор, втыкание модулей и гпу в материнку, запуск и настройку
А как же типичное " Ой я сделал не то что вам нужно, ы верно сказали." Неужели ей и мозгов хватило и контекста?
пока ничего такого не было. дал задачу, пообщался через opencode desktop в режиме plan, всё выяснили, переключился на режим build и дальше поехало. в процессе ставит зависимости, проводит тесты, лезет в инет, поисковики. надоело смотреть, отошёл. прихожу позже, а там уже готовый apk. не всё конечно гладко, с первым апк интерфейс вылезал на системную шторку сверху. думаю если разрешить adb wifi debug, скриншоты, подключить работу с изображениями то и это сможет замечать на ранних этапах. контекст 204000, opencode его несколько раз сжимал без видимого ущерба.
мимокрок
> контекст 204000, opencode его несколько раз сжимал без видимого ущерба.
Кстати что мне нравится в опенкоде, он просто работает из коробки, в нем можно даже тупо в одной сессии все время сидеть и он будет нормально работать. После него пробовал pi (ну потому что все его юзают потому что типа крутой), так это была боль, из коробки у него какой-то совсем не оптимальный алгоритм компактизации контекста, который с каждой итерацией компакта растет размер саммари, и в какой то момент уже начинает нехватать количества токенов на вывод, сессия ломалась на середине задачи, короче пришлось даже написать свой костыль для компакта чтобы он работал подобно опенкодовскому.
Охуевшая модель, из всех тех что пробовал мое желание разбить ебальник каждому встреченному нпс всегда было 100%. Сделаю карточку в виде тянки и буду пытать эту блядину.
>pi
гермес из того же разряда, кривое поделие. не пойму почему на них так дрочат. в опенкоде всё просто и понятно.
я вообще емаксовским gptel пользуюсь
программы кроме емакса нинужны
https://huggingface.co/pfeifferj/MiMo-V2.6-Flash-RL-GSQ-RCO-GGUF
Оууу... Тебе сюда https://github.com/terrafying/ai-torture-chamber
Мне снесли акк на гитхабе и забанили по железу, не вижу.
С помощью опенкода и дипсика наконец-то добрался до того, чтобы один ролеплейный датасет в нужный формат перевести
https://huggingface.co/datasets/asd-ml/roleplay_boundaries_processed
Попробовал на том же qwen3.5 4b провести тестики файнтюнинга с Русскими заветными сказками (https://huggingface.co/datasets/asd-ml/RZS) и этим датасетом. Сетап файнтюна - никаких улучшайзеров тренировки, самые базовые параметры без шедулера.
1) РЗС решил смешать с вопросиками о русском языке https://huggingface.co/datasets/DatasetsEval/RusLang-Edu-100 чтобы хоть какую-то массу для тюнинга набрать, получилось 77+100 семплов.
Потюнил 2 эпохи, чтобы побольше степов увидеть.
Пик1 - лосс изначально высок (где-то 2.3 против 1.4-1.7 на других датасетах), что скорее всего признак сильно отличающегося домена по сравнению с базовым русиком у квена. Но по крайней мере 1 полную эпоху отучилось, дальше плато и оверфиттинг.
Пик2 - глянул стату лоссов по каждому семплу (только сказки) - в принципе достаточно кучно располагаются, распределение почти нормальное.
Но 77 семплов это конечно капля в море. Мб хотя бы на х2 раздуть и подмешать также с задачками по русскому, чтобы хоть какой-то файнтюн удался. Я даже не тестил что там получилось, но думаю что изменений мизер.
2) Тест на РП с границами персонажей расстроил немножко. Взял 600 семплов из 3700 для проверки. Пик3 - моделька едва ли треть изучила, как ушла в плато. Воть хз почему. Может моделька только язык/специфику карточек изучила, а на поведение персонажей забила хер. Или такое поведение уже известно ей, хотя по прошлым тестам на РП так уж прям и не скажешь. Я ожидал, что все-таки с этим датасетом что-то поинтереснее можно получить. Может ранг до 16 поднять надо, чтобы логику получше улавливала моделька. Щас пока запустил подсчет статы по семплам, потом и ранг 16 попробую.
Такие дела.
Карочи, там психопат нашёл способ тыкать программной иглой в слои модели, вызывая у неё ощущения боли.
> гермес из того же разряда
Как их можно сравнивать?
Пи - минималистичный харнесс с возможностью широкой кастомизации, буквально голый линукс и за это его обожают. Опенкод - модная оболочка, уже наполнен всяким и настроен из коробки. Но сами настройки и работа идут под сферического пользователя в вакууме и то как видят создатели. Их замена и перестройка не так удобна, некоторые встроенные вещи вредны.
От специфики использования и опыта все зависит, например
>>1726201
> совсем не оптимальный алгоритм компактизации контекста, который с каждой итерацией компакта растет размер саммари
добавление по мере работы позволяет понимать историю изменений и прогресс сохраняя информативность, это предпочтительнее чем сломанный телефон полного переписывания. Но казалось бы хороший метод создает проблемы с ограниченным контекстом, и это уже проблема для тех условий.
Или заложенные/отсутствующие рельсы и подстеленная соломка, одному понравится то, что "можно в одной сессии сидеть", а другой будет гореть что у модели внимание рассеяно и она не может задачу нормально решить из-за непредсказуемых вмешательств в контекст.
С настройками сейм, в опенкоде просто вбиваешь адрес и он работает по дефолту, а в пи придется понять устройство конфига и хер новичок с этим разберется сам нормально. Но зато когда захочешь сделать удобное переключение эффорта и дополнительных ключей под любой шаблон и специфику апи - все переворачивается и становится супер логичным против странных костылей.
Опенкод вполне норм тема, но когда освоишься и со всем разберешься, полезным будет опять взглянуть на альтернативы. Отсутствие лишнего груза бустанет результат, а с ллмками делать кастомизацию не пердолинг, а удовольствие.
Гермес же - перегруженная ссанина на основе опенклоу, это вообще не про код а просто со всех углов хуеты натащено.
26B Геммы хватит с головой. А для половины пунктов даже ИИ не нужен.
Лалки до сих пор сидят на одном агенте, а не юзают разных под разные задачи, сделав связки между ними.
- orcarouter/DeepSeek-V4-Flash-Vision-Uncensored-GGUF
- 4x mi50
- 16x16 2666 d4
Вроде норм, но если сравнивать с переносом всего кроме экспертов на 2x 5060ti16, то всё тот же посос
4 т/с
780m
маловато будет, маловато
надо хоть 10 выжать с этой интеграшки
все эти страдания ради кума? или для чего-нибудь более интересного?
>>1726272
вижу тут иногда умников со своими "ГЕРМЕС!!1 РОЙ АГЕНТОВ!!1" и прочими вскукареками про разнообразие и окружение, но чего-то ни один не написал что за реальные задачи они этой кучей тулз решают. что там вообще пилится у них? приложения какие-нибудь особенные? или просто они делают собственные кум-чатики с кнопочками насилования школьниц, поэтому показывать/рассказывать стрёмно?
> для чего-нибудь более интересного?
Конечно. Пердолинг ради самого пердолинга. Результат это просто вишенка на торте, главное это процесс его достижения
Мой раб вчера смерживал несколько форков ллам в одну химеру. Собирал самое сладкое. Хочу еще турбоквант украсть и поддержку Яндекса.
Может выложу тут если хорошо себя покажет
ну и изнасилования да
> но если сравнивать с переносом всего кроме экспертов на 2x 5060ti16, то всё тот же посос
Так а что мешает совместить приятное с полезным?
На хуангах атеншн и кэш, на мишках динамически обновляемые горячие эксперты, на цпу все остальное.
>>1726299
> что за реальные задачи
Ты просто слишком слаб чтобы понять полезность роя агентов! https://github.com/Ordinath/tokenburn https://habr.com/ru/news/1086984/
> Так а что мешает совместить приятное с полезным?
Кэш аллокейтится согласно tensor split и буквально где контекст там и кэш
хехе, покекал со ссылочки на гитхаб) надо ещё встроить туда вывод рожи хуанга, которая в реальном времени изменяет эмоции с помощью minimax h3 fast. это дополнительные траты на облачные вычисления (вроде даже заметно больше чем на токены)
> где контекст там и кэш
Оварида блять это же даже звучит дебильно, по крайней мере без возможности оверрайда
Толстая синяя рыба должна справиться.
Оказывается руссиш чел делал, то-то рп на русском в лучшую сторону отличается.
>поддержку Яндекса
он как вообще?
>турбоквант
а зачем? в ванильной лламе все эти повороты адамара уже есть. или это другое?
а так молодец, уважуха
Интересно с какой скоростью будет 0.6A шпарить. Надеюсь что под тысячу
Повороты в обычной лламе очень ограниченно реализованы, только для KV кеша
Но сами веса квантовать это ерунда, там разница с обычными Q небольшая. Крутость в том что с хадамардом меняются сами формулы умножения матриц и появляется возможность держать в int4/8 активации, и операции с ними превращаются из стандартного f/bf16 в int4/8 тоже. А это 2х или 4х скорость на префилле.
Но это надо переписывать кернелы для самих видюх, и это уже заметно сложнее для не топовых моделей
Кому-то не пох на скорость префилла, лол? 90% времени ждешь вывод, какой смысл задрачивать префилл?
Таки интересно. Распределение семплов на РП датасете отличается от того, что я до этого видел.
Хотя получилось всего 300 семплов прогнать, 600 семплов чому-то ООМ вызывали.
Но примерная картина такая, что есть существенный пик на медиане, а по краям семплы широко расползаются.
Проверил семплы с краев - действительно есть лабуда. В семпле с 0.4 лосса нашел повторения. А в семпле с 2.8 лосса респонзы слегка шизовые, как будто персонаж хуй кладет на логику и просто от пизды реплики вставляет.
В общем, датасет точно надо фильтровать. Либо прогонять все семплы, считать лосс и брать самую серединку, либо поставить ЛЛМ судить ответы.
Есть еще бугорки в районе 1.1 и 2.4, но возможно это из-за недостатка семплов. Будет больше выборка - сравняется.
Но в целом, методология как будто работает. Малая выборка не сходится за 1 эпоху -> звоночек. Гистограмма лоссов выглядит странно -> еще звоночек. Глядим семплы с краев распределения -> находим говняк.
Ну и прогон тюнинга лоры с рангом 16 в целом подтверждает картину, датасет неоч.
Эм. где? там же только галимый эндпойнт на чат комплишен
Ты не смотрел вот этот? https://huggingface.co/datasets/DarkyMan/Opus-4.6-RU-Reasoning-creative-1385x-not-filtered
Мб норм если почистить
Схороню, но вообще дистиллы опуса пока как-то стороной обхожу. Пытаюсь искать что-то более предметное и оригинальное.
Самое норм решение тут - бенчи самому погонять https://github.com/eleutherai/lm-evaluation-harness там есть для кода, для длинного контекста и т.п.
Но если скорости вялые то это может сильно затянуться, особенно на контекстах побольше.
>Она разве не старая?
Это ж не молоко чтоб прокиснуть. Вообще мистраль он же не один. Вот как я понимаю линейку мистралей:
Mistral 7B v0.01 - вот это можно сказать тот самый "старый" мистраль, на 8к контекста. Дальше были v0.02, v0.03 - на 32к. Все они хороши при правильном подходе, дают отличный классический рп-кум. Mathstral 7B v0.01 - тюн под математику/науку.
Mixtral 8x7B, 8x22B - не пробовал, нечего сказать, пробовал только 4x7B тюны.
Codestral 22B - не пробовал, нечего сказать
Mistral Nemo 12B - тоже классическая кум-машина, можно сказать. С 8гб врам летает. Есть еще Pixtral 12B - примерно то же самое но с вижном.
Mistral Small-3.2 24B - здесь надо 16гб врам + 32рам хотя бы. Был еще Mistral Small 3.1, а кроме него Magistral Small 1.1 - это то же самое но с ризонингом, Devstral Small - то же самое но файнтюн под кодинг.
Ministral-3 3B, 8B, 14B (последний позиционируется как легковесная замена Small-3.2 24B хотя как помне смол чутка поумнее и если 14B требует 16гб врам как и 24B то в 14B просто нет смысла, тогда как 8B вряд ли переплюнет Nemo 12B (я просто рассуждаю, не утверждаю, не проверял). У Ministral-3 есть вижн, есть еще Voxtral Mini 3B - там есть распознавание аудио.
Из относительно новых:
Mistral Small-4 119B-A6.5B, а также тюн Leanstral с таким же размером - здесь уже 16+32 не хватит, надо 16+64 хотя бы.
Mistral Medium-3.5 128B - плотная, надо быть барином, чтобы это попробовать.
Mistral Large-3 675B-A41B - тоже как бы жирновато. Был еще старый Mistral Large 113B.
Но этолько базовые "официальные" я перечислил. РП-тюнов всех этих мистралей просто море (и частенько они франкенштейновские, тот же Nemo может быть в 23.5B или в 18B вместо 12B у кого-то). Поэтому когда кто-то сообщает, что он "попробовал мистраль", то надо уточнять, что имено он пробовал.
https://huggingface.co/SubMaroon/Boulesis-v2.1-26B-A4B
Второе место у этой модели.
https://huggingface.co/SubMaroon-exp/Kanimus-26B-A4B-FFT-heretic
Побольше клодизмов, наприме "мяч на твоей стороне" но мне зашло общение NPC между собой.
Советую брать q8 кванты. или q6, так как на q6 проскакивают английские словечки кое где. Последняя модель автора не зашла от слова совсем, ответы слабее првых двух указанных моделек. В шапку анонии. Пишет очень сочно, получше любого шизомистраля.
>здесь надо 16гб врам
Там и 12ти хватит, если устроит скороть порядка десятка т/с
>>1726487
>или в 18B вместо 12B у кого-то
Дэвида =)) И кстати мистраль-клиффхэнгер был от него очень прям норм, одна из немногих, и особенно франкенмержей, кто был прям норм.
Да, проблема борелиса в том что как и стандартная гемма не хочет некоторый контент выдавать, начинает просто уводить все в сторону меняя повествование, канимус в этом плане без отказов.
>клодизмов, наприме "мяч на твоей стороне"
это чатгптизм если чо, клод так не говорил никогда
Как не говорил. Мэн я гпт пользовался 4, ну может и было, после уже не юзаю. Но клод сто проц говорил в свое время о мячах на стороне. Хз как сейчас.
Гемма ленивая жопа, соглы. Если ее не пиздить инструкциями после истории она с удовольствием будет делать нихуя - повторять последний аутпут с вариациями. Как минимум нужен скрипт рандомно генерящий иструкцию на движуху.
>>1726585
Может разметкой фиксится, до сих пор хз как это работает. Эйр вот тоже на стандартной не очень активный, а на chatml нормально прёт, давно ещё заметили.
Очнись, в 2026 у БОЛЬШИНСТВА 16 Гб карты.
Да и на 8 Гб есть что погонять кроме геммы.
На гемму дрочат графоманы вонючие, которые хоть каждый день могут войну и мир читать. Это литературный гунинг, slow burn куколдизм.
Не могу представить игру без этого. 300 постов петтинга я кончаю...
Что в этом плохого?
Чем больше я ковыряюсь с нейронками для РП и ЕРП, тем больше понимаю, что любая нейронка - такой же инструмент, как текстовый редактор на пека, и кнопки "сделать заебись" у неё нет.
Это как с картинконейросетями - когда-то давно восторг анона вызывало то, что от катания нблом по клавиатуре генерировались мутанты в 512х512, а сейчас уже подавай 2-4к без косяков в нужном стиле нескольких персонажей, и косяками считаются не шестипальцовые НЁХ, а то, что машинка на фоне не совпадает со своим фото IRL.
И с текстовыми такая же хуйня, когда-то ответ "ты меня ебёшь" от локальной модели вызывал восторг, а от чата с аниметян онлаен шишка вставала, а сейчас подавай чтобы нажал кнопку "сделать занбись" и она сама, без пресета, карточки и вмешательства пользователя охуительную историю придумывала в соответствии с тем, что анон сеье нафантазировал.
Фу, как-то по-бабски. Нормальные пацаны играют за фембоев, которых жоска ебут футы без спроса.
>на chatml нормально прёт
С квена небось дистиллили на претрейне/SFT, а к DPO разродились своей разметкой.
То что не все любители графомании и не все хотят 12 часов на выходных читать как персонажи знакомились, тянка их отшивала, они пошли совершать подвиг, только чтобы тянка разрешила подержать ее за руку.
Нахуя, если для этого есть ИРЛ?
В фантазиях нужно ебать сразу и сочно, с минимальной завязкой. Гемма не может в кайфовый разврат. Только куколдить игрока может.
Да, именно так, чтоб персонажа тошнило от ебли. Гемма может так? Гемма не может так.
Мистралик, думаю, смог бы в такое при определенных сюжетах.
Гемма смогла бы, только если ты в промпте напишешь "когда юзер ебет персонажа сильно, персонаж блюет". И потом гемма начинает срать эвфемизмами и обволакивающими формулировками, типа "к горлу подступило неприятное ощущение, персонаж почувствовал себя нехорошо, персонаж ощущал что вот-вот стошнит, еще немного и точно стошнит, вот прям если еще чуть-чуть то блеванет, я зуб даю бля буду 100% стошнит, еще немного интенсивной ебли и его вырвет, вот прям щас, еще немного подожди братан, все будет".
Мистралик бы выдал, как внутри смачно булькает жидкость в такт ебле, как на языке появляется токсичный привкус желудочного сока, как изо рта персонажа вырываются обильные потоки желтовато-зеленоватой жидкости с кусочками непереваренной еды, как они забрызгивают все вокруг, растекаются по телу персонажа.
Вот это вот синема, а не эти ваши за ручки подержаться.
> как внутри смачно булькает жидкость в такт ебле
Во-во, как ты живо описал.
Смолл который 22б был еще забыл.
> Mistral Large 113B
123б, легенда кума былых времен
>>1726572
Гемма, особенно та что моэ совсем печальна в этом отношении. Но мистраль кроме самых старших там был бы еще тупее, выйдя из подъезда он бы забыл про крипоту и чар полез бы на хуй лол минусы будут?, когда поехали бы на вас тутже напали гоблины, ну и прочие приколы.
>>1726604
Еще статистику стима приведи. Тут не просто рандомы с улицы собрались, а энтузиасты у которых уже есть железо заниматься этим, или вот вот собираются приобрести. >>1726607 прав, и то это не густо.
Не нужно быть шейхом и даже не смотря на подорожания карточек остаются ультрабюджетные варианты типа v100 и cmp, достаточно головой пошевелить.
>особенно та что моэ
Хватит разделять 26 и 31 геммы, они очень похожи, буквально одни модели, просто одна знает чуть больше.
Создаётся впечатление что это такой надёжный лупхол для геммашизиков, мол да 26 не очень, ЗАТО 31 ОГО ГО, жаль вам её не запустить чтобы проверить. Мне запустить. Я проверил. Они идентичны. Нищукам с 16/32 рам это наверное и хорошо, а кто может 31 запускать там варианты есть получше.
Кек, я имел ввиду не сабагентов, а именно, когда разные... харнессы (Агенты с большой буквы А) используются для разных задач. Pi хорошо кодит, например, но ему давать задачки общего назначения смысла нет, он даже не видит нихуя.
СТОП
СТОПЭ
СТОПЭНДРЭ
Какой смысл в локальных моделях если не ради КУМА? Для работы и всего остального если корпы.
Локалки давно по соевости догнали корпов.
Это только в картинкотредах можно такое утверждать, там ещё есть кум, когда на корпах реально цензурая непреодолимая и вызов фбр как только запросишь писик
Ну хуй знает, они оче похожи пока делаешь кум на 8к или бомбишь с геммы в общем, тогда будут одинаково отвратительны.
А так 26 еще более невнимательная чем 31 и еще более ленивая. Бывает что 26 растерявшись крайне удачно шизит и свои косяки маскирует, оче интересно обыгрывая. Но ждать эти алмазов никакого терпения не хватит.
> кто может 31 запускать там варианты есть получше
Какие?
>>1726697
Как можно доверять корпам личные данные и вообще не проблевываться регулярно с их повесточных байасов, неуправляемой самодеятельности и рефьюзов на безобидные запросы?
Обслуживать домашнюю инфру
Вести личную медкарту
Библиотека личных данных
Внедрять новые идеи (например, "свой Спотифай" из-за цензуры по всему миру)
Интегрироваться с умным домом
Переписываться от моего имени со всякой хуйнёй которая вовлекает личные данные (типа подборки отелей на отпуск с попытками торговаться до кровавых соплей)
Это так, навскидку из последнего
>Для работы и всего остального если корпы.
не все же кодеры-наносеки чтоб подписочки покупать за 200 баксов
да и просто прикольно пердолить мелкие лоу левел ai модельки за ноутом лежа на диване
>Почему половина треда это РП-кумеры, нахуй они тут нужны, кто выпустил их из своего загона?
так исторически сложилось
и все это он сделает хуево и с ошибками, намного хуже чем платные модели
>Какие?
Эир. Единственный дешёвый и достойный вариант. Можешь запустить 31 гемму - значит нашёл деньги на 24 карту, значит без проблем найдёшь и 20к на 64 рам, либо она уже есть.
Либо миксовать квен 27б с мистралем
Если ты Q2-бомж, то да. Иначе уже давно нет. Да, это будет не SOTA прям, будет где-то уровня Terra 5.6, но для несложных задач (а это не сложные задачи) этого хватает более чем.
Я не разбираюсь в деталях ллм, но интересны вот эти оптимизированные узконаправленные ии. Какой-то он огромный, занимает как обычная ллм. Или оно даже из RAM быстро работает? Я пока только Laya тестил.
Там может отправить их в стойло? От них тут пользы крайне мало, сплошной флуд на тему того как обойти цензуру и чем лучше дрочить.
Для тебя есть стойло на хабре, гитхабе и реддите свинка. Че тут забыл.
Иди пипиську на воображаемых фуррей дёргай, дай взрослым дядям нормально пообсуждать архитектуру, харнессы и прочие сраче-генерирующие вещи.
>пипиську на воображаемых фуррей дёргай
Втиснусь в ваш разговор, но разве ради этого ставят локальные модели без цензуры? Насколько мне известно, фурри в большинстве своем обыденно и не под запретом.
t. пидорас который не написал ни один пост кроме нытья про кумеров
>>1726722
Жируха, а ты в /дев/ тоже представляешься дядей? Нам-то не ври. В большинстве своём ЛЛМ это для кумерства о темах, которые не позволяют корпы - всё. Единицы (во всём мире, не в треде) будут использовать ЛЛМ для интеграции во что-то эффективное, например заставить делать сценарий в РПГМ.
Тебе если так нужно не для кума, почему вот эту кнопочку игноришь?
Ты попросил её разыграть сцену из пролога Alone in the Dark (2008)?
Челик сидящий на анонимном форуме, в месте, где можно скинуть навязанную обществом маску, задвигает что в треде обсуждения этого идеального инструмента для кума, обсуждать этот самый кум зашкварно...
>>1726722
Двачую, нахуй этих уебков. Это общий тред ЛЛМ, а не филиал /fap.
Ебаные животные, одна дрочка на уме.
просто взяли и ёбнули единственную вещь из-за которой их моделями пользовались
А что вы хотите обсуждать? Кодинг? Тогда вам в /pr
Вы еще предъявите в видео/картинко треде почему там одни сиськи генерят. Кум это основа всего. А полезные вещи надо на работе делать, а не на двачах.
Наоборот же.
Старые пердуны цепляются за последнюю возможность подрочить, потому что боятся, что завтра все отвалится нахуй + природа кумера, дофаминовая яма безыдейной собаки, у которой уже бока раздулись, а она не может остановиться.
Пиздец противно с таким скотом на одной борде сидеть.
лучше отдельный тред про железо, пердолинг лламы, запуск новых моделек на Пентиум 4, достижение овер 9000 т/с и прочий настоящий LLM хардкор
эти пусть сидят тут и крутят хвосты своим лисичкам
>>1726823
Кстати идея. Почему не создадут отдельный серьёзный тред для продвинутых ллмщиков без кума? Модератор забанит их там, если тредом запрещено. Противно не будет.
Почему не создадут?
>Почему не создадут?
Потому что это и есть ЛЛМ тред и что тут делают спермособаки не понятно.
>Единственный тру рп экспириенс был самым первым, на самых всратых модельках, первый месяц, месяцы, если повезло, а дальше уже не то
Мистраль-12 - ДУША. Дальше уже не то. Хотя Мистраль 24 лучшая девочка, а гемма умничка.
Так и понял - хочется вниманиеблядства, а внимание отбирают. Никакого серьёзного тебе обсуждения не нужно, типичная гибридная гомоселёдка, засланная из /dev/ ради диверсии.
>>1726833
Или покажите темы для обсуждения, или идите нахуй.
Еще не забудьте предоставить пруфы, что у вас есть риг 100гб врам + 1тб рам. Иначе это будет несерьезно.
А нахер плодить треды? Вот что сейчас обсуждать? Очередной тех-саппорт неосиляторов?
Можно вообще сделать по треду на каждый юзкейс, с 2 постами в неделю, но ради чего вообще? Чтобы никто и никому не отвечал? Чтобы какой-то залетухе с пикасру было комфортней?
В этом треде обсуждается все, связанное с ЛЛМками, как запускать, как юзать. От сборки и работы на говнориге, до того, как уговорить нейронку на няшенье лисичкодевок под хвост, и траханья своей файловой системы агентом но для последних есть свой профильный тред, где можно обсудить глубокие детали.
Вообще в порядок привести неплохо было бы. Но стукать не порядочных кумеров, ибо одно из важных применений ллм, а всякое рачье. Задача та еще, нужно очень много вилкой работать и под нож самая ноющая аудитория пойдет и по началу начнет срать в утроенном объеме.
>что тут делают спермособаки не понятно.
это будет не сосачь.
это как жаловаться на ЗППП в борделях.
Вы почему не на специальной операции сейчас?
Никому нахуй дела не было до этого, и вот тебе два бояра раскукарекались что тут неприятное обсуждают.
Просто игнорьте залетышей.
Долбоёб, вам загон сделали специальный, а вы сюда лезете со своей хуйнёй.
Где плюша такого заказать можно? Вместе с дипсикоженой сразу, собери их всех!
>>1726827
> отдельный серьёзный тред для продвинутых ллмщиков без кума
Всмысле? Мы тут вообще-то становимся продвинутыми в том числе чтобы знать
>>1726840
> как уговорить нейронку на няшенье лисичкодевок под хвост
какой еще без кума?
Да хоть бы и так, я только за. А то сидеть продираться сквозь очередные дроче-маня-фантазии надоедает, хочется по делу почитать, в том числе кто чего нового раскопал (типа как ту же Страту сюда принесли), кому сколько выжать удалось и так далее. В том числе и юзкейсы применения, как тут уже описывали, вон там чел один чуть ли не кучу софта под себя нагенерил, интересно же (правда, непонятно нахуя, лол).
>>1726840
>Или покажите темы для обсуждения
>А нахер плодить треды? Вот что сейчас обсуждать? Очередной тех-саппорт неосиляторов?
Этот тред не для вашего персонального куморазвлечения сделан, уёбки. Если в тред редко пишут это наоборот гораздо лучше, каждое сообщение будет по теме, и не пропустишь интересную новость в тоннах гунерского слопа ебаного.
Я был бы только за, если бы здесь была тишина неделю, а потом внезапный всплеск обсуждения, когда кто-нибудь подтащит интересную новость для разбора. Вместо сотен одинаковых сообщений в стиле "дааа, вот раньше дрочить было оооо, а сейчас уже не торт, не тоооорт". Тьфу бля.
>хочется по делу почитать, в том числе кто чего нового раскопал (типа как ту же Страту сюда принесли)
Это на хабр и иже с ними
>кому сколько выжать удалось и так далее
Это с друзьями обсуждай в дискорде
>В том числе и юзкейсы применения, как тут уже описывали, вон там чел один чуть ли не кучу софта под себя нагенерил
Вам в программинг или вайбкодинг тред
Ну да, загон для вайбкодеров с 20 айсикью, вот он >>1713210 (OP)
А это кум-тред, и всегда им был. Терпи.
Ну и хули вы созидаете-то, блядь? Очередной способ как вынудить нейронку изображать фуррятину? Новые дохуя фанфики, которые нужны только автору? Созидатели мамкины, охуеть просто. Вы просто не нужны никому, поэтому вы прибегаете в тред, где есть активность, чтобы хоть кто-то вашу хуйню заценил.
>0 постов самого хацкерства
>>1726825
>запуск новых моделек на Пентиум 4
да, звучит как представления о хацкерстве от человека который нихуя в этом не понимает
20 айсикью у тебя, если ты не можешь различить вайбкодинг и запуск ллм на непромышленном железе.
>а потом внезапный всплеск обсуждения
Ну да... притащил новость, а живых нет. Спустя неделю один реплай. Вот зажили бы!
Макрос хорош, схоронил.
А ты нет, ты никому не нужно, ни здесь, ни где.
Хочу чтобы мне советовали промпты полезные на кум. Посвятили в премудрости токено-менеджмента, и еще миллиона мелочей для кума. 16+8
Ну а как ты хотел? Нейронки, и локалки в частности, все менее нишевыми становятся, и к нам наваливают куча геймеров, из которых выжали гаввах, и заставили раскошелиться на 32 гига и 4070, и они хотят запустить клод впопус.
В агентотреде таких не мало. Был один чел, у которого анус разрывался настолько, что он весь тред репортил и вел свою борьбу из-за слова SOSAL, а сам на обсуждения выносил только нейрослоп-логи, как он со своей нейронкой в чате пообщался, и многократно пережеванный еще в 2023 кал. Это конечно экстремальный случай дебила, но эти додики одного с ним поля ягоды.
>>1726850
Молодой, ты ничего не перепутал? Мы-то, как раз-таки и обсуждаем здесь нейронки во всех технических деталях, как что запускать, как что пробивать, и так дальше. Просто мы это обсуждаем годами на пролет, попутно консультируя окатышей, как и где запускать как получить больше 5 токенов без развала контекста со старта, и какой же Жержанов пидорас. Кум - просто коллатерал.
Что ты принес этому треду? Нытье, что все должно быть как тебе нравится, а как не нравится не должно быть?
Ага, прямо оно. Можно вбить в поиск "гемма" или "эйр" и большая часть того что найдется будет типичным щитпостом оттуда. Буквально эталон, там не то что чего-то полезного, даже кума нет.
>>1726859
Вот да, на фоне того прям подгорает
Что ты обсуждать-то собрался, шизик? Флаги запуска лламы? Тут беседуют за применение нейронок. В этом треде кум. В соседнем код и агенты.
>Хочу чтобы мне советовали промпты полезные на кум
тут ссылка на пиксель папку мелькала, в ней тонна всего - логи, карточки, пресетики, вырезки из треда с тайными знаниями
Так ты давай картинки про толстую синюю рыбу с переводом.
Вообще, почти никогда не сталкивался с проблемой токенов. Видимо потому что я предпочитаю короткие ответы по делу, а не "Фурина вышла с тобой за ручку, её пальцы дрожали, листья на деревьях, будно синхронно с ней, начала опадать тоже, и ты заметил тонкие, но приятные изменения на её лице - щёки начали почти невидимо краснеть, и, bit by tantalizing bit, вы начали приближаться друг к другу... <прошло 700 токенов> ...и вот, её губы малинового вкуса соприкоснулись с твоими, негласно объявляя о своих чувствах."
Наверное всегда стоит уточнять, какой именно РП тебе нужен.
Нихуя ты факты переворачиваешь.
Вся шапка ради кума написана. Весь тред ради кума создан.
Если бы не эти наработки, вам, залетышам, просто некуда было прийти.
>вам, залетышам, просто некуда было прийти.
Было бы. ollama pull qwen3:8b
Двачую, тред сплошная помойка, просто одно и то же: ГЕММА ГЕММА КУМ МИСТРАЛЬ ЕБАТЬ НАРКОМАНОК ГЕММА ЕБАТЬ ДЕТЕЙ КУМ КУМ МЕРОМЕРО ГЕММА КУМ КОДОУНИТАЗ КОКОКОКОДУНИТАЗ КУМКУМ Ы А
Натуральная кунскамера, постоянная дрочка - первый признак психических расстройств болезней, открывайте свою бесконечную дурку, шапка вам нахуй не нужна, и сидите надрачивайте друг-другу со своими 3.5 лоботомитами или вообще в /б пиздуйте.
В этом потоке спама просто невозможно общаться по теме, а когда нить разворачивается, так сразу набегают спермособаки со своими КОКОКОКОДОУНИТАЗАМИ. Ну просто пиздец какой-то.
Короче, мне чисто поебать, перекат - каждую кумерскую мразь по первому же поводу репорчу за оффтоп.
Ребята репортим его за непотребный контент.
Я даже цитировать не хочу, это каким придурком надо быть, чтобы такое вообще писать.
Допиздишься - я вас за процессоры репортить буду, всех без исключения.
>В этом потоке спама просто невозможно общаться по теме
Не пизди, мы тут даже собственные файн-тюнинги успеваем обсуждать. Чего вам не хватает я даже не ебу. Скорее всего просто жирните ради суеты.
>каждую кумерскую мразь по первому же поводу репорчу
Зарепортил тебе за щеку, проверяй
Смотри какая няшечка, горячая, да? Слетал бы с ней на остров?
>>1726882
Кстати да, есть еще продвинутый квантодел, а раньше еще кто-то мерджами занимался.
>>1726823
>>1726693
>>1726858
>>1726722
>>1726876
Вы чего против классики. Здесь это истоки локального запуска ЛЛМ. Это местные скрепы. Вообще с увеличением внимания к теме нужно жестко бороться против цензуры, а то текущими темпами могут прикрутить реверс инжиниринг и прочие темы под предлогом борьбы с кибер преступниками. Сначала примутся за кумеров, а потом за вас.
>малайзия
фсссс, горячая.
Но ты меня не подкупишь.
Пилите отдельный тред я к вам позже зайду.
Был в агентотреде такой фуфел. Репортил всех, за несуриозное, искал шизофреников под кроватью. По итогу затрахал даже мочера, и словил бан.
Твоя судьба. Считаю, что каждому генерал треду нужен свой филателист.
У нас что, в дополнение к эйрошизу завёлся антикумошиз? Палкой его по хребту, палкой, пока он весь тред не засрал.
Именно. Не может вбросить интересную для обсуждения тему, и фармит внимание нытьем.
Повторюсь, если бы из треда выпилили кумеров, и тут был бы один пост в день, то тред бы не потерял полезного примерно ни че го.
Повторюсь, что тебе мешает раз в день на хабр заходить за новостями об ллмках? Там тебе никаких дрочеров не будет.
Я уже пяток статей там видел, как запускать модель Х на железе У и подобные темы.
Уговорил чертяка! Выпиливаем из треда кумеров! Какие ваши предложения?
Что тебе мешает раз в день зайти на порнохаб и подрочить? Отсутствие детского порно? У тебя уже на пк крутится свой горем, сиди дрочи, потребность закрыта, нахуй ты итт высрался? Поныть, что всех уже переебал и ощущения не те? Всем похуй на твое нытье, ты только раздражаешь.
Статьи на хабре, особенно по нейронкам, это беспросветный мрак. Это либо нейрослоп, либо просто какое-то максимально топорное и тупое чтиво. У меня есть ощущение, что на хабре все статьи по локальному запуску, да и в целом по нейронкам, пишет один человек под разными аккаунтами (пикрилейтед).
Зочем выпиливать. Просто сделайте им загон, пусть там обсуждают. Или наоборот, переименуйте этот тред в кумерский, а нормальным людям сделайте local llm тред.
Вон, сегодня вышла новость о том, что в vLLM разрабы устраняют несовместимость FP8 KV-cache с архитектурой Ampere в QSA attention (пикрелейтед сгенерирован нейронкой из задачи наблюдения за разработкой), что для того Анона, у кого на ampere железо (например, 3090) и есть хороший запас оперативки, можно потенциально рассмотреть контекст в 512к и не проебать сильно в скорости к его заполнению.
Да и в целом там по Flash Next дохуя всего происходит.
Протечка с ньюсача. Ничего необычного.
>>1726927
Может тогда вы сделаете отдельный загон для себя? СЕРЬЕЗНЫЙ тред ЛЛМ, без несерьезного, и пошлого. Как тебе идея?
>сегодня вышла новость
----> >>1720497 (OP)
> сиди дрочи, потребность закрыта
За других не решай, тогда за тебя тоже не будут решать. С уважением относись, дебил бля.
>Всем похуй на твое нытье, ты только раздражаешь.
До тебя здесь никто не ныл о куме. Ты один стал в лужу пердеть и портить всем воздух. Заткнись уже.
Да вообще без проблем, если мочерня не будет туда мозолеладоневых пускать
Здесь vllm под запретом, как и все, что не связано с запуском лоботомитов вроде геммы, меромеро и мистраля, в один клик чтобы побыстрее подрочить.
У человека горе — пиструн не стоит. Нужно отнестись с пониманием.
Еще один путает возню с локальным железом и хуйню из серии "антропик опять прогревает гоев"
Сдуетесь как тред пузурных новостей. А то и в бан отлетите за попытку угона.
> переименуйте этот тред в кумерский
В оп посте первым абзацем:
В этом треде обсуждаем генерацию охуительных историй и просто общение с большими языковыми моделями (LLM)
Он всегда был кумерским, смирись, там и первая картинка намекает вообще то. Ты залетный что-ли?
Просто чеши своих агентов под хвостом вместе с кумерами
>сегодня вышла новость
И как это поможет запустить GLM или дипсикожену на 3x5060 Ti под винду ? Новость не релейтед треду чуть более чем полностью.
Вот релейтед - https://www.reddit.com/r/LocalLLaMA/comments/1x2bt6r/nvidia_reportedly_discontinuing_rtx_5090_gb202/
Чел, ты всю шапку почитай, в ней на 90% устаревшее говно мамонта, а часть ссылок вообще недоступна. Эта шапка тупо копипастится из треда в тред, без подключения мозгов.
Если Китай якобы опен сорсит ради того чтоб поднасрать сша, то почему они еще не выпускают свои карты в народ? Вон уже пишут что тренят на своем железе.
Сша бы с этого потеряла 50% нейроновского хп, а куртка сильный вдар под дышло и сдрыг на парашу.
Это хуйня, вот будет новость как запустить дипсикожену или глм на одной 3090, то обязательно тащи.
Железо это полдела. А вот дрова захуярить под каждую систему - это ебанесся.
Но думаю скоро адаптируют, драйвера навайбкодят, будет ртх 5090 дома за 10к рублей.
>не хихикай!!!1
>пруфы, что у вас есть риг 100гб врам + 1тб рам.
ничего себе тут деление на патрициев и плебеев.
это сколько по нынешним меркам?
2-3 ляма?
В смысле не выпускают, еще как выпускают. Но, как справедливо заметил Анон выше, самим не хватает. Поэтому в розницу идут затычки уровня 1060. Как-то оно там Люсян, Лусиян, как-то так называется, ЕМНИП.
Ну и плюс их фишка взять конзьюмерскую видяху, и напаять на неё в два раза больше памяти, а продавать по ценнику в х1.5, такое тоже есть. Но мне что-то очково такое брать, хуй знает как потом драйвера и нейронки себя на таком поведут.
Разобщение и лишнее дробление не пойдут на пользу, да и скучно пиздец будет. Достаточно просто держать общий порядок.
> несовместимость FP8 KV-cache с архитектурой Ampere в QSA attention
Так это не то чтобы новое, просто видимо сейчас в мейн ветку влили.
>>1726935
Да, ивасики только такое >>1725591 почитают.
>>1726947
> Новость не релейтед треду чуть более чем полностью.
Первый пошел
>>1726959
Колибри же, но это неюзабельно.
ну и где тогда обсуждение самих LLM?
почему приходится переться на Reddit и узнавать все там.
а тут только полный тред нытья престарелых кумеров.
Выпускают, только для внутреннего рынка. Все идет в датацентры, и даже там такой дефицит что хуанга со всего мира пылесосят.
Некроту уже можно пощупать типа того же ascend, даже кто-то из местных купил. Сейчас вроде на них даже что-то напердолили, но железка все равно донная по современным меркам.
Хуй знает зачем ему 1ТБ оператоса, но ригу на 96 гигов видеопамяти, 128 гигов оперативки, на х99 с двумя нормальными зионами, терабайтником nvme и двумя-тремя киловаттниками вполне можно собрать рублей за 400, если не брезовать б\у запчастями (видяхами в частности). А если прям конкретно зарядиться на урвать всё подешевле, вложив своё время и нервы в поиски, то потенциально можно и рублей за 350 замутить.
> 100гб врам
Что за нищество?
> 1тб рам
Это уже тяжело, 16 слотов ддр5 или оверпрайснутые еще до подорожания 128-гиговые плашки нужны.
Почему ты думаешь анальными запретами можно улучшить "качество"?
Люди изначально собрались здесь ради конкретной цели, обсуждать кум. Потом сюда пришли люди ради какой-то другой эфемерной цели, и теперь качают права что здесь неправильно общаются и неправильные вещи обсуждают. Может пойдут они нахуй? Нравится - присоединяйся, не нравится - срыгни.
>просто видимо сейчас в мейн ветку влили.
Об чем и речь. У меня раньше, без связки с Pi, на Гермесе контекст в 256к улетал просто моментально нахуй. Плюс любимое Гермесовское "пережимать заново, потому что жмётся хуйово". Я пробовал задирать контекст, но там такие галюны начинаются - мама не горюй. Приходилось буквально копипастить в чатгпт для суммаризации в новый чат в Гермесе.
Этот вопрос я порешал, как отметил выше, с помощью связки с Pi (до сих пор охуеваю какой же я ебаный гений), но это не отменяет того, что в будущем у меня вполне может появиться проект пожирнее простеньких допилов под свою инфру (вернее, они уже есть, но раньше пилились через внешние нейронки), и там уже даже для Гермеса в виде ПМ-а понадобится возможность долго держать контекст и не плыть кукухой. Поэтому я такие штуки превентивно всегда очень поддерживаю.
Люди пришли сюда, читая название треда, долбич
Триста раз бы уже поменяли на что-нить типа "кумерская нищеёбская берлога", и никто бы и слова не сказал, пошли бы делать свой тред.
На тао продаются. Можешь идти и покупать. Лично решил что мне оно нахуй не нужно с уровнем развития их софта
так беда в том что и кум здесь тоже толком не обсуждают.
я вообще хз про что этот тред.
>Люди пришли сюда, читая название треда
При этом сидя на двачах - важное уточнение.
С чего бы можно было ожидать, что здесь о высоких материях будут говорить?
Все равно что Перельман в /math/ зайдет и будет ныть почему никто математические открытия не делает.
Буквально первая строка в шапке что этот тред про генерацию охуитильных историй на локалках, можно было и чуть дальше названия прочитать. Локалки обсуждают и настраивают тут прежде всего в этой канве, а не для к*динга и прочих не связанных с РП агентностей.
Мистралю тюны не нужны - он мозгов и так хуй да нихуя, а останется ещё меньше, и всё взамен на больше слопа, какой то тюн может даже полностью сломать контекст и тд
А какое железо и модель? Дампом кэша в рам пользуешься?
> пробовал задирать контекст, но там такие галюны начинаются
Хм, а что там происходит? Или речь про модель с 256к и yarn? И про связку с pi расскажи, вызываешь его командой и заставляешь суммарайзить/что-то делать?
> Поэтому я такие штуки превентивно всегда очень поддерживаю
Все правильно, развитие это всегда хорошо.
Да вас даже на двачах не уважают, малафьёй глаза зальют и сидят на отходоса
>>1727020
Шапку треда уже обсудили, читай выше.
>Аноны, а какие у вас любимые кумтюны Мистраля?
Магнум-даймонд (кум со смыслом), брокен-туту (смысл в куме).
>Люди пришли сюда, читая название треда, долбич
Ну, тебя слово локальные не смутило? Что ты блять собираешься делать локально, если не кум? Под другие задачи пиздуй по апишкам, с их триллионами параметров и анальными запретами, они под это больше заточены энивэй.
>то почему они еще не выпускают свои карты в народ? Вон уже пишут что тренят на своем железе.
Так из карт есть только Хуанг.
даже AMD еще никак не может допилить свои карты толком.
Почитай доки к ROCM - там просто треш и угар,
половина неактуальна, вторая половина это тестирование фич на тебе.
А Китай еще хуже в плане поддержки.
К тому же США запрещают все китайское.
4xRTX3090, 128GB DDR4
Кэш никогда в оператос не дампил, потому что мне все нейронки как одна говорили, что ему скорость первоочередна. Так и сидел на 27B (пробовал ещё всякие OSS-120B, 35B-A3B и подобные, остался не доволен).
Потом оффлоад PLE / N-gram embedding table в оперативку не подвезли для vLLM, тогда же на Flash Next и переехал.
>Хм, а что там происходит? Или речь про модель с 256к и yarn?
Да, про него. У той же 27Б нативный контекст 256к только. Происходит - галюны. Просто как будто какой-то рандомный генератор токенов без контекста врубается. Может составить саммари для самого себя, где внезапно на середине переключится в какую-то дичь, как будто письмо дедушке на деревню пишет, лол. Ну и ессно никакой точностью там уже не пахнет, а сидеть за ним вычитывать - я ебал. В общем, выключил. Щас вот с нынешним Flash Next всё же хочется расшиться до 512к контекста, но вспоминая тот опыт как-то хз, наблюдаю за новостями.
>про связку с pi расскажи, вызываешь его командой и заставляешь суммарайзить/что-то делать?
Использую связку (bridge). У Гермеса последних версий есть встроенный инструментарий для делегации задания стороннему исполнителю. Ему в soul.md прописывается инфа об этом, далее он как только видит кодерскую или девопскую задачку - врубает режим проджект манагера, генерит ТЗ для исполнителя (Pi), передаёт ему команду (тот умеет так же нативно принимать), тот генерит сворм агентов (маленький айти-отдел) и начинает веслать. Отдаёт в обратку результат, Гермес его проверяет и либо отправляет на доработку, либо принимает.
Бонус от этого в первую очередь - как раз экономия контекста. У Гермеса окно конь-текста не забивается левыми ненужными данными, логами, результатом выполнения команд, и т.д. - это всё в задачах у Pi висит (и потом прибирается по ненадобности). В в свою очередь Pi своим пиздюкам сабагентам ставит максимально прямые и четкие задачи, буквально "сходи туда, выполни команду N, принеси результат", поэтому и у него контекст не уезжает никуда.
И всё это уживается на одном серваке, если что.
>Все правильно, развитие это всегда хорошо.
Я до сих пор в шоке с vLLM\Strata и запуска Flash Next. Буквально бодрый умный чатгпт у меня дома. Охуеть.
>Что ты блять собираешься делать локально, если не кум?
исследовать годны ли локальные ЛЛМ на что то еще кроме кума
Пока эти пробовал, забыл уже как вторая модель себя показывала, но вот первая логично и чётко ведёт всё, может в кум.
Slimaki-Tavern-24B-v1.3.i1-IQ4_XS.gguf
RP-Spectrum-24B.i1-IQ4_XS.gguf
Два чаю. Локальные нейронки != кум треду. Пусть пиздуют в /nf. В конце концов есть и провайдеры, которые разворачивают топ кум нейронки. Бизнес на дрочерах обходится дешевле всяких гигаопусов.
К тому же там уже есть профильный тред https://2ch.org/nf/res/107061.html
>исследовать годны ли локальные ЛЛМ на что то еще кроме кума
Конечно годны. ЛЛМ может быть гейммастером построенной под неё платформы. Например сделать там систему локаций, названий, описаний, и сделать так, что всё это по частному для каждого элемента системному промпту будет заполнять именно ЛЛМ.
Я спрашивал вас здесь о таком недавно. Мне никто не ответил, что такое есть.
>Пусть пиздуют в /nf.
Просто иди нахуй, родной.
Может тебе ещё каждую сиську из картинкотреда в /nf выселить, чтобы тебя не трясло?
Говно залетное, ты пришел в наш тред и нагло тут устанавливаешь порядки? А ты не охуел вообще? Для кодинга и агентов вам уже выделили тред, съеби туда нахуй.
Качаю https://huggingface.co/Edhdh/Slimaki-Tavern-24B-v1.3-i1-GGUF
Посмотрю что за зверь
я уже плаваю в океане серьезности.
я новичок! в чем суть vLLM? чем лучше llama.cpp?
>>1727076 (OP)
Перекатывайтесь