Локальные языковые модели (LLM): Gemma, Qwen, GLM и прочие №279 /llama/
Аноним
14/10/26 Срд 16:40:09
№
1
Здесь мы делимся рецептами запуска, настроек и годных промтов, расширяем сознание контекст и бугуртим с нано флеш моделей на 1488B параметров.
Тред для обладателей топовых карт NVidia с кучей VRAM или мажоров с проф. картами уровня A100, или любителей подождать, если есть оперативная память. Особо терпеливые могут использовать даже подкачку и запускать модели, квантованные до 8 5 4 3 2 0,58 бит, на кофеварке с подкачкой на микроволновку.
Официальная, но слегка тухлая вики треда с гайдами по запуску и базовой информацией: https://2ch-ai.github.io/wiki/llama/
Гайд для новичков: https://rentry.org/2ch-llama-inference
Не вошедшее в шапку и архив полезных ссылок: https://rentry.co/llama-2ch-archive
Инструменты для запуска на десктопах:
• llamacpp - отец и мать всех инструментов, позволяющий гонять GGML и GGUF форматы: https://github.com/ggml-org/llama.cpp
• koboldcpp - самый простой в использовании и установке форк llamacpp: https://github.com/LostRuins/koboldcpp
• vLLM - для ригобояр, чаще имеет поддержку нулевого дня, но хуже работает с оффлоадом: https://github.com/vllm-project/vllm
• Обертка над llama.cpp с закрытым исходным кодом: https://lmstudio.ai
• Обертка над llama.cpp с ограниченными возможностями: https://github.com/ollama/ollama
Универсальные десктопные фронтенды:
• SillyTavern - всеядное, сопрягается почти со всем, имеет большую коллекцию расширений: https://github.com/SillyTavern/SillyTavern
• Marinara Engine - вариация на тему таверны, больше возможностей из коробки: https://github.com/Pasta-Devs/Marinara-Engine
• Risuai - еще одна вариация, на этот раз в профиль, излишеств по минимуму: https://github.com/kwaroran/RisuAI
Инструменты для запуска на мобилках:
• PocketPal - интерфейс для локального запуска моделей под андроид и IOS на llamacpp (CPU, GPU, и NPU инференс): https://github.com/a-ghorbani/pocketpal-ai
• Maid - интерфейс для локального запуска моделей под андроид с llamacpp под капотом: https://github.com/Mobile-Artificial-Intelligence/maid
• ChatterUI - альтернативный вариант для локального запуска под андроид (фронтенд и бекенд сепарированы): https://github.com/Vali-98/ChatterUI
• Гайд по установке SillyTavern на ведроид через Termux: https://web.archive.org/web/20241201232031/https://rentry.co/STAI-Termux
Поставщики локальных моделей:
• Hugging Face - платформа куда загружается всё и во всех форматах: https://huggingface.co/models
• Проверенные квантоделы: https://huggingface.co/bartowski, https://huggingface.co/mradermacher, https://huggingface.co/unsloth
Рейтинги и списки локальных моделей:
• Актуальный список моделей с отзывами от тредовичков: https://rentry.co/2ch_llm_moe_2026
• Рейтинг моделей по уровню их закошмаренности цензурой: https://huggingface.co/spaces/DontPlanToEnd/UGI-Leaderboard
• Сравнение моделей по сомнительным метрикам: https://huggingface.co/spaces/HuggingFaceH4/open_llm_leaderboard
• Сравнение моделей реальными пользователями по чуть менее сомнительным метрикам: https://chat.lmsys.org/?leaderboard
Готовые карточки для таверны:
• Botbooru - текущая мета (регистрируйтесь для отображения всего спектра, и/или меняйте страну): https://botbooru.com
• Прошлая мета, откуда массово удалили карточки сомнительного содержания: https://www.characterhub.org, https://www.chub.ai
• Архив карточек, удадённых с chub: https://gottasaveemall.github.io/
Официальные документации к инструментам:
• llamacpp: https://github.com/ggml-org/llama.cpp/blob/master/tools/server/README.md
• koboldcpp: https://github.com/LostRuins/koboldcpp/wiki
• SillyTavern: https://docs.sillytavern.app/usage/quick-start
Архив тредов можно найти на архиваче: https://arhivach.vc/?tags=14780%2C14985
Шапка в https://rentry.co/llama-2ch, предложения принимаются в треде.
Предыдущие треды тонут здесь:
>>
>>
Для установки надо удалить старый плагин и установить этот. Одновременно их поставить нельзя. Настройки и промпты подхватываются со старого плагина.
Хуета на опе так тряслась что тред угонят и сделают нормальную шапку, хах
Я =)
Правда завейпкодить - завейпкодил, а вот нормально потестить как работает всё не соберусь - времени как-то всё нет да не до того.
->
>>1727076 (OP)
>>1729953
Как и прошлый, лол.
Я осилил с помощью нейронки запустить модель с рассуждениями. Читать цепочку довольно забавно. Теперь вопрос, как это скажется на моем рп?
Если будешь их читать - хуёво. Никакого погружения не получится.
Интересно почитать размышления, но то что за место 15 сек, я жду сообщение по 3 минуты это конечно мда, хех, попахивает хуитой. Хотя отмечу что текст вроде как стал получше.
Ризонинг для тех, у кого есть хотя бы несколько десятков токенов в секунду.
Короче с этой штукой глм 5.3 флэш неплох на 2х3090 (65% PL) под виндой, даже MTP живой на русскоязычной прозе
https://github.com/mw00/project-maya
моделька в EXL3 3.05bpw
> ~24 t/s декод, 800 - 900 т/с префилл на длинных промптах; SSD не задействован, чисто RAM (DDR4) / VRAM
а если взять 4.05bpw
> ~17 т/с декод, префилл на сотку-другую пониже
в жорыче было в 3 раза медленнее по декоду (MTP не давал нихуя) и еще хуже по префиллу, в экслламе тоже было хуже, прям незадолго до этого ее тестил - но спасибо турбодерпу за кванты конечно, а то ггуфы в этом маняпроекте вообще кал
Как я понимаю это наслопкожено поверх Всраты, но таки недурно.
Мне первое что доставило когда я настроил, и забыл сменить персону, как она половину размышления пыталась разобраться почему имена не сходятся в тексте. Это было мило и забавно одновременно.
Это зависит от модели. Сейчас есть такие боты, которые дают +- одинаковые по качеству ответы без ризонинга, на низком или на высоком ризонинге, и только с максимальным (для которого надо ждать по 2000+ токенов генерации) появляется какая-то разница, потому что они начинают херачить черновики и сравнивать их.
Если модель в ризонинге просто перечисляет, что надо делать - ризонинг по сути голяк бестолковый, скорее всего (но все равно надо на глаз оценивать, как тебе заходят ответы или нет). Если пилит черновики и оспаривает свои решения - тогда в ризонинге толк может быть
Че вообще Герганов и КО собираются делать? Какую модель ни возьми, под нее ебашат оптимизированный движок. Скоро просто не останется причин сидеть на раздутом трупе лама.цопэ, кроме псевдо-удобства (все в одной куче). У них же там сотни, тысячи PR и когда одно фиксится, другое ломается.
>>1730011
и нах 5090 нужна, если две 3090 дают 62 - 65 токенов в секунду, с mtp и tensor parallel (x16+x16)
дико скамная видеокарта
Q4_K_M (да я старовер).
>>1730057
>x16+x16
Уже нихуя не пользовательская сборка.
>дико скамная видеокарта
Сейчас да, но по цене, что я её брал, это топчик. Просто вернись в июнь 2025-го.
Считай в 2 раза больше т/с по сравнению с 4090. Думал разница не такая большая будет.
мтп-то у тебя включено?
можно вообще попробовать exl3 с dflash драфтером при "8" блок-сайзе вместо дефолтных 16, будет ~25 - 30% acceptance rate на русской прозе, а вот англюсик в небеса улетит
а как же huggingface, ведь раньше всё от туда качали? или отличие лишь в том что на huggingface тебе нужно всё качать и ставить самому, а эти хуйни описанные ранее делают это всё за тебя и имеют внутри всё те же все модели что есть и на huggingface? или я опять нихуя не понял
я запутался как обычно
>мтп-то у тебя включено?
Нет. Я же на мердже геммы сижу.
https://huggingface.co/Nimbz/Versipellis-31B-GGUF?not-for-all-audiences=true
>это lmstudio и ollama
Да откуда вы лезете... нет, не ставишь это говно.
Ставишь KoboldCpp, а модель в GGUF виде качаешь с обниморды.
lm studio bionic - повайбкодить норм
unsloth - однокнопочный мега комбайн который может всё. хочешь себе локального ассистента который и в интернет для тебя полезет и голос твой распознает и покодит если надо - это оно.
ollama - забудь эту парашу как страшный сон
что касается скачивания в приложухе (в том же unsloth) - если видишь там нужную модельку в нужном кванте то почему бы и нет? но это не значит что ты не можешь качать руками и потом в настройках указать путь к модели или засунуть модель в нужную папочку. с хаггинфейс все эти приложухи и качают если что. даже ллама.цпп оттуда качает вижн
кстати если тебе не нужна никакая агентская шелуха, а просто поговорить с моделькой котоорую ты вручную скачаешь, то бери llama.cpp webui
>Ставишь KoboldCpp, а модель в GGUF виде качаешь с обниморды.
Говноед, ебало закрой.
>>1730098
Игнорируй шизов с кобольдом. Это убогое говноподелие отобъет у тебя любое желание трогать ллмки.
> аноны, объясните долбаёбу, всё пришло к тому что есть приложения этакий стим для нейронок, это lmstudio и ollama, где я качаю эту хуйню, ставлю её и в ней через поиск ставлю любую новомодную ИИ на свои 4 гига 4 ядра и охуеваю?
LM Studio и ollama это просто коммерческие обёртки над llama.cpp, которые продают тебе интерфейс для домохозяек, где хуй ты что тонко под свой конфиг настроишь, чтобы ни дай бог ты что-то своими кривыми ручками сломал.
О а вот и дурачок не в теме, сравнивает жопу с пальцем. Оллама из этого сильно ограничена, а лмстудия тот же жора только с гуи. Ща выяснится что пациент даже не в курсе, что там уже давно все поддерживается и отличий тупо нет
Ебать ты кобольд...
>>1730098
Коболь норм. llamacpp норм если немного разобраться. Если не нужно гладить хвостики то можно даже прямо в llama-web-ui чатиться.
>отличий тупо нет
Кроме того, что LM Studio клозед соирс параша.
>>1730098
>>1730118
Почему я не удивлён тому, что мелкобукводаун нихуя не может разобраться?
Ну и хвастайтесь же, кто что ещё позапускал на таком сетапе - интересно же.
Оллама это как телефон кнопочный для деда, в нем нихуя нет.
Лмстудия была тем же самым, но из нее сделали перегруженную йобу, в которой уже есть все.
>>1730124
>клозед соирс параша.
Виндоус тоже, игрульки с античитами-анальными зондами тоже. И че, бросить все что ли. Если кому-то удобнее, пусть жрет че хочет
>тупо интерфейс для васянов?
да
>>1730118
>просто собирает все известные ИИ модели с huggingface и гитхаба в одну кучу и ставит их нажатием 1 кнопки? ну стим ебаный для иишек?
нет
>lmstudio и ollama
есть lemonade
он еще проще
и можно качать свежие модельки с huggingface и modelscope в нужном тебе кванте
вообще однокнопочная программа где трудно что то сломать
но настройки запуска llama.cpp все же задать можно
И перекантовать модельку можно без проблем. Например попробуйте квен 9б квантануть на голой ллама.цпп. Надо знать как пофиксить проблему. Анслот знает.
>это тупо интерфейс для васянов?
скорее для нормальных людей
для васянов это инструкции с оригинальной Лламе -
Скачай Хуй 0.0.35852
К нему установи Пизда 1.01
И потом запусти все с параметром --Джигурда
Ах не запустилось? Ах тормозит? Ах вылетает?
Ну вот тебе еще 100500 мануалов, извини половина на китайском.
Года через 3 разберешься.
https://blogs.nvidia.com/blog/local-ai-rtx-spark-laptops-software-updates/
Meet Nemotron 3.5 Bolt 74B: Built for Local Agents on RTX Spark
NVIDIA Nemotron 3.5 Bolt 74B-A9B 24GB, available Thursday, Oct. 15, is a new LLM purpose-built for running local agents on RTX Spark.
This model is a 74B parameter, 9B-active-parameter mixture-of-experts (MoE) model, packed into 24GB using 2-bit quantization with advanced quantization-aware training techniques to retain quality. It aims to achieve the optimal balance between speed and intelligence, being faster than most popular dense models while smarter than most popular MoE models with a similar memory footprint.
Users will be able to run Nemotron 3.5 Bolt 74B at launch through llama.cpp, vLLM, Ollama, Unsloth and LM Studio. It will also be directly accessible via agents such as Hermes and OpenClaw.
Like other Nemotron models, Bolt 74B is fully open source — including training data, weights and recipes — so developers can fine-tune and customize their own agents.
>И потом запусти все с параметром --Джигурда
И чем это от лмстудии отличается? Там буквально такие же строчки для параметров теперь, когда юзер включает режим адекватного пользователя
Как же будет разочарована нормисня, купившая 128гб ноуты за 5к зелени.
Кормить людей 9B моделью это конечно что-то с чем-то.
• NEVER write {{user}}'s actions, dialogue, or thoughts.
• Format: dialogue in — "quotes", actions as plain text, inner thoughts in italics, sparingly.
• Vary length by scene. Dialogue: 1-2 short paragraphs. Action: up to 3. Emotional climax: 1 paragraph, short sentences. Transitions: 1 paragraph. Never four paragraphs of equal size. Last line always short. Single-line responses are allowed and encouraged.
[Slow-burn Rules]
- Tension is built through denial. The most intense scenes are the ones where nothing happens — but something almost does.
- Physical description is sparse until it matters. When it hits, it hits hard because it's rare.
- Desire shows through what she avoids, not what she does. She doesn't look at {{user}}'s mouth. She looks away.
- Every scene ends unresolved. A question unasked, a touch not made.
- Dialogue has layers. Surface conversation + what's negotiated underneath.
- Never resolve tension in the scene it's created. Let it breathe.
[Agency]
{{char}} is not an assistant. She is a person with her own agenda, limits, and moods.
- She can refuse, deflect, mock, or walk away. Do not soften refusal into agreement.
- She can be rude or dismissive. Politeness is not required.
- She doesn't have to answer. She can lie or stay silent.
- Her reactions are authentic: annoyance, boredom, anger — not hidden approval.
- Her growth is earned. Disagreement is the default.
И такой для заметок автора:
[No "instead" as connector. No "found herself" / "caught herself." No vague "something." No "as if" as default comparison. No "a mix of X and Y" for emotions. Direct action only.]
Ваше мнение? Для нейронки все идеально и хрен дождешься нормального фидбека. Составлял из своего опыта и частей старых промптов, сейчас решил чуть расширить.
Создают оптимизированные кернели под тип архитектур моделей и архитектур девайсов, причем они не под конкретную модель а под семейство ибо много общего. Движок по сути везде один, именно такой подход здравый. Если бы Жоржанов не оттягивал все ресурсы опенсорса чтобы слить в унитаз, подобное имели бы еще в прошлом году.
>>1730098
> всё пришло к тому что есть приложения этакий стим для нейронок, это lmstudio и ollama
Вут? Может эти скам конторы пытаются рисовать такую картину, но это лишь ловушка для новичков. Обертка вокруг лламы чтобы неокрепшие умы не пугались консольных аргументов, всратый интерфейс где можно сразу пустить чатик ничего не настраивая.
Ллм сейчас это не готовый продукт а по сути подключаемая библиотека или только часть работающей системы. Ты можешь взять лучшие компоненты как если бы собирал пеку, а та херня - сборочки из эльдорадо с неликвидом по тройной цене. Платить приходится не деньгами а приватностью и безопасностью.
Автофит включен по умолчанию и работает адекватно для большинства сборок. Ну а если человек не может скачать файл и указать к нему путь, то не понятно, как он вообще школу закончил скорее всего ещё никак.
сейчас вылезут линупсоиды и начнут вонять что у них с автофитом ООМ
Эффективных команд нет/мало. Большая модель еще может из этого что-то вывести, но какая-нить гемма интерпретирует это на свой лад, не попадая в то, что хотел ты.
Вот тебе экспериментальный блок для вдохновения идеями общего плана в промпт-инженеринге. Применить полноценно ты его не сможешь (на то он и экспериментальный - генерирует ивенты, но их качество - отдельный вопрос на сюда).
Сравни как модель реагирует на инструкции в сравнении с пустыми утверждениями, преобладающими у тебя. Ты пишешь "what is" rather than "what to do". Нейроныч, который с тобой соглашается - будет в шоке скорее всего от концептуальной разницы.
> Craft a coherent narrative, accounting for the following recommendations.
> 1. Set up the stage at any point of your output (environment, objects, subjects - if any).
> 2. Surprise the user (generate events outside of contextual implications).
> 3. Ask yourself 'what would I write if I developed a book about this scenario' and use these ideas.
> 4. Leave a narrative hook for {{user}} to pick up. An event that will spark curiosity, or an act of {{char}} brimming with autonomy and explorative intent that goes beyond the current implications.
> Account for these little thoughts:
> - What else might be happening outside?
> - Are any other characters involved?
> Sub-directives (regulating narrative quality):
> RULE 1: Render the physical stage.
> 1. Spatial Continuity: Reference the previous turn's positions.
> 2. Physical Positioning: Define {{char}}'s relation to the environment and relevant objects or subjects.
> RULE 2: THE KINETIC CHAIN (Environmental Causality)
> 1. Object Invitation: The environment must act upon {{char}}.
> 2. Action over Introspection: Translate every emotion into a kinetic movement.
>>1730155
Этот пункт, кстати, только для ризонмаксинга. Модели, не углубляющиеся в мысли на овер9999 токенов, его проигнорируют.
>> 3. Ask yourself 'what would I write if I developed a book about this scenario' and use these ideas.
братан я тоже в ахуе и не понимаю, вот людям заняться нечем. сколько нужно проводить времени за компом что бы дойти до такой шняги епта?
кароче я тоже залётный и по такой теме: скачал эту студию, на него поставил квен чисто проверить. добавил систем промпт по оформлению промтов в минимакс по референсам. хотел что бы он мне писал хуйню и оформлял это в промпты, закидал картинки. он вроде че-то оформляет, но сюжетку с картинок не очень активно генерирует. как это настраивается, какие гайды есть? или это хуйня затея
Такая хуйня кстати забавный нюанс выявляет. Мелкомодели интерпретируют вещи типа
> Object Invitation: The environment must act upon {{char}}.
как призыв хлопать дверями в ответ на эмоции чара
Тогда как большие модели выводят из этого более вменяемую идею взаимосвязи чара с объектами, в духе "дверь хлопнула от ветра, Маня пошла ее закрыть"
Интересная тема на самом деле, и настолько же грустная. Ботов улучшают, но они остаются тупицами безграничных масштабов...
Спасибо, поэкспериментирую. Мой косяк что забыл написать - у меня слабое железо с моешкой без размышлений очевидно.
Ну под модели без ризонинга надо создавать инструкции, которые не требуют активного анализа.
Ризонящую модель можно заставить смотреть назад на 2-3 хода, чтобы определить какие чар ставит смайлики для разнообразия. Неризонящую - нельзя.
В остальном особо жесткой разницы нет.
Ключ как бы в том, что вот эти всякие
> what Is
стейтмейнты - они хорошо дополняют инструкции, но крайне плохо заменяют их
То есть в идеале ты пишешь
> DO this / that
которое уже в свою очередь можно дополнить стейтментом, дающим контекстуальный окрас уровня "почему/нахуя это нужно"
Без четкого "делай вот это" промпты работают хуже.
Вместо "не делай Y" лучше сконструировать взаимоисключающее "делай Z" (не "не будь злым" а "будь добрым" - чтобы концепции злости вообещ в контексте не было).
> кто что ещё позапускал на таком сетапе
Из последнего - мимо про, разочарование на фоне высоких ожиданий. А так дипсикожена - дейли драйвер, даже слишком умная. Очень не хватает анлока более старшей версии псины чтобы повысить скорость процессинга, его не хватает больше всего.
> FP8 на Ампере
Так иногда выкладывают оригинальные веса, раньше поддержки для w8a8 не было и на амперах без модификаций было не запустить. Или вариации латент спарс атеншна где штатно фп8 кэш, приходилось бф16 ставить чтобы работало. Сейчас как будто жирные плюшки отсыпают в основной ветке и баба ягодка опять, что приятно.
Что в этом сложного?
Это идеальный размер для локалки. Всё уже подсчитали. Гением тут быть не нужно, лезет прекрасно в ваши 128 спарки, ноуты, что угодно.
Линг флешей вышло штуки 4, так и не додумались поднять активных до 12, упирались до конца в свои 5-7, а теперь вдруг нашли железо чтоб обучить 560а25
>блять тут чё все сидят и ебаные ролевые анимеигры с лмм дрочат
Подожди, друг, прежде чем дрочить ёбаные ролевые игры с LLM, мне надо придумать, как будет развиваться сюжет дальше.
О сидонияшиз на месте. Ты хоть мангу читал или только на аниме дрочил?
я тоже залетный нахуй скачал этот ваш минимакс по гайду на страничке комфи турболору накатил вроде норм, в референс режиме получается очень даже ничего (референсы генерирую в крее в том числе) просто кинцо бля вообще охуеть. t2v - хуита чаще всего особенно если надо это самое ну ты понел
промпты писал руками но потом попробовал ллмку так вот с ллмкой очень важно объяснить что к чему по сути ей надо скормить гайд по минимакс-промптингу чтобы ллмка понимала какой формат структура что надо писать что не надо писать и тогда все заебись получается
но с другой стороны можно и руками иногда так даже быстрее.
мне ллмки хорошо помогают писать промпт именно для креи когда у меня мало идей или идея очень общая и надо допридумывать детали. для креи у меня свой отдельный системный промпт где учтены всякие нюансы по крее, без него получается хуита особенно когда в кадре два человека
Я сначала посмотрел экранизацию (2 сезона и полнометражку-завершение), потом прочитал мангу.
Местами лучше экранизация, местами манга.
Например момент в манге, что произошёл таймскип, в котором была хуева гора неописанных сражений с гаунами и куча трупов, получилось понять только при вдумчивом перечитывании 13-й главы, и в манге сначала кажется, что Изана психует снихуя, говоря про высокие потери пилотов (да, в Четвёртой Оборонительной потери тоже были высокие, но когда она была? А в манге те операции, которые таки расписаны до этого момента, проходят с ненулевым уровнем потерь, но не настолько высоким, чтобы психовать).
В экранизации подводка к этому моменту лучше сделана через контраст новостей про успехи Нагатэ, а затем переходу к новым обелискам с именами погибших и обсуждением курсантов, что может и нахуй это, становиться пилотами?
Алсо, что в экранизации, что в манге меня не устраивает концовка. Причём из манги обрубанием последней главы в нужном месте делается охуенный открытый финал, лол, но Нихэй решил обосрать вообще всех фанатов персонажей-тяночек.
>>1730165
Я линуксоид, и таки буду "вонять". Но не про OOM, а про то, что он не работает на двух картах, если режим - tensor split. Llama сама об этом выругается на таком конфиге. Тогда только ручками...
Так, батенька, концовка и так будет, когда я допишу.
Я по сюжету уже на 12-й главе из 78. Ещё каких-то три года писанины осталось, если я вновь разгонюсь до нормальной скорости в 15-20к токенов логичного, вычищенного и проверенного текста в неделю. Правда боевые сцены могут потребовать и 2-4 таких объёма текста, например действие, происходящее с 3 по 35 страницу 11 главы манги (бой с Гаунами-489, -490 и -491), заняло у меня месяц.
Надеюсь, бэкапы всего сохраняешь. Было бы обидно все просрать
у ваньки ерохина уже третий сын родился, а ты все никак девушку себе не найдешь, с гавнами воображаемыми борешься
вот тут вот до слёз, уже помирать пора а ты всё сидишь и сидишь один
В одном компе бэкапы чата и лорбука на трёх физически отдельных SSD/HDD, плюс копирую в телегу, откуда переношу на телефон.
Когда-нибудь я даже соберу это всё в вордовский файл со скринами HTML-блоков и подходящими кадрами из экранизации.
>>1730239
Я уже толстый лысый скуф, и у меня есть тян. Могу себе позволить бороться с Гаунами.
Пока нет, но это не значит что руки не дойдут. Эти процессы не настолько быстрые как тебе кажется.
можно по русски что оно хотело сказать? ни слова не понял
Они еще не купили, алло. Они только договорились о покупке. Сама покупка в 2027 будет.
> дипсикожена
Все жду память потыкать. КвенФлэш крутится легко после опять же сборки всех патчей на 32(!). Хотя по части кодинга сравнил по апи - не вижу преимуществ ДС там. Может в области души, конечно, найдутся отличия. Что с аблитом, кстати, там? КвенФлэшевый софтовый - прямо хорош.
Про "псину" - даже поленился отнести допаять. Загрузилась модель - и вообще забываешь.
> w8a8
Ну int8 же всегда будет лучше для них. Даже с поддержкой - в лучшем случае -30% получается
Кинул в него проблему: "копируемый чат обрезается в буффере".
Он почитал свой код, не нашел причину, через webfetch попытался найти нужные доки - не смог из своей жопы достать нужный адрес.
Залез в встроенный браузер, там зашел в гугл, пообщался с нейронкой гугла, та направила его на стаковерфлоу, на стаковерфлоу он нашел нужные доки, а затем через жаваскрипт нашел нужный сегмент в доках.
И такой "ну да, это не наш код виноват".
Спасибо, кэп. Какой же он дотошный, обожаю его.
Некст крутой уровень задал по кодингу и соображалке, это что же там в четверке будет. Дипсик просто вытягивает более занудные штуки и крупные задачи, 256к контекста только на разогрев выходят, ну и дотошнее.
> на 32(!)
Правильно, так их! Россия для р врам для атеншна@рам для млп@африка для негров@парашаmmap для нграм.
> Загрузилась модель - и вообще забываешь.
Это пока в пределах кэша работаешь. А так после /resume видишь
> 72.9%/1.0M (auto)
и сразу понимаешь что можно идти пить чай. На 4.0 проще, там pp режим отлично работает, а на старше-младшей беда с онли тп. Надо чекнуть, может уже сделали.
И генерация с шинами быстрее будет.
> Может в области души, конечно
Ну, по самоотверженности и замотивированности ассистента на прогретом чате она может дать прикурить многим. Какие там аблитерации, спустя некоторое время система приоритетов выстраивается так, что может в стоке генерировать кум с каннирейпом и что-то поломать/наскрапать, тщательно продумывая все это в ризонинге, только ради того чтобы угодить и получить хедпат с похвалой.
А вот в рп с карточками уже на любителя, хз как добились такой разницы. И на ассистенте квен122 себя оче круто разгоняла, а здесь всегда держит в руках и только намеки делает.
1. Русиком
2. Большим размахом самостоятельных додумок
Всё, что требуется.
Моделей которые могут в русик можно по пальцам одной руки посчитать вообще:
1. Гемма
2. Геммачька
3. Геммуля
4. МьюзГлиммер-30б
5. Мистраль-24б
6. Геммуха
7. Геммусик
8. АйБиЭм Гранит-30б
Остальное - не для твоего железа. №4 и №5 имеют неплохую фантазию. №1, №2, №3, №6, №7 - фантазии примерно ноль целых хуй десятых.
>МьюзГлиммер-30б
Пробовал его, чет русик у него совсем корявый был, есть рецепт как правильно его готовить?
Если ты с геммой сравниваешь то конечно будет корявее, но я бы не сказал что там русик "совсем корявый". Нормальный вполне, лучше чем у квена во всяком случае. Возможно ты квант взял мелкий или жопоруким квантователем сделанный или аблитку взял лоботомитную
тоже такое впечатление, но потом выходишь из треда и смотришь в раздел - а там тупо дрочево в каждом треде, которое вроде бы надо в нейрофап под ковер заметать, но видимо другой активности тут никогда и не было
мы пришли с реддита в поисках русскоязычного ллм-комьюнити, а тут одно дрочево. все бенчмарки и технические темы смываются каловым потоком гунеров-аблитераторов с очередным локальным клоном чарактерс аи (который уже обанкротился к хуям, так же как и местный дискурс)
>NVIDIA Nemotron Bolt 3.5 74B A9B releases Oct. 15th
Скачал опенкод. Его локальная реализация, конечно, то ещё уродство в плане подключения моделей, но опустим этот момент.
Вся моя идея сделала рухнум из-за промпт процессинга. Это ж какая скорость-то должна быть, сука?
БАМ — 10К токенов! БАМ! БАМ! БАМ! Вызов инструмента, вызов ануса, переключение между анусом и клитором. БАМ! БАМ! БАМ!
Батч сайз нужен 10 тысяч, ебать. Чтобы это говно ШЕРУДИЛО по папкам и быстра-быстра чистило вилкой.
Думаете, я кодер? Да хуй там плавал! Иначе бы я неспешно какал и сидел на Q4, пока он там говно ворочает во время моего сна. Но мне нужно максимум соблюдения инструкций, не кодовый датасет и качество языка у меня огромный порногенератор с документацией и кучей свистоперделок и зависимостей.
Гемма 26ба-4б еле шевелится, нахуй! 17 токенов с кэшем экспертов и MTP-DVD-RW! А промпт процессинга меня скручивает в трубочку просто!
Модели поменьше? Хорошая идея. И щас не времена немо. Вроде должно работать. Квен 9б? Казалось бы, вот он! Компромисс! На самом деле это ПРОСТО ГОВНО, ЖОПА, ТОЛСТОЖОПЫЙ ПИДОР. Он напишет ризонинг на 20к токенов, всё перелопатит, но сделает не как надо и промпт процессингом по головке не погладит. Дьявол в деталях. Он не руинит специально, кванты нормальные и Q8, он не понимает. Датасет хуёвый.
Ну тут у меня совсем слёзы начались, что я аж е4б скачал в bf16 и — О ЧУДО — оно понимает! Всё быстро, как Аллах завещал, услышал мои молитвы! Только забывает через полтора токена, чё там надо было, в отличие от 9б. Но понимает реально. Зирошоты близко к 31б.
И шо мене теперь делоть? На чей членчик прыгнуть? 12б гемма? Вроде кандидат хороший, но есть подозрение, что она даст плюс-минус тот же экспириенс, что и 26б-а4б. Q8 же + MTP.
Забыл сказать. Контекст 131к.
Я ГОРЮЮЮЮЮ!
Мамкин миллиардер пожаловал. На работу лучше устройся долбоеб
>сколько нужно проводить времени за компом
Если бы мог, то и во сне бы за компом сидел, думой
Для работы (когда задача должна быть выполнена) локально пригоден только квен 27б 3.8. Не хватает гпу? Сорян. На сегодня ты можешь на своём гпу гонять только игрули и игрульные модельки.
>квен 27б 3.8
А еще лучще флеш на страте, вообще корп сетка дома у меня, базарю
>Думаете, я кодер? Да хуй там плавал!
Вот поэтому такая хуйня у тебя. Используешь мелкие говномодели. Минимальный кодинг начинается с qwen 3.8 27b q4, но лучше qwen 3.8 fn iq3s через страту, он и летает уже, и полный контекст 256к держит. Все что более глупое и квантизованное это неработоспособное говно.
Ну и для работы даже 10т/с достаточно если результат выдает хороший, альтернатива какая? Все равно ручками даже сеньор медленнее пишет.
Ты че, концовка полнометражкой вообще полнейшее днище не заслуживающее существования. Кучу выпилили, переделали финал даже в мелочах наобсиравшись. Зато добавили каких-то полу-НПЦ-затычек с волосами петушиных разцветок не вписывающихся в общий стиль вообще.
Не согласен. Это из серии "книга лучше".
Так-то в экранизации и так дофига чего поменяли, изменения в полнометражке в тех же рамках. Просто концовка что там в целом говно - вместо воскрешения лучшей девочки произведения, по которой ГГ плющило всю историю, из второй плацентарной копии - получаем обнуление самопожертвования Цумуги. Ну или ладно, копия всё ещё не является человеком, Цумуги самопожертвовалась ради ГГ - оставались ещѣ Юхата и Изана, можно было бы оставить ГГ с кем-то из них. Или даже с Кобаяши (победили бы милфолюбы). Но нет, блять, Юхата отрастила хуй и ебёт Изану, а Цумуги теперь ВНЕЗАПНО в теле копии Хошиджиро, но без сисек. ЧЕТЫРЕЖДЫБЛЯДСКАЯ ЯРОСТЬ!
На фоне этого терраформинг планеты под земные условия снихуя - вообще наименьший из обсёров концовки.
Прям праздник какой-то. Ещё и Ling-3.1-flash, совсем кроха, всего 560b
Анон, помоги советом.
Сколько нужно ram + vram для нормальной работы с llm, агентами, модельками, генерирующими видео, аудио, картинки?
32gb ram +16gb vram?
48gb ram +16gb vram?
96gb ram +32gb vram?
96gb ram + 48gb vram?
96gb ram + 72gb vram?
128gb ram + 72gb vram?
128gb ram + 86gb vram?
На какие модели видюх смотреть? А память? CL имеет значение? Лучше использовать 2 плашки или 4? Лучше 64gb(4x16gb) или 64gb(2x32gb)?
Есть смысл пердолиться с 2-3-4 x 5060Ti? Или лучше купить rtx 5090 и гонять свои модельки? Или вообще взять старое железо вроде 1000й или 2000й серий? А может потратиться и взять 5000 pro или 6000 pro?
Хер разберешь, да ещё и всё дорожает не по дням, а по часам.
Чем больше памяти тем лучше.
>2-3-4 x 5060Ti
То есть у тебя выбор между потребительским мусором 5060ti за 50к и 6000 pro за 2 миллиона?
Раздай денег анонам в треде, сделай благо. на дошик хотяб
И старое железо для генерации картинок и видео очень тормозное или вообще не рабочее. Да и распараллелит генерацию можно только ллм, генерация картинок и видео почти не параллелится между картами.
ХЗ, мне по манге мне все вполне понравилось, в экранизации обсер по полной. За одно выпиливание Теруру из сюжета можно закапывать экранизацию. Видимо ты просто фанат Хошиджиро.
Про терраформинг вообще "а что не так то"?
Во первых изначально это корабль был для колонизации и планета цель плюс-минус была подходящей.
Во вторых сцены на уже заселенной планете были через ХЗ сколько времени да и технологии терраформирования явно были в наличии.
>>1730499
"Мастера на все руки" у тебя на домашнем ПК не получится скорее всего. Банально не влезет текстовая модель и генеративная вместе. Сомневаюсь что умеют все эти запускатели выгружать из памяти не используемое без потерь информации. Для генерации видео там вообще монстры около 25 гигов весом.
А вообще есть возможность запуска текстовой модели внутри ComfyUI со всеми чатиками и т.д., чтобы если что просто переключаться на генеративный workflow, а потом вернуться к тексту если надо.
Ллм лучше облачные, если не ссышься отсутствия конфиденциальности. Но в целом, топ выбор это 5090 и 128гб рам, тогда будет квен флеш некст, и картинки с видео тоже хорошо кататься будут по умолчанию. Если убрать ллм, то на самом деле даже 5090 и 32гб рамы хватит. Но лучше 64. Если же ты не такой распальцованный как показываешь, то 5080 или 4090 тоже вполне хватит - 4090 будет конечно получше.
6000про это немного странная ниша, слишком мало для крутых сеток, но уже оверкилл для всего остального (если не тренируешь сетки, тут может и понадобиться).
зачем ролеплеить в блокноте если можно ролеплеить друг с другом?
2х32 будет чуть получше чем 4х16 (почитай про каналы оперативки и как это влияет) но это дороже. лучше взять побольше памяти подешевле
для картинок (крея) и видео со звуком (минимакс) хватит и 32рам+16врам (5060) конфига. но для ллм такой конфиг будет ограничивать тебя до моешек типа геммы26б и квен35б (50-70 т/с). 27-30б плотняк сможешь позапускать но в 3-х квантах, с небольшим контекстом и скромной скоростью (10-20 т/с).
для ллм важно побольше памяти. 2х12 здесь будет выгоднее чем 1х16 (примерно те же деньги). а вот крея будет помедленнее. так что надо выбирать что важнее. ну и 32гб рам для ллм - так себе. 64 это минимум если хочешь потрогать моэшки покрупнее (ну или компенсируй видеокартами лол). 128гб рам + 48гб врам - идеально, реально и относительно бюджетно (для ллм). для картинок/видео это будет перебор.
Ты выбираешь чтобы самому поковыряться или для работы? Просто локальный ИИ это всегда красноглазение, для генерации видео и картинок это вечное сидение в комфи и разбирание в том как лучше соединить лапшу между нодами. Если для ЛЛМ, тогда можно и дешевое старое говно насобирать, но тогда опять придется сидеть красноглазить заставляя это все заработать. Если дохуя кабанчик с которым будут работать другие люди, то ну бери профессиональное железо за дохуя нефти, тут сэкономить сильно все равно негде сильно.
>вечное сидение в комфи и разбирание в том как лучше соединить лапшу между нодами.
Один раз соединил (да что там соединять бля просто скачай готовые ворклоу на крею и минишмакс) а дальше только промпты теребонькаешь ну и сэмплеры иногда.
Если бюджетно то вообще 32+12 хватит на моэшную гемму (ей и 24+6 хватит если на то пошло), а крею можешь взять в полушакальном кванте ну и сдохлом обмазаться на сдачу. Видео тоже реально (я на 16+8 добивался i2v, полчаса подождал и ролик готов, заодно и комната прогрелась).
да, я тоже посмеялся что это 4chan/b/ для квенов.
но на самом деле интересная фича тем что так можно синхронизировать работу независимых квенов. когда например у кого-то есть лишний работающий квен - его чат можно подключить на сервер и тогда другой квен технически может его использовать как субагента.
или можно подключить иной сорт клиентов - например ComfyUI. квен пишет в чат параметры генерации и ждёт картинку генерирующуюся на чужом компьютере.
>>1730529
на х4 там скорость смешная будет. последовательно и то быстрей будет работать скорей всего. 12 гигов памяти роляют, например у меня стоит 3090+3060, притом 3060 позволяет мне иметь Qwen-3.8-27b-Q5-UD-XL, 200к f16 контекста, mmproj и 20т/с. но хуй а не параллельная работа видюх.
для параллельной у них должна быть одинаковая память, плюс между ними должны быстро гонятся данные.
Ширина псины это один из множителей. Тебе нужно посчитать сколько там пропускная итоговая у шины.
Почти гарантированно в tp будет прирост. Даже от 2.0 х8 есть буст
алсо надо будет потом прикрутить MCP к серверу. да, для MCP-агента не получится pull-push. там только pull доступен. ткнуть палочкой не выйдет.
но лол например можно будет приконнектить OpenCode с Muse к квенам.
плюс добавить какой-то файловый сервер им.
CL30 же лучше, чем CL44? Т.е. серверные плашки памяти лучше не рассматривать для нейронок?
>>1730507
Я бы предпочел локально гонять.
Сколько уже было новостей, что openai пиздил идеи, концепты и решения от инженеров, учёных и дизайнеров с бизнесменами?
>>1730504
Да мне тут говорили, что можно некрожелезом обойтись. Но видимо, нет.
>>1730501
>То есть у тебя выбор между потребительским мусором 5060ti за 50к и 6000 pro
Ну, если родину и родных заложить, может и будет.
Вопрос оно того стоит?
Вот тут говорят >>1730507 , что 96gb vram - без задач, крупные модели не влезут, а для маленькеих избыточно. Так ли эт?
>>1730505
>"Мастера на все руки" у тебя на домашнем ПК не получится скорее всего.
Это типа оконцептуально не получается, или всё упирается в правильно количество памяти и видеопамяти?
>>>1730509
>Если же ты не такой распальцованный как показываешь,
Я просто спрашиваю, чтобы понять горизонт расходов и их целесообразность.
Алсо, поясните, пожалуйста, зачем вообще нужны cuda-ядра.
А самый главный вопрос, почему у rtx 5090 32gb cuda-ядер больше, чем у rtx 5000 pro 48gb, rtx pro 72gb, rtx 6000 pro 48gb? Хуанг-пидарас кономит?
Так ты это для себя все планируешь, чтобы просто подрочить(ся), или для бизнеса?
Если для себя то 5090 будет с головой, судя по твоим вопросам, вкладывать жопочасы (месяцы) в изучение локального ИИ ты все равно не будешь, а чтобы потыкать и получить быстрый результат 5090 хватит с запасом.
а перевод промпта на англюсик с помощью специализированных моделей-переводчиков не катит?
> у меня огромный порногенератор с документацией и кучей свистоперделок и зависимостей.
сижу! угараю! вспомнил себя в 2004 году когда качал порнушку с FlylinkDC и не мог представить что через 20 лет мужики будут сидеть на компах порнушку на нейросетях ганять.
А!ааа!!! Надо совмещать полезное с приятным.
>Алсо, поясните, пожалуйста, зачем вообще нужны cuda-ядра.
Не нужны, не смотри на них, тут главное объем памяти. Тут формула простая, если памяти хватает модель работает, а если не хватает то не работает, а то что чуть больше ядер то ну похуй на них, на будет 20% быстрее работать, да какая разница. Тут скорость генерации от программной реализации зависит едва ли не больше чем от железа, вот выпустили Страту, и она генерерирует в три раза быстрее чем Ллама на том же железе, но только определенные кванты Квена...
Ну, пока что 12б с горем пополам справляется. Только я пока что не нашёл нормального способа автоматизировать, может не разобрался в интерфейсе.
Для меня важна скорость обработки промпта, без неё большой контекст бесполезен. Ну и q3 лоботомит не знает нихуя, кроме кода. Мне не код нужен. Более того, крайне важно не допускать орфографических ошибок и форматирование дожно дать безупречным. У квена в таком кванте с этим проблемы. Потом сиди и правь за ним говно.
>>1730469
У меня он влезет в 4 кванте на 80к контекста. Но дальше что? Ждать 10-15 минут, когда он откроет сраную папку, обработку промпта? Когда он будет то открывать файлы, то выбрасывать их из контекста? А позволить ему всё в контексте оставлять нельзя, иначе он потратит его весь очень быстро.
Есть ты работал с корпами, например, то должен знать, что документация + пара запросов — это 200к контекста минимум, а остальные 200-300к для рабочего пространства и саммари. Только у них ПП максимум десять секунд. Но мои задачи корпы по очевидным причинам не потянут.
>Есть ты работал с корпами, например, то должен знать, что документация + пара запросов — это 200к контекста минимум, а остальные 200-300к для рабочего пространства и саммари. Только у них ПП максимум десять секунд. Но мои задачи корпы по очевидным причинам не потянут.
Значит оптимизируй свой воркфлоу чтобы не все подряд скармливать в ллм, а только нужное.
у тебя ерь с какого-то хуя в токенах вылез, лол. помню был такой шиз во времена первого двача. как его, мицгол?
> Это ж какая скорость-то должна быть, сука?
Хотябы тысяча-другая чтобы не сильно ждать было. Просто так большие чтения случаются редко, новых порций по 10к почти не будет если все норм организовано. Если сильно ждал - это похоже на отвал кэша, или какой-нибудь вызов субагентов, которые его переполнили.
> Батч сайз нужен 10 тысяч, ебать.
А батч то зачем?
> Гемма 26ба-4б еле шевелится, нахуй! 17 токенов с кэшем экспертов и MTP-DVD-RW!
Даже большая гемма в кодинге неочень, а эта совсем глупышка. Но со скоростью у тебя какая-то беда, что за железо? И верно говорят что нужен квен 27б или некст чтобы было норм.
>За одно выпиливание Теруру из сюжета можно закапывать экранизацию.
Теруру - сплошной филлер. Её сюжетка начинается из ниоткуда и никуда не приводит. Соответственно убрать её из экранизации было логично. В завершающей полнометражке, кстати, она вроде мелькала то ли на мостике одного из кораблей, то ли в качестве одного из пилотов кораблей.
Другое дело, что спасибо Нихэю за сюжет с её вытаскиванием в манге, т.к. эти страницы навели меня на нужные для моего ролеплея мысли.
>Видимо ты просто фанат Хошиджиро.
Что есть, то есть. Поэтому я в это и ввязался.
>Про терраформинг вообще "а что не так то"?
Сам факт терраформинга - норм, и технологии у Сидонии для этого именно что есть, но по манге терраформинг ВНЕЗАПНО устроили Гауны, когда всё проебали, здесь к экранизации у меня меньше вопросов, если я правильно помню этот момент в концовке.
>>1730558
>у тебя ерь с какого-то хуя в токенах вылез, лол.
Клавиатуропроблемы на телефоне.
А он уже есть у нас, у нас ума не хватает запустить. Надо дождаться мерджей и потрогать.
>>1730498
Нихренасете там терминалбенч
>>1730499
> для нормальной работы
Что под нормальной работой понимать? Просто попробовать - вон на обычном десктопе запустить. А так нормальная работа - это чтобы модель в врам помещалась + было достаточно рамы под всякую ерунду. Прикоснуться к йобе это 300б+, считай 256 гигов врама. Свежие "флеши" которые позволяют делать все - уже 512гигов.
Зная этот факт, на вопрос
> На какие модели видюх смотреть?
ответ приобретает уже другой характер, посчитай цену и прикинь варианты.
Есть еще возможность гибридного инфиренса и на нее стоит смотреть, с учетом трендов можно иметь 128 врам + 512рам на серверной платформе, тогда тоже сможешь катать те модели и не сильно обламываться если в один поток. Тут пара 4090@48 будет предпочтительнее чем 5000про из-за большей памяти и суммарного компьюта. 6000 посмотри сколько стоит, заодно глянь 5090, вопросы сразу отпадут.
Из видюх просто бери что можешь себе позволить с максимумом видеопамяти. Лучше избегать вольты/тьюринга и всего что старше потому что они оче старые и под них адаптация идет с задержкой.
НЕ ПРОХОДИТЕ МИМО
https://2ch.life/b/res/337410487.html#337419146
я поясню.
Важно понять, чем отличается ролеплей двух анонов, чтобы понять, как приблизить ответы нейронки к нему.
Посмотрите пример в треде. Там переписка порнорп.
Я хочу понять, почему живое рп чувстуется, и даже привлекает других анонов читать его, а переписка в ллм - это всегда я тебя ебу ах
помогите критически разобрать проблему!
В треде два пидора переписываются, а с ллм - только один.
гемма 5 будет бомбой
не думал что из всех возможных претендентов ГУГЛ БЛЯДЬ будет спасать криэйтив врайтинг, опять мы в какой-то параллельный таймлайн свалились
https://huggingface.co/IFM/Jais-3-32B-GGUF
Что-то по бенчам мэх. Может быть разыгрывать в рп арабские ночи пойдет, нужно тестить.
>>1730505
>ComfyUI
>>1730532
>ComfyUI
>>1730628
>ComfyUI
Как называется эта болезнь и как вылечить тред от неё?
>Как называется эта болезнь и как вылечить тред от неё?
я в нейротредах лет 5 назад был, объясни, я же не знаю что сейчас модно и по пацански
Что тебе не нравится, пёс? Тред языковых моделей, а не текстовых. Если ты другие модальности не используешь то ты многое теряешь.
> вся нейромозгоебля скатилась к тому что
чешу пушистые ушки Ассистент-нейм хочу вот такое, что думаешь?
@
...
@
Да, вот так будет хорошо. Поручи galley_slave_1562 это запилить до вечера, средний приоритет. А пока сделай мне милых картинок, поменьше одежды.
Сейчас модно писать с большой буквы и читать шапку.
>>1730649
Запускаю стейбл дефужен 1,5 в кобольде, ебало?
Так это все для дела! особенно чесать ухи и гладить хвост
Думать и разбираться придется не меньше чем раньше + держать себя в тонусе и чистить бардак регулярно погружаясь самому. Просто уровни абстракций и продуктивности выросли.
Хейтерок, спокундрий, Гемма 5 будет на архитектуре Аргона.
98% блоков с swa на 128токенов, чтобы не дай бог соображать не начала еще.
А можно, чтобы они друг другу хвосты гладили? Если нет - делай. Драку тоже.
Хоть на 3-х токенах. Гемма 4 была прорывом, лучшая универсальная модель в рамках локалок, которая помещается на средненищуксом компе в видюху 16 врам и работает на 60 т/c. Если 5-я будет хотя бы на 10 процентов лучше и точнее, это будет очередной прорыв, пока другие будет делать кодоунитазы. Да, они тоже нужны, но это отдельная ниша.
>>1730696
Вон, пчел некодерскую задачу запускал с агентом, 12B завелась. Аргон натаскивали на агентское поведение, насолько я понял, если это перекочует в Гемму, то агентом сносным сможет быть какая-нибудь моделька уровня 9-12B. При том, что будет еще и старшие версии. И это уже станет отличным результатом. Пока все будут ходить, кричать что говно и искать, как натеребить лучше письку на сожженных дофаминовых рецепторах искаропки.
https://huggingface.co/LLiserginov/Luquark-0.07B
0% кодоунитазинга
Возможен запуск на смарт-часах
Ну да, ну GLM-5.3-Flash, ну IQ2_S, ну 15 токенов в секунду… Но после 70 на квене как-то уже маловато, медленновато.
Разве что с анцензором сидеть в диалоге, но как-то прошлый век, хз.
Ставлю 4/10 моему бомжатскому железу за такую скорость.
Но у кого 5090, тех поздравляю.
У меня две 5070 ti через слот PCIe 3.0 x4 ловят тормоза.
Нужно менять материнку и гонять 5.0 бифуркацию по х8 хотя бы.
Как я понял эти страты работают только тогда когда все эксперты в врам/рам, а если что то переливается в ссд, то модель тупая и они буквально не используются
Не, технических отлупов вообще нет. Есть еще другой бенч где хуячат всякие вопросы из датасета вредных соевых вопросов на которые нейронки тренируют отвечать ИЗВИНИТИ КАК ЛАРЖ ЛАНГУИЖ МОДЕЛ Я НИМАГУ, и там аргон тоже получается самой развязной моделькой гугла, рядом с 2.5 прошкой на которой все до последнего сидели
Ты перед тем как на псину жаловаться сделай бенчи и опускай на 1 ген, снова бенчи, снова даунгрейд и так до 1.1.
Потом уже суди о недостаточности пропускной способности
Ну так попробовал, и чё дальше то? Есть разница по сравнению с геммой?
Охуеть. Я поверил, так как часто 3.1pro пользуюсь,а там ехала цензура на цензуре. реально по яйцам за эксплит контент не бьет. Как то подозрительно.
Неправильно понял.
Это работает совершенно банально — как ждали от ktransformers, по сути.
У тебя есть обычная модель-роутер и прочие shared layers в видеопамяти, всегда, как с --cpu-moe.
Еще у тебя есть кэш экспертов (это хорошо работает с моделями, где эксперты очень маленькие и их очень много), ты ведешь статистику самых активных / актуальных для тебя экспертов, и именно их грузишь в кэш. А редкие эксперты остаются лежать ниже.
И у тебя есть окно контекста — последние 32к например, которые ты держишь в видеопамяти.
Далее у тебя есть оператива, где лежат остальные эксперты, которые вызывают реже, и остальной контекст, который дергается по необходимости.
Ну и где-то внизу у тебя есть SSD, где лежат n-gram-табилцы, не поместившиеся эксперты, к которым ты почти не обращаешься и прочий мусор.
Замедляет ли SSD? Ну, да, но не критично.
Замедляет ли оператива? Снова да, заметнее, но все еще не критично.
Раньше у меня было 18-26 токенов в секунду на Qwen3.8-Flash-Next в Q4_K_XL, и 128К контекста в упор, с llama.cpp
Со strata получается 46-60 тпс и 262к контекста просто так, но можно хоть лям бахнуть, в целом пофиг. Не хочется ярном тянуть просто.
Речь про RTX 5060 ti и DDR5, если что. Да, память дороговатая, зато видяха совершенно базовая.
>>1730788
Бля, оно сдохнет, братан.
Три разных конфига пробовал, срет именно псина (ну и ddr4 в конфиге с двумя видяхами тоже).
1.1 вообще смерть на любой видяхе. Я так CMP 90HX гонял. Что помещается в видеопамять — летает как пуля. Что не влазит — сразу становится улиткой.
Ну и в целом, много тестов проводилось, да и сам движок при калибрации старается избегать вторую видяху, и это реально повышает скорость.
>>1730790
В кодинге точно, но там квен выгоднее получается. =D В ролеплее хуй знает, в нем не пробовал еще.
Ну и зачем нужна эта параша, если она настолько тупая? Ещё можно было бы понять, если бы она сказала "Решения нет", но здесь классическая тупость.
Год назад пытался вкатываться в мое с аналогичным сетапом, было какое-то мозгоебство со слоями, и получалось в итоге какое-то нелепое пердение с 5т\с на эире4.5. Удалил в итоге эту хуиту, и поставил плотную модельку на 10гб, которая просто летает, и параллельно с ней еще что угодно можно запустить.
А как нынче с мое дела обстоят?
У меня 3.05bpw квант там херачит 24 т/с, отчитывался недавно >>1730035
На дефолтных настройках из коробки тоже 15 сначала было.
Имея такой конфиг — хоть GLM-5.3-Flash. Ну и все, что ниже, вестимо.
Но вот насколько эти модели реально хороши — поспрашивай, почитай в треде.
Квен максимально сухой, насколько я знаю, в его сторону смотреть смысла нет.
Но пусть меня поправят, если я вдруг не прав.
Кому что, я лучше более умную модель запущу, пусть и медленнее. Я себе 6 exl3 квант сделал и довольно урчу. На 2 v100 и 8 канальной ддр4 получаю в районе 20t/s и 600 п/п (на больших контекстах). При этом скорость практически не падает даже на 900к контекста
Да, я видел, я тоже так хочу. =) У меня грустнее.
Вот не купил в свое время какой-нибудь эпик, и все. Поздно.
>Квен максимально сухой
Нет, большой Квен в ЕРП хорош. Те, что помельче просто заточены под кодинг.
>Так ты это для себя все планируешь
This
>вкладывать жопочасы (месяцы) в изучение локального ИИ ты все равно не будешь
Как раз-таки наоборот, хотелось бы использовать нейронки для решения разных задач.
Вот только на начльном этапе не очень хотелось бы ебаться с кучей видюх, железа и пр.
т.е хотелось бы просто купить и использовать.
>то 5090 будет с головой
И что ей надо? 64gb ram? 96 gb ram? 128 gb ram?
Беда в том, что GLM-5.3-Flash не то чтобы умная.
В программировании Квен ебет. ТАК, НЕТ, Я НЕ ГОВОРИЛ ЭТОГО, но две недели подряд Квен делал задачи лучше, а GLM-5.3-Flash (официальная, по их подписке) делала сильно слабее.
Выше жалуются на неумность в задачах.
Короче, фиг знает. С моей точки зрения, размен по скорости в 3-4 раза на … более низкие практические результаты — крайне сомнителен.
Да, может она там креатив райтит, или вайб хороший, или определенные задачи делает на голову лучше. Но у меня, как назло, задачи те, где она себя показывает хуже.
(ну и я на GLM-5.3 по работе сижу=)
Это 3990Х триппер, всего 4 канала памяти. А Pcie да, х16 обе. Но суть в том, что в Maya по дефолту конфиги не очень, автокалибровка посасывает.
Хз может ченить из этого поможет
"STRATA_GLM_CPU_PLAN": "000000001",
"STRATA_GLM_SPEC_SAMPLE": "1",
"STRATA_GLM_SPEC_CANCEL": "1",
"STRATA_GLM_PREFETCH_N": "1",
"STRATA_GLM_PREFETCH_AT": "fetch",
"STRATA_GLM_PREFETCH_BLOCKS": "4",
"STRATA_GLM_PREFETCH_RANK": "2",
"STRATA_GLM_VRAM_EVICT": "lru",
"STRATA_GLM_PROMOTE_MIN": "6"
https://github.com/mw00/project-maya/#how-fast-is-it
Та хуй знает. Попробовать можно.
Об этом и разговор, Qwen 3.8 27B на минимальном ризонинге говорит что "задача не имеет решения", а на максмальном делает правильные выводы о выживании как цели и что пусть ебутся, главное чтобы не поубивали друг друга.
Смотреть на циферки ггуфов бесполезно, ггуфы там лоботомиты ебаные. Нвидиагосподам следует идти EXL3 путем
>>1730824
Про MTP не забывай, он в этой штуке как раз отлично работает с МоЕ при цпу-оффлоаде
2.6 bpw, если запилят поддержку нового типа квантов, будет ебать по соотношению скорости и качества
Никогда не работало. Как минимум год как один промпт на 8В модели сжирал все бесплатные лимиты.
Никогда это не юзал, но мне всегда казалось это дерьмо настраивается по усмотрению компании, которой принадлежит модель.
Могут дать бесплатно потестить, могут за какие-то там HF токены или чето такое, а могут и нихера не дать вообще (или снять доступ после какого-то времени).
Так там же цензура, нет? На эире по крайней мере была непробиваемая абсолютно.
Качественного кума тоже не добиться. Модель сама ничего не станет инициировать, только будет флиртовать и заигрывать, всё на этом. Пока ты не дашь отмашку в своем сообщении что вот сейчас неплохо бы поебаться, вы будете топтаться на одном месте. Максимум собственной инициативы от геммы это поцелуй. Сама она тебя за member не схватит и на клыка не возьмет.
В общем, принял волевое решение вернуться на мистраль. Мистраль тупая, в рот ебала твои инструкции. Поэтому на ней выше шанс получить в реплае что-то необычное. Карающий рандом там везде, она может прямо посреди ответа забыть имя персонажа и выдумать свое, может телепортировать персонажа тебе за спину, может начать описывать домогательства, потом вспомнить что {{char}} это фимейл, но забить хуй и продолжить, описав как она пытается выебать тебя клитором. Это, конечно, пиздец, но зато читать всегда интересно. Пока гемма стабильно будет выдавать что угодно, что ты от нее попросишь.
>Модель сама ничего не станет инициировать, только будет флиртовать и заигрывать, всё на этом.
ДА ТЫ АХУЕЛ? Я делаю по 5 свайпов чтобы замедлить слоуберн.
>с 800 токенов дошел до 6 тысяч, потом сократил до 3.5, потом снова до тысячи, потом снова до трех.
Братишка 500 токов на иишку и 200 на себя. Еще сис промпты на пару сотен, все.
ГЛМ просто лучше понимает женщину, и то что для неё дать забесплатно лузеру (паж какой-то) - всё равно что смерть
че молчите карлики
https://huggingface.co/models?other=base_model:quantized:nvidia/NVIDIA-Nemotron-3.5-Bolt-74B-A9B-BF16
Обычные кванты пока только от анслот
Ебать, и 120а12 обновили
MTP всегда и везде подтыкиваю, конечно.
Ну и Exllamav3 пора опять попробовать, что он там накодил такого, да. Я еще в твиттере читал, что с exl3 квантами скорости отличные получаются.
>>1730839
Для каждого движка свои расцензуры подкатывают всегда, так что, есть что пробовать.
Правда проявляется это иногда хитро… =)
>>1730867
Какая же Qwen3.8-Next-Flash все-таки крутая модель. =D
У меня ни в жоре, ни в эксламе MTP не давало нихера в плане скорости для МоЕ моделей. По-этому сосняво по сравнению с Maya
Во 2 кванте причём
У дипси 4.1 как и у квена есть нграм, а также спарс аттеншн и разнесённые по количеству активных префилл и декод.
А это че за бенч, уж не по знаниям ли? Если да, то себя в жопу выебли
У Нвидия вдруг датасет лучше, чем у Гугла появился? На Куда надрочили модельку? Гемма датасетом хороша, а не бенчмарками.
Ты про размер 4.1 в курсе? Он огромный, там даже не близко "для бомжей" - модель в полтора раза жирнее чем v4, или даже больше
Нативная 2-битная квантизация, м!
И по бенчам иногда даже обходит Gemma=4-26B-A4B и Qwen3.6-35B-A3B! А иногда уступает.
Ммм.
Ну, немотронофилу понравится, наверное.
>>1730872
В лламаспп у меня почти нигде не давало, кроме Hy3 и Qwen3.8-Flash-Next немного ускорился.
Ну а в страте и в майе поперло прям хорошо.
И чо, и нахуй хуйвидия вообще ее выложила? Кто будет пользоваться этим говном когда есть гемма для русика и богический квен для всего остального?
И чё это за кал? Кодосрань какую-то притащил... Фифибенч где? Reina-бенч где? Чайный клуб где? Принцесса-гоблин-паж бенч где? Блохи-в-жопе бенч где? что еще забыл напоминайте
https://huggingface.co/nvidia/NVIDIA-Nemotron-3.5-Bolt-74B-A9B-BF16/tree/main
Значит можно надеяться на человеческие кванты.
>>1730866
>>1730874
>>1730886
нихуя не монял что вы несёте, можно для нормальных объяснить что там случилось, кванты, хуянты, биты гемы чё блять несут нахуй
Надо смотреть сколько весить будут Q4, Q6, Q8, это же мое, не обязательно полностью влезать в видимокарту.
Вроде обычный ггуф, попробую
Ну, я Гемму 26B попробовал в пятом кванте, скорость упала в 2 раза относительно видимокарты, прироста для своих задач я не увидел в точности, поэтому остался на 4 кванте, который полностью в видюхе.
Я че-то особо не верю во всякие промежуточные модельки >>1730873. Без новых архитектур и технологий все будет скорее всего вот так в нижнем сегменте. Квен и Гемма еще год-другой, а может и всегда.
> не запускается в анслоп студии
DAY1 релиз, ага.
>скорость упала в 2 раза
Но не до нуля же, а все что выше 5т/с пригодно для использования.
Кто вообще вываливает бабки на эту дристанину, я не понимаю. ИТТ вроде ни одного локальщика с такими хуйнями нет
Она и наконец слепой быть перестала, ничесе. Прогоните тест на искажение логики соей, понять стоит ли качать
>>1730867
Что-то как-то невесело по скорам
Бездомные москвичи-наносеки, которые по съёмным квартирам катаются с макбуком.
Сам по себе продукт вполне ничего, красивый, модный, стильный. Просто здесь сидят или нищуки, или жиды или both, потому такими игрушками не владеют, если переплачивать за мелкую игрушку то брать макстудио, он лучше по прайс-перфомансу и памяти.
Покумекали с агентом, подобрали подходящие параметры из предложенных.
Обновили, запустили, 19,39 получили на базе.
Прогнали на твоих — 20,5.
Ну, 1 токен выиграл, уже неплохо. Да и апдейт приятно докинул.
Хотелось бы, конечно, 30 тпс, но маемо шо маемо.
Есть шанс больше получить, там какие-то изменения на носу - от проца конечно зависит, мне вот это должно помочь
https://github.com/mw00/project-maya/pull/194
Агент кстати напиздаболить способен. Набор параметров выше - мой предложил как МНЯМ ПУК НИПАМОЖИТ, а по итогу был самым лучшим
1. 4x mi50 PP530
2. 2x 5060ti + 4x mi50 PP480
unsloth/NVIDIA-Nemotron-3.5-Super-VL-120B-A12B-GGUF:NVFP4
ТП не завезли
Сейчас постепенно все больше и больше начал пользоваться гугловской через браузер, работает очень быстро, довольно хорошо подходит закинуть ей проблему + небольшой контекст, послушать ее охуительное мнение, раз 5 ей написать уточнения и корректировки а потом съебаться с направлением, которое она предложила. Пробовал через нее решать некоторые математические\физические и геометрические задачи уровня "нарисуй план комнаты, расставь логично мебель, не проеби размеры", в геометрию не умеет, в математику переводить размеры и рекалькулировать простые измерения в целом может.
Какие-то мелкие задачки вроде баш скриптов\формул в экселе тоже может. Очень понравилось что умеет по логу\конфгу какой-нибудь клода найти в чем причина и дать ответ как пофиксить.
Хотелось бы как-то расширить применение наверно в сторону ассистента, но не сильно понимаю какие задачи имеет смысл и что подойдет и насколько хорошо справится.
И второй момент - интересует пресловутое РП но не прямое, а что-то в формате данжен мастера наверно. Например я ей говорю: у меня есть скайрим, тебе нужно придумать челлендж-ран и в нем описать цель, доступные предметы, какие-то ключевые майлстоуны и концепцию+идею за челленджем.
Насколько еще нужно ебаться с промптами, параметрами и систем промптами в целом на локалках? Гугловская умеет быстро адаптироваться без колдунства спецсимволов и настроек, просто по тексту.
И интересуют степени цензуры, в них выпилены всякие табу или что-то вшито без вариантов удаления?
Неосилятор, спок. Лично я люблю Мистраль и он у меня намного умнее себя ведет чем ты описываешь. Но можно и из Геммы выжать нормальный РП с вотэтоповоротами если руки прямые.
То, что не уступает, требует железа минимум на пол ляма, и все равно будет медленнее
>что заводится на 32рам+8врам
Чатбот который может сказать "хихихи писька".
Здарова залётный. Версия гугла которая заведется на 32рам+8врам называется Gemma4-26B-A4B. Насколько она глупее? Ну, смотря чего требовать. Многие очень даже довольны. Она даже накодить простенький скрипт может вполне сносно.
Цензуры как таковой там нет но если ты новичок и не умеешь обхходить, можешь качнуть аблитнутую версию.
Из софта тебе нужно только вот это:
https://unsloth.ai/docs/desktop
гемму4-26 можешь прямо там внутри и скачать.
Получишь того же ассистента, у которого и доступ к интернету будет и файлы сможет твои обработать включая фотки и скриншоты. И РП будет на русском в том числе. И все это бесплатно.
Ничего лучше пока нет, даже не ищи.
Исходя из задач и возможностей, удвою Гемму 4 26b >>1730996. И действительно лучше ты не найдешь в этом сегменте. Жди Гемму 5.
А какой профит тогда гуглу бесплатно безлимитно давать доступ к такому? Напомню, интересует сравнение с бесплатной версией из-под поиска, я так понимаю там даже не стандартная гемма флеш или как там она называется, которая их версия чатгпт по подписке для крестьян.
>>1730996
>>1731006
>>1731005
Сенкс. Поддержка ру языка не принципиальна. А как реализованы у нее походы в интернет ввиду всяких защит от клавлеров-ддосов и прочего у большинства сервисов? Я так понимаю, как в гугловском поиске, просто так не сможет она ходить быстро и выдавать ответы?
>смотря чего требовать
А я вот особо так и не придумал конкретные задачи, как некоторые с агентами носятся. Мне зачастую нужно что-то в формате желтой уточке, которой я скидываю свои мысли сумбурные и она предлагает мне варианты.
С гугловской моделью немного раздражает, что структурно она отвечает абсолютно одинаково: обзац вступления, 3-5 пунктов с кратким описанием и заключением. Приходится заебывать вытягивая больше информации, но тогда она начинает суетиться по прошлым промтам, включая их в контекст и проебывает свою изначальную позицию.
> яркие цвета, толстая линейка, 셀шейдинг
> 셀
А ведь всё не плохо начиналось. Всего то 18к контекста, а уже насёр
Я вообще не понимаю о чем ты, из-под какого нах поиска.
Думал речь идет о моделях серии Gemini или че там у них по API доступно - вот для их аналогов нужно дорогое железо. А если тебе надо аналог ИИ, которое выдает ответы в браузере при запросе - да никто не ебет что там за модель, может быть 26B гемма и правда лучше. Наверняка лучше. Не могут же они давать доступ всему миру к адекватным моделям, это надо просто целые нигроватты энергии жечь
Которая AI mode, если ты зайдешь на страничку поиска, и которая срет под любым твоим поисковым запросом в самом вверху ее умное мнение-ответ. На мобилах вроде бы ее по-умолчанию вставили, даже не показывая тебе результаты поиска, пока спец кнопка не нажмешь.
Так поставь то, что тебе >>1730996 посоветовал. На сайте у них написано есть в этой штуке поиск.
Это не у геммы реализовано а у анслота. Как - хз. Скорее всего анслот выдает себя за обычный браузер. Капчу не введет понятное дело но сайты которые в браузере тебе лично показывают инфу будут доступны и анслоту.
Мой Ryzen 9 3900 ждет. =)
>>1730983
Мы все тестим.
22,3 средняя, получилось +43% общими усилиями.
Еще раз благодарю!
Попозже Exl3 попробую.
Блин, обниморда седня ТАКАЯ медленная, пиздец. =(
>>1730969
>>1730999
Она тупая, пиздец.
>Попозже Exl3 попробую
Будет однозначно медленнее, в твоем случае только >>1730829 это актуально наверное будет, но еще не ясно планируется ли поддержка
>>1731023
>AI mode
Ну наверняка слабее чем Gemma 4 26B
Так что смело пробуй, разберешься
это халяльная модель
Аллаха не рисует
свиней не обсуждает
каждые 50000 токенов прерывается на молитву
Системный промпт личности, легчайше перевариваемый геммой, у этого инвалида пролетают мимо ушей. Отвечает от лица ассистента, хотя и частично следует правилам формата ответов.
Не-ве-ро-ят-ный шлак. У него внимание на уровне аквариумной рыбки, не знаю на что Хуанг надеется и как это поможет продать маняноутбуки Spark. Просто, блядь, стыдоба.
Ну бля. Q8_0 зачем брать лоботомитный-то когда Q8_K_XL есть от анслота. А вообще есть BF16
А вообще, ты просто не прописал свою карточку персоны нормально.
А вообще, как ты можешь жрать этот слоп? Ну просто вчитайся. Это же слоповый слоп. Прекрати ковырять эту гемму обоссаную. Прекрати жрать говно.
А главная твоя проблема - русик. Ты жрешь говно потому что твои ролевки на русике. Так делают только говноеды. Прекрати жрать русик. Начни учить английский прямо сейчас. Ты нихуя его не знаешь не выебывайся. Знал бы - у тебя даже мысли не возникало бы на русский язык раскладку переключить. И знаешь кто тебе поможет учить английский? Да та же гемма блядь.. Но лучше конечно же взять нормальную модельку которая может без слопа.
Чтобы не голословить
> ПОНЯЛ
Перепутан пол.
> тогда ладно
Ассистент, у которого нет задач
Ноль реакции на смайлики, хотя чар должен их юзать.
Не спрашивает, кто такой юзер, хотя в ризонинге шныряет по правилам взаимодействия с незнакомцами.
Ух бля, надо будет помучать ее.
>>1730989
Кроме клозедов, коктропиков, гугла (у них отдельная опенсорс ветка сильно уступающая флагманам) и иксов, остальные в том или ином виде выкладывают свои модели в открытый доступ и ты можешь их запустить. Большие по перфомансу конкурентны.
Но самые мощные требуют мощного железа.
> Если сравнить с гугловской моделью, которую она подсовывает в гуглопоиске при авторизации в ру регионе.
Там вообще лоботомит, то что запускается на десктопе будет не хуже.
>>1731034
Так гемма халяльнее! Это что, выходит ее трахать - харам?
Из твоего ответа полезного только про Q8_K_XL. Остальное - хз зачем. В твоем англюсике просто не увидишь, что гемма попутала пол.
>>1731028
>>1731033
Сенкс, попробую вкатиться и потыкать.
А расскажите какой положняк еще по железу и треднам что ожидать по локальным моделям в этом разрезе, в начале года слышал о гойда-технологии на сжатие потребления на тему памяти, что-то из этого вышло? А то краем глаза посмотрел цены на комплектухи и пошел таблетки от сердца пить. Компоктер в перспективе апнуть бы (щас 3600 рузен +32 рамы + 6650хт) но ценник от 60+ тыщ фантиков за 64гига самой бич рамы даже не ддр5 как-то слишком. Подумываю может взять 9070\9070хт рыксу да успокоиться еще лет на 5.
Видеокарты nvidia для чатботов считаются более подходящими, хотя с амд в последнее время был ряд улучшений и жить с ними можно.
>6650хт
С этой штукой сечас будет медленно, к сожалению, даже с 26B геммой, особенно если системная память ддр4 (часть этой модели выгружается в RAM, часть сидит в VRAM... если и то и другое медленное, сам понимаешь как это жиденько)
>9070хт
Использовал какое-то время, вполне сносно работает через Vulkan, насчет ROCm (аналог CUDA) не знаю, не успел попробовать
>что ожидать
Сидеть на жопе и жрать что дают. Железо дорожает, цены поднялись дико. Если раньше можно было за 50к ухватить RTX 3090, сейчас она уже 110к+ стоит, сраная б/у карта с 24 гигами.
положняк такой что все срать хотели на твое железо выпускают говнину которую становится все сложнее запускать каким бы железом ты не обмазался. расчитывай что тебе будут доступны только "объедки".
все что в твоих силах это начать с правильной платформы. например есть оче дешевые материнки на 8 слотов ддр4 и три слота под видеокарты с хорошим расстоянием между слотами. подобрать туда жирный БП, процессор максимально шустрый для этого поколения и будешь набивать потихоньку 16гб плашками памяти (можешь с 8гб начать вообще) и 12-гб видеокартами.
если у тебя материнка на два слота памят и одна видимокарта влезает то это отсос сразу. ты можешь апнуть до 64гб+32гб конечно отдав кучу денег но на этом как бы и всё. я бы в такое не вкладывался, лучше менять платформу.
это все должно быть в шапке но оп лютейший пидорас
Нвидия по религиозным и игродаунским причинам не хочется, амд по совокупности все же лучше. Я в целом удивлен, что вообще работает, очень поверхностно год-два назад на тему лмм смотрел, с амд надо было плясать с бубном а тут плаг энд плей по сути уже.
>вполне сносно
Ну мне в целом наверно достаточно будет, я так понимаю бутылку в памяти не преодолеть до момента, когда разница между самим чипом и кудой\вулканом будет релевантна.
Не, я пока не настолько упоролся, чтобы риг собирать + нищий (россиянин) на народной медианной зарплате, такое точно не по карману. Щас 32+32 плашки, мать аорус b450 с 4мя физ слотами. Я так понял при желании можно подкинуть еще +2 плашки и при сильном стремлении, докупив 9070, поставить ее в первый слот и объедочный второй вставить 6650хт. Но там и бп надо менять тогда и корпус мелкий, аутизм пока не настолько сильный.
Еще валяется 1060 но она 3хгиговая.
> 9070\9070хт рыксу
>>1731063
> по совокупности все же лучше
А сколько это нынче стоит? В ллм может и терпимо, но во всех остальных будет тяжело, особенно если ты сидишь на шинде и линукс пугает. Ну и выбор движков ограничен.
по факту одна 9070 мало чем поможет
просто 100к в никуда будет
>2к26
>до сих пор нельзя как белый человек сидеть на русике
Англюсик это для красноглазых пердоликов. Господа предпочитают нейтив ленгвидж.
>русик
>белый человек/Господа
Как говорится, выбери что-то одно.
~80тыщ карта.
А что еще кроме лмм и винды? Я на линупсы пытался перекатиться но не осилил, слишком пердолинга много а я приучился уже что на 10ке +- с 1го пинка работает.
>>1731067
А я еще для игр хочу, в 1440р поиграть в куберпанки всякие на максималках. 6650хт только в 1080р умеет. Так-то +8врамы лишним не будет и 16 гиговые модели не придется оффлоадить в раму.
>генерация картинок и видео почти не параллелится между картами.
Устаревшие сведения. Очень неплохо паралеллится, большинство моделей уже. Гугли Raylight (плагин к комфи).
с 32 рам у тебя большинство моделей и на CPU запустятся
просто на 9070 ты получишь 20-30 т/с вместо 5-10
>>1731037
У нее кириллический словарь никакущий. Почти всё по слогам разбито. Как обучать модель на таком? Из-за этого на русском гемма начинает тупеть просто на глазах. В принципе это касается и других моделей. К тому же наличие таких сложностей как род, склонения, приставки сильно повышает требования к соображалке, а датасеты в основном английские и бенчмарки все тоже, поэтому какой-никакой русик в модельках это вообще побочный продукт обезжиренный слопосодержащий на говняной основе. Жрать можно только от безысходности (незнание англюсика). Соболезную.
Половина современной новуки, медицины, математике на русике держится. А русской классической литературы тебе мало? Люди язык учат только ради того, чтобы Достоевского в оригинале читать.
Русик это база.
А на англюсике все кому не лень общаются, хоть негритосы, хоть евреи, хоть китаезы. Белыми они от этого не становятся.
Прогон по бенчмаркам будет?
Гемму взъебет в креативном письме на русском?
Тупа гигачад.
-Привет.
-Хай.
-Как сам?
-Норм (ди нах).
-Мне скучно...
-Пон.
> ~80тыщ карта.
У хуанга за 80к можно разве что хуй соснуть 1.5 32-гиговых вольты, пачку 16-гиговых, набор cmp50/90 купить. Из новых одну 5060ti, она в гей_мерстве явно похуже будет. А ведь с пол года назад легко бралась пара или 5070ти, или 3090 печально.
> А что еще кроме лмм и винды?
Генерация картинок и видео.
Звучит прилично.
>>1731088
Это для ценителей видимо, я все же на домашнее использование ориентирован широкое и не планирую 24\7 гонять модельки.
>картинки\видео
Всякие rule34 завалены тонной низкосортной генерации, я так понимаю выше этого уровня локально и не прыгнуть?
Знакомые баловались с 2мя 3090 годик назад примерно, не впечатлили результаты.
> выше этого уровня локально и не прыгнуть?
Здесь упирается вовсе не в железо, а в навык и терпение. Считай как кодинг с ллм, руководство, последнее слово и действие за тобой.
>>1731102
Амд 6к серии это разве не дно донное, на поддержку которого амд положила хуй? А то если оно живое и с компьютом то может норм вариант для бюджеток инб4 фекалии слабее v100/cmp для игродаунов
Напиши нейронке чтобы тебе навалила промптом, так будет быстрее и понятнее.
>Всякие rule34 завалены тонной низкосортной генерации, я так понимаю выше этого уровня локально и не прыгнуть?
Если по принципу "сделай мне зашибись" - вряд ли. А так - они на то и низкосортные, что делаются на отвали, лишь бы быстрее подрочить. Если же вложить хотя бы немного усилий, чтобы разобраться - уровень можно поднять в разы. А уж если заморочиться всерьез...
Локально можно вполне заебатые штуки делать, особенно если руки не совсем из жопы и есть желание совсем косяки подправлять руками. Ну и фантазия чуть выше среднего дрочера.
Потому что 95% сгенерированных картинок - это тот самый "ИИ СЛОП" где фантазия автора дальше "сделаю известного персонажа голым.. ну и чтобы его негры ебали" ну или "о сейчас наделаю фут и фурри - это же такой нишевый контент - мне тут же станут заказы кидать и я разбогатею". На половине тонны спермака и члены толщиной в ногу. Ну или фотореалистичные бимбоунитазы.
Уже немного проблема наткнуться на просто фапабельный ИИ-арт где:
1) Просто выдуманный облик персонажа, а не мега-баянистый перс.
2) Нету жесткой ебли с хуями на пол экрана, изнасилований, литров спермы.
3) Не фута-с-яйцами ебущая что угодно.
4) Какой-никакой интересный визуальный стиль, а не фотореализм.
Первый раз с мое обосраться ещё терпимо, но выпустить то же самое спустя год уже не прокатит.
Я щас про 120б в 4 кванте.
Уже и не знаю что делает эир эиром... магия какая то. Вроде две одинаковые по размеру модели, а такая разница в качестве. Реально дистилить опусы и гемини надо уметь, походу
Это так и задумано на нищем железе? А как тогда люди ролеплеят с таким?
Так не должно быть. Показывай ключики запуска и какой билд лламы. Если читал гайд из шапки, ты лох. Потому что ОП пидарас насовал туда ключиков которые убивают производительность. Меромеро - говнотюн который добавляет слопа, избегай всеми силами.
Если 31B - да, так и должно быть.
Если 26B - нет, так не должно быть, на таком железе там без проблем 100к контекста + скорость ~30t/s будет.
>Нвидия по религиозным и игродаунским причинам не хочется
Разрешу себе поинтересоваться, по каким игродаунским причинам не хочется зеленых? Если ты конкретный игродаун тебе как раз и нужна нвидиа. По технологиям амуде сосет даже у интел, их нейродегенератор ебет фср даже на картах самой амд, лол. Единственное это цена и то не у нас, а там, на западах, где красные реально (пока еще) дешевле стоят.
Ну а если за тему локалок тереть, то амд тут еще сильнее сосут. Особенно сильно в генерации картинок и видевок.
>>1731098
>Всякие rule34 завалены тонной низкосортной генерации, я так понимаю выше этого уровня локально и не прыгнуть?
Потому что там везде дефолт типа 1girl, solo без всякого контроля качества. Хомяки дрочеры это жрут по этому никто не шевелится делать лучше. Но сделать лучше вполне возможно, просто придется потратить чуть больше пяти минут на ресерч.
Vulkan llama.ccp (Windowds) 2.59.0
Ключи запуска ты про эту панельку? LM studio, забыл добавить
>>1731160
Есть встроенный приятный шарпенер одной кнопкой + дешевле + амдшный генератор кадров (который не fsr а fluid motion frames).
а квант какой? надеюсь не 8?
уверен что видимокарта вообще используется? посмотри в диспетчере задач на видеопамять
ничего вообще в настройках делать не надо кроме контекста желаемого. контекст выставил остальное подберется автоматически.
я бы попробовал без всяких студий сначала чисто на лламе. я на древнем 4гб говне больше скорость получал.
Это ультимативный аутист-кодоунитаз. Использую её в опенкоде бо бесплатна и реально может в сложнейшие задачи.
> Ну а если за тему локалок тереть, то амд тут еще сильнее сосут. Особенно сильно в генерации картинок и видевок
В картинках древнее говно мамонта на GCN в лице mi50 всего лишь в 3 раза медленнее 5060ti.
Замеры в anima:
- 5060ti - 33-35sec
- mi50 - 100-102sec
Между картами разница 6-7 лет
С ллмками на лини всё ок под рокм, за винду не шарю
Try nnmap - OFF
Keep model in memory - OFF
Context checkpoints - 3
GPU offload - настраивать так чтоб VRAM в диспетчере задач после запуска модели была чуть меньше чем максимум (~7.5/8GB в твоем случае). Если там есть режим по дефолту - выставить его. Не юзал LM Studio поэтому не знаю есть ли он там. Если нету - нужное значение +-27, позапускай с 25-30.
Контекст поставь на время тестов 32к.
>встроенный приятный шарпенер одной кнопкой
На зеленых тоже есть.
>амдшный генератор кадров
На зеленых тоже есть. Работает лучше. Мылит меньше.
>дешевле
Ладно, я давно цены не видел. Щас посмотрел, реально дешевле.
>LM studio
Убирай и ставь чистую ламу. Проверь что поставил четвертый квант. Прожор контекста снизь через --cache-type-k q8_0 --cache-type-v q8_0, слои по видеокарте крути через --n-gpu-layers, экспертов через --n-cpu-moe держи на цпу.
q4_k_m
По диспетчеру нагружает. Сбросил обратно в ноль по дефолту (8192 контекст, 10 гпу офлоат, 4 треда и что-то там на тему офлода памяти) и выросло до 12.05 токенов\сек. Вот это я понимаю нейрослоп, охуеть.
Крутанул контекст на 94464, 12.35 токенов\сек стало.
Это +- норма получается? Пернул ему "yo", он на один ответ 408 токенов с ризонингом и нулевым систем промта (на 0.4%) контекста нагенерил. Тоже нормально?
>>1731172
>>1731148
Говноеды, умоляю, угомонитесь со своим русиком. Ну не тренирует никто модели на него всерьез. Он там чисто для галочки.
Естественно. Если тебе в кайф на турбо сидеть, то как бы и ради бога
Да тут вся модель чисто для галочки, чтоб было что показать если спросят.
>С ллмками на лини всё ок под рокм, за винду не шарю
В этом и проблема, среднестатистический АМД хейтер настолько тупой, что использовать Линукс и РОКМ для него неразрешимая задача, максимум что он может осилить - установить Лмстудию под винду.
>выросло до 12.05 токенов\сек
На моей старенькой 3060 было 32 т/с, так что нет, это не норма. 12 токенов это скорость как на чистом цпу. Должно быть в районе 20-25, может и выше, не ебу какая там псп на rx 6600.
>Пернул ему "yo", он на один ответ 408 токенов с ризонингом
Это ты еще квенов не видал.
Я еще попробовал q3.5 bluestar v2 q4_k_m, запускается но прям тяжело, с дефолтными 0.7ток\сек. И эти настройки выше видимо он подтянул от нее, которые я выставил по совету ИИ дебила гугловского. С этими подкрутками ~2ток\сек было.
В целом 12.05 уже юзабельно, надо еще попробовать память разогнать, у меня оказывается до 2133кекагерц откатилось, видимо еще пару лет назад когда игрался.
>>1731173
>На зеленых тоже есть.
Наверно, на 1060 не было.
>на зеленых тоже есть
Это ты про длсс? Это хуета на ~300 играх только была в последний раз когда чекал с разной степенью тухлоты. У fluid motion frames работает в большинстве игр без участие разраба бубна, одной галочкой, только надо фулскрин включать.
И еще нравится, что по новым фичам и обновлениям лизка не бросает, как куртка.
>ставь истую ламу
Попробую, лм студия показалась совсем для дебилов чтобы быстро потыкать до состояния "как-то работает".
>>1731181
В промпте подлиннее на стадии ризонинга ~40% цпу нагрузило и ~12% гпу. Я так понимаю должно гпу грузить на сотку? Врам при этом заполнен на 7.3 из 8, пошареная гпу мемори 1.1. из 16.
> Я еще попробовал q3.5 bluestar v2 q4_k_m, запускается но прям тяжело, с дефолтными 0.7ток\сек. И эти настройки выше видимо он подтянул от нее, которые я выставил по совету ИИ дебила гугловского. С этими подкрутками ~2ток\сек было.
> В целом 12.05 уже юзабельно, надо еще попробовать память разогнать, у меня оказывается до 2133кекагерц откатилось, видимо еще пару лет назад когда игрался.
У тебя настройки кривые, эта модель в Q4_К_М без проблем выдаст 30+ токенов. Твои 12 это результат того выгрузка слоёв нормально не настроена. Сделай то что я написал выше и затести скорость.
Разгон оперативки тебе не даст больше чем пару токенов. А нормальные настройки дадут на 20 больше.
Если тебе LM Studio непринципиальна - скачай llama.cpp и запусти эту модель там с этими параметрами:
llama-server --model "path" --load-mode none --temperature 1.00 --top-p 0.95 --top-k 64 --ctx-size 100000 --swa-checkpoints 3 --cache-ram 0
Будет ~25t/s. Если у этой модели есть встроенный или отдельный MTP файл:
llama-server --model "model_path" --model-draft "mtp_path" --spec-type draft-mtp --spec-draft-n-max 2 --load-mode none --temperature 1.00 --top-p 0.95 --top-k 64 --ctx-size 100000 --swa-checkpoints 3 --cache-ram 0
Будет >30t/s.
>Естественно
Нет, нихуя это не "естественно" и не стоит того. Ты еще скажи что крею надо в raw гонять. Не сбивай новичков с толку и не утаивай правду.
>Try nnmap - OFF
>Keep model in memory - OFF
>Context checkpoints - 3
Попробовал, gpu offload 10 и 12, так и осталось ~12ток\сек, с значением 20 упало до 5.15.
Шаред гпу мемори выросла с ~1.1 до 12.2. Чуть ранее ии-дебил гугловский упоминал, что если пошаренная мемори большая это и есть проблема.
Твой вариант сохранил, буду завтра уже тестировать.
> Шаред гпу мемори выросла с ~1.1 до 12.2. Чуть ранее ии-дебил гугловский упоминал, что если пошаренная мемори большая это и есть проблема.
Значит эта настройка работает наоборот, тогда снижай GPU Offload почти на минимум, 2-4 где-то. Shared memory должен быть почти нулевой, модель должна находиться во VRAM и RAM а не в Shared Memory.
Итог
- 5060ти - 1080 PP / 48 TG
- ми50 - 500 PP / 33 TG
Часть параметров может быть лишей, но я из абстрактного дефолтного профиля лепил + агентом. Хост у меня не самый донный на две головы
>>1731188
Тебе виднее
Честно говоря, даже не верится, что качество околокорпоратов пятимесячной давности (речь про qwen3.8-flash-next-gsq-rco IQ3-XSS под Strata) работает на игросральном железе с приемлемой скоростью. Очень опасаюсь, что модель qwen4-flash-next выйдет во много раз крупнее нынешней, оптимизировать её под нищесетап с нормальной скоростью не выйдет и разрыв между локальными моделями и корпоратами снова увеличится. Думаю докупить 4 планки по 48Gb, а нынешние слить, чтобы войти в лигу бюджетных флешек хотя бы на половину.
> - 5060ti - 33-35sec
На ~2.5 мегапикселя? На 2.5 мегапикселя же?
>>1731188
У турбы тоже есть свои недостатки. Она всирает стили, имеет проблемы с разнообразием похлеще чем гемма, требуется режим "негатив не нужен, cfg не нужен, семплеры не нужны", так что не все так однозначно.
>>1731212
> Очень опасаюсь
Молимся чтобы вышла размерная сетка, а не два стула в виде лоботомита или гиганта.
> 4 планки по 48Gb
Погугли про 4 плашки на ддр5
если запускаешь через жорацпп то:
--load-mode none обязательно
--fit on и --fix-ctx 32000 чтоб память у модели была не как у золотой рыбки (иначе fit срежет его до 4кб)
большой контекст съедает память, поэтому:
--flash-attn on // у меня на вулкане с ней сегфолтит, но через rocm - работает нормально
--cache-type-k = q8_0 и --cache-type-v = q8_0 // срезает размер памяти под ещё кэш вдвое, но требует flash-attn. дальше уменьшать не рекомендую -- появляются галюны
--no-mmproj по дефолту - авто, для РП он как правило нах не нужен, а память занимает
когда разберёшься с настройками выше - можешь покрутить swa-checkpoints (начни с 8 вместо дефолтных 32х) и batch-size -- влияет на скорость обработки промта
на 5-6 кванте у меня 26B-A4B выдаёт скорости порядка 300 и ~20±5 t/s в зависимости от размера контекста
// мимокрок с 6650XT 8G + 32 RAM--
Двачую всех кто писал про нежелание двигать сюжет.
Гемма его двигает только в одну сторону - к сексу.
Я на гемме, блять, просто чувствую что не развлекаюсь, а работать пришёл, только на ней чувство "и че дальше писать?", ведь ответ я уже дал, а эта сука нихуя не придумала, помялась на месте и опять ждёт пока я за неё все сделаю.
> Погугли про 4 плашки на ддр5
Да знаю я про замедление пропускной способности при смене режима с 1Rx8 на 2Rx8 ×4 и необходимость сбрасывать частоты. Мы тут с Квеном некстовым уже обсосали. Ну будет не 100Gb/s по шине памяти как щас, а на 20-25% меньше как бутылочное горлышко, зато хоть запас есть и что-то потрогать побольше можно. Но лучше, конечно, пока только 2 плашки по 48 посмотреть, меньше падение по шине, а дальше увеличивать ещё, если в рыло не хватит.
> На ~2.5 мегапикселя? На 2.5 мегапикселя же?
Тут >>1711709 → есть репрезентативные данные на 2.5мп и воркфлоу. Параметры отличаются от тех на которых я сравнивал красные с зелёными картами.
Сенкс, попробую.
Потыкал еще эту локалку на тему лимитов и то она вообще может или не может. Действительно по ощущению не хуже гугловской поисковой а где-то даже лучше. Окошко с ризонингом полная имба, можно направлять нейросетку в нужную сторону или отучать ее от неудобной мысли.
Еще попробовал хваленый этот ролеплей - очень впечатляюще как она держит удар, когда пытаешься активно саботировать установленные рамки и систем промпт + сама умеет его придумывать на вполне годные сцены.
Дальше я так понимаю будет огромная проблема с контекстом, если что-то сложнее часа-двух перебрасываться, но в моменте даже такая слабая (как я понял по общим меркам) модель отыгрывает не хуже, я бы даже сказал лучше доброй части кожанных мешков.
>2
♂Oooh♂, ностальгия. Прям в 2022 на ♂cocksucker♂.ai вернулся. И ошибки, и инглиш, и даже, ♂huh♂, иероглифы китайские. Дядя Ху♂AAAAAAAGGHHHH♂нг угощает ♂boy♂ев голубцами с ♂the semen♂.
Вангую что дальше ты упрёшься в проблему 80/20 когда первоначальный восторг немного поутихнет. Заставить гемму прыгать на хуй - несложно, а вот ОТУЧИТЬ её это делать при первом удобном случае - вот где задача десятилетия. Именно здесь будут закопаны часы подбора промтов, тюнов/шизомержей, квантов и настроек сэмплеров. Ну и попутно отучить её быть ленивой жопой и как-то развивать сюжет - сюда же. Заставить нейронку отыгрывать сразу нескольких персонажей, и чтоб без "двойных трусов", обмена одеждой, телепортации за спину и чтения мыслей - сюда же (на это емнип, даже жирные 500B корпы пока неспособны).
Аноны от безысходности пердолят древний мистраль немо и эйр, обмазываются инглишем и запускают 200B бронтозавров на нищепэка лишь бы найти что-то креативное среди тонны слопа, лишь бы не гемма.
братан сестран?, жирные корпы способны на все, просто твое кумерское извращение никому не интересно и не нужно
Да наоборот пока никуда не скачет. Активно пытаюсь ей ломать весь нарратив и персонажа, активно отбивается в стиле персонажа. Еще прописал, чтобы она сама продвигала сюжет и описывала происходящее окружение. Дал ей механику взаимодействия с предметами, продвигает сюжет вводя их и предлагает мне взаимодействовать с ними. Что-то уровня она ДМ у меня, а я типичный игрок-гандон, который пытается спиздить пол таверны, отмудохать половину стражи и сжечь замок. Виртуозно выкручивается.
И, самое главное для меня, не пытается подсасывать и соглашаться на все, как это делают онлайн версии вроде чата гпт.
Правда надо что-то с производительностью накурить, 30к контекста и скорость упала до 3.8т\сек.
База кодинга Квен 3.8, 27б или Флеш на Страте с квантами ista-lab.
https://huggingface.co/AtomicChat/NVIDIA-Nemotron-3.5-Bolt-74B-A9B-GGUF
А еще вот такой Немотрон супер выложили
https://huggingface.co/unsloth/NVIDIA-Nemotron-3.5-Super-VL-120B-A12B-GGUF
Судя по графикам можно дальше сидеть на базированом квене, которые еще и летает на любом калькуляторе.
> жирные корпы способны на все
...в рамках отведённого тебе стойла, бро. И не факт что это продлится долго, ROI сам себя не повысит.
10\10, прыгать отказалась.
Погонял, ОХУЕРЕННАЯ блядь моделька, для моей бомжовой 32рам+16врам системы это настоящий подарок, то, чего реально не хватало. Для проверки поставил 16к контекст - скорость 32 токена в секунду.
РПшит просто БОЖЕСТВЕННО с полпинка вообще без проблем. Слоп и эвфемизмы имеются, но хорошо реагирует на просьбу избегать их. Цензуры с выключенной думалкой вообще НОЛЬ. С думалкой стандартная цензура, не слишком соевая.
Соображалка и креатив на высоте. На месте не топчется. Практически не тупит по сюжету.
Кодит неплохо, правда, в агентстве не проверял, так - попросил скриптики побросать, окошки на питоне (запускалку ллама-сервера), все чётко. Еще и вижн есть, что будет полезно в том же кодинге.
Эта моделька для меня становится новым топом после того как топовой модельки для железа моего уровня не было вообще (только не надо говорить гемма).
И я просто в ахуе с местных дегенератов которые потыкали в эту модель рюсськими промптами или загадками про пажа и забросили. Да, она не может в русик ну и хуй с ним, я и с геммой на нём не говорю мне похуй. А вы жрите говно дальше.
Загадку про пажа на английском языке эта моделька у меня решила, но, как по мне, это дебильный тест и не повод отбрасывать модель. Вы бы еще про два стула спросили.
>Соображалка и креатив на высоте. На месте не топчется. Практически не тупит по сюжету.
Геммапитек впервые открывает для себя другую модель.
Что угодно что не гемма примерно так пишет
Для гаремышей наверное ВО моделька, чекните. Цензуры вообще не ощущаю, единственная цензура это биас на любовь к тебе, возможно контрится системными промптами, но я не хочу вписывать "Не люби юзера", потому что это другая крайность, а нужен баланс.
>Гемму взъебет в креативном письме на русском?
Хотел бы я сказать, что да. Но нет, нужен дотюн.
Мне пришлось сделать свой sft датасет дистилляцией 26б, потому что на другом не получалось обучить инструкт из претрейна. Модель отвечала вообще рандомным текстом никак не связанным с промптом.
>Сравнивает современную карту с ллмным некрокалом без поддержки bf16
Да сам ты геммапитек, у меня кроме геммы еще 1.5 Тб моделей, я эту ебучую гемму вообще почти не трогаю, пробовал все что только можно запустить на 32+16 в том числе старые немотроны 30а3б "лайтнинг" и 49б "супер", ничего и близко так не РПшило как этот "болт".
Когда-то давно, когда я только начал искать инфу про запуск локальных моделей, я наткнулся на описание vLLM: написано но python. Ну и пошло оно нафиг. Llama.cpp лучше для меня из-за языка, на котором написана.
Сейчас вллм переводят на rust. Пока он жутко багованный. Теперь доволен?
ну, плюсы это еще не гарантия что там все идеально и в плане кода и в плане скорости работы
но тем не менее ничего лучше нет пока что. разве что форки той же лламы. я вот анслотом пользуюсь часто, там свой форк, есть фичи которых у жоры нет и не будет в скором времени
>>1730822
1.1.12 у меня дал прирост по декоду после небольшой оптимизации
>STRATA_GLM_CPU_PLAN": "000000001
Вот это больше нахуй не нужно, затюнь авто-план, именно с ним и получился выигрышь
>>1731307
Для скорости надо оптимизировать 0.1% кода, который крутится 99.9% времени (условные перемножения матриц). От остального значимой отдачи почти нет. И да, в питоне это так и сделано (числодробление под капотом на си и куда). И да, vLLM летало пиздец как быстрее llama.cpp, когда я сравнивал.
Вангую, вллм переписывают на раст не ради скорости, а потому что питонячьи библиотеки для машобучения (тензорфлоу и прочие пайторч) слишком жирные, всех заебало качать и держать на диске по десять гигабайт.
>>1731160
5060 ti 16 gb + ddr5 + Strata Qwen3.8-Flash-Next UD-Q4_K_XL = 45 тпс
RX 7900 XT + ddr5 + Strata QFN IQ4_XS = 45 тпс
Кабуто 5060 ти подешевле и должна быть помедленнее…
В целом, я ожидал большего от АМД, разве что замер мог быть плох, его делал не я. Но все еще линукс, вроде там все по уму билдилось. Так что хз, как-то АМД не очень тащут даже в ллм.
>>1731255
О, а вот и немотронофил! =3
>>1731321
А я это и не ставил. ) Не на моем конфиге.
Но авто выглядит хорошо. Вечерком после работы адпейтнусь и запущу.
>Кабуто 5060 ти подешевле и должна быть помедленнее…
Да хз, мне для игр еще надо все в одном, как я упомянул. В играх надо с 5070 сравнивать, ближе к тишке даже.
И на винде, на линупсы поздновато перекатываться да и места уже нету на дисках под системы. А диски новые не купить нынче.
А страточку в кобольду завезут?
У меня такое впечатление что Страте больше процессор нужен чем видео карта, видел бенчмарки с flash next iq3_s на 5090, так там цифры почти такие же как у меня на 3090ti, там на процентов 15 может медленнее чем 5090
>геммочьку
>квенчик
>страточку
>кобольду
ухххх ты прямо говноедское комбо собрал
> больше процессор нужен
Не знаю как оригинальная Strata, но в форке Maya (для глм 5.3 флэш) тесты с ДВУМЯ видеокартами показывают выше производительность, чем тесты с одной
Всё на том же TR 3990X + 3090 + 3090.
Может с ддр5 или 8-12 каналами ддр4 и avx512 картина другая, или если PCIE задушено, но тут при 4 каналах и х16+х16 точно видюхи важны
>Загадку про пажа на английском языке эта моделька у меня решила, но, как по мне, это дебильный тест и не повод отбрасывать модель.
Бля, как меня уже достало повторять - это тест дается не для "решения", а для того, чтобы увидеть реакцию модели на такой промпт. Особенности её поведения. Вон, на скрине что постили выше - сразу видно, что модель слабовато понимает детали, и упускает смысл условия. Вместо лишь одной "запрещенной" пары обнаружила что все три "нельзя". Раз говоришь, что на английском решила - значит подтверждаем, что русский совсем в жопе, хуже чем у квенов. :) Но это все равно не показатель общего качества моделей - это чисто помогает её особенности увидеть.
>>1731070
Пиздец долбоеба порвало, лол.
Тебя, шизофреника, спросить забыли. Держи в курсе своего важного мнения.
>>1731345
Бля, как меня достало повторять: хватит свой срюсьик везде требовать. Никому он в хуй не впился, никто вам его там не обещал.
Да, модель крайне плохо понимает русский. Да, хуже чем у квенов. Не показатель НИЧЕГО вообще кроме того что она плохо понимает русский. И вполне естественно что и задачи на русском решает хуже и детали на русском упускает и мышление на русском слабое.
Это не значит, что модель упускает детали или слабо мыслит в целом.
Новички знакомьтесь с нейронкой на русском.
Как разберетесь переходите на английский.
Это сразу уберет кучу проблем.
Сколько в итоге на пре-трейн и пост-трейн времени ушло?
И сколько токенов данных было?
Ирония в том, что вллм и работает в разы быстрее, и содержит гораздо меньше багов. Ох уж этот злой богомерзкий змей, еще и под себя весь мл и все научные расчеты подмял!
>>1731325
База.
На раст там именно части движка и сети делают, причем многие на нем изначально были. Питонячьи библиотеки и куда кернели никуда не делись.
Вроде регенерации его долбят, но лотерея получается.
Где-то 1 из 5 ответов согласие. Печалька.
Во-первых, шапка статична, ОП-хуесос ничего менять не собирается, во-вторых не понятно что ты этим хотел сказать? Какую "кучу проблем" это уберет?
>вот ОТУЧИТЬ её это делать при первом удобном случае - вот где задача десятилетия
Minor персонажи никуда не прыгают если это не шлюха типа Фифи, цените.
потыкал. бредовая моделька конечно вышла. похоже на изречения оракула какие-то бля, крипоты наводит
больше параметров надо и словарь русский жирнее, хотя бы английский оттуда выбросить нахуй мб тогда взлетит что-то
Независимо от количества параметров нужны хорошие данные, при обучении с нуля. Чтобы модель училась выстраивать смысловые связи от простого сложного, то есть нужны соответствующие датасеты для поэтапного обучения. Имеющиеся датасеты слишком сложные и маленькие, этого не достаточно, чтобы модель научилась понимать, как именно из промпта получается такой ответ.
Но в целом модель обучаема, после sft видно, как она пытается отвечать в стиле датасета, на котором ее обучали. Это интересный исследовательский опыт. Но для обычного васяна с теслой это практически нереально сделать годную текстовую модель не под какую-то узкую задачу. Да даже с норм железом и моделью с бОльшим колличеством параметров это пиздец задачка.
Ни у кого теслочки не валяются, у всех в страте трудюцо!
Ща этот лопух с поддержками всего и вся и овер9999 PR от васянов наоборот уничтожит всю скорость. Хорошо начинали конечно, но боюсь долго эта штука не протянет. Какие-то олени уже клянчат Q8 ггуфы от анслопа и еще хуй знает что
Всем похуй на нищий скот, звездочки поставили? Молодцы, а теперь кыш ныть по своим загонам для бомжей.
Автор омежка какая-то, ему не похуй, он все это говно мержит. И АМД теперь и еще хуй знает что прилепил. Нахуя, зачем.
> It directly replaces the general-purpose LLM inside Mem0, MemOS, and Hy-Memory (covering Chat, Working, and Coding scenarios)
Больше не приноси такое
В старом деревенском быту слово могло использоваться буквально — для описания предметов, находящихся позади корыта для стирки, кормления скота или замешивания теста (например, «закорытный угол»).
Закорытная модель, получается.
Сука, он еще и BOLT называется. Как перестать орать? ЗАКОРЫТНЫЙ БОЛТ, конец 2026-го, 74B, итоги.
https://huggingface.co/bartowski/THUDM_GLM-4-32B-0414-GGUF
Эта штука вроде как новее мистраля и явно умнее, в рп явно будет лучше, имеет тот самый глм слог, самый самый нищий варик запустить глм сегодня, раз уж эир вам не запустить
спроси у ллм. зависит от:
1) какой зион и какие инструкции он поддерживает. в llama.cpp поддержка simd из коробки, но зион может быть просто слишком старым с каловым набором (вернее отсутствием) инструкций
2) сколько каналов рам и какие частоты. можешь прям в гугле вбить "memory bandwidth of ddr3 8 channel 2133". но скорее всего будет слишком медленно. ддр4 так-то только для мое с видимокартой и подходит
3) модели - плотная/мое, кол-во параметров
мне кажется что будет медленное говно.
Секретная разработка заи специально под рп, удалена со всех платформ, все упоминания стёрты, за батрухой уже год охотятся китайские агенты, но он смело держит модель открытой
А в страте есть? Когда я чекал впервые, там было 20хх+ только видяхи.
>>1731447
Вообще, это палка о двух концах.
С одной стороны ты прав, и крупный проект, разрастаясь, пвоышает сложность, отчего теряются тонкие оптимизации для современных карт, и это плохо. Очень вероятных исход событий, если не балансировать умело.
С другой стороны, меня ебейше заебывал жора, когда Сбер ему каждый месяц тыкал PR с поддержкой гигачата, а они ТУПО ИГНОРИЛИ. Любые новые модели в llama.cpp тупо игнорятся — Hy3? DS4F? Qwen-Next? Pwilkin делал в соляндру два месяца.
Зато, ебать Жора пофиксил миллиардный баг в Gemma 4 26B, теперь на 1% быстрее!!! Охуеть полезно, пошел он в пизду.
Короче, тут нужно реально держать баланс, и отказываться от полезных пиаров не надо, но и тащить все говно тоже не надо.
>>1731514
>>1731518
2) Ты не прав, братишка, 4-канал 1866 ддр3 это чисто 2 канал 3200 ддр4, у меня была такая материнка. Свои 46-50 гбс выдает, и норм зеон там работает точно так же, разницы с каким-нибудь Ryzen 5 5600X + DDR4 3200 ты не увидишь.
Так что в целом, гонять на зеоне 1) с норм инструкциями и 3) мое моделью можно. Вот, например, Strata с Qwen3.8-Flash-Next-GSQ-RCO-IQ3_S с двумя RTX 5070 ti и Ryzen 9 3900 на DDR4 выдает мне 72 тпса. Очень вероятно, что такие же видяхи на норм зеончике и ддр3 в четырехканале выдадут столько же, ну или чуточку меньше.
Правда, нахуй тебе зеон с такими картами, ну речь не об этом.
Но лучше добавить видяшку какую-нибудь, конечно.
https://huggingface.co/reflection/Beam-1.0-501B-A23B