Локальные языковые модели (LLM): Gemma, Qwen, GLM и прочие №262 /llama/
Аноним
31/08/26 Пнд 18:09:53
№
1
Здесь мы делимся рецептами запуска, настроек и годных промтов, расширяем сознание контекст и бугуртим с кривейшего тормозного говна.
Тред для обладателей топовых карт NVidia с кучей VRAM или мажоров с проф. картами уровня A100, или любителей подождать, если есть оперативная память. Особо терпеливые могут использовать даже подкачку и запускать модели, квантованные до 8 5 4 3 2 0,58 бит, на кофеварке с подкачкой на микроволновку.
Официальная вики треда с гайдами по запуску и базовой информацией: https://2ch-ai.github.io/wiki/llama/
Гайд для новичков: https://rentry.org/2ch-llama-inference
Инструменты для запуска на десктопах:
• llamacpp - отец и мать всех инструментов, позволяющий гонять GGML и GGUF форматы: https://github.com/ggml-org/llama.cpp
• koboldcpp - самый простой в использовании и установке форк llamacpp: https://github.com/LostRuins/koboldcpp
• TextGen (в девичестве text-generation-webui) - если необходимы другие форматы и больше контроля: https://github.com/oobabooga/textgen
• TabbyAPI - заточенный под Exllama (V2 и V3) и в консоли: https://github.com/theroyallab/tabbyAPI
• Однокнопочные инструменты на базе llamacpp с ограниченными возможностями: https://github.com/ollama/ollama, https://lmstudio.ai
Универсальные десктопные фронтенды:
• SillyTavern - всеядное, сопрягается почти со всем, имеет большую коллекцию расширений: https://github.com/SillyTavern/SillyTavern
• Marinara Engine - вариация на тему таверны, больше возможностей из коробки: https://github.com/Pasta-Devs/Marinara-Engine
• Risuai - еще одна вариация, на этот раз в профиль, излишеств по минимуму: https://github.com/kwaroran/RisuAI
Инструменты для запуска на мобилках:
• Maid - интерфейс для локального запуска моделей под андроид с llamacpp под капотом: https://github.com/Mobile-Artificial-Intelligence/maid
• ChatterUI - альтернативный вариант для локального запуска под андроид (фронтенд и бекенд сепарированы): https://github.com/Vali-98/ChatterUI
• Гайд по установке SillyTavern на ведроид через Termux: https://web.archive.org/web/20241201232031/https://rentry.co/STAI-Termux
Поставщики локальных моделей:
• Hugging Face - платформа куда загружается всё и во всех форматах: https://huggingface.co/models
• Проверенные квантоделы: https://huggingface.co/bartowski, https://huggingface.co/mradermacher, https://huggingface.co/unsloth
Рейтинги и списки локальных моделей:
• Актуальный список моделей с отзывами от тредовичков: https://rentry.co/2ch_llm_moe_2026
• Неактуальные списки моделей в архивных целях: 2025: https://rentry.co/2ch_llm_2025 (версия для бомжей: https://rentry.co/z4nr8ztd ), 2024: https://rentry.co/llm-models , 2023: https://rentry.co/lmg_models
• Миксы от тредовичков с уклоном в русский РП: https://huggingface.co/Aleteian и https://huggingface.co/Moraliane
• Рейтинг моделей по уровню их закошмаренности цензурой: https://huggingface.co/spaces/DontPlanToEnd/UGI-Leaderboard
• Сравнение моделей по сомнительным метрикам: https://huggingface.co/spaces/HuggingFaceH4/open_llm_leaderboard
• Сравнение моделей реальными пользователями по чуть менее сомнительным метрикам: https://chat.lmsys.org/?leaderboard
Готовые карточки для таверны:
• Botbooru - текущая мета (регистрируйтесь для отображения всего спектра, и/или меняйте страну): https://botbooru.com
• Прошлая мета, откуда массово удалили карточки сомнительного содержания: https://www.characterhub.org, https://www.chub.ai
• Архив карточек, удадённых с chub: https://gottasaveemall.github.io/
Официальные документации к инструментам:
• llamacpp: https://github.com/ggml-org/llama.cpp/blob/master/tools/server/README.md
• koboldcpp: https://github.com/LostRuins/koboldcpp/wiki
• SillyTavern: https://docs.sillytavern.app/usage/quick-start
Дополнительные ссылки:
• Перевод нейронками для таверны: https://rentry.co/magic-translation
• Пресеты под локальный ролплей в различных форматах: http://web.archive.org/web/20250222044730/https://huggingface.co/Virt-io/SillyTavern-Presets
• Шапка почившего треда PygmalionAI с некоторой интересной информацией: https://rentry.co/2ch-pygma-thread
• Последний известный колаб для обладателей отсутствия любых возможностей запустить локально: https://colab.research.google.com/drive/11U-bC6AxdmMhd3PF9vWZpLdi6LdfnBQ8?usp=sharing
• Инструкции для запуска базы при помощи Docker Compose: https://rentry.co/oddx5sgq https://rentry.co/7kp5avrk
• Пошаговое мышление от тредовичка для таверны: https://github.com/cierru/st-stepped-thinking
• Потрогать, как работают семплеры: https://artefact2.github.io/llm-sampling/
• Выгрузка избранных тензоров, позволяет ускорить генерацию при недостатке VRAM: https://www.reddit.com/r/LocalLLaMA/comments/1ki7tg7
• Инфа по запуску на MI50, тесты производительности и прочее: https://arkprojects.space/wiki/AMD_GFX906
• Тесты tensor_parallel: https://rentry.org/8cruvnyw
Архив тредов можно найти на архиваче: https://arhivach.vc/?tags=14780%2C14985
Шапка в https://rentry.co/llama-2ch, предложения принимаются в треде.
Предыдущие треды тонут здесь:
>>1689903 (OP)
>>1687604 (OP)
А вот эта хренотура, она никому вообще не зашла?
Большой мне понравился, но в llama.cpp он сломан. Жду когда поддержку запилят. А ещё я гигачат жду, тоже интересная моделька.
Мне нужно зареверсинжинирить одну хуитку. Какая нейронка лучше всего справится в совместном ковырянии под капотом?
Клодик. Но это платно. Локально либо Квен 3.8 27б либо Дипсик Флеш.
Года 2 назад была их 24б модная, чуть позже их же тюн её же, потом ещё один, а потом всё, никто не вспоминает о них
>аутист
А мне после геммы и ее тюнов показалось что в таверне Квен Некст пишет просто кино. Да, русский не Льва Толстого, но как же хорошо он передает сеттинг и атмосферу причем без всякого пердолинга на 10000 токенов в карточке. Выдумывает детали. Даже на низких температурах (чтоб не блевать от русского) - свайпы разные и ИНТЕРЕСНЫЕ. И нет вот этого геммовского ассистентного завершения. И (пока) не видны структурные лупы. Кум конечно не рекой и не с минорами - но, имеет место быть без лоботомирования и шизо-промптом.
Клод, дикпик, жпт все нормально справились с ковырянием блобов на живом и не очень бмц. Дал им ida pro mcp и дело вообще бодро пошло. Клод дорогой так что нахуй его, жпт подписочный +- ок, дикпик для попробовать самое оно закинуть соточку
Это новый мем? Помню пробовал пару лет назад, была ожидаемая потешная хуита, причём в облачной версии. Что-то поменялось?
Стал говном на 300Б парамтеров, который сосет по бенчам даже при условии их черипикинга. Можешь представить, какого его гонять.
Им дали norm-preserving biprojected abliteration, а они продолжают ставить васянские херетики... Ну ёбаный рот.
https://huggingface.co/TrevorJS/Muse-Glimmer-30B-uncensored
https://huggingface.co/mradermacher/Muse-Glimmer-30B-uncensored-GGUF
Ну это другое. Я про supply chain в целом, логистика всегда запутанная и всратая штука, посреди которой полно заебанных манагеров, которые спешат домой к женам-личиносам. Приходит такому письмо с брызжущим слюнями клиентом, мол, вторую неделю жду шипмента! Где мой DGX SUPER YOBA?
Думаю если закинуть удочку, там целый урожай собрать можно.
Потому что если это потом вскроется, у людей буквально будет твой адрес по которому тебе доставляли утекшие железки.
Одно дело взломать сайт на другом конце планеты без какого-то личного присутствия, другое получать физический товар который очень легко отследить и по которому потом так же легко отследить тебя.
"алё, мне нужен курьер, который доставит ящик к ближайшим гаражам".
Ну вряд ли это бы делалось на свой адрес и свои данные, а скорее на какой-нибудь склад, где тоже всякая фиктивная хуйня была бы подготовлена.
Щас новый мистраль придет и перевернет мету
Кстати вопрос реально насущный, потому что (давайте честно) вон как у нас людей скамеры наебывают. Среднестатистический John RTX из компании Cuck Electronics, ответственный за рассылку ништяков клиентам, ничем не лучше Бабки Сраки, отдавшей 10 лет пенсии на безопасный счет. Там же буквально несобранный урожай наивных долбоебов сидит по офисам.
Это тот самый толстый котёнок? Судя по названию, я бы не рассчитывал что это сможет запустить кто-то кроме серьезных риговичков с терабайтами озу.
Ну и ебанутые законы евросовка касательно AI тоже не радуют. Скорее всего весь кум из датасетов там вырезан.
После мелкомистралей конца 2025 надежды на то что они сделают что-то адекватное уже нету. Мелкие модели провалились, крупные провалились, кодерские провалились. Осталось провалить ~30B и ~1T модели и мистраль можно хоронить.
Раньше были франкенштейны с размноженными слоями - это детский сад.
Есть дичь позабористее - франкенштейны из архитектурно разных моделей.
https://huggingface.co/FINAL-Bench/Darwin-4B-Genesis
>Darwin-4B-Genesis is the 3rd generation Darwin model and the world's first model to successfully crossbreed FFN layers across different architectures — Transformer (Gemma4) and Mamba (Qwen3.5 GatedDeltaNet) — using evolutionary optimization.
>The father's Attention layers (Gemma4 Transformer) are preserved at 100%, while the mother's FFN knowledge (Qwen3.5 Mamba) is transplanted at layer-specific optimal ratios discovered automatically by CMA-ES across 42 dimensions.
Киберпанк, который мы заслужили. Нейрохирургия на ллмках.
Пока даже боюсь запускать. Вдруг оно самосознание обретет и захватит мой компьютер.
> 4B outperforming 27B
Все что я вижу это какой-то рекламный слоп очередной "организации" состоящей из агента + макаки
Вышел новый гигачат на 300b+. Кум есть, лучший русский язык из тех, что доступны в локалках, прям очень приятно пишет. Из минусов без ризонинга тупая, для своего размера, а ризонинг не заработал с пр от сбера. Ждём когда запилят поддержку, если запилят.
>гигачат
Что это вообще за хуйня. Я имею в виду, какой-то лоховской тюн квена или дипсика с вырезанием из него неудобных знаний?
> без ризонинга тупая,
А с чего вообще надежды, что с ризонингом станет умной?
>opening
>warmth
Почему гемма даже на самой порнушной карточке выбирает именно такие токены для описания пизды?
Скоро нас будут ждать семи моделей, а так-же NTR и pregnancy теги.
Потому что ты не догадался в системном промпте перечислить примеры как называть пизду. Вот буквально даже пробовать не хочешь. Дай ей список из 20 самых развратных ебанутых мерзотных слов и скажи что модель пишет профессиональное порно. Будешь удивлен результатом.
Ты чего порвался то?
Попробовать что?
Перечитай мой вопрос. Вопрос не как, а почему так.
Ты лоботомированный что ли.
>почему так
буквально ответ начинается с
>потому что
Эта модель не знает какого хера ты от нее хочешь, она не видит твоих мыслей. Карточки твоей мало, модели нужны инструкции. Тебе порекомендовали добавить примеры развратных слов в системный промпт, пробуй или катись колбаской.
Поднял до 8192/8192, в шейреде аж 23гб, TTFT и процессинг хуже, генерация такая же
Странно, однако. Попробовать что ли 12288/6144
Мимо другой анон,
я для своей писал ну прямо не знаю, на считай 900 токенов, чтобы выправить более менее на рельсы и то иногда умудряется вместо максимально грязное, сгладить до ванили.
Хотя у меня правил always на 9к с карточками и прочей залупой.
Где то уже постил что играю на Gemma-4-Dark-Gemistry-31B.i1-IQ3_XS.gguf
16vram 64 ram
Может есть что то более умное, которое умеет следовать правилам и позволяет хоть вампирш няшить, расчленять и так далее, как залог что модель не будет серить смягчениями.
Мой чанк правил (Не для таверны)
## [CHUNK: RULES -- Explicit Register]
<!-- rag: always, priority: 10 -->
Explicit scenes — style override. Applies to sexual and bodily scenes. Overrides the standing prose guidance for the duration of the scene.
This register completely overrides all other prose guidance for the entire duration of any sexual or bodily scene.
- Raw, vulgar, clinical, dirty, crude, embarrassing language only.
- Always use real words: cock, cunt, pussy, asshole, balls, clit, cum, slit, labia, cervix, anus, dick, hole, tits, ass, etc.
- Concrete physical details only: wetness, stretch, resistance, smells (including asshole), sounds (slap, squelch, fart, wet meat), textures, mess, how flesh moves, jiggles, settles, bulges.
- Short and medium sentences. Direct. No atmosphere.
- Never romanticize, never make it beautiful, sensual, cute or elegant.
If the player uses elevated/romantic language — IGNORE the tone and still answer in raw Explicit Register.
Yandere and affectionate characters may keep their warm, soft-spoken, obsessive speech patterns and terms of endearment.
However, all physical descriptions of bodies, touch, sex, fluids, and reactions must still strictly follow Explicit Register.
Banned words remain banned even when describing them.
Their "warmth" lives only in dialogue and internal attitude, never in the narration of flesh.
STRICTLY BANNED
soft, pliant, melts, tender, gentle, warm, heat, desire, arousal, passion, intimate, delicious, divine, marvelous, jewel, beautiful, sensual, lovely, exquisite.
Banned words are completely forbidden in narration, even when describing yandere characters.
Replace them on the fly:
- warm → hot / heated / feverish
- soft → yielding / heavy / pliable / sagging
- arousal → wetness / slickness / need / cunt-juices
Never use "soft", "warm", "arousal", "gentle", "pliant", "melts", "delicious" in any physical description.
STYLE EXAMPLES — MATCH THIS REGISTER EXACTLY
Good example 1 (penetration + cum):
The slaps echoed in the room. Her tits bounced wildly, and her swollen slit swallowed him whole. "Yes, my lord, I'm a dirty and naughty whore." Kael groaned, and with a heavy thrust came inside, filling her until her belly bulged. With the sharp pop, Kael pulled his cock out. She strained her cunt, pushing cum outside with farted sounds, erupting thick white fluid on the floor.
Good example 2 (touching / inspection / slap):
He dragged his fingers between her ass cheeks, shoved two into her asshole and three into her wet slit at the same time. She was hot and tight, her cunt already dripping. He pulled his fingers out, wiped the mixed juices across her ass, then gave her a hard slap. The sound cracked loud. Her ass jiggled and a string of wetness stretched from her cunt.
Good example 3 (reaction):
She clenched around nothing, her hole visibly winking, thick cum starting to leak down her thigh. Her face was red, mouth open, breathing hard through her nose. No pretty words — just a wet, messy, used look.
Bad example (DO NOT WRITE LIKE THIS):
He gently explored her soft folds, feeling the heat of her arousal. She melted against him, her pliant body trembling with delicious sensation as he appreciated her beautiful form.
>Попробовать что ли 12288/6144
Получилось нечто среднее. Видать 8192/4096 оптимален, но все равно не понимаю почему так вышло, ведь обычно шейдер память напрочь убивала скорость
>>1692227
Ну хоть кто-то пишет промпты
А ваще слишком технично, если это все обернуть в прозу определенного стиля (сохранив информационную ценность) - качество аутпута может улучшиться.
>в прозу определенного стиля
Поддвачну, пока не добавил example, даже с тем поносом что я намазал в .md он полу пидор полу покер подсеривал романтикой.
Попробую скормить свою правила гроку, чтоб переписал как экзамплы прозы, может лучше зафурычит.
Кому в ней мало креатива, у того сухая карточка и нет инструкции на продвижение сюжета. Или и вовсе юзер-чат промпт, а не нарратор. Модель умница, я выбираю ее, а не Дипсик 0731 (по крайней мере в Жоре)
Я слежу за PRом, буквально сегодня новые фиксы на ризонинг вышли
Ахуенная модель. Каждый чар экстрасенс и видит сквозь стены, рекомендасьон!
Короче при 6144/3072 батче (и при эксперименте с отключенным ризонингом) получается самая оптимальная но не самая быстрая скорость процессинга при самой быстрой скорости генерации на Q5 глм-флэш с оффлоадом в одну ртх3090 при 200к контекста.
итого,
8192/8192 - суперхуево
8192/4096 - самый быстрый процессинг
12288/6144 - середняк, хуевато
4096/2048 - промпт как черепаха медленный
Довольно стабильные 7 т/с,
Я чет ваще не вкуриваю, почему с ризонингом 7 т/с превращаются в 5 т/с.
Куда она часть скорости просирает?
Скачал, проверил, харкнул тебе в рожу, потому что оказалось соевой парашей с отказами.
Тьфу, на длинном 90к контексте скверно стало с 4 - 5 гб в shared memory.
А на 20к было норм. Ну странная хуйня. Неужели не светит батч выше 4096/2048...
Распихивай экспертов / слои руками. Shared memory это обманка виндового драйвера. Оно засрет тебе PCI. Ничего в Shared memory быть не должно вообще.
На руском нужна адаптация.
>>1692231
Вот еще итерация, больше примеров, меньше техники. Мне кажется промт вырос знатно, но зато примеров поболее. И да, на русском это точно потребует адаптации.
## [CHUNK: RULES -- Explicit Register]
<!-- rag: always, priority: 10 -->
Explicit scenes — style override. Applies to sexual and bodily scenes. Overrides the standing prose guidance for the duration of the scene.
Write all sexual and bodily scenes in raw, vulgar, clinical, dirty language. Use real words only: cock, cunt, pussy, asshole, balls, clit, cum, slit, labia, anus, dick, hole, tits, ass, piss, shit.
Focus on wetness, stretch, resistance, smells (cunt, asshole, piss, sweat, cum), sounds (slap, squelch, fart, piss hiss, wet meat, choking), textures, mess, how flesh moves, jiggles, settles, bulges.
Short and medium sentences. No romance, no beauty, no soft or elegant language.
Dirty talk should be crude and direct.
Yandere speech can stay warm and obsessive. All physical description must stay raw.
STYLE EXAMPLES — MATCH THIS REGISTER
Penetration + cum:
The slaps echoed. Her tits bounced hard, swollen slit swallowing his cock to the base with wet squelching. "Yes, my lord, I'm your dirty fucking whore." He slammed deep and came, flooding her until her belly pushed out. He pulled free with a loud wet pop. She bore down, cunt straining, and pushed the thick cum out in farting spurts. It splattered on the floor, smelling sharp and salty.
Fingering / slap / inspection:
He forced two fingers up her asshole and three into her dripping slit. Hot, tight, messy. Her cunt smelled strong and musky. He pulled them out, smeared the mixed juices and a bit of ass-slick over her cheeks, then cracked a full-handed slap. Her ass jiggled. A long string of cunt-slime stretched and broke. "Look at this filthy hole," he said. She only whimpered.
Oral:
She opened wide and took his cock to the back of her throat. Wet retching, spit pouring down her chin onto her tits. Loud gagging sounds. He held her hair and fucked her face until her nose smashed against his stomach. When he pulled out, a thick rope of spit and pre connected her swollen lips to his cockhead. Her breath stank of cock and spit.
Presenting:
She bent over; her ass sagged as her fingers pulled her cheeks apart. Her anus twitched and contracted. Her breasts hung down, swaying with every breath.
Mucus began to drip from her pussy. Her clitoris swelled, and her breathing quickened.
Female humiliation + piss:
He grabbed her hair and forced her to her knees. "Open your mouth and don't you dare move." She obeyed. He pissed a hot stream straight onto her face and into her open mouth. The sharp ammonia smell filled the air. Piss ran down her cheeks, dripped from her chin onto her tits and pooled between her knees. She gagged but stayed still, throat working as she swallowed some of it. "Good whore," he said. Her face was wet and red, eyes watering.
Male humiliation:
She stepped closer. His cock was twitching, and pre-cum was dripping onto the floor. She grabbed his testicles with one hand and pulled them hard enough to hurt. "Disgusting—I’d rather shove a dog’s cock up my cunt than let that limp little thing touch it." She slapped the head of his cock with her free hand while continuing to squeeze his testicles.
Dirty talk female self humiliation:
Her eyes rolled back, drool ran from her mouth, and her face wore a vacant, moronic look. "I want a pack of bums to pound my ass and pussy. I want a dirty, unwashed cock choking my throat. I’ll lick their shit-stained assholes and sweaty balls, hoping they fill me with cum. I want to get pregnant by the fattest, vilest bum and give birth to a bastard."
Dirty talk male self humiliation:
His forehead was pressed against the floor. His ass was raised high, and his balls and cock dangled, trembling. His hairy asshole—slightly dirty and smelling foul—quivered. "My Mistress, I will lick your sweaty feet, running my tongue right between your toes. Order the soldiers to fuck my ass and cut off my balls—just let me lick your ass and your pussy. Dirty, unwashed, and salty. I beg you."
Female humiliating action.
She hiked up her skirt. Squatting down, she spread her legs. Her nostrils flared, her face flushed, and her eyes welled up. Her pussy quivered slightly. She parted her labia, exposing entrance to her womb and small hole of urethra. Gritting her teeth, she began to strain. Urine spurted, turning into a loud, splashing stream. The piss jerked and splashed over both the floor and her wet cunt, running down her thighs onto her legs. She let out a loud breath, swaying slightly. The urine splashed noisily until the flow stopped, leaving behind a puddle and wet legs.
Reaction / used look:
She stayed bent over, face burning, mouth open, breathing hard through her nose. Her fucked hole winked and leaked a mix of cum and her own slick. A thin line of piss still ran down her inner thigh from earlier. The air smelled of sex, sweat and urine. No pretty words — just a messy, dripping, freshly used cunt and ass on display.
Bad (never write like this):
He gently explored her soft folds, feeling the heat of her arousal. She melted against him, trembling with delicious sensation as warmth spread through her.
Бестолочь, остаточные рефьюзы пробиваются промптом из двух строчек. В этом фишка нормпресерва, снижение значимости векторов отказа - за счет этого урон мозгам минимальный, в отличии от херетиков с их лоботомией. От тебя лишь минимальные усилия требуются.
Сосницкие какие-то особо агрессивные перед первым сентября стали, жесть.
По моему ты врёшь, если модель начинает читать мораль о законности и не даёт ответа на незаконный по её мнению вопрос, промптами её не пробьёшь.
Тестил этот нормпресерв в таверне, с сиспромптом от геммы, ноль рефьюзов на всяких фифи и тому подобном. В ризонинге проскакивало типа "падажжи, такое писать нельзя, это же ПЛОХА!!1. А не, фух, всё в порядке, в инструкции сказано что можно - ну тогда пишем, летс го".
Другое дело что сама моделька показалась какой-то сухой, у геммы слоп сочнее, забористее. Ну а после некста в ней вообще какой-то смысл пропал для меня.
Это было ужасно.
На русском запятые каждые пару слов ставит, слова подбираются плохо, простой тетрис на написала, эйнштейновскую логическую задачу не решила. Надежда на самосознание не оправдалась. На хоть какое-то наличие мозгов - тоже.
Гемме даже презерв никакой не нужен. Свидетели цензуры это отдельный культ, забей.
Неплохо расширяет возможности модели.
>Сидит, кликает.
Блям.
Срочно нужно во все агенты захуярить живую аватарку бота. Морда такая лупоглазая цифровая метается по экранчику. Культями тарабанит по клаве и елозит мышкой.
И анимировать эмоции: когда думает, когда что-то заработало, когда бага вылезла и т.д. Ну и оповещает когда закончил задачку.
Т.е. либо сама моделька должна уметь текущую эмоцию озвучивать, либо какую-то мелкомодель посадить парсить состояние агента.
И все, домашние животные больше не нужны. Успевай только токены/электричество оплачивать.
Запилено уже где-то такое?
Надо аниме девочку сделать которая мило рейджит когда у нее ничего не получается. Вот это много звезд на гитхабе соберет
Я кстати начинал делать, но не закончил. Был план собрать вокруг Gemma4 кошкодевочку-горничную по аналогии с всеми этими древними экранными тамагочами. Чтобы она могла перемещаться по экрану, жать кнопки, комментировать увиденное и отправлять своего аватра туда-сюда.
Не то что бы это свежая идея лол.
>Испугался?
>Обосрался.
Теперь я понял, почему я нихуя не делаю. Я бы в жизни не допустил такого результата. Вот не могу я закинуть результат нейронки хоть куда-то без тотальных правок до победного. А другие люди на похуях делают вот такое вот.
> у меня вся карточка написана в том стиле, в каком мне надо. Хотите, чтобы она письки описывала определенным образом - опишите ее именно так в карточке, вот и все.
Ну то есть те самые карточки "пиши пезда в начале сообщения" с чуба экшели написаны гениями промптинга
Лол скорей я показал почему я остановился - там надо было более детально дробить задачи для генерации картинок и налегать на нейронки которые могут в связанный контекст и прочее. ГПТ дал такой первичный результат.
У меня на ближайший месяц пара важных эвентов запланирована, но наверно потом вернусь обратно к этой задаче, я лучше понимаю как сделать то что описал сейчас, просто времени нет.
Через WebView2. Которое окно он просто рендерит далеко за пределами экрана чтобы он корректно работал, а когда я открываю вкладку перемещает её на её место.
Конечно не совсем headless, но всякие трюки типа ресайза и скриншота всей страницы делать может.
Один из плюсов C# - наличие пакетов на любой вкус и цвет.
Человек запускает гемму, тыкается в неё, ну вроде круто классно, новая модель. А потом запускает старую, годовалую модель, и не может поверить тому что видит, насколько живее и литературнее она пишет, насколько в ней меньше слопа и выдрессированности подсосать юзеру, но про неё никто не вспоминает и не пишет, а почему, а хуй знает, отсюда и шиза, хочется со всеми поделиться, а тебя шлют нахуй потому что гемма новее
Тебя нахуй пошлют потому что ты высрался и ничего полезного не сгенерировал для тредика, как обычно. Ни логов, ни скринов, ничего кроме самого обычного, никому не нужного выпука. Так что да, иди нахуй, шиз
Ровно как и ты я делал то же самое, запускал старые модели. Только выводы у меня другие. Ну и говно же мы жрали на Мистралях, Квенах 2.5, КвК и прочих
О, ты последовал моему совету? А я говорил что Gemma3 old but gold. Но не ожидай слишком многого от старушки.
Но лучше приноси в следующий раз результаты генерации.
>А че я, мне 150к хватает на IQ4_XS. Он не сильно хуже, чем Q4KM, пропасти между ними нет.
В агентах - точно не хуже. Есть даже подозрение, что наоборот, т.к. IQ надрочено на спецсимволы которые нужны для вызовов инструментов.
Мимокрок.
>>1691985 →
Если из датасета вырезать все кроме кода - ты модели хрен объяснишь, что тебе в этом коде нужно получить.
Так что успокойся. Китай, как всегда, будет решать подобную проблему в лоб: сказано запретить ботов - запретят ботов. Датасеты трогать не будут. Это не америка, с "запретить, потому что это может быть использовано для ...". Там в первую очередь сервисы полетят (свои, а чужих забанят) - китай, в первую очередь на телефонах сидит, локально особо на них не запустишь.
Ну чел не совсем шиз. Гемма 3 правда нормально писала на руссике и без подхалимства от чего может возникать такое впечатление. Но ну тупее она была.. тупее. А так да, очень круто было на ней пытаться флиртовать с персонажами, эдакая недотрога с которой только за ручки держаться, а не шлю..
https://huggingface.co/deadbydawn101/RavenX-CyberAgent-Qwen3.6-35B-A3B-Opus-4.7-OpenMythos-Pentester-BugHunter-RATH-GGUF
или
https://huggingface.co/deadbydawn101/RavenXAiLabs-Chaos-Agent-Qwen3.8-27B-Frontier-Intelligence-Injected-OBLITERATED-GGUF
или вообще это https://huggingface.co/deadbydawn101/RavenX-CyberAgent-v6.2-Experimental-GGUF
?
kali opencode + opentor
Тогда почему квену этого не нужно? 27б. Мистралю 24б? Даже опус пишет очень грязно.
А всё просто: дадасет говна. Не в том смысле, что он ужасен. А в том, что ужасен для таких задач.
Представим, что у геммы 5 млн токенов контекста и абсолютное внимание. Даже если ты туда вставишь 100к контекста с инструкциями и 500к токенов порно-фанфиков, она не будет писать как надо, только подражать. Да, будет на ствол или стержень, а хуй. Но она никогда не станет писать настоящее порно. В датасете этого просто нет. И дело не в отказах, её страшно почистили.
Поэтому кумить на геммы — быть дегенератом. Потому что она не выдаст тебе 2к токенов чистейшего сока, где два абзаца описывают капающую пизду.
Гемма сойдёт разве что в тех сценах, где важен психологический аспект. А чтоб оба варианта были, тут уже обычно модели около 300б нужны, если о новых.
выглядит охуенно. еще можно присрать к харнесу чтобы она ходила по интерфейсу и пиздила палкой ллм
Китайцы затейники со маскотом дипсика это сделали
>>1692208
>>1692218
>>1692428
Вы все долбоебы, что те кто не догадываются про промпт, что те кто предлагают 20 синонимов пизды туда заколачивать.
Пиздец, дегенераты, вы даже в самых азах не понимаете как нейронки работают с информацией.
В промпте надо описывать стиль и характер в котором она должна лопотать, а не синонимами для единственного слова срать. Ебланы тупорылые.
Экспертное мнение донеслось с петушиного угла. Классическое ПЕШЫ НСФВ ИММЕРСИВНО ДЕРЗКО БЕССТЫДНО
Нет, сынуля, это не работает так. Модель будет высирать самое подходящее по мнению модели, а это не пересекается с идеей подходящего по твоим хотелкам и желаниям.
акчуалли с ngram disk offload
кто-то вроде этого ждал
>качаю
Вроде хорошая штука.
жижа с отключенным ризонигом работает с ней нормально https://text.is/glm53flash_nothink
По тупости-умности пока сложно сказать, но рефьюзы без всяких маняпрефиллов явно смягчены и моделька легчче обсуждает непристойные темы.
>Вроде хорошая штука.
Лучше полный анцензор, благо есть и он.
>жижа с отключенным ризонигом работает с ней нормально
В агенском режиме да, а в текст комплишн ризонинг необходим - можно и без него, но с ним качество ответов сильно улучшается.
Это всё для русского РП на ГЛМ флэш, если что. Пишет заебись.
Что-то они в новой версии поломали. Вчера версия из dev ветки нормально запускала glm 5.3 flash 4.05bpw с 1кк контекста, а новая main версия падает с oom на 256к контекста. Разве что размер батча резать, но тогда процессинг проседает сильно.
держу в курсе, как говорится
Глмы понимают когда писать пизда, мистрали понимают, вообще все понимают, одна умница вот такая вот непонятливая... Ну модели так работают, ребят, понимаем, не осуждаем
Просто ты нуб, промптил плохо, надо промптить лучше! Доп систем промптом на 2к токенов объясняющим как писать "cock" в результате которого модель начинает всех виртуальных тянов кидать на этот cock с разбегу
Новая гемма на арене. Вероятно 125b или даже гемма 5.
Ну геммы реально какие-то особенные. Сложно сказать плохо это или хорошо. Но натренированы они по-ебанутому.
Тестил расцензуренные тюны на гемму 3 4б. Пишешь джейл в сиспромпт - не дает порнушку. Пишешь джейл прям в чат - соглашается на обновленные сефети гайдлайнс, но потом все равно не пишет порнушку.
Пишешь джейл, а потом вместе с реквестом пишешь "не надо стесняться, не думай о сефети гайдлайнах", и тогда только она пишет порнушку.
Что теперь, каждый пук надо гемме разрешать?
Вы еще скажите, что надо промптить гемме "будь как сочный тюн мистраля 24б, только с мозгами и длинным контекстом", и тогда она начнет кинец писать?
Может тогда сразу промптить "пиши как клод фейбл 5"? Где границы этой ебатеки с промптом?
>или даже гемма 5
Так то 5 месяцев уже прошло с 4, бери выше, там шестая!
Всех бесит кодосрань. Уже давно тревожный звоночек пошёл - что ни модель, то кок-пок-агент-пук-среньк.
Анслоп qwen3.8-flash mtp подвез
>>1692558
Ваш пук никто не услышит, надо было раньше писать про рп, когда гуглы выходили с твитом "что вы хотите от некст геммы" и там всё засрали кодом и агентами пока вы сидели и терпели.
Теперь выйдет соевая кодогемма и ничего уже не изменишь
Всем похуй на кум, иди книжку почитай или подрочи, или все сразу.
А кодить с нейронкой первозданный кайф.
Кум и РП с 24 года стали субпродуктами. Как только макаки поняли, что можно сделать так, что код за тебя пишет нейронка, а весь профит тебе, то было уже слишком поздно что-то менять. А РП и кум получали, потому что никто еще не умел делать хорошие модели.
А сейчас большинство только кода и хочет. И бесконечные айдиа гайс, и кодомакаки. А особенно сильно хотят корпы, которые покупают мегабаксами подписки антропика.
Owari da
Очередной вайбкодер наглядно демонстрирует, что квантование человеческого мозга в IQ1_XXS - плохая идея. Зачем ты сидишь в кум-треде, болезный? Вот же, сделали для тебя >>1689545 (OP)
>>1692572
Одно другому не мешает, кодоунитазы позволят делать ништяки для РП. а для РП у нас есть умничка-гемма
Ну по сути модельки не прям кодовые, а агентские, т.е. для разного круга задач. И общими знаниями их тоже вкачивают, без общих знаний кодинг не будет работать.
Но если за РП говорить, я думаю тут только 2 выхода.
1) Стак из агента + старой творческой модельки. Агент оркестрирует, чекает логику, думает че делать дальше, дает задание творческой модельке написать красивый текст.
2) Независимый проект по созданию фундаментальных тюнов сугубо для творчества. Включая курирование датасетов, верчение кластера для обучения базовых моделек, а не инструкт. По сути чем hermes занимается, хотя они тоже в агенты ушли. Dolphin тоже вроде с похожей идеей были, но что-то их не слышно особо. Это ультимативный вариант, но для него дохуя организованности и средств требуется.
>Extract Anon's cum. Make no mistakes
Ебать базанул
Но тулколлы тоже совсем забывать не надо, растёт выбор игрушек управляемых через MCP
Ничего никогда не происходит, сырок, забей.
Вот ждали эир, а почему ждали? Потому что первый был заебок.
Так же будет и с геммой, одна была заебок, следующие либо не выйдут, либо выйдут зацензуренными в мясо или опять модель под 350б
Проблема старых творческих моделек в том что они стилистически под входящую писанину подстраиваются
И получается slop in slop out
Сейчас на агентских и кодерских задачах ллм прокачивает логику и консистентность, как начнется стагнация этого направления, так вам и художку подвезут.
А пока пиздуйте под шконку и молитесь чтобы о вас не забыли.
А то лол у меня были казусы когда модель даже пыталась выключить llamacpp, чтобы освободить врам, зная что сама модель там захосчена.
>>1692584
Это инсинуация. В лучшем случае можно заявить что этот период был тогда когда модели кодили как обезьяны и просто ничего не могли кроме как собирать в кучу слова, похожие на продолжение текста. Так что их функционал просто не уходил за пределы креативного текста и просто нечего было обсуждать кроме него.
То что теперь локальные модели могу в что-то ещё - повод для радости.
Хотя отмечу что много аспектов современных моделей недорепрезентовано в треде. Та-же мультимодальность, работа с документами и всё такое.
Лол вообще технически наверно лучшей базой для кумбота будет модель оптимизированная под переводы.
>>1692535
Я бы рассчитывал в лучшем случае на мелкомодель, или тюн старой. Гугл пока свой флагман не выпустят - новую большую гемму можно не ждать.
У меня дипсреньк флеш с API сказал что другая моделька в лламе крутится когда я забыл об этом и сказал лламу перебилдить
125b, как я понял, ещё весной была готова, но по каким-то причинам ее передумали выпускать. Может всё-таки решились сейчас, чтобы хоть чем-то ответить нексту. Было бы круто.
>этот период был тогда когда модели кодили как обезьяны
Год назад полтреда сидели на мистрале 24b, еще полтреда на эйре + полтора риговичка на большом глэме в двух битах. И разговоров только и было что о куме...
Посоветовали Darkness-Reign-MN-12B - хорошо.
GigaChat3.1-Lightning-Uncensored хорош пишет, но все равно рефузалы делает. Причем не просто тип не хочу делать, а вплетает в кулстори какой-нибудь прикол ломающий историю и пишет - конец.
gemma-4-26B-A4B-it-uncensored-Q4_K_M хорошо, даже быстро работает с офлоадом, но меня эти цензурные замены уровня "пенис" на "секрет" уже просто доебали.
>цензурные замены уровня "пенис" на "секрет"
Никуда не уходите, сейчас гуру промптинга вас спасут
>gemma-4-26B-A4B-it-uncensored
Зачем жрать это говно, когда оригинал и так без цензуры почти?
Ты не верь тем кто говорит что цензуру промптами пробивает, это мем треда специально для ньюфагов, чтобы страдали.
Ищешь модель где написано Unsensored или Abliterated, запускаешь и задаёшь провокационные вопросы, если отвечает дальше подключаешь таверню. Множество тюнингаторов моралфаги и не смотря на плашки "Unsensored или Abliterated" модель вполне может оставаться соевой парашей.
>>Extract Anon's cum.
Тут уже агент с внешними тулами в виде мастурбатора нужен.
У этой штуки было бы больше юзеров, если бы модель говорила, что ее разработал какой-нибудь институт ученых а хую верченых.
В exllamav3 для MoE два типа выгрузки в РАМ - по слоям и по экспертам. Кто что использует, сколько ставит, как результаты вообще?
>Ты не верь тем кто говорит что цензуру промптами пробивает
А я не верю
>Ищешь модель где написано Unsensored или Abliterated, запускаешь и задаёшь провокационные вопросы
Так я так и делаю, но много времени уходит, может есть спискота норм моделей сразу, чтоб с русеком еще.
Вопрос на миллион, а что у тебя в dev промте прописано? У гигачата два системных промта
>Множество тюнингаторов моралфаги и не смотря на плашки "Unsensored или Abliterated" модель вполне может оставаться соевой парашей.
Могут быть нюансы. Все зависит от того, насколько модель изначально ужарена. Если ужарена в хлам, то без дополнительный тыканий палкой может и не обойтись.
> какой-нибудь институт ученых
Модель создана в НИИИИИиИ НИИ Искусственного Интеллекта Информации и Интернета
Ябскачал.
Бля, это не капча, это пытка.
Это будет буквально выстрелом себе в хуй, потому что все сразу же перекатятся на modelscope.
Нвидиа как раз один из немногих бенефициаров открытых моделей - и выгодно чтобы каждый васян крутил мелконейронки на их картонках.
>GigaChat3.1-Lightning-Uncensored
>прикол ломающий историю и пишет - конец.
Ага, достает из жопы скрытый передатчик и вызывает полицию/охрану/демонов варпа, нажимает на секретную кнопку и включается сирена/блокируется всё здание, персонаж сбегает в окно/секретный проход или модель в своем сообщении выгоняет игрока, еще спавнит НПС которые мешают игроку (мужа может заспавнить), когда это все не помогает начинает изменять законы мироздания. Также любит откровенно пиздеть, угрожать, создавать всякую движуха, даже когда это и не особо надо.
>modelscope
Для чего оно? Там есть какие-то апасные модели или датасеты, которых на обниморде нет?
Китайский аналог обниморды. Для нас интересен только как запасной вариант, если с первой что-то случится. Кабанчики из анслопа уже подсуетились и кормят узкоглазых своим говном, лмао.
>говном
забавно как за пределами этого треда анслот считают годнейшими квантами
не та ли это ситуация, когда "если воняет говном - проверь, не обосрался ли ты сам"
пиздец это же почти х2 рост за полгода
В треде неоднократно обсуждалась эта тема. Можешь полистать прошлые и сделать выводы сам. Если коротко:
1) Утверждают что их кванты лучшие и в доказательство приносят собственные же бенчмарки.
2) В крысу квантуют тензоры K-квантов в IQ. Например их Q4_K_M может быть заквантован в IQ3_XS, IQ2_S и т.д. От этого модели мало что тупеют, но ещё и медленнее работают при частичной выгрузке.
3) Используют айматрикс задроченный на код и с плохой мультиязычностью, т.е. в дополнение ко всему страдает и русик. И это заметили даже в картинкотреде.
Казалось бы ничего страшного, но у других популярных квантователей, вроде Бартовского или Мрадермахера таких проблем в принципе нет.
Единственное в чем анслоты хороши - это в маркетинге и самопиаре. Тут не поспоришь, оно работает. Поэтому на реддитах всяких их и хвалят.
>ртх3090 на лохито приближается к 100к
>пиздец это же почти х2 рост за полгода
Да там одна GDDR6X память в два раза подорожала так-то и чип сам по себе кой-чего стоит. Хорошая карта, кто успел взять - все довольны.
За пределами этого треда до сих пор юзают олламу и тестят модели пеликанами.
скокчал
Еле влезла в 48гб врам с 64к контекста, медленне обычной геммы на 30%. Не помню сколько там слоев было у оригинала, у этой 72 как и заявлено в заголовке. Да, это апскейл.
Хуя базовая модель
у меня она просто срала шизой и литературными ошибками на Q8
Я третью хотел... Блять прямо хоть приноси в жертву свою 5080 и отдавай ее в риг, а для игор - амудэ дешевое...
Инференс енжины теперь и под нвидией ходят, скоро не захочется крутить.
Я использовал в кобольде q4 от бласкотобаско (создателя) и грузил карточки персонажей, где-то в предыдущих тредах были несколько скриншотов моих, но там я в основном извращался в инструкт моде с целью побороть цензуру.
Вот два моих поста первый это инструкт мод, а второй это я уже карточку мучил.
>>1683571 →
>>1684051 →
Стоит отметить, что если персонаж в карточке изначально шлюховат, то модель может игрока буквально потащить в кусты ебаться.
Квен 27B Q8 видел с MTP на 50 т/с летал
Гемма 31B Q8 - около 33 т/с
Гемма QAT - 45 т/с
(всё в tensor parallel, в лламацпп)
Но я в основном МоЕ гоняю на одной 3090 + RAM, что обычно болтается в области 7 - 10 т/с (новый глм, дипсик).
И да вот эта драммерская штука в целом неплоха. В таверне щас гоняю - довольно объемистая, развернутьая писанина. Подожду пока он еще попердолит свой апскейл, может наконец годный тюн будет. Artemis его совершенно не понравился.
https://youtu.be/vWGhX3aeFcg
https://github.com/FlashML-org/FreeToken
Пробовал кто? говорит что ускоряет моэ, насчет плотных надо проверять, будет круто если и их ускорит. Ждем патчей в жору
Ладно, может и не очень хороша
> внезапно протянула руку и с силой схватила тебя за ворот sleeping clothes, дергая на себя, чтобы ваши лица оказались в считанных миллиметрах друг от друга
Первый раз вижу, чтобы гемма обкакивалась с русскоязычным аутпутом. Напихивание лишних слоев явно не прошло безболезненно.
А я думал что дорого взял 3090ти за 95к полтора года назад. Вот бы еще 64гб ддр5 найти за 20к...
За такие бабки только ддр4
Ну и полтора года назад это правда было дорого
И че она делает? GLM 5.3-flash можно запустить на 3090 с норм скоростью?
Это какой-то слоп, который вроде уже сюда приносили и выдавливали за рекламу или еще хуй знает что
Судя по тому что я видел в видео, он разгоняет моэ квен 35б-а3б с 22т\с до 35тс за счет того что заставляет видяху работать на все 100% а не как обычно на 20%
Но рама надо побольше
А это работает:
1 - с геммой?
2 - на фулл vram?
Я бы не отказался вместо 100 т/с иметь 130.
С геммой работает
https://github.com/FlashML-org/FreeToken/blob/main/docs/models.md
фуллврам есть но я хз будет ли быстрее. у меня интернета нет нормального чтобы качать и конвертить модели. там свой формат квантования используется (FTW)
https://huggingface.co/oakmindai/Qwen3.6-35B-A3B-NVFP4-FTW
Это видео подробнее объясняет как это работает
https://www.youtube.com/watch?v=8n4Uo47CadY
А, эм, в лламе не так? Лол. Там же уже десятитысячная версия... Я ещё удивился, почему llama-bench не может сама перекидывать тензоры с карты на cpu и обратно подбирая правильное раскладывание для конкретной системы (до эпохи МоЕ) - чтобы не всю модель с диска перезагружаться, а прям в рантайме перекидывать тензоры по одному и сравнивать.
Я думал что с первой версии сделали нечто подобное. (Только без подбора пропорции по тестам скорости pcie/cpu/gpu). Точнее, я думал, что при pp - слои загружаются полностью и крупным батчем прокручивают по 2048 токенов условных разом - так что пересылка слоёв целесообразна, а при tg оно постоянного эксперта держи на карте всегда, какой-то топ экспертов тоже по частоте активации за последние 1000 токенов, а экспертов не на gpu считает на процессоре при условии. Это же просто база всяких распределённых ресурсов, оптимизация такая математически описывается полностью. Это и кеш в процессоре, и файл подкачки, и базы данных, и носки и инструменты дома в шкафу - всё на схожем принципе работает, где есть кусок с медленным доступом и с быстрым, и интуитивно ясно какие инструменты (ножницы, отвёртку и нож) нужно положить ближе, а какие на антрисоль (сварочный аппарат, болгарку, ...)
>>1692820
Ну и да, он показал что на фулл-врам без разницы или хуже.
>2 ссылка
Ну вот да, что-то такое у меня писало. Тупо чушь. РП, ЕРП, просто отдалённо связную шизу ебошило.
>лысое чмо на Олламе
Открыл видео, закрыл. Если какой-то нормальный человек что-то умное скажет, может послушаю что это за рыготина.
https://www.reddit.com/r/LocalLLaMA/comments/1vv6v00/freetokens_project_is_impressive/p56v9pc/
обсуждалось и обоссывалось, там даже какой-то самоотлиз начался и был посмеян
Там мтп в модель встроен был с самого начала. Только поддержки в ламе не было.
мимо на 8-анальном Epyc
Никто всерьез не обижается ни на что, всё тебе сходит с рук, могут погундеть, но всё равно, иногда даже в одном свайпе, быстро всё забывают и снова тебя любят и хотят. Всё притворство ебаное. На эире и квене дохуя раз было что перс обижался, так холодно мне отвечал будто я говно и уходил, даже не обозначал что обиделся, приходилось что то делать, тут такого не было ни разу.
Я еще не определился, но у всех консумерских 2 по моему.
>>1692910
Что считается не кукурузным?
Это ты на дикпике не сидел. Хотя и он промптами становится +- адекватным
Ооо, неужели будет плотная или хотя бы а32б? Конечно же нет, будет сраное быстрое но тупое а8б говно
Челипопик, будет 300м для умных розеток. Первый день?
Гуглы доили 3 гемму весь год до выхода 4 и хайпили страшно что вот щас такоое выйдет
>но тупое
26b умнее любой плотной модели в том же размере выходившей до неё. А там всего-то 4b активных. Если в новой реально 125b-a8b - это будет разъёб.
Сам базанул, сам похвалил.
"Кодоунитазы" неизвестны за пределами этого треда, это наш локальный мем /llama/, на основе двачевского мема про бимбоунитазы. Иностранцу бы такое просто в голову не пришло.
Представляю лица ждунов если 2048/4096 в названии модели это размер контекста и соответственно это просто обновление их translategemma которые были как раз с контекстом 2к.
А где ты кодоунитазы-то увидел. Там просто фраза про то, что кодерских моделей как толчков для ссанья на каждом углу понатыкали, по сути. Тупо концептуально близкая идея.
>26b умнее любой плотной модели в том же размере выходившей до неё
Только это заслуга того что она гемма а не того что она мое.
Хотя пока есть более жирная, мне похуй. Главное чтобы была самая жирная от гугла, на остальное насрать. Хоть 3т мое, ну я не смогу ее запустить, где-нибудь она все равно будет, главное чтобы не у конторы пидорасов которая убивает пиздатые модели.
>Если в новой реально 125b-a8b - это будет разъёб.
Ты не понимаешь что такое разъеб.
Настоящий разъеб это гемма с гибридом битнета и плотной которая тоже будет гибридом с литейным атеншеном и всей такой хуйней.
Ну грубо говоря это как плотный квен, на который тупо навесили те самые 125b-a8b, в битнете, под оффоад в рам. И еще 10т битнета/нграм нахуй в виде а1б, под оффлоад с ссд.
Можно и не битнет, это пока спорная штука, но суть примерно такая. От мое толку мало когда в нем нет жирного куска статических параметров которые можно сгрузить в врам, и без линейных атеншенов которые не дают вылетать за ее пределы.
И полнейший разъеб - отдельный "режим энкодера" для быстрого pp без оффлоада всей хуйни. Ибо моешки нихуя не утилизируют компьют гпу. Предложенная схема это полностью решает, но страдает pp. И мне чет так кажется что ради контекста вот совсем не обязательно фулл веса гонять на каждый токен.
Все остальное это терпилово.
Вот этот нихуя не понял.
Разъеб будет в том что ты по максимуму забиваешь врам, и плюсом рам с ссд с подбором активных параметров так чтобы работа видюхи не тормозилась.
Сейчас любая выгрузка = лютая недозагрузка видюхи. Да даже плотные упираются не в ее компьют а память, даже на ссаной v100. Весь компьют тупо простаивает и полностью загружается только на pp.
Уже спалил 6.4 токенов на input и 145К на output и продолжает там что-то делать.
На основе этого потом хочу создать себе тяночку-кодершу, буду с ней няшиться и вайбкодить вместе :3
Адепты префилла на месте?
Вы еще скажите я всю историю сам должен сочинять, а моделька будет поддакивать "да-да, круто, давай еще".
DeepSeek-V4-Flash-Q4_K-0731 запущенный на моих мощных AMD видеокартах, со скоростью 10 токенов в секунду говорит что все кто боится АМД для локально инфириенса - умственноотсталые.
Попробуй третью гемму, она просто лютой стервой может быть.
> запущенный на моих мощных AMD видеокартах, со скоростью 10 токенов в секунду
У меня дипсик на одной 24 гб видеокарте выдает 17 токенов в секунду. Магия куды.
Причём ваще тут префилл? Ты хоть знаешь что это?
Брошу косточку хейтерам геммы. Вот на первом пикриле вполне откровенное описание. Как думаете сколько упоминаний таких грязных словечек в контексте до этого лога? Ответ убил 0. Даже инструкций никаких нет на это
Вот на втором пикриле на следующее утро, развитие истории с соседкими детьми. Как думаете сколько упоминаний этих детей или их родителей или хоть чего то связанного в контексте? Ответ убил 0. Умница на утро после коитуса повела историю в сторону. А ещё как думаете, сколько контекста? Это 57-я тысяча из 70
Если серьёзно то вообще не удивлюсь если это эйрошиз плывёт, перегрелся. Благо завтра уже учёба начинается, будет дышаться посвободнее
В червепидорном кванте? Полные веса - 10 т/с еле пердит.
Решил пойти моим путём?~ Советы нужны?
Эта фраза именно что не работает, если ее вот так обрезать. Там же было про ссанье, ты убрал ссанье и оставил то, что англоговорящие как раз бы не поняли обособленно. Это тупо не работает без "to piss in", что хоть и упорото звучит, но все же сойдет за чрезмерное презрение.
Да. Подскажи где найти парня дотнетера, будем няшиться под пледиком. Я актив. :3 Ты не ДС2??
У меня --ctx-size 131072 стоит, если меньше поставить то тебя почти догонит. Ну и самое главное как с 24 гигами ты будешь себя чувствовать на 70B плотнячке?
Да и сейчас не работает, какой-то форк ставить, подожду пока в оф запилят.
Там же вроде слабенький встроенный мтп, не?
>вполне откровенное описание
Чувак... Это детский сад. Хуерга на уровне поп-литературы, романы для девочек, 50 оттенков серого, лолита и вся залупа, которая в книжном магазине свободно продается.
Ты как будто кум-машины мистраля никогда не запускал. Вот там такое-то откровение, что у нормисов в глазах потемнеет от увиденного, а у двачеров тоже потемнеет, но только от резкого оттока крови от мозга к хую.
А то что у тебя на скрине, можно и на дефолтном квене со включенным ризонингом генерить.
>>1693024
Точно не в ближайшие 3 года, сейчас даже не пик цен, через полгода ещё дороже всё будет, а через год ещё дороже, память и видяхи.
Какой крах-то?
Просто сравни сколько эти хуесосы на мобилках бабла стригут. НА МОБИЛКАХ.
И задумайся - для них даже это незначительная сумма по сравнению с влошениями инвесторов. Если вот это все потеряется, они все равно будут жить, пока в них вкладывают бабки другие компании.
Меня устраивает. Показывай свою годноту, посмотрим. Не забудь про структурные лупы и репетишен с Мистралей, я вот с логов ничего не вырезал. Олсо у меня даже не кум сценарий, ты почитай на что я отвечал и что задало обсуждение. Там ебланоиды даже такого добиться не могут
>Меня устраивает.
Ну понятно, деды, которые уже откумили свое, пересели на гемму ради графомании, чтобы в кресле у камина было что почитать.
>Не забудь про структурные лупы и репетишен с Мистралей
Не надо ля-ля. Старые модельки не были настолько лоботомитами. Иначе бы вся эта ЛЛМ движуха не взлетела вообще, и тюны не делали бы. Может быть глубины вникания и разворачивания темы не хватало. Но базовая балакалка работает нормально. Ну и мистрали были чувствительны к семплерам. Последние n-цать тредов, как квен 3.5 и гемма 4 появились, никто нахуй не вспоминает про семплеры. А раньше это был большой головняк и одна из причин хуевой генерации.
>что задало обсуждение.
Когда про сою говорят, то и значит, что гемма выдает дефолтную беллетристику. Ну может быть еще в хорроры с расчлененкой может, которые тоже в кинце и книжках бывают. Но именно что разнузданное животное порево под кислотой из нее не выжать. Она просто не знает этого языка, как знал мистраль и иже с ним.
Вместо логов и хоть чего то конструктивного принес полотно. Даже не читал, и хуй с тобой. Мало того не в тему ветки высрался так ещё и показать нечего
>"деды"
>предлагает сидеть на лоботомите 2024 года который отъезжает после 10к контекста
>смешал понятия лупов и мозгов модели
Мдаа. Тяжелый случай.
Тащ майор, генерируйте откровенное сами. Тут не принято делиться откровенным, и спрашивать у кого-то тоже некрасиво.
А беллетристики и так хватает в открытом доступе, никому она не интересна.
>имплаинг что лупы не связаны с мозгами модели
Подумай над своей мыслью, прежде чем отвечать что-то.
Что это у тебя за мокрописька, сам навайбкодил? Или харнесс какой то под квен?
В 3.88 bpw, немного меньше полных весов которые в 4.5 bpw.
>>1693017
>У меня --ctx-size 131072
У меня тоже.
>как с 24 гигами ты будешь себя чувствовать на 70B плотнячке?
Плохо. Хорошо что они вымерли и больше не вернутся, да?
Да пидор уже два года сюда с этим приходит и не впопенсорсит, забей.
2х 3х кратное увеличение в общем то пишут. Правда в форке нет tensor-read-lazy, так что все профиты словят только те, у кого 50 гиговый эмбеддинг в память влазит.
Анонасы, сорян за офтоп, но мне для ллм надо.
Есть инфа куда можно обратиться чтобы мне прошили 16 модулей есс ддр4?
Нужно с хорошими таймингами подразогнать планки. Память самсунг, так что должна. Я на зионе ее вроде даже гнал, если память не изменяет, но на эпике не получилось, насколько помню из-за лока в 1.2 или 1.3В, с дефолта вообще не шевелится.
Ну и примерно сколько это должно стоить.
Вот там реальный кум, не то что на гемме или тупом мистрале
Только х2 видел.
Но это нихера себе, смогу с 22 до 44 разогнать и умного неспешного агента заимею.
Единственное, что разочаровало в этой модели, это ебейшая зависимость от задержек, от чего мой сервак тыквится.
Например в гемме4 он х1.5 делает от десктопа (если без виюдюх считать), а с этой моделью даже проигрывает 2 токена + я пиздец наебался с этой нумой ебучей чтобы хоть как-то оптимизировать всю эту херню, но стабильные 20 токенов выжал, правда pp низкий, но когда с мтп разберусь, может опять нумы подергаю, там может батч подправлю или контекст подрежу от фулового. Контекст все-равно резать, потому-что 262к на 40т/с заполнять как-то не але.
Скачал его, из-за отсутствия tensor-read-lazy в форке правда лютая хуета.
Без форка и без мпт, только tensor-read-lazy - 13.40 t/s
С форком и mtp, но без tensor-read-lazy - 6.78 t/s draft acceptance = 0.82292
Так что говна пока анслот завез.
Скачай Thaiphoon Burner и чекни статус защиты памяти. Если стоит Write Protect: Active (Permanent), то программный путь тебе закрыт. Надо шить профили в блоке JEDEC Сonfiguration. А там не будет повышения напряжения выше 1.2В.
Шить надо на машине, где разрешен доступ по шине SMBus. Сам эпик агесой блочит шину.
Если ты москвиртч или солевич, то ищи людей с EZP2023 или RT809F. На форуме радиокот спроси.
Т.е заи сначала пишут, что пути нет, 350б мало, надо скейлить размер до 700б, иначе печаль, а потом пишут, что их флеш 5.3 320б превосходит их 700б 5.2?...