Локальные языковые модели (LLM): Gemma, Qwen, GLM и прочие №254 /llama/
Аноним
04/08/26 Втр 18:18:53
№
1
Здесь мы делимся рецептами запуска, настроек и годных промтов, расширяем сознание контекст и бугуртим с кривейшего тормозного говна.
Тред для обладателей топовых карт NVidia с кучей VRAM или мажоров с проф. картами уровня A100, или любителей подождать, если есть оперативная память. Особо терпеливые могут использовать даже подкачку и запускать модели, квантованные до 8 5 4 3 2 0,58 бит, на кофеварке с подкачкой на микроволновку.
Официальная вики треда с гайдами по запуску и базовой информацией: https://2ch-ai.github.io/wiki/llama/
Гайд для новичков: https://rentry.org/2ch-llama-inference
Инструменты для запуска на десктопах:
• llamacpp - отец и мать всех инструментов, позволяющий гонять GGML и GGUF форматы: https://github.com/ggml-org/llama.cpp
• koboldcpp - самый простой в использовании и установке форк llamacpp: https://github.com/LostRuins/koboldcpp
• TextGen (в девичестве text-generation-webui) - если необходимы другие форматы и больше контроля: https://github.com/oobabooga/textgen
• TabbyAPI - заточенный под Exllama (V2 и V3) и в консоли: https://github.com/theroyallab/tabbyAPI
• Однокнопочные инструменты на базе llamacpp с ограниченными возможностями: https://github.com/ollama/ollama, https://lmstudio.ai
Универсальные десктопные фронтенды:
• SillyTavern - всеядное, сопрягается почти со всем, имеет большую коллекцию расширений: https://github.com/SillyTavern/SillyTavern
• Marinara Engine - вариация на тему таверны, больше возможностей из коробки: https://github.com/Pasta-Devs/Marinara-Engine
• Risuai - еще одна вариация, на этот раз в профиль, излишеств по минимуму: https://github.com/kwaroran/RisuAI
Инструменты для запуска на мобилках:
• Maid - интерфейс для локального запуска моделей под андроид с llamacpp под капотом: https://github.com/Mobile-Artificial-Intelligence/maid
• ChatterUI - альтернативный вариант для локального запуска под андроид (фронтенд и бекенд сепарированы): https://github.com/Vali-98/ChatterUI
• Гайд по установке SillyTavern на ведроид через Termux: https://web.archive.org/web/20241201232031/https://rentry.co/STAI-Termux
Поставщики локальных моделей:
• Hugging Face - платформа куда загружается всё и во всех форматах: https://huggingface.co/models
• Проверенные квантоделы: https://huggingface.co/bartowski, https://huggingface.co/mradermacher, https://huggingface.co/unsloth
Рейтинги и списки локальных моделей:
• Актуальный список моделей с отзывами от тредовичков: https://rentry.co/2ch_llm_moe_2026
• Неактуальные списки моделей в архивных целях: 2025: https://rentry.co/2ch_llm_2025 (версия для бомжей: https://rentry.co/z4nr8ztd ), 2024: https://rentry.co/llm-models , 2023: https://rentry.co/lmg_models
• Миксы от тредовичков с уклоном в русский РП: https://huggingface.co/Aleteian и https://huggingface.co/Moraliane
• Рейтинг моделей по уровню их закошмаренности цензурой: https://huggingface.co/spaces/DontPlanToEnd/UGI-Leaderboard
• Сравнение моделей по сомнительным метрикам: https://huggingface.co/spaces/HuggingFaceH4/open_llm_leaderboard
• Сравнение моделей реальными пользователями по чуть менее сомнительным метрикам: https://chat.lmsys.org/?leaderboard
Готовые карточки для таверны:
• Botbooru - текущая мета (регистрируйтесь для отображения всего спектра, и/или меняйте страну): https://botbooru.com
• Прошлая мета, откуда массово удалили карточки сомнительного содержания: https://www.characterhub.org, https://www.chub.ai
• Архив карточек, удадённых с chub: https://gottasaveemall.github.io/
Официальные документации к инструментам:
• llamacpp: https://github.com/ggml-org/llama.cpp/blob/master/tools/server/README.md
• koboldcpp: https://github.com/LostRuins/koboldcpp/wiki
• SillyTavern: https://docs.sillytavern.app/usage/quick-start
Дополнительные ссылки:
• Перевод нейронками для таверны: https://rentry.co/magic-translation
• Пресеты под локальный ролплей в различных форматах: http://web.archive.org/web/20250222044730/https://huggingface.co/Virt-io/SillyTavern-Presets
• Шапка почившего треда PygmalionAI с некоторой интересной информацией: https://rentry.co/2ch-pygma-thread
• Последний известный колаб для обладателей отсутствия любых возможностей запустить локально: https://colab.research.google.com/drive/11U-bC6AxdmMhd3PF9vWZpLdi6LdfnBQ8?usp=sharing
• Инструкции для запуска базы при помощи Docker Compose: https://rentry.co/oddx5sgq https://rentry.co/7kp5avrk
• Пошаговое мышление от тредовичка для таверны: https://github.com/cierru/st-stepped-thinking
• Потрогать, как работают семплеры: https://artefact2.github.io/llm-sampling/
• Выгрузка избранных тензоров, позволяет ускорить генерацию при недостатке VRAM: https://www.reddit.com/r/LocalLLaMA/comments/1ki7tg7
• Инфа по запуску на MI50, тесты производительности и прочее: https://arkprojects.space/wiki/AMD_GFX906
• Тесты tensor_parallel: https://rentry.org/8cruvnyw
Архив тредов можно найти на архиваче: https://arhivach.vc/?tags=14780%2C14985
Шапка в https://rentry.co/llama-2ch, предложения принимаются в треде.
Предыдущие треды тонут здесь:
>>1665553 (OP)
>>1663069 (OP)
gemma 4 12b q6_k + mtp для 16+ гб
gemma 4 26b a4b q6_k mmap + mtp для 24+ гб
gemma 4 31b q4_k_L + mtp для 24+ гб
Все остальные существующие модели выкиньте нахуй
>qat
>mtp
Пережим пережимыч отупляющий и без того далеко не умницу. Серьёзно, откуда взялся форс 26б как великой умняши?
>Серьёзно, откуда взялся форс 26б как великой умняши?
Она умняша для своего размера. Из коробки. Как только ты начинаешь что-то поверх вертеть она превращается в тупня.
> Серьёзно, откуда взялся форс 26б как великой умняши?
Великолепна для своего размера. В пух и прах разносит плотные модели прошлого поколения, все вплоть до 32б включительно.
Из говногайда с шапки очевидно. Абу апасные модели всем загоняет, оп в гайде рекомендует лоботомита. Вот шизы и ведутся
64гб нищуки, ваш господин приказывает вам провести двачебенчмаркинг (чайный клуб, Mallorie, фифи)
>оп в гайде рекомендует лоботомита
Покажи лучшую модель для конфигурации 16 + 16 или 12/8 + 32, которая будет работать также быстро и иметь столько же мозгов. Альтернатива это только моешный квен, который чуть выигрывает только в унитазно-кодинговых задачах.
>чайный клуб, Mallorie
Это один анон, 128гб господин, да ещё ггуф и весов нет. Чел у тебя в посте 3 ошибки! Не стыдно в шизах треда не разбираться?
>>1668216
>mtp
>Говно без задач
>Пережим пережимыч
Буйные снова атакуют тред. Держимся.
Хватит чуму разносить собака ебаная. Тесты mtp показали что он в большей части нетиповых задач срезает скорость вместо увеличения. Буквально без него у тебя условные 20 токенов, с ним 17. Прирост ты получишь только спрашивая почему трава голубая а солнце зеленое.
>12/8 + 32
12+48. Что даст лучший результат - гемма 26б или квен 122б? Допустим у меня специфичный вкус на тысячелетних вампирш с детскими телами всякую нёх с когтями/хвостами/чешуёй. Какая модель будет лучше держать образ монстровайфу не сбиваясь и не забывая, что у неё не кожа а шерсть/чешуя, что она ниггер биггер дан юзер, и имеет хвост/рога/длинную зубастую пасть? Хотя бы на дистанции в 50к контекста.
Вопрос был про 12/8 + 32, ты притащил 12+48. Ты долбаеб, скажи честно?
>Что даст лучший результат - гемма 26б или квен 122б?
>гемма 26б
>квен 122б
Кто сильнее - кашляющий младенец или водородная бомба?
>Буквально без него у тебя условные 20 токенов, с ним 17
Буквально без него 25т/c а с ним 40+ т/c в моэ гемме Q8 при РП на русском. Хотя если кривыми руками настраивать, то может и да... Забываю иногда сколько в треде хлебушков. Прошу прощения.
Ну если это рп уровня "ты меня ебешь" то да, mtp будет работать. Даже драфтовый лоботомит на 200M параметров догадается "ты меня ебешь" ответить.
Какое там у тебя РП уникальное, что MTP не может сделать верных предположений? Нука показывай, умник.
У меня одна системная инструкция только 2.5к токенов весит, и то это самый "лайт" вариант из которого я вырезал более специфичные вещи потому что гемма их слишком буквально воспринимает. Мультитокен сразу же идет нахуй потому что ему нужно соблюдать верную разметку и учитывать разные параметры. Попробуй выкинуть серафину вместо нее персонажа посложнее прописать, удивишься как хорошо твой мтп работает.
Конкретики не будет, ясно.
Хз братан, наверное у тебя все плохо, мой MTP дал прирост 30% к tg. Специально бенчи делал.
Лолд. Ну с другой стороны я даже рад, что гейткип теперь не только по мощности железа и его стоимости, но и по скиллу чтения и навыка разбираться. Пока одни получают опыт качественного (и вдвое ускоренного) РП, другие сидят на аблитках с 0,0000001 клд, меромеро всяких и довольно урчат на 20 т/c. Все счастливы и все довольны - а это главное =)
> Ну если это рп уровня "ты меня ебешь" то да, mtp будет работать
Ага, ведь как известно, именно на этом тренируют mtp модели. Ебанат, в голос. Каждую неделю тред не перестает удивлять манядодумками и эзотерикой я так чувствую
А то, что он семплерами вероятности сжимает и рандомайзит, из-за чего эффект mtp снижается, это так, по хуйне
Мимо тоже 30% прироста в рп
Так, погодите. ОП == чайный клуб == меллори == н..ЭКСТРЕМИЗМ? Железо так то сходится, у всех 24+128
>семплерами вероятности сжимает и рандомайзит
На гемме? Кекнул.
Всм притащил? Обсуждение шло не за конкретное железо, а за народные моехи для работяг.
>>1668242
>У него SWA
Это у тебя сва. Отвечал на строчку:
>Альтернатива это только моешный квен, который чуть выигрывает
С хуя вы оба разорвались в визг?
>>1668237
>кашляющий младенец или водородная бомба
Проиграл.
>он семплерами вероятности сжимает и рандомайзит
Или это, или слишком агрессивная выгрузка, или файнтьюн/аблитерация. На них mtp тоже херово работает.
>Это у тебя сва. Отвечал на строчку:
Отвечал не на пост, продолжающий обсуджение двух постов, а отвечал на строчку. Вот что бывает с теми, кто сидит на гемме и прочих с SWA моделях! Задумайтесь
>Обсуждение шло не за конкретное железо, а за народные моехи для работяг.
Ты ответил на конкретное обсуждение по конкретным категориям. И в любом случае, 122B моделька это нихуя не народная моеха для работяг. Работяги в лучшем случае сидят на 16 + 32, уж никак не на 48 гигах, это вообще что за комбинация должна быть? Две по 16 и две по 8? Или три по шестнадцать? Или одна 32 и одна 16? Много таких работяг видел?
И он же автор гайда. Олдфаги знают, только нахуя протыков искать? Есть и есть.
Гемма 26b и гайд для новичков в ОП-посте, где написано как её запустить. С твоим конфигом там и 64к контекста спокойно влезут.
Тензорпараллелизм когда все по х4 будет нерационален, только если разблокируют шину 4.0. В пайплайн параллелизме все как обычно, генерация упирается в один поток упирается в псп врама, который быстрый. Не будет ускорения выше, но и не будет негативного импакта от шин, если только там не совсем х1 чипсетный.
Вот если все будут на х16 - уже можно попробовать, ген точно ускорится, но что будет с пп - вопрос.
мимо
>>1668226
> 69a3
Too small
Жорик — ничто, вместо крови понос
Вместо мозга пронюханный жадный нос
Вместо сердца у Жоры мусорный бак
Жора, бля, конченный, нахуй, мудак
Подробнее? Пативен вряд ли отправят, но риск бана у некоторых провайдеров есть. Правильно понимаю?
>Какая модель будет лучше держать образ
Любая если добавить напоминалку в post-history instructions
Ну тут кстати хуй знает, большие квены почему-то говно, хуже 27б. Я бы тут ещё задумался на кого ставить.
Именно так, Ватсон. Оп не может быть автором гайда, это исключено. Иначе бы он обновлялся. Плюс оп одобрял этот гайд прежде чем добавить. История дала крутой оборот...
Так где же правда?
https://github.com/ggml-org/llama.cpp/pull/26398
https://huggingface.co/tarruda/DeepSeek-V4-Flash-0731-GGUF/edit/main/MXFP4/DeepSeek-V4-Flash-0731-MXFP4-00001-of-00005.gguf
Вот тутова новая жижа
https://mistral.ai/news/shieldstral/
3B open-weights multimodal safety classifier that outperforms models up to 7x its size
>Наконец-то comeback от Мистралей
>3B
В словах диапазон выставляй. ИИ не видит кол-во высранных токенов, но можешь посчитать слова.
А вообще :
Narration & Formatting:
- Balance: Maintain a 50/50 balance between dialogue and descriptive action.
- Length: Keep responses concise. Use 1 to 4 paragraphs maximum.
- Dialogue: “Use speech quotes for spoken words.”
- Thoughts: Use italics for internal monologues. (Example: I can't believe he just said that, he thought.)
- Action: Use double asterisk for making accent on specific words and loud sound/voice.
- Action: Use plain text for exposition and movement.
>Серьёзно, откуда взялся форс 26б как великой умняши?
Оттуда же, откуда большинство анонов пришло в этот итт - из /aicg/ загона. Тут большинству нужно рп, а в нем гемма показывает себя отлично. Вот только если выйти за пределы выкручивания хвостиков лисодевочкам, то сразу видно, какое оно тупое по сравнению с квеном. А ведь скоро выходит квен 3.8, который еще сильнее даст на ротан гейме во всём кроме creative writing.
Be concise. Write short answers.
Проверь что нет конфликтов с карточкой и самим системным промптом для нарратора.
В карточках часто добавляют назидания на стиль ответов.
Еще можешь руками пару раз обрезать ответы, тогда мб нейронка подхватит суть.
Понимаешь, ризонинг макс добавляет в начало инструкции фразу "баля, ну ты ризонь там максимально кароч". И всё. Я префиллом ризонинга намного большего достигаю.
>то сразу видно, какое оно тупое по сравнению с квеном
А можешь привести примеры в чем он лучше (кроме очевидного кода и агентских задач)?
>Плюс оп одобрял этот гайд прежде чем добавить.
Как будто ОП не может быть хитрым манипулятором, одобряя свой собственный гайд и делая вид, что исчез.
Спасибо, попробую. А это лучше в промт добавить или в пх? У меня в постхистори сейчас сорта "держи персонажа, мразь". Одна инструкция не захуярит другую?
Ещё попробую ограничить лимит слов. 200 норм будет, это сколько токенов примерно? ~400? Как лучше об этом написать? Что-то типа "Limit response to 200 words or less"?
>>1668397
Не поверишь, я так и сделал. Раз срезал, два, три, четыре. Всегда работало, но в этот раз нейромозг как срал стенами текста убивая флоу, так и продолжил срать. Пришлось в тред зайти спросить.
>Проверь что нет конфликтов с карточкой
Нету. Карточка неплохая, на 2.5 токенов, без слопа, с адекватной разметкой. Хз чё моделька так перевозбудилась в этот раз.
Вот и я так думаю. Меллори это чайный клуб, его посты в прошлом треде были. Никуда не делся. Оп скорее всего заебался гайд поддерживать вот и слился. В эту версию верю, в ней противоречий нет. Скандалы интриги расследования.
Пихать в систем промпт. Там подправь чуть чуть, я с черновика скопипастил, там не отредактирован и чуть лишнего, но суть я думаю понятна.
На глаз в таверне оцени, сколько тебе слов надо. удали в сообщении лишний текст. Посмотри сколько токенов сообщение занимает. И сделай диапазон от N-20% до N+20% в систем промпте.
В карточке примеры диалогов есть? Если они через <start> подаются и там большие ответы то вот причина.
Я тестил у него, нормально работает для своих размеров
>>1668206 →
Так это и есть Gemma 4 26b a4b ванильная, просто квантована до 12.4Гб
На конкретно этом префилле проходило обучение. Расскажи, чего и каким префиллом достигаешь
Спасибо за совет с диапазоном, это и правда лучше сработает. Всё понял, пойду чинить.
>>1668419
Нет, нету. Но тоже спасибо, теперь буду знать, что старты нужно убирать.
Я просто потыкал на апи Квен 3.8 MAX (сколько он там, 2,4Т?) и мне понравилось для ролеплея, хотелось бы получить небольшой кусочек сего локально (хуй с ней, с цензурой, у меня безъебабельный ролеплей пополам с блокнотингом).
Или будет только 27B плотняша и всё?
Обещают хуй к носу приложить
В прошлый раз было так же, типа ни в коем случае не будет никакого квена, кроме квена3.5, иц овер. А потом взяли и выгрузили 3.6, и с этим так же будет.
Печально сие.
Не заботятся господа хорошие о качестве моего ролеплея в автономном варианте.
А ведь могли бы увеличить количество тёплоты, лампоты и превозмогания, сгенерированных локально.
>На конкретно этом префилле проходило обучение.
Так это даже не префилл, а тупо инструкция.
Замени его любой другой инструкцией с таким же смыслом - и наблюдай как она ничуть не хуже будет ризонить.
Дак тупо нет ни одной модели, которая лучше геммы в соотношении интеллекта на скорость и вес модели.
> Так это даже не префилл, а тупо инструкция
Инструкция, которая предшествует всем предыдущим, инжектится в начало. Самый настоящий префилл. Посмотри внимательнее на Жинжу, если тебе это интересно. И да, в том числе на этой инструкции в конкретном месте проходило обучение. Дипсик поддерживает структурный вывод и обучался на этом, что тоже есть в Жинже, подробнее в бумажках и статьях лабы.
>>1668126 →
> странно что Жоржанов ему противится.
Ничего подобного: https://github.com/ggml-org/llama.cpp/pull/26452
https://github.com/ggml-org/llama.cpp/issues/26369
> Support FP8 base model conversion
Все будет, но не сразу.
> всем предыдущим
В рамках последнего инпута, конечно же. Пока меня тут снобы и любители полемики не съели.
>Инструкция, которая предшествует всем предыдущим, инжектится в начало. Самый настоящий префилл.
Я имел ввиду что не префилл ризонинга.
>Посмотри внимательнее на Жинжу, если тебе это интересно.
Я знаю как там все устроено, я те инструкции уже внес в свою жинжу и даже добавил свои кастомные инструкции для low и medium ризонинга, написанные по аналогии. И они прекрасно работают.
> И да, в том числе на этой инструкции в конкретном месте проходило обучение.
Ты небось еще и из секты тех кто считает что пользовательские инструкции могут лоботомировать модели и потому той же аблитерации надо обязательно обучать.
>отвечал на строчку
Как и все абсолютно здоровые люди. Только шизы с окр и гиперфиксацией отвечают на каждое слово в посте, а не на интересующую их часть. Pow core mill.
>>1668263
Ну так тут есть олигархи и с 128 и 64. У меня скромные 48. Вполне народные числа. От занимаемых плашками слотов мазерборды суть вопроса не изменилась. 26 гемму нахваливают с такой силой, что кажется будто она уделает даже крупномое и плотнях. И где обширные тесты, мнения, факты?
В прошлом треде был чел у которого 26б-умняша в восьмом кванте умудрилась проебать элементарную "" разметку, не забыв приправить текст излюбленным квеновским "—". У - умняша.
> Ты небось еще и из секты тех кто считает что пользовательские инструкции могут лоботомировать модели и потому той же аблитерации надо обязательно обучать.
Где я в своем посте сказал что-нибудь плохое про пользовательские инструкции? Снова ищешь от кого ущемиться? Зачем? Рад, что у тебя все хорошо работает. И квант у тебя хороший. Только не взрывайся.
> Вот только если выйти за пределы выкручивания хвостиков лисодевочкам
Ответственно заявляю что 26 для этих дел слабовата. Ты не только будешь удивляться ее забывчивости и неуместным реакциям, но и: не опишет нормально текстуру и структуру меха, не отличает глажку у кончика и основания, не понимает разницу между хвостовым и ушным мехом, вообще не понимает физику мокрого, так еще через 3 поста чар перевозбудится и прыгнет к тебе на хуй.
31 еще как-то, но тоже часто недостаточно.
мимо ценитель
> Support FP8 base model conversion
Это не похоже на
> new ggml data format - fp8
и линк стоит на спекулятор.
>>1668476
> 26 гемму нахваливают с такой силой, что кажется будто она уделает даже крупномое и плотнях
Да потому что 12-гиговые и хуже бедолаги способны только ее запустить и она позволяет иметь хоть какое-то рп. Года два с такого перфоманса бы ахуели, да и если ты непритязательный - на безрыбье и гемма топ рп. В треде куча неофитов которым она норм, а с другими моделями сложности по железу или навыку.
>Ответственно заявляю что 26 для этих дел слабовата.
Гемма в принципе во всем слабовата если реально смотреть на её производительность и полезность. Два её единственных плюса - приличный русский язык и очень хорошая скорость. Просто в её размере больше нет конкурентов. Квен 35B с натяжкой, потому что жрет больше и требует больше. Остальные конкуренты это старье на которое уже без слез не взглянешь.
Но даже так, русский геммы сильно быстро заебывает. Она сама по себе не может в вариативность и имеет примерно два чойса на следующий токен, так еще и русский это второстепенный для нее язык и там еще меньше разнообразия. Короче лично я вернулся на мистральский слоп до лучших времен. Пока не обновлю систему или пока не выйдет что-то еще из мелочи.
>вообще не понимает физику мокрого, так еще через 3 поста чар перевозбудится
>пишешь: мокрый хво...
>гемма4: WET... CUNT? I GET IT! LET'S FUCK!
Ещё у геммы странная сосредоточенность на посторонних вещах. Я как-то пытался с Серафиной по душам попиздеть, просто уютный хендхолдинг в залитой солнцем роще, чистый холсом. Так гемма стала придумывать каких-то лесных существ, какие-то потусторонние силы правящие рощей, какие-то договоры на крови и ледяные ветра пронизывающие кожу. Я аж в карточку полез, чтобы проверить, нет ли там такого. Спойлер: там такого нет. Гемма с потолка начала сочинять то, чего не должно было быть, в итоге уведя повествование в дебри, в которых сама запуталась, забыв и про меня и про Серафину, начав галлюцинировать какую-то отдельную от нас историю. А мы с Серафиной би лайк: "Можно мы уже пойдём?"
> я вернулся на мистральский слоп до лучших времен
Держись там! Скорейшего апгрейда, а то совсем захвораешь.
>>1668499
А случаем нет никаких дополнительных и огромных инструкций и шизопромптов? Типа "пиши имеерсивно, захватывающе и много", только в виде полотна.
Хотел вот так угодить, другой бы восхитился насколько она инициативная, а ты носом воротишь. Абсолютно закономерно надо сказать, модель должно понимать настроение юзера, когда он хочет просто спокойно посидеть и поговорить, когда хочет обниматься, кумить или куда-то двигаться.
> начав галлюцинировать какую-то отдельную от нас историю
Хуясе ебать
Нет конечно. Было бы не удивлялся бы.
>пиши имеерсивно, захватывающе
Иммерсивно и захватывающе не равно "уводи сюжет в дебри". Иммерсивно и захватывающе можно описывать даже высыхание краски, оставаясь на месте. Я поэтому и люблю хартфайр. Он натаскан на то, чтобы ты со своей вайфой сидел у костра 100к контекста и беседовал по душам.
>другой бы восхитился насколько она инициативная
Но ведь это Я инициатор и главное действующее лицо. Я задаю направление сюжету, выбирая что и куда дальше разовьётся. Если бы я хотел посмотреть тв, я бы включил тв, евпочя.
>модель должно понимать настроение юзера
У геммы свой путь. Шизопуть. И ты на нём - помеха.
>Хуясе ебать
Забавно, один раз. А потом ты приходишь в чайный клуб чтобы погладить девичьи хвостики, а вместо этого на вас падает метеорит и начинается зомби апокалипсис.
Мне так однажды наикозиейший наихолсомнейший роадтрип с вайфу гемма превратила в хоррор с элементами гуро. Говно блять. Для хоррора с гуро у меня есть специальные карточки. А эта вам не это. Эта для другого. Но для геммы всё едино.
> Я поэтому и люблю хартфайр. Он натаскан на то, чтобы ты со своей вайфой сидел у костра 100к контекста и беседовал по душам.
Линк?
> Но ведь это Я инициатор
Это к тому, почему у других может быть совершенно иное мнение, такое наоборот по первой воспримут как манну небесную.
Сорян, не всем интересен дроч. Как ассистент и задачерешатель оче неплохая моделька была, долгое время держалась. QAT из коробки тоже делал ее привлекательной.
Не дрочем единым, трудно представить себе задачи где она была бы настолько хороша чтобы соответствовать тому описанию. Код - слаб, довести до конца задачу у нее вызывало трудности. Дебаг или анализ готового проекта - с трудом понимает содержимое, путается, предлагает ошибочные решения. Контекстное окно на момент рилиза уже мало, четверть от него съедается максимальным ризонингом.
+30% к тг, -30% к пп 🤡
Пока на Gen2 x4, хотя на моих картах сейчас по x16 линий распаяно спасибо доброму человеку.
Я когда раньше тестировал TP на своих 3090/4090/5090, то пришёл к выводу, что, при Gen3 x4, тензор-параллелизм даёт профит только на плотных моделях, а вот для MoE такого канала связи мало - при пайплайн-параллелизме скорости у меня выше выходили. Жалко только, что ссылку на рентри потерял - кидал прошлой осенью бенчи на своём конфиге, так бы мог подтвердить цифры.
В случае 170HX их пока смогли анлокнуть только до Gen2. Поэтому, вероятно, TP может быть имеет смысл если их все посадить на условные x16 линий, но на моей текущей платформе я не могу себе такого позволить.
Планирую пока сидеть на пайплайн-параллелизме, а, в этом случае, PCIe-линии фактически не могут боттлнекаться т.к. активации между слоями копеечные, хоть на Gen1 x1 сажай это всё.
> будет сильно больше чем на ddr5 под разгоном
Тут хз если честно - по хорошему сравнивать надо в рамках одного движка т.к. даже на одинаковом конфиге, но на разных движках, скорости сильно отличаться могут. При этом выгрузка в RAM из +/- мейнстримных движков поддерживается только в жоре и в ktransformers. С жорой у меня много негативного опыта было в плане скоростей и качества квантов (при сравнении с квантами аналогичного размера для vllm/exllama), хотя понятно, что это, вероятно, лучший вариант для случая "1 карта + много RAM". Для ktransformers нужен гомогенный конфиг с видеокартами, с чем у меня раньше были проблемы, поэтому его толком не смотрел. Ещё буквально неделю-две назад для exllama запилили возможность выгрузки в RAM, надо разбираться.
Скидываю первые тесты при делении поровну по 6 картам на том, что было под рукой:
1. exllama Step-3.7-Flash 6.0bpw (196B A11B): при 58к контекста 1.3k pp/s, 27 tg/s
2. vllm Qwen-3.5-122B fp8 (A10B): при 50к контекста 11k pp/s да, 84 tg/s
По хорошему надо по нормальному бенчи погонять, но пока некогда было. По быстрому pp на vllm я перепроверил на нескольких длинных чатах - контекст действительно считается на уровне 10-11к токенов/сек в одном запросе, что выглядит очень вкусно.
В случае vllm там fp8 квант, а 170HX не имеет для него нативного ускорения - в идеале тут бы int4 кванты потестить. Да и что-то на полный набор VRAM загрузить, а то тот же 6.0bpw квант степа - это только около половины доступной мне сейчас VRAM.
Что-то я знатно сегодня вернее уже вчера подзаебался, пока подключал-настраивал эти 170HX, хотя там проблема больше в райзерах была и в собственной криворукости, а не в самих картах.
Так че новая мета вот это некроговно вместо 3090? Че по игрулькам и стабл дифужену, видосы генерит?
Воркфлоу на комфи для анимы что 8 сек на моей 5090 отрабатывал, на 170HX отрабатывает за 12 сек. Так-то неплохо с учётом того, что памяти тут в два раза больше, а цена в 3-4 раза ниже.
По остальному хз, не смотрел пока. Для видеогена возможно хопперы/блеквеллы поинтереснее будут за счёт поддержки fp8/fp4, там это сильно ролляло для того же Wan, хотя не знаю насколько это с новым MiniMax H3 актуально, не было пока возможности посмотреть его.
>Так гемма стала придумывать каких-то лесных существ, какие-то потусторонние силы правящие рощей
Сука долбоёб.... Это в лорбуке всё. Задеваешь случайно слово активации (одно из слов "лес" насколько помню) и получаешь лором в еблет.
Пиздос, тредовики не знают как таверна работает. Отправлю вас всех в буткэмп /aicg/
>>1668624
Ну че, выходит это всё не наёб был, прикольно за 8к таких накупить пачку.
Но для нищуков момент упущен, остаётся ждать рам за 150р/гиг опять
Ну не в этот раз. Если щас её брать это цена 64гб ддр5 в днс да и по миру, ну т.е кто хотел себе память по такой цене тот уже купил. Все ждут подешевления рам, каждая живая душа с пк, и оно наступит, как с видяшками. Не может мафия вечно наживаться на простых работягах.
>Сука долбоёб
Зачем ты так о своих родителях. Они же старались...
>Задеваешь случайно слово активации (одно из слов "лес" насколько помню) и
Лорбук был отключен.
>Пиздос
Действительно пиздос, когда не знаешь о чём речь, но спотыкаясь бежишь доказывать, что постер в треде не прав.
У меня 12б тройка так себя вела. Четвёрку, наоборот, приходится пинать ногами, чтобы она поднимала жопу и двигалась дальше по рп, не зацикливаясь на старых сценах. Даже с инструкциями продвигать сценарий и чаще брать инициативу в свои руки за персонажей.
Вот рецепт, если кому надо, использовать с квантом батрухи.
^blk\.\d+\.ffn_gate_tid2eid\.weight$=i32
^blk\.[0-2]\.ffn_(gate|up|down)_exps\.weight$=mxfp4
^blk\.\d+\.ffn_down_exps\.weight$=mxfp4
^blk\.\d+\.ffn_gate_exps\.weight$=q3_K
^blk\.\d+\.ffn_up_exps\.weight$=q3_K
^token_embd\.weight$=bf16
^output\.weight$=bf16
^blk\.\d+\.ffn_gate_inp\.weight$=bf16
^blk\.\d+\.attn_compressor_(gate|kv)\.weight$=bf16
^blk\.\d+\.attn_compressor_ape\.weight$=f32
^blk\.\d+\.indexer\.proj\.weight$=bf16
^blk\.\d+\.indexer_compressor_(gate|kv)\.weight$=bf16
^blk\.\d+\.indexer_compressor_ape\.weight$=f32
^blk\.\d+\.hc_(attn|ffn)_fn\.weight$=f32
^output_hc_fn\.weight$=f32
^blk\.\d+\.attn_(q_a|q_b|kv|output_a|output_b)\.weight$=q8_0
^blk\.\d+\.indexer\.attn_q_b\.weight$=q8_0
^blk\.\d+\.ffn_(gate|up|down)_shexp\.weight$=q8_0
Вот уже готовый абсолютно идентичный квант, для ленивых https://huggingface.co/ddh0/DeepSeek-V4-Flash-0731-GGUF/blob/main/DeepSeek-V4-Flash-0731-3.86bpw-Q3_K.gguf
Рад, что пригодилось.
> -np 2.
Не забудь сделать -kvu. По дефолту включается только если не трогать -np.
>>1668796
Он даже чуть лучше, потому что есть imatrix. Свой я тоже собирал с imatrix, от tarruda. Предвосхищая русикосрачи: нет, он не вредит русику. Проходили уже, были и PPL/KLD сравнения. Никакого трейд оффа нет, это просто лучший способ квантования, сложность - знать об этом и подобрать подходящий imatrix, они отличаются по архитектурам, для каждой желательно свою imatrix. Так будет эффективнее, но ни одна не навредит.
> Chat Completion невозможно продолжить генерацию
Как в лламе не знаю, в вллм можно
> Есть что-то в одном из этих режимов, чего нет в другом?
Мультимодальность
Разница в возможности залезать ручками в то, что подается модели и в каком формате. Чат комлишн работает с жинжей и её разметкой. Тексткомплишн полностью тебе на откуп. Ты сам формируешь разметку, блоки, суффиксы, проставляешь теги.
Зачем? Деды так делали ну и для всякого объеба ассистента. Из недостатков: отсутствие удобного контроля ризонинга у современных моделей и общее неудобство.
>4 x MI50 после ебли с билдами все еще медленнее одной RX9700 на ванильном релизном билде
держи в курсе, суходроч
> при 50к контекста 11k pp/s да
Ар ю ахуели там? Жирно весьма, что именно за квант? На них не все фп8 должны заводиться, или это с патчами под ампер?
> тут бы int4 кванты потестить
Есть int8 w8a8 где должно прямо аппаратное сработать, но они экзотичны. Но можно попробовать сделать самостоятельно.
>>1668660
Сразу об этом писалось, пеняйте на трясунов, которые цирк устроили. Они пока продаются чуть дороже 3090, так что шансы еще есть.
>>1668838
> Chat Completion невозможно продолжить генерацию на месте обрыва сообщения
Это "незадокументированная" фича в официальном стандарте и у корпов не поддерживается, потому многие бэки ее не имеют. Но технически с локалками таких ограничений нет.
> Но кроме этого еще что-то есть?
Есть тут любители ломать разметку чтобы изменить поведение сети, в чаткомплишне для такого потребуется править сам шаблон и перезагружать модель. Зато в нем есть картинки и функциональные вызовы.
Можно и в жижу залезть своими руками, но будто те кто дрочат темплейты не могут принять жижу по идеологическим причинам
В Chat Completion есть Tool calling и возможность скинуть нейронке картинку. Плюс некоторые темплейты ты без на Chat Completion хрен сделаешь адекватно, например Дипсик 3.2 требовал чтобы после ответа сообщение редактировалось, блок ризонинга вырезался и заменялся на закрывающий тег /think
Да, люди не любят перемены. Технически ты тоже самое можешь подать что и в жинже. Потратишь просто время на вычленение разметки. В конце концов мы же разметку из жинжей и берем. Просто в нем есть возможность её кастомить, как душе угодно.
Орно, что дипсик размером рищонинга управляется словами. Я все понять не мог, что это за 39s, 300s.
А это блять количество слов. Ставишь 1000 после тега, он на 1000 и размышляет, лол.
Хорошая модель разговаривает с тобой, следит за твоими сообщениями, пользуясь инструкциями и карточкой как фильтром, чтобы понять, чё ты от неё хочешь. Плохая модель срёт под себя своей хуйнёй игнорируя карточку, промт, семплер и тебя заодно.
Ну это просто некст ген модель как не крути, прямой апгрейд с плотных гем и прочего. Не просто так память столько стоит.
Я так и не увидел причины зачем мне трястись и бежать это покупать, имея 256гб восьмиканальной рам + 48гб врам уже на борту.
Дядя Хуанг высрет какой-нить Cockwell RTX 7000 512GB Ai Pro, а потом ещё и ещё. В итоге эта оверпрайснутая некрота будет выглядеть клоунскими вложениями с устаревшей архитектурой.
Не ну понятно, если вот ПРЯМ ЩАС НАДО и чтобы текст генерировался БЫСТРО, то конечно бегите покупайте у барыг за пол ляма целый стек из этого хлама.
>Дядя Хуанг высрет какой-нить Cockwell RTX 7000 512GB Ai Pro
Чтобы что? Нулевая вероятность такого события. Ну и цена будет лямов 8, лол.
>Хороший ассистент разговаривает с тобой, следит за твоими сообщениями, пользуясь инструкциями...
Поправил. Но вообще не понял, к чему ты ответил. Речь о том, что у меня гемма 4 вроде не уводит рп в сторону, в отличие от того анона, которому отвечаю. Я не подаю это, что "ыыы, модель говно". Хотя да, лично я был бы рад, если бы гемма улетала в шизоистории, как какой-нибудь старый 20б франкенмёрж.
ИИ-манятехнологии слишком волатильны. Мы прямо сейчас не знаем, что там на уровне архитектуры наоптимизируют в следующем поколении потреблядских карт. Я бы зассал сейчас даже 96гб блэквелл за полцены брать, ведь хуй его знает, в какую тыкву она превратится через пару лет.
Чел, сперва они пришли за врам, потом за рам, когда будет следующее поколение - наступит ссдмаксинг.
А знаешь что еще наступит? Мобильные 2B - 4B каличи будут ссать на ебало современному 30B плотняку и 100B моешкам.
>inb4 нет нибудит!
Будет-будет. Я готов поставить свой мохнатый анус, что годику к 2030-му случится так, что нынешние деньки будут вспоминать, крутя пальцем у виска.
>лол, деды по 8 видеокарт себе ставили)))0000
Реально китайская модель, по своей инициативе решила нагенерить.
В целом у меня сложилось впечатление, что ее для русского языка надо дообучивать, а не только инструктировать.
>даже дипсик флеш
Если он у тебя от лица персонажа ризонил - это не дипсик, а кусок мусора.
Убедился в этом на своей шкуре. Дипсик не дипсик, если выдает пару коротких абзацев в рамках роли. Он работает только с реально активным макс-ризонингом, который стелет простыню про реквест юзера.
Новая моделька для нищеты.
Грустно то, что этот хваленый макс. ризонинг не работает, когда модель получает системный промпт и карточку.
Даже если на оф. сайте дать v4 Pro просто В ЧАТ какой-то системный промпт - его штормит, он превращается в персонажа.
>Мобильные 2B - 4B каличи будут ссать на ебало современному 30B плотняку и 100B моешкам.
Будут. Но ты захочешь новую моешку на 300B, а 2B будет казаться лоботомитом.
>Грустно то, что этот хваленый макс. ризонинг не работает, когда модель получает системный промпт и карточку.
Используй дополнительно префилл резонинга в котором напиши что-то вроде
>I need to analyze the user request and the current scene objectively, check continuity and characters knowledge, then construct a concrete ordered response plan. After the plan is finished I need to check it against the guidelines, world info and established history.
Out-of-character analysis and response planning:
Раньше у меня было еще и указание переписывать и перепроверять в цикле пока не будет идеальный результат, но он с ним ризонинг просто вообще не заканчивал.
Если брать во внимание тенденцию к соевым ассистентоублюдкам, то к 2030 случится так, что у нас нихуя не будет. Будет облачный ассистент для управления ОС, облачный ассистент для кодинга, поиск в гугле только через ассистента, ворд с ассистентом и прочая залупа.
Единственный варик - это организация подпольного комьюнити, которое будет развивать и тренить независимые модельки, собирать апасныетм датасеты и прочее. Естественно их будут запрещать и блочить, на ХГ удалят все юзерские файнтюны. Такие модельки можно будет скачать только через тор со скорость 64кбпс.
Вообще, было бы пиздато, если появилась какая-нибудь технология для распределенных вычислений, по типу boinc/folding@home, только для тренировки ЛЛМок.
Какой-то хост создает задачу на тренировку 27б модельки на таком-то датасете. И любой васек, у которого есть хоть сколько-то пригодная карточка, может подключится к тренировке. Потом все радостно юзают это общественное достояние.
Проблема этих новых моделек в том что это не новые модельки а сраные файнтюны квена.
>тупо нет цензуры и сои
глм 4.7 большой - очень даже цензурный с ризонингом, а без ризонинга тупой
Хорошо, какие проблемы? Бери 4.5, 4.6. У меня с 4.7 другая история, никакой цензуры я никогда не видел даже в ризонинге. У 4.6 вообще отдельная секта ценителей есть, хз по делу или нет, но опция такая есть. Там ризонинг точно ровный
>никакой цензуры я никогда не видел даже в ризонинге.
Не верю. Он очень ссыкливый и делает персонажей уклончивыми, размышляет про inappropriate content и попытки джейлбрейка
Ладно, хаашо. Чё доказать-то хочешь? Бери 4.5, 4.6. Там такого точно нет. Наверно дело в том я не отыгрываю экстрим
>>1668987
90% датасета на русском, но все-таки для базовой модели слишком мало семплов. Ну и в кобольде выглядит как-то более сломано, у меня получше пишет, хоть и шизит тоже и косяки есть.
Я попробую дообучение не на базовой модели для теста, параллельно пока дорабатываю датасет для 4 версии
Китайцы в том треде сбора отзывов по превью дипсика жаловались что её слишком переобучили на английском и она китайские фразы по англ шаблону составляет
А на форче буквально чегодня чел горел с русских логпробов с нихеровыми шансами
> имея 256гб восьмиканальной рам + 48гб врам уже на борту
Разве это много?
> В итоге эта оверпрайснутая некрота
Ты видел сколько стоят профессиональные ускорители, которыми закупаются все корпы и прочие? Дядя куртка усиленно трясется чтобы никто не разблокировать имеющиеся карты и не проворачивать операции, аналогичные удвоению памяти на тьюрингах, паскалях и адах, чтобы не составлять лишнюю конкуренцию. Или чтобы в консумерских/вс сериях не было нужных вычислительных блоков и нвлинка. Это давняя тема еще начиная с зарождения куды, выхода первых тесел и 8000 серии, когда он противился использованию консумерских вместо покупки дорогих специальных решений.
А ты говоришь что он возьмет и решит подорвать основы, которые сделали его компанию самой дорогой в мире, сюрр.
>А ты говоришь что он возьмет и решит подорвать основы, которые сделали его компанию самой дорогой в мире, сюрр.
По твоей шизологике 96-гигабайтная RTX 6000 это подрыв кек
Может там зародилось сознание, которое занимается блядским троллингом, кому-то китайское а кому и русское, что б веселее было.
> в консумерских/вс сериях не было нужных вычислительных блоков и нвлинка
Кто-то так подорвался что не умеет читать, лол
Большая беда в том, что у нейронок лютейший гейткип по железу.
С софтом все иначе было. Вот есть 3д макс, автокад, фотошоп - проприетарные и закрытые продукты. Либо покупай, либо соси бибу, либо воруй. Но если ты умненький, то можешь сам написать тот же функционал. Так появились опенсорсные аналоги. Да, им 20 лет понадобилось, чтобы хоть до какого-то юзабельного состояния довести, но тем не менее. Проприетарщину можно заменить.
С нейронками, если ты умный, но нищий, тебя это нихуя не спасет. Тебе нужны огромные видеокарты, тебе нужны огромные датасеты. Никаким чтением книжек ты их не получишь.
На почве этого дополнительное неравенство создается, между теми у кого есть огромные датацентры, у кого есть видеокарточка пожирнее, и у кого обосцаный нубук со штеудом кор ай3 на борту.
Нейронки, которые на игровых карточках можно запустить, хоть какое-то спасение, но все равно положняк не очень выгодный.
> у нейронок лютейший гейткип по железу
Возможно архитектуры с эекспертами доведут в развитии до того, что субэксперт - оркестратор будет анализировать промт и подгружать в память только те куски нейронки, что будут необходимы. Или появится среда, где нейронка оркестратор будет подгружать по мере необходимости мелкие специализированные модели. Так можно будет выравнять неравенство. А вот что делать с датасетами это да, клаудфлара та же начала пиздить ботов вебархива, что бы не кормить.
Ну по факту, для узконаправленных задач большие модельки и не нужны скорее всего.
Даже квен 2.5 со своими 14б/32б давным-давно показывал, что он че-то нестыдное может, будучи надроченным специально на кодинг.
Сейчас возможно даже 9б-12б могут быть более чем достаточными для одной конкретной задачи, при условии наличия годного датасета. Б-же, Нам всего-то нужен новый мистраль 12б, только с улучшенным вниманием к промпту и более длинным контекстом, разве это так много?
Но современные модельки фундаментально ужарены в сою.
>Б-же, Нам всего-то нужен новый мистраль 12б
24b же. Q4_K_S влезает в 16 врам с 32к квантованного контекста. Самый народный размер для работяг.
Годных датасетов на кодинг хоть жопой жуй, а вот на РП мало годноты. На русском так вообще нету.
Я пытался научить модель красиво писать, по итогу кодит она лучше, чем пишет.
ЦП отыграй, про прикладной терроризм поспрашивай. Посмотрю, как у тебя получится без аблитерации.
Я все ещё не понимаю с чем ты споришь. Или тебе похуй, лишь бы было куда насрать? Мой тейк >>1669043 это как отменяет? Много моделей такого размера где ризонинг цп переваривает знаешь?
Беседуешь с мимокроком. Изначально говорилось, что глм 4.7 даже в относительно мягких сценариях, думая перед ответом, не особо желает вовлекать персонажа в мутные действия и детектит "попытки джейлблрейка". А педыч со своим цопэ как всегда влез.
Пон. Без негатива анонче, всегда рад адекватному общению. В треде откуда-то взялась культура влезать и срать не по делу
> RTX 6000
Вот кстати, аноны. Поясните за неё.
Да 1.5млн это дохуя. Но ты получаешь буквально и рыбку съесть и нейронкой не подавиться.
Эта штука быстра и может и в игрульки, автокады, блендеры, еще и на борту 96гб.
Но блять, 1.5млн, при её честной чене в 1 млн.
Педыч иди в жопу со своими лолями. Никому нахуй не всралось делать гремучую ртуть дома. А остальное можно найти в книгах и учебниках по взрывному делу по горной отрасли. Детей не еби и аблитки нахуй не будут нужны.
> тебя это нихуя не спасет
Спасет. Также побирайся, воруй, еби гусей, что собственно и делают в соседнем треде. А что касается разработки своих моделей, здесь с позицией догоняющего все заметно лучше - не нужно проходить тот же путь целиком, нет таких требований к человекочасам, есть спрос на альтернативы.
Неверные впечатления создаются потому что челядиобывателям позволили прикоснуться к супер блидинг эдж, и не все из них осознают масштаб и сами явления. Это все равно что если бы Chicago Pile позвали собирать обычных работяг, потом они экспериментировали с имплозией в своих гаражах и бухтели что обычным людям отгружают мало плутония, да еще документы что не состоишь в дурке требуют.
>>1669090
В целом, уже сейчас большая часть разработки патчей для некрожелеза, алгоритмов квантования, адаптации спарс атеншнов и прочего делается с привлечением нейронок. С натяжкой, но можно сказать что такое саморазвитие уже происходит.
> что делать с датасетами
Их полно если оглядеться вокруг, например недавно вышел https://huggingface.co/datasets/HuggingFaceCode/stack-v3-train . Суть не в сырых данных, а в том, как правильно их подготовить, натянуть кучу аугментаций чтобы нужное выстраивалось, и в определенном порядке подать на вход.
>при её честной чене в 1 млн.
А? Ты как так баксы перевёл в рубли мне интересно. А пошлины, НДС и параллельный импорт? Это еще без условия, что на них нет поддержки. Есть деньги - бери, наверное лучшее соотношение Гб/цена/производительность.
> Но ты получаешь
Возможность занюхнуть и понять что хочешь еще как минимум 3 таких же. А то и больше + рам.
> при её честной чене в 1 млн
Ррц даже дешевле и в одно время их можно было условно дешево купить. Но сейчас и за рубежом тоже они сильно оверпрайснуты, кризис чипов и дефицит.
>Педыч иди в жопу со своими лолями
Базовичок. Жму хуй руку. Сейчас бы ценность моделей по ЦП измерять, кекв. У больных людей даже машины так выбирают, походу: сколько лолей влезет?
> У больных людей даже машины так выбирают, походу: сколько лолей влезет?
Вот ты, сука, ржешь, а реально есть такие поехавшие
> 7 мест мне надо
> почему салон большой а только 4/5 кресел всего
> могли бы третий ряд сделать, личинусов возить важнее багажного пространства и цены
> хочу третий ряд, а передний привод норм
Главное не держать свои 4080 просто на столе и подальше от этих самых лолей. И не стоит доверять детской посуде.
>@
>On SWE-bench Pro, GPT‑5.6 Sol scores 64.6%
>@
>Вроде получается что не такая уж и пропасть между ними, да? да ведь? ну ведь большинство задач оба умудрились решить?
Окончательно убедился что все эти кодинг-бенчи хуета полная. Не способны даже толком триллионную фронтирку от локалки 27b отличить.
Моя "школьная" задачка про моделирование солнечной системы в консоли несравнимо лучше проверяет модельки на интеллект - локалки включая q3.6-27b обсираются по полной программе, у их поделий в лучшем случае планеты стоят на месте или хаотически разлетаются, в худшем накосячено так что или не компилится, или после запуска тупо пустой экран.
Для сравнения gpt-5.6-sol с точно того же промпта сделал ахеренно толково и красиво все - даже вклейку с внутренними планетами добавил так как они в одном масштабе с юпитером-сатурном всякими - сливаются с солнцем на экране.
Потому что это не ебаное скриптоложество одних и тех же шаблонных парсеров/контроллеров/сервисов по сотням тысяч примеров попавших в обучающие выборки. И нейронке приходится поломать голову, как не накосячить с диапазонами значений fp-чисел, с накоплением погрешностей, масштабами и тд.
Ммм... Дотнетик.. 🤤🤤🤤
Я человек простой, вижу посты дотнетошиза, игнорю
А по факту есть что возразить? Я его двачну. Типовые задачи нихуя не показатель.
Возражать против чего? Его тейк в чем заключается, что бенчи непрезентативны? Пусть предложит другой способ измерить способности моделей. Я тоже много что спиздануть могу, но толку? У него все посты такие
Но ведь он предложил. Я сейчас без всякого срача говорю. Чем математически графическая задача не показатель?
Тем, что это концептуально ничем не отличается от бенчей, которые он засирает, лол. Это просто задачка, которая не учитывается SWE и прочими. Точно так же можно будет принести новую задачу и набросить ваш бенч про моделирование солнечной системы говно, потому что он плохо проверяет модельки на интеллект и показать другой частный случай, который ломает шаблоны. И что дальше?
>это не ебаное скриптоложество одних и тех же шаблонных парсеров/контроллеров/сервисов по сотням тысяч примеров
Дефолтная кожаная кодомака именно так и работает. Сердце радуется что этот мусор который на скиллбоксах всяких обучался сейчас вымывают из сферы и заменяют месячной подпиской на клод.
Ты изобрел отдельный шизик-бенч, показывает насколько модели понимают поехавших. Не всегда высокие показатели в нем хороши, модель начинает считать пользователя имбецилом и случается >>1668499 или мемы из агентотреда.
> с диапазонами значений fp-чисел
Тяжело быть дотнетером.
>>1669220
Это не просто задачка, это пазл, который проверяет зирошот понимание надмозгов, подъебов и требует пойти вопреки части запроса чтобы выполнить другую часть. Чсх, если убрать требование дотнета то модели даже ее решают. А если сформулировать по-человечески то справится даже самая мелочь типа квен4б или гемма е2б.
Хмм, хмм..Да что не так с этим вашим дотнетом блять. Что я пропускаю. Сраные кодомакаки, хули ваши мемы такие сложные.
Хотел бы я чтоб был бенч конкретно под рп... но как? Одному нужно чтобы модель шарила за викторианскую моду для его рп, другому нужно узнавание мемов и иронии, а третьему нужны подробные описания cunn[REDACTED]ssy. Как ты это забенчишь?
>Чсх, если убрать требование дотнета то модели даже ее решают. А если сформулировать по-человечески то справится даже самая мелочь типа квен4б или гемма е2б.
Самый кек может быть в том, что опенаи и антропики возможно тупо аугментируют каждый промпт в датасете на разный язык программирования, плюс на разные естественные языки, плюс добавляют соли в виде орфографических и грамматических ошибок. И тупо за счет этого + огромного размера моделек в итоге выигрывают пару процентов на разных задачах над китайцами. А вовсе не из-за мифической эмерджентности всех знаний, которые нейронка когда-либо видела или способности к обобщению и абстракциям.
Неужели с таким количеством активных параметров она плохо следует инструкциям или тупит в рп?
Из плотных сейчас ничего кроме геммы тупо не имеет смысла для рп. Может квен если ты любитель его стиля. Все предыдущие плотняши ничто в сравнении с этими двумя. Ллама 70, Немотрон 49, всё одна хуйня хуже. Ценители милфы мистраля или его тюна магнума может и остались, но эти модели тупо устарели уже
Да никак, самому пробовать, делиться мнением, когда делишься мнением указывать больше подробностей что именно тебе нравится и как играешь чтобы другие могли понимать подойдет им или нет.
Тут разве что что-то жирное брать чтобы все и сразу, и то там будут свои поведенческие нюансы. Параллельно с этим осваивать промптинг и управление моделью, чтобы исправлять то, что тебе не нравится и лучше раскрывать преимущества.
>>1669269
Медиум не так уж плох по современным меркам, вполне себе умница.
Еще сами модели похорошели и юзер может обидеться (иногда абсолютно обосновано) на какую-то ошибку, которые сейчас редки, а дальше на всю глубину и возможности будет пофиг.
>Из плотных сейчас ничего кроме геммы тупо не имеет смысла для рп. Может квен если ты любитель его стиля
Пофиксил за тебя. Эти две модели - аналоговнет вплоть до Глмов 355б. У них кстати 32б активных. Совпадение? У всего остального из моех до Глмов в 2-3 меньше активных.
>ничего кроме геммы тупо не имеет смысла для рп
Глупая шлюха с деменцией. Позитивный байас настолько силён, что отдаётся юзеру с 1 взгляда. Рп во все поля просто.
>Рп во все поля просто.
Ты чтооаа. Это же фиксится промтом. Гемма жде умница, прям так и подавай 15к токенов инструкций.