Локальные языковые модели (LLM): Gemma, Qwen, GLM и прочие №256 /llama/
Аноним
11/08/26 Втр 17:16:21
№
1
Здесь мы делимся рецептами запуска, настроек и годных промтов, расширяем сознание контекст и бугуртим с кривейшего тормозного говна.
Тред для обладателей топовых карт NVidia с кучей VRAM или мажоров с проф. картами уровня A100, или любителей подождать, если есть оперативная память. Особо терпеливые могут использовать даже подкачку и запускать модели, квантованные до 8 5 4 3 2 0,58 бит, на кофеварке с подкачкой на микроволновку.
Официальная вики треда с гайдами по запуску и базовой информацией: https://2ch-ai.github.io/wiki/llama/
Гайд для новичков: https://rentry.org/2ch-llama-inference
Инструменты для запуска на десктопах:
• llamacpp - отец и мать всех инструментов, позволяющий гонять GGML и GGUF форматы: https://github.com/ggml-org/llama.cpp
• koboldcpp - самый простой в использовании и установке форк llamacpp: https://github.com/LostRuins/koboldcpp
• TextGen (в девичестве text-generation-webui) - если необходимы другие форматы и больше контроля: https://github.com/oobabooga/textgen
• TabbyAPI - заточенный под Exllama (V2 и V3) и в консоли: https://github.com/theroyallab/tabbyAPI
• Однокнопочные инструменты на базе llamacpp с ограниченными возможностями: https://github.com/ollama/ollama, https://lmstudio.ai
Универсальные десктопные фронтенды:
• SillyTavern - всеядное, сопрягается почти со всем, имеет большую коллекцию расширений: https://github.com/SillyTavern/SillyTavern
• Marinara Engine - вариация на тему таверны, больше возможностей из коробки: https://github.com/Pasta-Devs/Marinara-Engine
• Risuai - еще одна вариация, на этот раз в профиль, излишеств по минимуму: https://github.com/kwaroran/RisuAI
Инструменты для запуска на мобилках:
• Maid - интерфейс для локального запуска моделей под андроид с llamacpp под капотом: https://github.com/Mobile-Artificial-Intelligence/maid
• ChatterUI - альтернативный вариант для локального запуска под андроид (фронтенд и бекенд сепарированы): https://github.com/Vali-98/ChatterUI
• Гайд по установке SillyTavern на ведроид через Termux: https://web.archive.org/web/20241201232031/https://rentry.co/STAI-Termux
Поставщики локальных моделей:
• Hugging Face - платформа куда загружается всё и во всех форматах: https://huggingface.co/models
• Проверенные квантоделы: https://huggingface.co/bartowski, https://huggingface.co/mradermacher, https://huggingface.co/unsloth
Рейтинги и списки локальных моделей:
• Актуальный список моделей с отзывами от тредовичков: https://rentry.co/2ch_llm_moe_2026
• Неактуальные списки моделей в архивных целях: 2025: https://rentry.co/2ch_llm_2025 (версия для бомжей: https://rentry.co/z4nr8ztd ), 2024: https://rentry.co/llm-models , 2023: https://rentry.co/lmg_models
• Миксы от тредовичков с уклоном в русский РП: https://huggingface.co/Aleteian и https://huggingface.co/Moraliane
• Рейтинг моделей по уровню их закошмаренности цензурой: https://huggingface.co/spaces/DontPlanToEnd/UGI-Leaderboard
• Сравнение моделей по сомнительным метрикам: https://huggingface.co/spaces/HuggingFaceH4/open_llm_leaderboard
• Сравнение моделей реальными пользователями по чуть менее сомнительным метрикам: https://chat.lmsys.org/?leaderboard
Готовые карточки для таверны:
• Botbooru - текущая мета (регистрируйтесь для отображения всего спектра, и/или меняйте страну): https://botbooru.com
• Прошлая мета, откуда массово удалили карточки сомнительного содержания: https://www.characterhub.org, https://www.chub.ai
• Архив карточек, удадённых с chub: https://gottasaveemall.github.io/
Официальные документации к инструментам:
• llamacpp: https://github.com/ggml-org/llama.cpp/blob/master/tools/server/README.md
• koboldcpp: https://github.com/LostRuins/koboldcpp/wiki
• SillyTavern: https://docs.sillytavern.app/usage/quick-start
Дополнительные ссылки:
• Перевод нейронками для таверны: https://rentry.co/magic-translation
• Пресеты под локальный ролплей в различных форматах: http://web.archive.org/web/20250222044730/https://huggingface.co/Virt-io/SillyTavern-Presets
• Шапка почившего треда PygmalionAI с некоторой интересной информацией: https://rentry.co/2ch-pygma-thread
• Последний известный колаб для обладателей отсутствия любых возможностей запустить локально: https://colab.research.google.com/drive/11U-bC6AxdmMhd3PF9vWZpLdi6LdfnBQ8?usp=sharing
• Инструкции для запуска базы при помощи Docker Compose: https://rentry.co/oddx5sgq https://rentry.co/7kp5avrk
• Пошаговое мышление от тредовичка для таверны: https://github.com/cierru/st-stepped-thinking
• Потрогать, как работают семплеры: https://artefact2.github.io/llm-sampling/
• Выгрузка избранных тензоров, позволяет ускорить генерацию при недостатке VRAM: https://www.reddit.com/r/LocalLLaMA/comments/1ki7tg7
• Инфа по запуску на MI50, тесты производительности и прочее: https://arkprojects.space/wiki/AMD_GFX906
• Тесты tensor_parallel: https://rentry.org/8cruvnyw
Архив тредов можно найти на архиваче: https://arhivach.vc/?tags=14780%2C14985
Шапка в https://rentry.co/llama-2ch, предложения принимаются в треде.
Предыдущие треды тонут здесь:
>>1671563 (OP)
>>1668203 (OP)
https://huggingface.co/nvidia/NVIDIA-Nemotron-3.5-Lightning-30B-A3B-BF16
Ну хоть кто-то в этом размере что-то новое выпустил, а не файнтюн Квена, хотя по бенчам оно почти везде хуже 35B Квена. Но зато датасет по май 2026 года.
Их буквально куртка каждый день клепает и хрен знает в чём разница
Для своего размера прилично. Но это херня под супер-едж. По ощущениям на уровне ку4-ку5 геммы 12Б, но с большим разбросом, то есть иногда прям с ума сходить, а иногда вполне годные ответы дает.
Контекст, конечно, разваливается мама не горюй.
Это актуально если у тебя достаточный компьют и быстрая память (считай основное в врам). Иначе цена префилла следующих N токенов почти такая же как при их генерации (упор в скорость рам), но при этом часть из них еще будет отброшена, выигрыш получится отрицательным.
> кто пробовал, скажите сразу, говно?
Пару тредов назад кто-то писал что там с русским всё плохо.
Спасибо, анон, короче буду сидеть на 20тс, мне норм в принципе, у меня модель в основном в памяти висит, но это 8 канальная ддр5, так что думаю это приемлемо
Статья 24 года про логическую задачку которые почти все нейросети провалили. Локальные на 70млрд и даже некоторые большие. У чувака 96гб оперативки а толку никакого. Но это тогда. Сейчас интереса ради я скормил задачу своей 3,5 4б 8q запущенной стыдно сказать, на 1063 с 16гб оперативки, и что интересно, за 10тыс токенов она ее решила правильно с первого раза. 4 млрд всего, не самая новая сеть, очень неожиданно!
Прошлогодний gpt-oss:20b на дефолтном ризонинге за 19к токенов выдал:
Кто ест пиццу?
Это плотник (электрик), стоящик в белом складе (первый по левому краю).
Кто держит крокодила?
Крокодила держит программист, работающий в синем складе (четвертый по левому краю).
То есть провалил задачу.
> по когерентности пишут равен 4Q весом в 17 гигов
Ну раз пишут то правда.
>4 млрд всего
А это прям она как логическую последовательность проводит или малютку просто натаскали на такую задачку и она её знает?
Если бы ее натаскали то она бы наверно быстро ответила. А так она большую простыню накатала где рассуждала и проверяла
Запишите пожалуйста видик того как вы делаете summarize и продолжаете РП (в таверне). Когда сам пробовал получалось лютое говно, хочу увидеть результат опытных анонов которые давно уже так делают. Можете просто безмозгло по РПшить показать результат.
А ты его куда вставлял?
>получалось лютое говно
Ты думаешь у нас, нет?
>Статья 24 года про логическую задачку которые почти все нейросети провалили.
С тех пор её закинули в датасеты.
>Прошло 2 года
>Модели стали умнее
Пиздатое иследование. Но почему то все всегда забывают, что за это платят отсутсвием кума
Ну это типо показать инвесторам, продать стартап, и съёбаться. Модель лютый булщит, всё заканчивается на её демонстрации, типа нихуя работает вау, а как работать пытаешься так поплыв лютый
Уже 2 года как проектируют свой так называемый Taalas hc1 Вшивать в транзисторы решили llama3.1 8b при 6 бит квантовании, что в целом ну норм, да модель старая, но учитывая чё они делают, в целом норм
14k токенов в секунду
выглядит забавно
ещё что я 2 года назад смотрел интераью чела который создал архитектуру зен для райзенов,и он там чёто пару слов сказал про это, а я не понял и скипнул... А щас как вспомнил, а ведь это реально он, тот самый мужик, сами загуглите
Звучит охуенно, кроме
>llama3.1 8b при 6 бит
Годится только как тестовая хуйня.
> но это 8 канальная ддр5
Вкусно. Если там 256+ и достаточно врама - рекомендую попробовать ktransformers. Не факт что зайдет и пердолинг там непростой, но скорости там выше и веса+инфиренс нативные.
>>1674585
> типа нихуя работает вау
А то что tq1 от анслотов уже точно больше года тоже работают - им пофиг получается?
>>1674590
Что-то с таким подходом к моменту налаживания производства, выпуска, упаковки и поставки потребителю модель уже успеет протухнуть. На всякой технике продолжительного пользования это решается обновлением по и весов, а тут такое невозможно.
Неужели нельзя было частично пожертвовать скоростью и еще чем-нибудь, но сделать возможность обновления? Пусть ограниченное количество циклов, пусть сложное и долгое - для разовых запусков пофиг, но обновление.
Писали тут о нем в январе вовсю. В целом - сайт говно, ответы бредовые, потому что модель мелкота, галлюцинирует вовсю. Большую модель они так до сих пор и не закатали в железо, все обещаниями кормят. Если до конца года ничего не выйдет, значит vaporware очередное.
>Приобретение канадского стартапа Taalas позволит AMD расширить свой портфель решений для искусственного интеллекта за счет высокоскоростных решений для инференции.
Их AMD скупили 2 дня назад, так что можешь никакого развития темы не ожидать. Засунут под ковер, чтобы не мешать нвидии, благо Лиза Су из AMD и Хуанг из нвидии родственники. Сайт скорее всего тоже скоро закроют.
>чела который создал архитектуру зен для райзенов
джим келлер чтоли?
>А ты его куда вставлял?
Никуда. В суммарайзе терялся "стиль" и примеры диалогов которые есть в приветствии отсутствовали, упускались важные РП детали и тд. Да и сами настройки саммерайза не плохо было бы увидеть.
>Ты думаешь у нас, нет?
Часто очень уверенно советуют сумарайз когда поднимается тема контекста. Вот и хочется у победителей учиться.
1 Форкаешь чат до момента, который хочешь суммаризовать. Лучше иметь подушку в 20-400 сообщений чтобы сохранялся стиль и важные события. Учитывай что при форке может вернуться старый суммарайз, перенеси его из основного чата если это произошло.
2 Пишешь в чат "систем - приостанови рп и напиши N новых глав, которые опишут что произошло с игровом чате", точнее ищи в прошлых тредах.
3 Свайпаешь, правишь, добавляешь полученные главы к имеющемуся суммарайзу.
4 /hide 1-X чтобы скрыть сообщения, которые попали в суммарайз.
Пока это наиболее удобный и эффективный вариант. Стоит указывать как общие вещи, так и конкретные факты, а также локацию, дату-время и прочее. Потом многочисленные главы можно схлопнуть или отрефакторить в отдельном чате с ллм.
Если делать этот трюк в маринаре - нужно быть осторожным, там закардкожен лимит в сколько-то килобайт на единичное поле суммарайза, дальше он обрезается с начала. Потому когда глав уже много - лучше группировать их отдельными блоками суммарайза по ~50, так и самому будет удобнее.
>>1674632
> В суммарайзе терялся "стиль" и примеры диалогов которые есть в приветствии отсутствовали
Если тебе сильно нужны эти примеры - можешь поставить галочку чтобы они не удалялись. Чтобы не терялись детали - нужен подробный и дотошный суммарайз. Главы с названиями и дополнительная разметка поможет ллмке не запутаться когда тот слишком разрастется, в отличии от плейнтекста в котором все зафейлит.
На стандартный суммарайз в таверне даже не смотри, херь.
Да, он
>>1674612
Блять, амд купили стартап чела который делал им зен, это какой то супер пузырь говна
Нужен достаточный поток воздуха, оглушительный свист не нужен. Тот крутялитор создает достаточное давление чтобы продуть карты и достаточный расход чтобы они не перегревались. Один на 4 это уже довольно жадный вариант, но для двух карт его даже раскручивать сильно не требуется.
> лайвхаки с СЖО охладом
Есть, водоблоки для а100
Я понимаю плотняша и все дела, но не 16 t/s же у нее должно быть в таких условиях? Либо я что-то не так делаю. -ngl 99, --cache-ram 0, -parallel 1, контекст поставил 8к, три чекпоинта, mmap выключен, диспетчер показывает 14.3/16GB. Скорость 16t/s, процессор не нагружается во время ответа, то есть ничего не утекает в RAM.
А я писал тредами ранее, что qwen3.5 4b это самая крутая модель по уму к размеру
Вот вы жалуетесь, а где лучше то ебана?
Из творческих моделей что могут в рп всегда все ели держат 20к
Сколько гемму не тыкай - не будет она писать как глм, а единственный доступный глм кроме эира вот уже реально устаревший на 30б и мое лоботомит на 3б
>Сколько гемму не тыкай - не будет она писать как глм
И Слава Богу.
Давайте репортить эйрошиза, вдруг мочух забанит?
В текст комплишен я решил не лезть, чтобы не ебать себе мозги, но с чат комплишеном тоже проблема, возможно, потому что я им почти не пользуюсь. Пытался вставлять в body силу размышлений/триггер. Но даже так не работает как надо, при этом размышления часто не включаются вообще. Через префилл их включить можно, но там тоже всё как-то кривовато работает. Короче, непонятно, я мудак, таверна или что вообще происходит.
Просто скажите, что у вас в батнике и что в таверне.
>>1674844
Странно, у меня такого не было. На карточке фифи модель, конечно, шизеет, но не настолько сильно, и квант у меня ниже. То есть пишет по-русски, но иногда вставляет неуместные англицизмы и обязательно перечисляет, какая там писечка-сисечка, даже если я инструкций на это не давал.
>контролируете силу размышлений муси
Не, я только начинающий в кунг-фу
В самом начале сис промпта ставлю рисонинг левел low
И в интерфейсе тоже выбираю low
Начинает срать ризонингом явно меньше
>Скорость 16t/s, процессор не нагружается во время ответа, то есть ничего не утекает в RAM.
Это не показатель. Если утекает немного - процессор может быть не нагружен, а скорость просядет. То, что диспетчер показывает 14 из 16-ти занятого - лучший ориентир, но на винде тоже не 100% показатель. Это во первых.
Во вторых - ты не сказал на чем крутишь. В некоторых вариантах это вполне ожидаемая скорость.
>>1674844
Гы... "Пива and чипсов. Ничего что я тут по английски?" (с)Анекдот. Инверсия.
Да достаточно просто современную модель такого размера использовать а не третью ламу. Qwen 9b либо что-то от LFM. Ну или гемму
Сап /братья, какой сейчас положняк по моделям?
А у тя есть 2тр и видюха наса чтоб его запустить?
Ты ж не про 27б кодолоботомит бенчмакснутый?
>>1674995
Могу только по маленьким сказать.
Gemma 4 31б всё ещё лучшая в плане литературности, но может такой уровень выдерживать только на англ, а 8 квант ты вряд ли запихнёшь для хорошего русика. А вот её версия 26б МоЕшная уже в этом плане поинтересней, так как легко взять 8 квант и получить очень качественный русский. Если ещё два ПК есть, ну или ноут там, можно поставить малую гемму для перевода текста с других моделей, плюс она сама по себе хороша и ебёт всё в своём размере. 12б гемма же шлак.
Ну и тут многие советуют использовать гемму для порно, но лично я бы не советовал. Нет прям супер натуралистичных описаний.
Квен 27б 3.5 может выглядеть как замена гемме, но не обльщайся, там датасет кодоунитазный, как и у всех моделях сейчас, однако лучше, чем у того же квена 3.6 версии.
Для порно я советовал бы именно 3.6 квен. Он его довольно хорошо пишет в плане натурализма, но без изысков. Если нужно что-то особенное в плане эмоций, психологизма, тут уже лучше использовать гемму.
И вроде бы сегодня квен 3.8 выйдет.
Но все эти квены прежде всего хороши тем, что контекст очень хорошо держат. Будь там на уровне геммы или хуже, смысл в них бы пропал. Хотя у геммы тоже удержание контекста достойное.
ну и вот на днях вышла ллама новая: Muse-Glimmer. На мой взгляд хуйня и залупа конская, но может я неправ.
Про него. Я скачаю его, а потом буду неделю прогонять его через свою панель бенчей.
Спасибо почекаю. А то чатгпт посоветовал мне Qwen3-TTS 1.7B CustomVoice Q8. Поставил его через кобольд. Генерация голоса слишком долгая, да и стоковые голоса говно какое-то. Запускаю на гпу на куда, но там уже из 16гб и так впритык, надо на вулкане попробовать. И STT тоже стоит. ggml-large-v3-turbo-q8_0. Вроде норм распознает голос.
Модельку тоже гпт посоветовал для rtx 4080 - G4-MeroMero-26B-A4B-IQ4_XS
Ну изысков каких то она не выдает, когда баловался 3 года назад на гпт 3.5 турбо было примерно то же самое. Надо ещё разные карточки попробовать и авторские промты
Присоединяюсь к реквесту, вот что реально нужно!
>>1674821
Можно поиграть вокруг расстановки заголовков, если сам контекст относительно разнообразный - это облегчит работу ллмке. Плюс ризонинг, его также можно промптить указав подтянуть релевантных текущей ситуации фактов.
Можно вести статус и динамический лорбук, куда будут помещаться важные вещи и он будет подсовываться перед ответом.
Можно чередовать с квеном или выбирать рандомную модель, там где одна не справляется поможет другая.
Но чудес не жди, гемма в принципе любит свести ответ к какому-нибудь дефолту, а не твоей конкретики, что вырисовывается из продолжительной истории. Решается только сменой модели на более мощную.
Решил гигачат затестить на логику.
Это пизда ребятаньки, это просто мрак!
я узнал о GigaChat что если постить выданные им смешнявы в тред рано или поздно он выдаст политоту и тебя забанит мод
А у тебя вышло его на ризонинг развести?
В качестве модели использовалась Гемма 4-31B в Q4 от ddh0, которая с частью слоёв в более лучших квантах. Контекста с mtp и mmproj получилось жидковато, всего 36к неквантованного, это на 16+12.
По результатам я убедился в том, что как минимум эту агентскую оболочку я вертел на вертелке, и ебанутые задачи требуют ебанутых решений, а вариант с Letta и Геммочкой на текущий момент - это просто изведение хуиллиарда токенов вникуда. Если снова захочется заняться подобной хуйнёй, то надо что-то делать самому для таких задач. И инструменты надо делать корпами, ну или по крайней мере не Геммой 4 точно, а сваливать эту задачу на того же Квена 3.6 (где там мой кодоунитаз 3.8?), ибо Гемма упорно хотела для распознавания картинок пихать их в лламуцпп в base64, пока я ей не прнс решение от GPT.
Отдельно хотелось бы отметить саммарайз в Letta Code. Это какой-то пиздец, он занял просто хуеву гору времени, пытаясь, судя по всему, суммаризировать весь вал ненужной хуйни, которую сотворила локалка, и который впоследствии был отброшен как нерабочий вариант.
Увы, для таких агентов разумный минимум - 20-30 токенов генерации и овер 100к контекста, иначе это мазохизм. Посмотри в сторону pi, интеграции, крон и прочее придется допиливать самому (или взять готовые), зато ты будешь полностью контролировать что и как работает.
А все эти поделки с автоскиллами и паразитными запросами посреди твоих - херь, они жгут токены и лишний раз гадят в контекст, умная модель сама тебе предложит сделать навык или сохранит память.
> для распознавания картинок пихать их в лламуцпп в base64
Это один из вариантов передать файл бэку, он полностью валиден и поддерживается лламой, ты зря. Но как ты вообще на него наткнулся, просмотр картинками в этих харнесах идет через простой вызов read и не требуют никаких костылей. Возможно в настройках моделей ты забыл указать модальность картинок и потому штатные функции не работали.
Я свой начал вайбкодить, вроде збс выходит на опенкоде с дикпиком новым, уже в телеге со своей файфу переписываюсь, агентские возможности ей сделал, память, настроение, поиск в интернете, rss, консолидацию, сны по ночам и всякое такое, тоже кстати ебался с base64 картинками, дикпик все пофиксил
30 tg вполне выдаёт и так с mtp, а если задействовать третью видеокарту то и контекста помещается 100+, и гемма 4 влазит уже в q5, я просто планировал вариант играться, пока нейронка сама там шуршит, или иметь возможность генерации изображений без выгрузки текстовой модели.
>Это один из вариантов передать файл бэку, он полностью валиден и поддерживается лламой, ты зря.
Больно много получалось токенов со скриншота рабочего стола, вероятно этот метод подходит только для изображений небольшого разрешения.
>Но как ты вообще на него наткнулся, просмотр картинками в этих харнесах идет через простой вызов read и не требуют никаких костылей. >Возможно в настройках моделей ты забыл указать модальность картинок и потому штатные функции не работали.
Так и не нашёл, где в интерфейсе декстопной Letta настройки именно модели, а так да, нейронка писала, что её именно Letta нахуй посылает, говоря, что модель не может в изображения. После этого начались мытарства по работе непосредственно с llama-server.
В общем удолил всё, мне не понравилось.
Современные модели лучше понимают инструкции, они умнее, они лучше пишут.
Но они все пишут хуевое порно. Вот буквально: что ты не делай, как не изъебывайся. Они просто его пишут отвратно.
Вроде прогресс есть, прогресс на лицо. Модельки умницы, действительно интересные: дипсик, гемма, всякие китайские кодоштуки. Вот даже Minimax 3H вышел и показал как можно генерировать видео.
Но они все хуевы для банального дрочева. Не то чтобы это было самоцелью, нейронки для другого все таки. Но есть какой то дум от этого.
>посмотри в сторону pi
Ща пердолики нарекомендуют лул
Тебе скорее какая нибудь Mira ai нужна
> Больно много получалось токенов со скриншота рабочего стола
Ну так если большую пикчу давать - она много токенов и сожрет. Перекидываешь ты файлом, или кодируешь файл в базу64 - никак не влияет, это просто слой запросов, а декодируются они в одно и то же. Можно на стороне бэка указать максимальное разрешение пикчи или максимальное количество токенов на картинку, но это приведет к зашакаливанию и деградации качества.
> что её именно Letta нахуй посылает, говоря, что модель не может в изображения
Где задавал адрес лламы (типа models.json) ищи поле типа `"input": ["text"]` и замени его на `"input": ["text", "image"]`.
И реально pi попробуй, там дефолтные промпты меньше тысячи токенов и можно делать все, от кодинга на дефолтных до движка вайфу.
>>1675201
Потому что остальные васян-поделки - лишь куча всратых слоев обертки поверх. Или терпишь что нейронка навайбкодила барину с 30к базовых токенов мусора, и долго разбираешься почему оно такое хуевое, или не тратишь время и сразу разбираешься в работе агентов делая желаемое. Если не можешь позволить себе мощную модель с вагоном кэша - только второй вариант.
> Mira ai
Лол
Так, а можно критерии хуёвости порно?
Драмы хочу, драмы. Севиорфаггинга. Экшена. БРРРРРРТТТТТТ из GAU-8. Преодоления непреодолимого и "тут я как будто из последних сил." Кино хочу.
>а можно критерии хуёвости порно?
Любой фильтр на рот, где модель избегает грубых словечек, потом фильтр на вес этих грубых словечек, насколько они креативны и грубы, затем чтоб после всего этого модель не скатилась в дешевую драмму руин ми фо эниван елсе
> критерии хуёвости порно
Дыа: общий настрой моделек свести все к ани сделали омлет и легли спать. А вот на уууутро…
Само описание plap-plap-plap. Всякая пурпурная проза, ну чтобы литературно. общее отсутствие хорни настроя в тексте, скатывание до какой то левой хуйни и саморефлексии. Алле нейротянка, мы еще даже не закончили, давай потом будет придаваться нейродуму, а не в процессе. Мало крема, мало тактильности, мало общения. Всего, сука, мало в тексте.
Но как только ЕРП заканчивается. Тут прям с двух ног они показывают свои яйца. И огромные роботы давят человечков, орбитальные удары стирают города. Охуенно, эпично, пафосно.
А вот порно говно ёбанное.
Кинь ссылку на страницу таймера.
Смогу ли я выдежать это долгое ожидание...
Так это таймер на их огромную модель, не? А 27b выйдет позже.
Надежда умирает последней.
Да ЕПТА. Вы хоть понимаете что даже на одних видяхах это запускается в 2т.с
> 397б
Она же говно была. Правильно сделали, из неё не сделаешь фронтира. Одна жирная, один мелкий дистилл - этого достаточно.
Хочу завести на двух картах, но пока не запуллили реквест Вована.
А самому лень качать, жду вот.
Будет ли прирост при выгрузке на оперативу.
Если реально получить х1.8, то это ж с 14 тпс до 25 можно скакнуть!
Ты учти что для дспарка тебе нужна модель с дспарком, она весит больше, так как дспарк и мтп сейчас все вырезают. Ты также учти что если ты выгружаешь 90% экспертов на оперативу, то ты там в лучшем случае увидишь рост на 1 т.с., а скорее всего увидишь падение. Эти ускорялки - они для тех у кого и так кого и так все хорошо и есть лишние ресурсы.
Сына... Издревна только большеквены могли в сочнейший кум, и вообще сильно выделялись из всей линейки.
235, 397 - кум машины, в отличии от 27б, который дистилят только под код, вырезая весь сок.
Теперь и их не будет, эра квенов окончена
>только большеквены могли в сочнейший кум
ГЛМ 4.5-4.7 тоже могли, не надо тут.
Каким боком тут глм, если мы про квены говорим, квантанутый?
>Издревна только большеквены могли в сочнейший кум
Издревна квены считались рабочими лошадками, выполняющими команды, но без фантазий. Такой вариант ламы для работы. Сейчас вместо ламы у нас гемма, но суть та же. В кум могли только две модели квена третьей версии - 235 и 397, куда это попало в датасеты скорее всего по недосмотру, из них 235 сломана, а 397 запустить даже во втором кванте могут не только лишь все.
Дрочеры кстати тоже не нужны, мы тут про кодоунитазы говорим.
> Это не показатель. Если утекает немного - процессор может быть не нагружен, а скорость просядет.
Ну я специально выставил -ngl 99 чтоб ничего не осталось или авто параметры не оставили что-то на CPU. И специально поставил контекст всего 8к.
> Во вторых - ты не сказал на чем крутишь. В некоторых вариантах это вполне ожидаемая скорость.
4060ti 16GB.
Я понимаю что карта так себе, но как-то от 12B модели которая с запасом лезет в эту карту с хорошим контекстом ожидания были хотя бы 30t/s, учитывая что при попытках впихнуть 27B Q4_K_S у меня была скорость 13t/s.
Потестировав чуть больше, пришел к выводу что это нормальная скорость и какой-то ошибки с моей стороны нету. Запускаю Q8_0 - 18t/s. Q6_0 - 20t/s. Скачал после этого Qwen3.5-9B Q8_K_XL - 21t/s.
Я знал что плотные модели медленные сами по себе, но не ожидал что они настолько медленные даже когда полностью лезут во VRAM.
А у нас в это время лишь цены на видяхи скейлятся
Ты ньюфаня, похоже. Когда 397В выходили на них никто не кумил, потому что это сухое зацензуренное говно было, ещё и с русиком хуже Геммы.
>>1675393
На V100 32 GB + 125 GB DDR3 у Q3_K_M скорость декода 5-7 на просто тексте, 12-14 пока пишет код.
Чел ну два месяца с 5.2 прошло. Аноны, ну попуститесь, вам никто не должен раз в месяц модели под все размеры выкладывать.
А вообще, шла молва о выкате 5.5 к концу августа.
Ну, дспарк отдельно качается, да.
А вот замедление… Да, почти на всех моделях (кроме HY3) было или 1 т/с, или замедление, ето правда.
>>1675427
А мою не пробовал?
https://huggingface.co/BahamutRU/DeepSeek-V4-Flash-0731-MXFP4-Q3_K-Q2_K-mixed-GGUF
Хотя, скорее всего будет медленнее, потолще она… Q3_K_M не должна иметь проблем.
Для DDR3 — круто!
У меня беда, что 2 5070 ti с 16 каждая, а не 32 гига разом. =)
Но подожду PR и опробую еще раз.
Спасибо за ответы, ребят!
https://modelscope.cn/models/Qwen/Qwen3.8-27B
Собираемся здесь же через два дня.
Не, не пробовал. Только анслоповскую тестил. Ну у меня цель была на своих бенчах контекста прогнать. Вообще, по весу она такая же. Вангую скорость удет такая же, мб чуть выше, так как у тебя железо более юное.
> Для DDR3 — круто!
Ага, меня удивляет, что я стабильно на всем, что влезает имею 4-7 тпс. Аж подумываю апдейтнутся на ДДР4 версию с авх512. Вот тогда заживу, и пп и декод подрастет.
Алсо, по поводу спекулятивного декодинга я бы сильно губу не раскатывал. Он дает прирост только на предсказуемых тасках (или при предсказуемой генерации с температурой от 0.5 и ниже). Для кодоунитазинга норм, для рп и просто текстовых задач прироста почти нет.
Буст неравномерный, в коде х2 и больше (не везде, в рассуждениях меньше), в рп и просто чатике меньше вплоть до х1.1. Но он работает не во всех режимах и в принципе не везде, иногда лучше без него.
>>1675421
Кумили и довольно урчали, пока неосиляторы жаловались что iq1xxxxxs ошибается в русском.
>>1675429
Вот бы размер сохранился.
>спекулятивного декодинга
Это mtp и всё подобное?
А с какого процента попаданий в токены есть смысл в mtp? Как посчитать, имеет ли смысл с этим заморачиваться?
Мтп, дифлэш, диспарк, игл3. Вот это все. Для простых текстовых задач прирост минмальный. Не 0, но хорошо если 10-20%. Для предсказуемых задач, типа кодинга, заполнения шаблонов, генерации клишированной параши прирост большой.
На пальцах, как работает спекулятивный декодинг. Ты пробуешь предсказать за раз больше, а потом вот этих кандидатов процесишь, и смотришь какие у них логиты, пока кандидаты в топовых вариантах, принимаешь, увидел первый мимо - отклоняешь цепочку начиная с этого токена.
Чтобы дата-дривен решить, гоняешь на типовых тасках. Ллама выдает раньше выдавала точно n_predict, n_drafted, n_accept, accept_rate (или просто accept). Смотришь на статы, решаешь, насколько эффективно работает на конкретно твоем типовом промпте.
Я не он, но смысл есть. Если русик, то обычно нужен не калобродский 4, а 8 квант. Тогда прирост вполне существенный на креативных задачах тоже. Только главное предсказывать максимум 2 токена наперёд, не более. На английском уже получше и квант можно ниже. Ах да, далеко не всякие аблитерации и прочее удаление цензуры может с этим нормально работать.
И, в отличие от квена, гемма из-за своей детерминированности как раз показывает результат хороший, потому что там что 0 температура, что 9999999999, разницы нет.
Я вам еще один тюн геммы принёс.
Сам еще не пробовал, но сейчас буду наворачивать.
Напоминаю, что на текущий момент, самым лучшим тюном считаю Версипеллиса.
https://huggingface.co/Nimbz/Versipellis-31B?not-for-all-audiences=true
Это всегда компромисс и зависит от 1. твоих потребностей 2. твоего железа
Например, тебе может быть нахуй не нужоно даже 5х ускорение, если потребление памяти под мтп приводит к тому, что твоя задача перестаёт влезать в память. А может быть наоборот, у тебя простаивает память, и тебе отдать её под 1% ускорения всяко лучше, чем ни подо что. Примеры нарочито гротескные, но смысл ты понел.
Не только acceptance rate важен, но и сама скорость.
Например Q4 Qwen3.6-35B и MTP-BF16 имели равную скорость, и даже при высоком рейте ты не получал ускорения. Физически размеры моделей сравнивались.
А так, норм 65-90. Ну, в среднем где-то там частенько бывает у меня.
>>1675478
Да, это занимает место в видяху, может отожрать контекст или проектор.
кобольда. Imatrix Q4_K_M 19.6 GB
[19:21:19] CtxLimit:15336/40960, Init:0.04s, Processed:14444 in 98.97s (145.94T/s), Generated:886/2048 in 82.65s (10.72T/s), Total:181.66s
Кобольда. static Q4_K_M 18.7 GB
[19:47:23] CtxLimit:16053/40960, Init:0.25s, Processed:15298 in 8.84s (1729.76T/s), Generated:755/2048 in 71.66s (10.54T/s), Total:80.75s
Умный анон, а поясни в чем разница между static и i-matrix?
Иматрикс от батрухи кушает контекст значительно медленее. Генерация +- та же скорость. объем модели опять же у иматрикс больше.
В чем плюс? Или это у батрухи неудачно вышло? или это я где накосячил?
Вики читал. Ответа не нашел.
В i-matrix перед ужатием прогоняется датасет, который позволяет отметить веса со всякой важной хуйней, веса с важной хуйней жмутся не так жестко как остальные. А что ужимальщик считает важной хуйней, а что нет, это зависит от ужимальщика.
т.е. в теории лоботомирование может быть как хорошим, так и плохим. а в случае с статикой, то средний вариант?
А не знаешь, почему так медленно контекст кушает (processed) в сравнении с статикой?
Другой анон.
imatrix у тебя жрёт на гиг больше, может он не влезает нормально, контекст вылезает из VRAM и скорость процессинга оказывается на дне.
Звучит логично.
Останусь значит на статик.
По первым впечатлениям >>1675473 :
Разврат пишет хорошо, сочненько, вроде держит персонажа и не спускается в разврат персонажами, которые к этому не предрасположены. Правда на конфликт не шёл. Надо больше тестов.
Дальше не читал, сырки, а вы ещё сомневались...
https://www.youtube.com/watch?v=DH4Mf6GuTXo
Немного потраил запил мульти рантайм сборки, вроде вышло, но весит как чугунный мост
Скажи честно. Ты стакаешь мишки чтобы с ними ебаться?
Конечно. Если бы мне было влом, я бы не ебался с патчингом таймингов на hbm.
Это уже спортивный интерес. Каждый раз когда думаешь что ну больше нечего с них выжимать приходит идея как закопаться ещё глубже и получить свои заветные токены.
С приходом агентов это стало на много проще ведь всю рутину по перебору таймингов и сборке таблиц можно кинуть ей под ноги. Вот тут кубовый под с видяхами, вот тут код, бери в руки и перебирай тайминги, если хост сдохнет, зови меня
Я знаю что это корова прячет ещё молоко!
Какая разница, сколько оно стоит, если релизят только огромные модели. Вон на 3.8 27б 404 на счетчик >>1675443
Модели больше, железо еще дороже (с теми же или худшими характеристиками) => покупка подписки. Корпы победили
> Sorry, the page you visited does not exist.
Пидорасы.................
Удаляю все квены с диска.
Ай да шизяра, ай да молодец.
Сотые стакать будешь?
БЛЯЯЯЯ АНАЛЬНЫЕ ХУЕСОСЫ
НЕНАВИСТЬ
Не. Через годик может буду присматриваться к новым темкам.
У красных есть неоспоримый плюс - рокм стек опенсорсный
Чего-то бы такого... забористого, что бы прям вообще 0 инфы про железо, но с потанцевалом и за копейки. Как те же депо мамки "отечественные"
Эта модель - дистиллят от 2.4Т модели. Те что прошлые - дистилляты от 397В. Разницу понимаешь?
>Те что прошлые - дистилляты от 397В.
Не факт.
Тошо квен не релизили ничего больше 397б - не значит, что у них не было более крупной модельки.
У них всегда были эти Мах модельки, и я вангую что они больше 397б, просто ее не хотели давать бомжам.
акчуалли
>The Qwen3-Max model has over 1 trillion parameters
https://qwen.ai/blog?id=qwen3-max
>У них всегда были эти Мах модельки, и я вангую что они больше 397б, просто ее не хотели давать бомжам.
Ну на фоне релиза 3.8 уже понятно что такое их max модельки. Тупо маркетинговая срань чтобы API продавать - самая крупная их модель + vision + растянутый rope контекст.
Только временно же. Железо все более специализированное появляется, через год-два эти большие модели будет только так щелкать. А веса уже все есть.
У меня на v100 qwen 9b q8 выдает около 75тс, гемма 12б точно не помню, но более 40
Ну мужик высказался - модель умная, сообразительная, знает как что делать, но слаба в коде. При этом есть потенциал для художки и всяких текстов - буквально не кодоунитаз и душевная модель как тут топят.
Чего носы воротите, айда тестить!
>>1675686
Очевидный пикрел только лабел нвидия там не в тему, интел и амд покажутся ангелами куртки. Правда достать их в личное пользование считай нереально.
Думаю взять и отдать в RAG эту линейку тредов, чтобы нейронка топ сборки по цене к качеству насоветовала.
Тут вона в предыдущем треде кто-то скинул сборку:
vllm-backport, pp4, cmp170, intel12700, plx88096 (3х16 один х8). На Лохито cmp170 сейчас от сотки за штуку, совсем ахуели.
В этом кто-то кидал скрин, что амуде instinct Mi60 с 32 Гб оперативы это тоже норм.
На ютюбах советуют винчик на фоне подорожания 3090 брать 2080 Ti 22GB + NVLink как топ по цене к кащсву.
v100 - нет аппаратной поддержки Q8, да и охлад надо самому хуевертить, чтобы под ухом турбина не ревела.
Но я вот нихуя не смыслю, какой проц, какую оперативу, какой конфиг надо шобы псина-е не была узким местом и скорость была. Как я понял, помимо NVLink пойдёт и что-то вроде plx88096 плат для избегания узких горлышек.
Нейронка скорее всего зафейлит, потому что данные несистемны-обрывочны и встречаются споры. А много специфики инфиренса локальных ллм отличается от популярных трендов в ее датасете (например нужность нвлинка).
Скинь карточек высокой культуры или хороших пикч, подумаю над тем чтобы закинуть положение по железу на текущий момент.
> по цене к качеству
Лучшие сочетания быстро кончаются, а пока не кончились к ним инфы нифига нет.
Хочешь с магазина? Бери plx и 4/8 5060ти
Одна 5060ти сейчас как 8шт ми50 32? Ну времена меняются. Когда то и сборка на дуал 4189 стоила 40к + рам по цене 1200 за 16гб стик.
Как вариант начинай в тему и чатики погружаться что бы не проспать следующую волну хайпа. Может какие dcu или тенсенты на рынок смоет с цодов.
Шум гарантированно контрится обычными павер лимитами
Гайд: спи не в той же комнате, где стоит тачан.
> v100 - нет аппаратной поддержки Q8
Да хер забей, пока ллама жива, в100 будет жить. Пока это, неиронично, самый низкопердольный вариант. Башенные куллеры стоят дешево, но остались только на 1u и 3u. Медную Золотую середину в 2u уже не сыскать. А дальше просто буквально прислоняешь крутилятор на 12 дюймов, и усе. Проблем нет, максимум температуры был 83 градуса, но при 30-градусной жаре. Когда прохладей выше 75-77 не поднимается при загрузке на час минимаксом аш 3.
Единственный недостаток моего макгаверинга --- травмоопасность. Лень фотать, поэтому на словах опишу. Открытый корпус, мать параллельно земле. В100 в самом внешнем слоте, ровно вровень с каркасом корпуса. К ней прислоняете крутилитор на 120мм. Дотюнинговал еще с выдувом, который подцепил на 2u кулер резинкой (60мм крутилятор). Резинка рвется раз в 2 недели. Основной крутилятор фиксируется ножницами, которые лежат на столе (фиксировать нужно, так как крутилятор без фиксации отходит от карты). Плюс, ножницами можно регулировать угол потока. В общем, недавно когда не мог зафиксировать крутилятор в статичном положении, потому что женщина взяла ножницы и положила их неправильно, подталкивал ими аккуратно крутилятор в плотную к карте, и он упал мне на руку, разрубив два пальца. Не сильно, но забрызгал стену кровью и теперь не могу отмыть, так как штукатурка шершавая. Но крутилятор тоже пострадал, там на двух лопостях теперь типа обкусы по 2-3 см в глубину.
К чему я это? Даже конченный дебил может совладать с теслой в100 и охлаждать ее. Это буквлаьно самый дешевый и самый простой вариант.
> пока ллама жива
Это нельзя назвать жизнью, гальванизация
> спи не в той же комнате, где стоит тачан
База!
> Лень фотать, поэтому на словах опишу
Звучит крайне колоритно, сфоткай обязательно.
Ну мне надо резинок купить, чтобы показать максимальный сетап. Как куплю, так вкину.
>cmp170
Норм.
>plx88096
Дорого, можно взять материнку на эпике за ту же цену. Нужно когда видюх становится больше 4.
>instinct Mi60
Медленное и дорогое говно.
>2080 Ti 22GB
Норм, либо cmp 50/90, но под них пока нет разлока и там не работают тензорные ядра, поэтому они пока сосут.
>v100
В сравнении с cmp170 уже выглядит полным калом.
Все, можешь не собирать RAG для анализа треда.
>Но я вот нихуя не смыслю, какой проц, какую оперативу, какой конфиг надо шобы псина-е не была узким местом и скорость была. Как я понял, помимо NVLink пойдёт и что-то вроде plx88096 плат для избегания узких горлышек.
Все будет ясно если определиться сколько у тебя будет видюх и каких. Тут либо v4 ксеоны, как самый бомж вариант. Либо эпик на хуанане / обычная мамка + plx88096 средний вариант. Ну и эпик где через несколько plx88096 20 штук cmp170 в одну мамку запихнуто - это типа самый топ.
>чтобы не шумно было поспать
cmp170 на водянке самое то будет
Не забудь!
Насчет старого железа - сейчас именно ллмки помогают дать ему вторую жизнь, создавая спрос для запуска и помогая в кодинге. На в100 флешатеншн и многие вещи адаптировали, бекпорты и движки пилятся, так что все норм будет. А Жоржанова ногами пиздить надо чтобы из спячки вышел и по-настоящему занялся разработкой, или другим уступил.
>>1675839
> Дорого, можно взять материнку на эпике за ту же цену.
Поподробнее?
> под них пока нет разлока
https://github.com/pearlfortune/cmpunlocker/blob/main/README.en.md
> cmp170
Они остались хоть еще в продаже, или только лохотрон на предзаказы и скупку?