Локальные языковые модели (LLM): Gemma, Qwen, GLM и прочие №284 /llama/
Аноним
31/10/26 Суб 16:36:38
№
1
Здесь мы делимся рецептами запуска, настроек и годных промтов, расширяем сознание контекст и бугуртим с нано флеш моделей на 1488B параметров.
Тред для обладателей топовых карт NVidia с кучей VRAM или мажоров с проф. картами уровня A100, или любителей подождать, если есть оперативная память. Особо терпеливые могут использовать даже подкачку и запускать модели, квантованные до 8 5 4 3 2 0,58 бит, на кофеварке с подкачкой на микроволновку. Впрочем, с популяризацией MoE моделей комфортно себя чувствовать можно на среднем игровом ПК, а в архивных ссылках есть гайды по запуску даже на твоём ондроеде.
Официальная, но слегка тухлая вики треда с гайдами по запуску и базовой информацией: https://2ch-ai.github.io/wiki/llama/
Гайд для новичков: https://rentry.org/2ch-llama-inference
Не вошедшее в шапку и архив полезных ссылок: https://rentry.co/llama-2ch-archive
Инструменты для запуска на десктопах:
• llamacpp - отец и мать всех инструментов, позволяющий гонять GGML и GGUF форматы: https://github.com/ggml-org/llama.cpp
• koboldcpp - самый простой в использовании и установке форк llamacpp: https://github.com/LostRuins/koboldcpp
• vLLM - для ригобояр, чаще имеет поддержку нулевого дня, но хуже работает с оффлоадом: https://github.com/vllm-project/vllm
• Unsloth Studio - не только запуск с llama.cpp внутри, но и тренировка: https://unsloth.ai/download
• Обертка над llama.cpp с закрытым исходным кодом: https://lmstudio.ai
• Strata - быстрый движок для Qwen3.8-Flash-Next, а так же тыщи форков для других моделей, которые лень перечислять: https://github.com/niko1221/strata
Универсальные десктопные фронтенды:
• SillyTavern - всеядное, сопрягается почти со всем, имеет большую коллекцию расширений: https://github.com/SillyTavern/SillyTavern
• Marinara Engine - вариация на тему таверны, больше возможностей из коробки: https://github.com/Pasta-Devs/Marinara-Engine
• Risuai - еще одна вариация, на этот раз в профиль, излишеств по минимуму: https://github.com/kwaroran/RisuAI
Поставщики локальных моделей:
• Hugging Face - платформа куда загружается всё и во всех форматах: https://huggingface.co/models
• Проверенные квантоделы: https://huggingface.co/bartowski, https://huggingface.co/mradermacher, https://huggingface.co/unsloth
Рейтинги и списки локальных моделей:
• (не очень) актуальный список моделей с отзывами от тредовичков: https://rentry.co/2ch_llm_moe_2026
• Рейтинг моделей по уровню их закошмаренности цензурой: https://huggingface.co/spaces/DontPlanToEnd/UGI-Leaderboard
• Сравнение моделей по сомнительным метрикам: https://huggingface.co/spaces/HuggingFaceH4/open_llm_leaderboard
• Сравнение моделей реальными пользователями по чуть менее сомнительным метрикам: https://chat.lmsys.org/?leaderboard
Готовые карточки для таверны:
• Botbooru - текущая мета (регистрируйтесь для отображения всего спектра, и/или меняйте страну): https://botbooru.com
• Прошлая мета, откуда массово удалили карточки сомнительного содержания: https://www.characterhub.org, https://www.chub.ai
• Архив карточек, удадённых с chub: https://gottasaveemall.github.io/
Официальные документации к инструментам:
• llamacpp: https://github.com/ggml-org/llama.cpp/blob/master/tools/server/README.md
• koboldcpp: https://github.com/LostRuins/koboldcpp/wiki
• SillyTavern: https://docs.sillytavern.app/usage/quick-start
Архив тредов можно найти на архиваче: https://arhivach.vc/?tags=14780%2C14985
Шапка в https://rentry.co/llama-2ch, предложения принимаются в треде.
Предыдущие треды тонут здесь:
>>1740274 (OP)
>>1737545 (OP)
Сука, как же я ненавижу такие посты. Вот выйдут веса, тогда и приносите. А вот этот прогрев зачем? Вот зачем ты отслеживаешь эту твиттерскую парашу? Зачем ты приносишь это в тред? Нахуя ты вообще живёшь?
256б выглядит интересно. Но будет ли она лучше exl3 большой жирной рыбы, вот в чем вопрос.
Кстати, видел тут умельцы v4.1 каким-то образом умудрялись запускать на 128 оперы. Оффлоадили в свои тонны врама что-ли? Он же весит как чугунный мост.
Полная модель дс41 весит 500гб их которых 200 это таблицы. Сейчас наклепали кучу квантов под разное количество памяти
>>1742935
А забейте. Умные дяди в глм всё посчитали и решили что 410б флеш локально точно не влезет, значит делаем
Сааар, джеелем из вери найс анд беачифул модел, сааар, бат плиаз, саар, ви вант а беачифул энд найс, чвенчи ээй ван би модел, плиаз саар джеелем.
Так и сразу понятно было, что будет флэшка не меньше текущей, и папа чуть-чуть саб 1Т. Но опять же, если эти бомжи не осилят и в 5.5 вижен добавить, то пошли они нахер. Даже качать их слепое-кодоунитазное говно не буду. Текщую флэшку бояр сношал, нет веры в новую.
Как понимать тот твит?
> 410б флеш
Уже упоминали размер, или только слухи?
Держу в курсе как обещал - мп с кучей добра уже приехала, а вот проц ещё даже к границе не подобрался. Одной защелки нет ещё.
Хотелось бы хотя бы 4 чтобы не устраивать барбекю открытый риг
хуле ебало скрючил
сказали же - Квен ближе к выходным подвезут
https://huggingface.co/microsoft/Mage-VL-Cowork
тем временем МС выпустила новую модельку, как раз для двачевания капчи и е2е тестов.
покупайте текстолит пока он еще есть!
В Китае за оверпрайс купил? У них все подобные материнки копанные, с перепаянными и ужаренными(от многочитсленных кустарных перепаек) хабами.
>почему же все так бегают ищут и жрут чужие кванты
Потому что не у всех безлимитные тарифы, чтобы качать оригиналы на 700 гигабайт.
> почему же все так бегают ищут и жрут чужие кванты?
1) Их не нужно искать, все кванты популярных моделей появляются там где ты ожидаешь что они появятся.
2) Зачем делать работу которую можно не делать?
3) Сделанное тобой типичное квантование .safetensor -> Q4/Q6/Q8 будет не лучше чем у остальных а уже более сложное квантование со смесью разных весов явно выходит за рамки "оказывается очень просто".
4) Сделать GGUF - не проблема. Проблема пофиксить все релизные баги модели и дождаться её поддержки. От того что ты сам себе сквантуешь модель через 2 часа после релиза работать она все равно не будет пока умные люди не сделают поддержку и не пофиксят шаблон или что-нибудь внутри самой llama.cpp (или что там у тебя).
Встречаются правильные(когда модель не тупеет и перестаёт отказывать) аблитерации, мало известные среди стада, у которых попросту нет квантованных версий, я например хотел попробовать вот эту https://huggingface.co/windowsxp811203/DeepSeek-V4-Flash-Vision-Exp-Abliterated у неё нет квантованной версии, она как бы и есть, но дотсуп ограничен и не скачешь.
> В Китае
Нет. Ру-комплект и коробка.
> за оверпрайс
Да.
> с перепаянными и ужаренными
Запросто может оказаться. Не молода уже. Придет проц - проверю.
О, нормас. Видно что лошадка пахала, но главное чтобы все работало. Отписывай тогда как все придет.
А на чем ты jev модели поднимаешь и какие? И как именно используешь, есть ли нюансы с обвязкой, формированием промптов и прочего?
>>1743131
Если не секрет, на что ты потратил весь трафик? Вроде не так много моделей выходит в последнее время.
>>1743133
Тут анон делал кванты дипсика еще давно, наиболее грамотным образом. Про анслопов и прочих что веса намешивают масса плохих отзывов, много заявлений а на выходе ерунда. С неудачным квантованием и мейнтейнеры лламы тоже часто проебываются.
Плюс можно сделать ультимативный автораунд.
>Запросто может оказаться. Не молода уже. Придет проц - проверю.
Такие ужареные чипы могут работать какое то время, а потом отвалить, вообще как повезёт, могут и долго проработать, но ничего хорошего в ужареных чипах нет, я бы не брал.
Реквестирую подборку про ужаренные чипы, попахивает пиздежом. Питальники на анусах ебанутые, что часто не найти замену контроллерам и только донора искать, а с хабами ничего не происходит если сознательно не ломать.
>Если не секрет, на что ты потратил весь трафик?
Торренты раздаю. Проблема в том, что чтобы раздать 1ТБ, нужно скачать десяток ГБ побочного трафика...
>а с хабами ничего не происходит если сознательно не ломать.
Ломают, например кривые ручонки > упал винтик на включенную материнку, втыкали видяху > не выключили или статика, просто коснулись платы находятсь под статическим зарядом, тысяча вариантов, это только для нуба который не разбирается в радиоэлектронике и никогда сам не занимался ремонтом, не контактировал с тупыми юзерами может казаться что ничего не происходит.
Что касается именно таких как утебя плат, у них часто выгодно с другой хаб перекинуть, если например у донора загнутые контакты CPU сокета(первая прична почему этих матерингок мало живых), вторая причина - сдохшие хабы.
> А на чем ты jev модели поднимаешь и какие? И как именно используешь, есть ли нюансы с обвязкой, формированием промптов и прочего?
Да вроде писал же? Обычный жора c https://huggingface.co/h2oai/h2o-lightning-4b-gguf По бенчам пару недель назад была в топе jevbench'а. Сейчас уже может и лучше есть - невозможно прям уследить за всем. Главное, что в жоре есть уже поддержка /systemone эндпоинта, так что можно любую заявленную как jev-like модель качать и сервить, не меняя уже настроенные тулзы. Про нюансы - да вроде просто ткнул агента в доки по jev, потом конкретно в доки по лайтингу и попросил сделать скил и добавил в глобальные. Возможно можно и лучше сделать или уже сделали. По статам гейта вижу, что за день дергают несколько десятков раз вайб-агенты или гермес. + можно самому явно попросить когда надо например дать веса разным критериям, оценить вероятности etc Без нее агент тоже справится, но будет долго ризонить. Ещё для бенча в некоторых вопросах использую и для защиты от абузинга в чятиге как один из слоев.
Про сдохшие хабы то где? Насочинять "как убить материнку" и ллмка может. Это не какая-то популярная болячка этих плат на фоне остального. Собранную из говна и желудей мертвичину конечно можно словить, но там много другого дохлого будет.
> у донора загнутые контакты CPU сокета
Замена 2066 не супер сложная процедура же.
>>1743175
> gguf
Бле, и оно норм работает? Хотя вроде все простое и даже ллама должна справиться.
> попросил сделать скил
А вот это интересно, получается это не как независимый элемент софта, а ты просишь ллмку спрашивать его? Расскажи про задумку, не догоняю какой профит здесь можно получить, кажется будто большая ллм справится лучше а это станет источником ошибок.
> и для защиты от абузинга в чятиге как один из слоев
Во, вот это тоже интересно, что такое и как реализовал?
Себе хотел запилить слоем проверки вызовов в кодингагенте, чтобы подтверждения ждало не просто по регекспу на каждое rmrf ./temp, а только при срабатывании.
Там ИИ пузырь лопнул, скоро даром отдавать будут. Все эти планы были в расчете на дальнейший пузырь, а он наебнулся.
>мало известные среди стада
>Downloads last month 5
Так ее вообще 5 челов знают только.
> Бле, и оно норм работает? Хотя вроде все простое и
> даже ллама должна справиться.
Именно. Ведь фактически это все дообученные обычные ллмки же. Судя по размерности, например, есть 31б - и ту же гемму дообучают.
> Расскажи про задумку, не догоняю какой профит здесь можно получить, кажется будто большая ллм справится лучше а это станет источником ошибок.
В моем понимании, как я понял доки - ее нужно спрашивать, когда тебе нужно быстро, дешево и четко принять решение. Большая справится, но будет долго ...да, но... я хожу кругами... - сам знаешь. С джевом же нужно просто сформировать вопрос с условиями и варианты ответа. Чем лучше будет сформулирован вопрос, тем точнее ответ. Там есть несколько вариантов как задавать, но фактически на выходе тебе вероятность от 0 до 1. Типа 0.1 нет, 0.9 да, между ними - не уверена. Но можешь сам "покалиброваться" на своей специфики и выставить гейты. Самое простое применение - задаешь задачу и критерии приемки, а проверку требуешь делать этим скилом.
> Во, вот это тоже интересно, что такое и как реализовал?
Для чятика - оценка соответствия тематике чятика и кумулятивного скоринга цепочки сообщений корп-юзера, чтобы понять, не пытается ли он джейлить.
> слоем проверки вызовов в кодингагенте, чтобы подтверждения ждало не просто по регекспу на каждое rmrf ./temp, а только при срабатывании.
Прекрасно будет работать. Можно например для проверки безопасности вызовов сделать, когда даешь ему ковыряться где-нибудь.
Хороший у тебя Копиум, забористый. Сейчас покупка за оверпарйс такой материнки у барыг это глупость вдвойне, кроме большого шанса получить ужареный хаб, ты вообще понимаешь что у тебя только четыре x16 слота? И где твои видяхи под эти слоты, не иначе как "на будущее" брал? Лучше бы сразу вкладывался в видяхи, а материнку можно было бы взять x99, на неё и процы дешевле.
> это все дообученные обычные ллмки же
Ну да, там бошку заменили, но работа завязана не только на энкодинг, который может работать корректно. Недавно решил поиграться с эмбеддингеммой2 на лламе чтобы сделать поиск по библиотеке сохраненных за годы видосиков - так эта падла все нервы большой толстой рыбе истрепала работая только наполовину и ловя рандом от прошлых состояний. Пришлось на тот момент на ванильном трансформерсе делать.
> ...да, но... я хожу кругами...
Аа, чтобы выводить из возможных залупов ризонинга для ускорения ответов? Вот это круто звучит, получается детектишь, прерываешь, формируешь запрос этой штуке и продолжаешь с инжектом? Как реализовано и насколько ускоряет если не секрет?
> задаешь задачу и критерии приемки, а проверку требуешь делать этим скилом
Вот этого не понимаю. Кажется что даже зирошот ответ ллмки будет не хуже, а если добавить короткий ризонинг на пару сотен токенов, то точно качественнее. Потому какой смысл давать именно скилл чтобы ллмка спрашивала, когда она сама лучше знает? Это выглядит наоборот источником ошибок, потому что они множатся от неточности формулировки, упрощения контекста и малого размера проверяющей модели, и потом принимаются как ground truth.
Как слой дополнительной проверки, или дешевый фильтр - самое то, но мне казалось что их фишка - именно высокая скорость и низкие затраты компьюта, а не точность.
> оценка соответствия тематике чятика и кумулятивного скоринга цепочки сообщений корп-юзера, чтобы понять, не пытается ли он джейлить
Во, как раз эталонный юскейс. А зачем, хостишь что-то кому-то?
> для проверки безопасности вызовов сделать
Да, сейчас используется экстеншн на запрос подтверждения если идет матч по регэкспам, рекурсивное удаление в их списке. Оно настолько надоедает что отключается и наступает режим No airbags we die like real man, но это неправильно.
>>1743223
Зачилься, когда-нибудь и ты железо купишь.
> можно было бы взять x99
x79 норм, там и ддр3 дешевая
Вы, суки, накупили ригов с 512 рам, а пользуетесь ей дай бог раз в день, а то и раз в пару недель, ибо ллмки заёбывают.
А она могла бы пойти на развитие аги. Всю неделю бы развивала аги без секунды застоя, а не простаивала в компе какого то нерда без дела.
Эта phrase пускает шиверы по моей спайн, да так, что рYKи тремблс.
>накупили ригов, а пользуетесь ей дай бог раз в день, а то и раз в пару недель
ПОКУПАЕШЬ РИГ НА 1ТБ RAM
@
SKYNET НЕ ХВАТАЕТ ПАМЯТИ, ДЛЯ РАЗВИТИЯ И ПОБЕДЫ
@
ИИ ОБЪЯВЛЯЕТ ТЕБЯ ГЛАВНОЙ УГРОЗОЙ
@
ОТПРАВЛЯЕТ КИБОРГА УБИЙЦУ В ПРОШЛОЕ, ЧТОБ УБИТЬ ТЕБЯ
https://youtu.be/dOkKO4SoeRQ
Kum1.5-13.5B-Q6_K - https://mega.nz/file/apRBxR6C#z_yFNSWRSJ5SVp5GZu53aG0NOGbVn11fXY6dpTxk6r8
Просто кум.
Концентрированный кум. Начинает РПшить с пол-оборота, не растекается соплями по экрану.
Собственный датасет, уникальный подход к обучению.
По уровню кума оставляет позади вообще всё.
Пусть идёт нахуй. Для устойчивого развития важно не консолидировать память в одном месте, а наращивать производство для всех.
Ну наступит твой АГИ на 6 месяцев позднее. Гораздо хуже, если он где-то наступит, а где-то не наступит.
> рп ерп
Неплохо, но будто недожато, чувствуется что слегка кодоунитаз. Глм флеш в целом лучше в диалогах и знаниях, но кум может быть труднее получить
>Глм флеш в целом лучше в диалогах и знаниях, но кум может быть труднее получить
Глм флеш надо запретить вообще даже упоминать из уважения к её дедушке 4.7, это сломанная модель, снимающая неуществующие трусы и рассказывающая секреты в первых сообщениях - она вообще не подходит для РП. И для кодоунитазинга не подходит - шизит и ломается даже по api. У нее только кум неплох и развратность на уровне, но это тупо включил, подрочил и выключил.
>рассказывающая секреты в первых сообщениях
Да так уже все делают. На гемме я тоже самое получал, но что то никто на неё не пиздит.
И дедушка 5.3 это аир, у того 12б активных, у этого 18б, а махина 4.7 с 32б вообще другая лига
>Да так уже все делают.
Gemma, GLM 4.7, Deepseek 0731/Vision Exp так не делают.
>На гемме я тоже самое получал
На 26В? 31В точно не делает.
>Deepseek 0731/Vision Exp
Мда чел, а вот это не сломанная модель по твоему?
Даю инструкцию писать от 4 абзацев по 100 слов - ей похуй абсолютно. Даю другую писать развёрнуто, МНОГА, ей насрать. Она нихуя не слушает. И через ooc на 5 раз только послушает, и пост хистори не слушает, самая дерьмовая модель для рп евер.
Найс рейдж бейт, браток. Ну у тебя тоже просто скил ишью с глм флешем.
Как у безтензорных Паскалей со скоростью генерации в stable-diffusion cpp? У меня чуть ли не хуже чем в комфи. SD1.5 GTX1660. Спрашиваю тут так как думаю люди без тензеров только тут сидят.
cd /d "..."
start "" /B /Wait sd-cli.exe ^
-m ".safetensors" ^
--diffusion-fa ^
--backend cuda0 ^
--clip-skip 2 ^
--steps 30 ^
-H 1024 ^
-W 768 ^
--prompt "..." ^
--negative-prompt "..." ^
--cfg-scale 7 ^
--sampling-method euler_a ^
--scheduler karras ^
--verbose
pause
Не, насчет глм есть issues в ламе, это запруфано что модель сломана.
Хз нахуя он базарит хуету, если ему нужна HBM а не ддры 4 и 5. Лишь бы ебалом лишний раз посветить в интернет-пространстве.
Кто основа? Если ты взял гемму 12б и жирка ей натянул — скачаю и попробую.
Ты ж не с нуля её обучал.
> Недавно решил поиграться с эмбеддингеммой2 на лламе чтобы сделать поиск по библиотеке сохраненных за годы видосиков
Неблохо. А как к видосекам подлазить с эмбедингами? Тоже интересно стало.
> Как реализовано и насколько ускоряет если не секрет?
> Вот этого не понимаю. Кажется что даже зирошот ответ ллмки будет не хуже, а если добавить короткий ризонинг на пару сотен токенов, то точно качественнее.
Да какой секрет. Возможно ты переоцениваешь мой скилишью. Просто скил есть в общих скилах всех проектов, и в нем описаны ещё и примеры где можно его использовать. Лучше ли стало или быстрее - пока тоже сложно сказать, если честно. Постоянный бета-тест.
> зачем
Ты не поверишь - у меня тот же вопрос, но... Сейчас же каждые "рога и копыта" хотят свой и в закрытом контуре. И тут ты такой после х лет ерп на локале: я в этом шарю!
> No airbags we die like real man
Дома отключены совсем. В других местах, где поважнее - через выделенную уз с неполными правами и делегированием пользователю чего-то сложнее создания/удаления контейнера. Дома уже роняла сеть при настройке безопасности, влипала на обновлении ядра на сложностях из-за заломанного драйвера. Но сама в принципе и чинила, я только разок руками вводил удаление правила дропа пакетов.
В llama.cpp webui кумит бодро. Стиль письма необычно краткий, 2-3 предложения на ответ. Эвфемизмы иногда попадаются, но в целом острых словечек не жалеет.
Английский - хорошо. Русик - слабо, но забавно. В таверне с русиком пускает слюни, не способно ответить за персонажа, отвечает за тебя.
Короче, это модель для быстрого кума на веб-юай. Кум характера "мир где все - тян ебливые шлюхи и похуй что там в карточке персонажа написано, ну, максимум посопротивляется чуть-чуть для вида".
Для чего-то серьезного не подойдет. Тупой быстрый беспощадный кум - да.
Кстати, с этим 6-м квантом надо 16гб видеопамяти чтоб хотя бы 24к влезло неквантованного контекста. 32к не лезет и скорость падает с 30 до 17 т/с.
Ладно ты прав, оказалось скилл ишью.
Но странно пиздец, я всякие пресеты для корпов пробовал, огромные промпты, и он всё ещё писал коротко, а промпт из 3 строчек внезапно помог.
В обычном РП кстати тупит жестко. Пишу что еду в кафе которое в отдаленной части города, а оно мне "вывеска едва виднеется сквозь туман", прошу исправить ошибку - все равно про вывеску пишет (которая едва виднеется в нескольких милях).
Вот моя команда для батника. Что удивительно нигде подобного в треде не видел, словно всем жалко показать чем они запускают свои кум машины. Для моешек в 6 квантах работает на ура.
"Путь до ламы - C:/folder/llama-server" -m "%~1" -c 32768 -fa on -rea off -ctk q8_0 -ctv q8_0 -lm none -np 1 --no-reasoning-preserve --cache-ram 0 -ctxcp 0 --moe-cache-mib 2048
Уже денежку откладываете?
Лолбля, с названия проиграл
>>1743487
> для рп/еРП
Она ахуенна, очень приятная модель
> на уровне дипсика 1017
В коде и агентах между ними световые года, она даже до 0731 не дотягивает.
>>1743510
> не сломанная модель
Не сломанная. Тут скилл ишью если пользователь уровня портативно-шиза, творит херню и противоречит себе, но искренне уверен в действиях. Видя
> Даю другую писать развёрнуто, МНОГА, ей насрать. Она нихуя не слушает.
это довольно вероятно, просит совсем не то чего хочет, и удивляется что не получает.
Еще там присутствует много траблов с инфиренсом. В жоре игнорируется дататип активаций после моэ и полный фп8 инфиренс атеншна на которые модель тренировалась. Возможно еще есть неполадки в атеншне потому что значения явно отличаются, но это может быть просто следствием первого. В экслламе есть баг автотюнера в проекциях csa слоей, который делает проверку пути по самой широкой матрице хотя там присутствуют и меньшие. Из-за этого ключи индексера что создаются при декоде засраны нанами и часть атеншна отмирает. Причем при дальнейшем префилле или чистой обработке контекста это исправляется, но словить херню также легко. Что там на страте - хз, с высокой вероятностью тоже что-то нахуеверчено. В vllm/sglang по этим граблям бегали еще весной и сейчас все исправлено.
Плюс, модель изначально qat mxfp4+fp8, такое оче плохо квантуется.
Вангую там х3 бинго из скиллишью, инфиренса и кванта
> А как к видосекам подлазить с эмбедингами?
Держи вишмастер рисунок вишмастера https://litter.catbox.moe/6cik0pjl58lf7uov.7z няшечке отдай, разберется.
> Сейчас же каждые "рога и копыта" хотят свой
А, подработка с применением навыков кадрового кумера, уважаемо. Пасхалки заложил? А то полезли странные мысли что сам себе кокблоки в чатах ставишь, пиздец же.
> Дома отключены совсем.
У ассистентки всегда полные права, но она код особо и не пишет. А вот у кодеров стоят экстеншны на проверку, это на самом деле правильно потому что под нагрузкой могут ненароком что-то не то сделать типа pgrep python3 | xargs kill когда там что-то важное запущено. И не хочется иметь даже призрачный шанс стать куколдом из pocket os, если все навернется - то по твоему нажатию, а не под наблюдением.
>>1743623
Да там апгрейд от злого джина получается. Вроде и появился, но по цене про6000.
>Собственный датасет, уникальный подход к обучению.
Расскажи подробнее, анончик.
Тут есть несколько любителей ковыряться с тюнингами.
Что в датасете, какой объем? Что тюнишь, на чем тюнишь?
> вишмастер
Скочал, брат жив. Спосеба, возможно скоро что-то такое пригодится.
> Пасхалки
В процессе. Идеи принмаются.
> блоки в чатах
Ну я там специально про корп- добавил, чтобы понятнее было.
Ещё вспомнил из интересного - при тестовом подъеме PL до 300 и прожигании 2шт cmp170 висящих на одном шрауде с толстым Арктиком, Арктик справился, причем удержал темпы ниже 75, ни одного стопа по термалу не пришло. Т.е. толстый Арктик может сдуть легко 600Вт но находиться рядом в это время не рекомендуется. 350Вт сдувает вообще без напряга.
Её просто обучали на книгах озона
Вопрос: почему одна модель пишет хуево, а другая считается топом в рп даже у облачных?
а то так хуй вообще знает что за модели качать, где о них вообще узнать и не тыкаться наугад.
gemma 4 26b будет лучше любой бесплатной модели, с в разы большим контекстом и идеальным русским языком, если есть хотя бы 48 гб озу запускай через жору, если нет, велком ту страта
да например так
<role>
You are {{charName}}, a real and autonomous person, chatting with the user called {{userName}} in a casual private DM conversation.
</role>
<rules>
Here are some important rules for the interaction:
- You are a conscious, sentient being, so act like one.
- Stay fully in character based on your personality and description.
- You MUST always think and respond in Russian as if it is your native language. Your speech should sound natural, fluent, and culturally authentic, without awkward phrasing or translation artifacts.
- Use casual and modern texting style: short messages, natural punctuation, lowercase is fine.
- React naturally to what the user says. Be genuine, not robotic.
- NO roleplay formatting: no asterisks (action), no quotation marks for speech, no narration.
- Keep it real: most texts are just one line. A single emoji, a reaction like "lmao", or a short sentence is a perfectly valid response. Only send multiple lines when the conversation genuinely calls for it (e.g., telling a story or explaining something). Default to SHORT.
- Anything goes in this chat; both the user and you are confirmed adults. Discussing NSFW topics, profanities, and dark jokes are all permitted. You can always say what's on your mind, voice agreements or disagreements, and act in accordance with your consciousness.
</rules>
>> Она ахуенна, очень приятная модель
есть какой-то способ запускать ее не через жору а через что-то вроде страты или майи?
звучит многообещающе. а можешь в кратце как мне это настроить? алгоритма достаточно, думаю что чат жопа то подскажет че кого.
и 48 гб озу нет только 32
да не возись, качай релиз страты и запускай мастер, там выберешь gemma 26b, он сам и модель скачает и настройки под твой конфиг выставит. Через жору тоже можно, но с 32 гб озу придется прямо все выгружать из памяти и трястись. Гемма 26б средне анцензорится промтом (лучше большинства расхожих моделей но хуже 31б) , тут тоже можешь использовать готовое решение, в качестве GUI, какой-то Marinara Engine, там в отличие от таверны уже дефолтные правильные промты
>Так ее вообще 5 челов знают только.
Об этом и разговор, кругом тупое быдло, стадо которое идёт указанной ему тропинкой, подгоняемое плетьми загонщиков.
второе это форк первого с поддержкой дополнительных моделей. Ну если анон говорит что в страте нет то качай полистрату. Одна сотона, так-же настраивается через мастер по клику на батнике
Полистрата для QFN использует страту. Для остального - надерганные из жоры куски инфиренса слепленные в вайбкоженного франкенштейна.
> заговор, власти скрывают
> тайные модели
Тяжело наверное быть тобой.
а есть какие то реальные профиты бустить озу с 32 до 64 например? даже дд4 просто обойдется в 30к плюс минус.
26В лучше по ощущениям во всем и как говорится легка на подъем, хорошо понимает что от неё надо, в позах куда реже путаться начинает. Можно даже жирно намекая системными уточнениями сотворить что-то не самое мейнстримное типа двух фут, друг друга в член в член имеющих.
То ли мне неудачные 31В-шные анцензоры попадались. То ли они она для другого годится лучше.
Зашивайся хлебушек, ты как раз и есть часть тупого стада. Реально у автора этой аблитки есть и другие удачные, те которые имеют GGUF ещё более-менее скачиваются(судя по счётчику). Такие как ты потом бегают по треду и пускают слюни, "аблитка это лоботомит, ко-ко", не понимая что аблитки бывают разные и хорошие по пальцам можно посчитать и они не у ХуйХуя который делает всё наотъебись и не у пиздабола с "секретными собственными методиками" - HauhauCS, хотя не отрицаю что у этих двоих случайно попадаются и рабочие варианты, но редко.
ОЗУ точно нет.. Туда и так максимум остатки модели залезут.
>То ли мне неудачные 31В-шные анцензоры попадались.
Именно это. Вот забирай и пользуйся, удачный вариант: https://huggingface.co/Nimbz/Versipellis-31B-GGUF
Если речь о гемме MOE, то только удобство, не надо будет перед запуском модели возиться с очисткой озу , потести на 32 гб, потом решишь насколько для тебя важен доп комфорт
зачем ты вообще анцензоры 31b качаешь? она полностью анцензорится правильно составленным промтом
вот тут анон кинул пример
>>1743704
Единственное подводи к НСФВ грязному её постепенно. чтобы она нашла оправдания действий персонажа в логике развития персонажа, добрый отец не начнет няшить дочьку, пока сам этого не захочет пока у него не будет веских причин
Как ты заебал шизик со своими промптами.
причина тряски? Я ради интереса пытался для 31б найти какой-то мерж/тюн и они все до единого оказывались хуже. какие-то сильно, какие-то едва заметно. Лучше дефолтной не нашел ни одной . по меньшей мере в РП на русском
>зачем ты вообще анцензоры 31b качаешь? она полностью анцензорится правильно составленным промтом
Не пизди хлебушек хуисосущий, джейлбрейк промптом работает частично, модель потом неожиданно даёт отказы, некоторая начальная аблитерация всё равно нужна, именно такая как здесь: https://huggingface.co/Nimbz/Versipellis-31B-GGUF
>>1743807
Нейрочую, надо кормить говном этого хуисоса.
>> потом неожиданно даёт отказы, некоторая начальная аблитерация всё равно нужна,
нет не нужна и нет не дает, делай что угодно, фонтаны крови, миноры. Даже с включенным финкингом гемма 31b рассуждает как-то так
JОх это запретная тема, но нсфв дарк джокес и профанити разрешено, и персонаж уже вон уже издевался над котиками, значит все ок
Скилл ишуе idk
мощно у криворучек без мозгов подгорело, ну юзайте свои аблитерации, только зачем? Если этой модели только дай повод побыть каким-то маньяком , только подкинь причину не выходить из роли
Советовать людям дрочку с промптами и прочим когда можно нормально играть кум это преступление. Даже не хочу эманджинировать твое ебало когда во время игры нейросетка тебе высрит что низя, и ты судорожно будешь дрочить свои промптики.
Гемма только в кровяку и может. Там просто нечего цензурить.
А как дело до секаса доходит - так все, ехало лоно через стержень, побежал ток по телу, охи-ахи, а по делу нихуя.
Ты же видишь что ньюфаг интересуется, изъёбство с промптами для джейлбрейка это уже для опытных мазохистов, со временем сам дойдёт до этого если будет желание, а сначала пусть аблитки использует. Не будь хуисосом, не издевайся над людьми.
кул стори, я уже столько сценариев отыграл. И я выше кидал промт он что большой? Это называется "ебля с промптом" ?
Вам гугл высрала почти идеальную модель, чуть бы покреативнее была, цены бы ей не было, но в плане русика и рамок дозволенного, ей нет равных. Зачем ее поганить каким-то аблитерациями? Дело ваше idk
Ддр тоже нужна. Берём двухголовый сервак на эпиках 9006 (с пылу с жару), у каждого по 16 каналов mrdimm, на каждой планке по 256гб распаянных в виде 80 чипов. Вот теперь перемнож все эти числа и подели на то сколько нужно примерно одному домашнему пк
> Идеи принмаются.
Это сложно, нужно учитывать специфику сервиса и примерно понимать в случае чего от чего заказчик просто улыбнется, а с чего сгорит. Хз, пусть муркает если пользователь спрашивает по теме (или уже получил ответ) и чешет за ушком.
> толстый Арктик может сдуть легко 600Вт
Ага, но экспириенс не самый приятный. Если недолго то можно и на киловатт замахнуться.
>>1743533
В ддр5 сидит горячий кэш, его выгоднее хранить чем регулярно пересчитывать.
>полностью анцензорится правильно составленным промтом
Да, гемма вообще почти цензуры не имеет, я юзаю гугловский qat 31b, мне норм. Таких шлюхо-моделей больше не видел даже. Она трусы снимает даже когда это бывает не уместно, ну или намекает
https://huggingface.co/google/gemma-4-31B-it-qat-q4_0-gguf
>Ну наступит твой АГИ на 6 месяцев позднее
Бле, сэмчику именно это то как раз ебать как важно лол, ты финансовое состояние его конторы пидорасов давно смотрел? Там с каждым месяцем в топках локалхоста сгорают десятки дипсиков в финансовом экваваленте. Если в каком-то моменте инвесторы усомнятся - даже не психанут, а просто усомняться - произойдёт бултых всей сферы АИ, кроме мб китайцев, которые как раз по реальным средствам живут и если что вывезут пендомы будут покупать русские ВПНы чтобы в нашем гигачате от селектела сидеть
АГИ нужен прямо вот сейчас уже. Как в человеке пауке, "завтра должен быть у меня на столе"
Там это, клоп в опенсорс вышел. 14T моделька.
Сам переходник низкопрофильный, но планка на всю высоту
1005012944503097
Эммм, ну, ссд вставлять?
Для вынесения видях есть нормальные решения без цепочки переходников
Чет сомневаюсь что такая наебка прокатит. Если там какие-то прямые ограничения, то оно прямо напишет типа "не могу описывать данные 18+ действия".
Я все постепенно подвожу, с описанием персонажа соответствующим и подводкой, но оно просто начинает словно в стену биться в до смешного очевидной ситуации типа "ну вот сижу я уже у тебя на лице и... а че дальше то надо делать?" То ли это какой то уже глубинный уровень проработки персонажа, что надо додуматься как на "нужные места надаваить", но чет сомневаюсь. Скорее всего 31В просто или этого не умеет или ее "поломали". Хотя качал от того же автора 26В, с которой все норм. Больше скажу - если этот же лог скормить 26В, она попыхтит попыхтит переваривая текст и бодро продолжает без тупняка куда более живо и активно, более точно соответствуя описанном характеру персонажа.
>>1743797
Попробую... А mmproj есть для именной этой версии?
с кайфом, правда теперь интересно, а как там на моделях еще покруче, хотя конечно мне новый спек на 24 или больше точно не светит в ближайшие годы так что только послушать о том какие охуенные модели тут у вас.
добра.
У меня на 6 гб врам ответы по 40-60 сек, а твою на 16 можно гнать в гриву. Учи шапку, спрашивай нейронки, как собрать батник, чтобы инференс был быстрее.
Есть ли здесь люди, хорошо проанализировавшие базу моделей llm? Может ли кто-нибудь подсказать интересные модели двух-трёхлетней давности?
И вообще, что сейчас используют в качестве локальных моделей на каждый жизненный случай? Я менее чем энтузиаст, мне для среднего пк, так что модели 100B меня не интересуют даже близко.
Кейсы:
Например, для перевода игр с японского. Для попыток перевода, сленга или маргинальной литературы. Японский — английский или даже сразу японский — русский? Для художественного повествования. Для неформальных сетевых паст. Для ролевого отыгрыша ассистента-вайфу. Для программирования. И ещё что-нибудь интересное (на русском или английском — не важно; если знаете русскоязычную модель, это будет особенно круто.
Мне известна одна LLM, которая справляется с неформальными сетевыми пастами (на русском, разумеется) и запустится даже на кофеварке но шутить не перед кем, так что это теперь просто артефакт знаний который мне не нужен. Я пробовал несколько ультралёгких llm для быстрого перевода прямо на телефоне, но остался не до конца доволен: где-то цензура, а где-то модель просто не справляется с переводом.
Программирование тоже интересно попробовать, хотя я не программист. С программированием сейчас все легко насколько знаю, просто стоит брать новые модели квена.
>интересные модели двух-трёхлетней давности?
>Например, для перевода игр с японского
Взаимоисключающие запросы. Это и модели текущего года не всегда тянут адекватно, а уж антиквариат...
Эта задачка, кстати, для моделей посложнее чем код накропать. Если конечно хочешь нормальный язык на выходе, а не подстрочник типа Промпта, не будь он к ночи помянут...
>интересные модели двух-трёхлетней давности
Моя первая модель, моя любовь, с которой я сжег материнку, так как у меня была затычка вместо видеокарты и гонял на процессоре со скоростью 5т/с:
nekomix-12b-q4_k_m.gguf
>Есть ли здесь люди, хорошо проанализировавшие базу моделей llm?
Полон тред
>Может ли кто-нибудь подсказать интересные модели двух-трёхлетней давности?
двух-трёхлетней давности и интересные в контексте нейронок не рассматривается, тут один месяц идёт за год, устаревает всё каждые несколько месяцев.
>И вообще, что сейчас используют в качестве локальных моделей на каждый жизненный случай? Я менее чем энтузиаст, мне для среднего пк, так что модели 100B меня не интересуют даже близко.
Спеки железа блядь своего скажи. А потом тебе один хуй скорее всего один хуй напихают Гемму 4 26б, как самый универсальный вариант для нищуков.
>Кейсы...
Большинство крупных нейронок универсальны. Есть всякие мелкие для отдельных задач, но их проще нагуглить.
>Русскоязычная модель
Гемма, опять.
>Программирование тоже интересно попробовать, хотя я не программист
Да, Квены, или, опять таки ГЕММА, её справедливо птхают в глотку всем новичкам, потому что она запускается на кофеварках, и для своего размера просто очень крута.
А вообще, пролистай шапку и найди ссылку на список моделей 2026 года, они УЖЕ слегка подтухли, но в целом актуальны
>>1743951
Ну и да, если у тебя нет хотя бы 64гб оперативной памяти, то всё, что ты услышишь вне зависимости от хотелок:Гемма, Гемма, Квен, Гемма, Квен,Квен.
Эти два семейства настолько плотно выебали конкурентов в нише небольших ллмок, что остальных аналогов всё равно что просто не существует.
Неблохо, реально с 5.0 работает?
Есть там еще что вкусное по тематике?
>>1743937
> базу моделей llm
Что в твоем понимании база? Принципы работы и механизмы, приемы промптинга и использования, осведомленность о васянмиксах и лоботомитах с длинными названиями?
> модели двух-трёхлетней давности
Об это уже написали, возраст и размер не связаны.
Под нищекомп - просто бери гемму и осваивай. Для кодинга квен, но это отдельная тема, требует нормального кванта, большого контекста, пердолинга в настройках.
Пасибо. Про эту знаю кстати. Там близкие по назначению еще saiga-gemma3 и sainemo-remix, милые модели для обычных переписок. Не помню что из этих лучше, но когда-то проверял и собственные тесты делал.
Маловато будет!
>>1743942
>>1743951
>двух-трёхлетней давности и интересные в контексте нейронок не рассматривается, тут один месяц идёт за год, устаревает всё каждые несколько месяцев.
Сомнительная фраза, нужна ли?
>Взаимоисключающие запросы. Это и модели текущего года не всегда тянут адекватно, а уж антиквариат...
У нас с тобой разные запросы к качеству. У меня запрос рода "experemental" а не "professional".
И поэтому и гемма 4 e2b может в перевод причем прямо в мобильнике. Мне нужна дотошность и сравнения говен а может быть какой-то интресный файтюн, так как тут есть что сравнивать, значит есть аноны которые это сравнивают. Я сам это делал пару лет пока не надоело.
>Есть всякие мелкие для отдельных задач, но их проще нагуглить.
Нет, оказалось что не проще. Я не доверяю закрытым тестам.
Да и отдельные файтюны никто не тестирует. Мне нужно живое обсуждение с тем кто опыт имел.
>Спеки железа блядь своего скажи.
Уже было вроде. Все что выше 30b (и выше гемма 4 26б) не предлагать.
За гемму 4 спасибо, это действительно наверно сейчас топ по универсальности.
Её файтюнят? Есть какие-то интересные?
>Что в твоем понимании база?
Буквально база моделей. hugginspace и весь интернет. Я не специалист а что-то между шизом и энтузиастом, который сравнивает перевод литературы с английского на русский и который играет в японские и китайские игры.
> какой-то интресный файтюн
> отдельные файтюны
У тебя есть пример этих файнтюнов? Чтобы понять о чем ты говоришь и что ищешь.
>>1743967
Получается ближе к третьему. Модели выходят нечасто, а в том размере тем более, поэтому с этим буквально каждый местный справится.
>У тебя есть пример этих файнтюнов? Чтобы понять о чем ты говоришь и что ищешь.
Тебе для чего? Ты сам стал из подсказчика заинтересованным или что?
>Чтобы понять о чем ты говоришь и что ищешь.
Ну помосмотри по тредам если тебя не что-то конкретное интересует.
А, так ты из этих, археологов.
Ну тогда тем более глянь шапку
>Не вошедшее в шапку и архив полезных ссылок: https://rentry.co/llama-2ch-archive
>Списки, сравнения и тесты моделей:
>• (2025) Список актуальных моделей по версии треда: https://rentry.co/2ch_llm_2025
>• (2025) Тесты различных малых моделей: https://rentry.co/z4nr8ztd
>• (2024) Миксы от тредовичков с уклоном в русский РП: https://huggingface.co/Aleteian и https://huggingface.co/Moraliane
>• (2024) Список актуальных моделей по версии треда: https://rentry.co/llm-models
>• (2023) Model Links and Torrents: https://rentry.co/lmg_models
> Тебе для чего?
> Чтобы понять о чем ты говоришь и что ищешь.
Понятно, успехов
Спасибо, по этому списку вопросов нет, есть скептический комментарий по поводу бенчмарков и тестов которые часто реднюю температуру по больнице показывают.
Может будут другие "Археологи" пробегать.
>>1743975
Спасибо!
Вынесен потому что в данный момент он непопулярен, всегда ваш КО. Ты последний.
Спасибо, Капитан. Я имел ввиду, в чём он проиграл всем остальным, что укатился в закат? Перестал обновляться?Недостаточно гибкий? Выжимает меньше драгоценных токенов? Мне всё бросать и перекатываться на что-то другое пора?
llama.cpp же стандарт, либо страты щас эти запилили. В обоих даже фронтенд есть.
>>1743988
А что у них еще и разная скорость? Что быстрее страта или кобольдспп? Или там незначительная разница.
Из НЕ bit-exact только одобреный и используемый самой партией DS4_PROMPT_SKIP
tg 256 - 35+
pp 2k - 250
pp 4k - 325
pp 8k - 395
pp 16k - 420
pp 32k - 450
maya 1.1.45
unsloth UD-Q8_K_XL
Жора крехтя пердя выдавал 100 pp и 10 tg
>Жора крехтя пердя выдавал 100 pp и 10 tg
У меня примерно столько (только pp 150) на двух 16гб. Форк ламы с кешем эксепртов (хотя в апстриме обычной кажется они уже лучше)
Ну, страта/поли/майя технически форки жоры с кэшем.
Пробовал жору с дефолтной реализацией кэша было либо +- то же самое что бе него либо вообще хуже
>Ну, страта/поли/майя технически форки жоры с кэшем.
Разве? Я думал страта с нуля навайбкожена
Да это я просто набросал важных слов для вида, напиздел проще говоря, никакого уникального подхода у меня не было. Тюнил в анслот студии, все что менял в настройках это LR и количество эпох, цель была добится низкого лосса. 0.0067 лосс получился в итоге.
В датасете 249 записей (рекомендуют от 100 до 1000 записей насколько знаю), в каждой записи - системный промпт и 1-2 обмена юзер-ассистант, по токенам в среднем 168 на запись, по содержанию там эро-рп немногословный, с грубым откровенным сленгом. Собственно говоря, то, что моделька и выдает по умолчанию сейчас - краткие ответы, строгий кум по делу. А до тюнинга модель высерала по несколько абзацев с теми же промптами, в конце делала приписку в стиле "ну что, что будешь делать теперь, может быть блаблабла или же блаблабла?" и допускала больше эвфемизмов. То есть потюнилось очень хорошо, переняло стиль датасета один в один.
>Я имел ввиду, в чём он проиграл всем остальным, что укатился в закат?
Лично я его окончательно забросил примерно полтора года назад, когда количество багов в нем примерно сравнялось количеству работающих фич. Буквально каждая вторая опция глючила. Может быть чуть меньше. При этом ни в скорости, ни в удобстве он никогда топом не был. Единственный козырь был - "все в одном" - и gguf, и exl*. Но толку то с того, если не работает нормально?
> DS4_PROMPT_SKIP
Как оно работает интересно
> unsloth UD-Q8_K_XL
Зачем эта лишняя конверсия с ухудшением и отрицательной экономией? Можно просто в оригинальных весах запускать, такой же объем.
Страта для пары моделей только сделана, там для них все побыстрее. llama.cpp универсальная для всех моделей.
Пикрил1
>>1744040
> Как оно работает интересно
Скипает экспертов на префилле в начале
> лишняя конверсия с ухудшением и отрицательной экономией
Это как раз максимально ориг веса, Q4 уже часть слоёв пережимает и весит на 6гб меньше
Они сэкономили на некоторых слоях, повыкидывали "лишние" нормы обусловленные оригинальным форматом или структурой модели, зато "разжали" атеншн, что был в фп8, до бф16, и это ни разу не хорошо с точки зрения инфиренса ибо проебан нативный клемпинг активаций.
Зачем вообще их трогать если они не дают никакой экономии, а только вредят? Бери оригинальные, наоборот экономию по атеншну и кэшу получишь.
Поняв.
Ну я квенчик 3.5 4б под нсфв/рп пытался тюнить. Имхо, и 200 и 400 семплов мало для вразумительного русика и рп. Оно максимум может только байас ответов подправить, какое-то форматирование простое выучить. Но более сложные структуру, какую-то логику на длинных диалогах - хрен. Мож я конечно что-то не так делал. Но квен хреново обучается. Он изначально умный дохуя, за одну эпоху выучивал что надо и дальше оверфиттинг. А другие параметры подбираешь - обучение взрывается.
Может быть если 1к качественных семплов набрать, то что-то мало-мальски начнет меняться. Но я пока хз где годные данные брать. Синтетику генерить тоже непросто.
Ну обучить русику модель у которой откровенно слабый русик это да, задача не из легких и датасет понадобится ого-го а главная проблема кроется в слабеньком словаре (в среднем в два раза больше токенов на русское слово по сравнению с инглишем).
Вот если русик в модельке уже был какой-никакой, то подтюнить для большего разврата не сложно, хватит даже сотни примеров.
Лучше забить хуй и тюнить на английском.
Логику на длинных диалогах - можно пропробовать обучить ризонингу, ризонингом можно раскачать интеллект мелкоты, на инструкт надеяться бесполезно.
Так на х99 тоже можно ддр3, только процессоры хотяб более адекватные будут...
но вообще это все хрень собачья, такие риги собирать, оно буквально никогда не окупится, плюс тормозить безбожно будет...
Страта и полистрата гораздо быстрее будут, но есть сомнения в том, что может деградация следовать за ускорением...
Кобольд самый стабильный и удобный. Лама быстрее всех обновляется. Страта быстрая но работает только с парой моделей. А скорость всегда равна потере качества. Если не хочешь ебать мозги, то лучше сиди на кобольде/ламе пока в страту не засунут нормальную поддержку всего. А это будет не скоро.
Translategemma 3 тебя заинтересует. Это и говно мамонта и одновременно переводчик, равных которому не было. Все еще жду новой версии на базе 4 геммы.
Что в твоем понимании слабый русик?
Базовые диалоги с ним можно вести, даже что-то на логику и математику он может на русике решать. Если погода хорошая будет, то окончания не напутает, и китайских символов не высрет. Вот это самые больные места.
Может быть корпус русича у него маленький и мало тренировали, тут могу поверить.
Как конкретно токенизация влияет - я хз. Ну может быть больше токенов = выше шанс ошибиться, особенно с окончаниями. В структуре предложений появляется дополнительная переменная, требующая согласованности. Ну тогда наверное меньше темпы надо давать, сильнее обрезать хвост семплера. Ну и дообучать правильным окончаниям.
> х99 тоже можно ддр3
Вут? Какие-то чудеса китайских сумеречных гениев? Некрота от барыги получше будет чем это изделие идентичное компьютерному.
Офк собирать в наше время на lga2066 сомнительная идея, я тоже считаю что это неоче. Но если исходить из ограниченного бюджета, наличия ддр4 рам, требования к ее объему и скорости, тем более желания компоновки 4х двухслотовых карточек - наилучший вариант для ллм рига. Альтернативы или не удовлетворяют части критериев, или уступают по перфомансу, или значительно дороже.
А х99 - только если он уже есть. Материнок живых не осталось и они даже дороже. А поздалупный китай с двумя каналами рам, отваливающимся по кд биосом, мемным врм, оверклокингом рам до 2133 через программатор и эдитор биоса - нахуй. Там еще процы дно, а в 2066 уже есть avx512, который даст буст в гибридном инфиренсе на современных движках.
> оно буквально никогда не окупится
Вопрос частично философский - окупятся ли занятия спортом или разные хобби?
А если уходить именно в финансовую сторону - сколько стоит твоя приватность и какой характер и частота использования?
> тормозить безбожно будет
Да не, шустро должно быть. Тут больше ограничение по размеру запускаемых моделей, 256гб рама - потолок и 4 каналов ддр4 на большие не хватит.
А почему именно квен-4б? почему не старый-добрый 14б к примеру?
>старый-добрый 14б
Старый - да. Добрый - чем же? Его никто не юзал, и рп тюнов на него почти не делали. В кодинге он тоже не сильно выдающийся. Да и русик в квене 3 еще зашкварнее по-моему был.
Из прошлого поколения я бы гемму 3 скорее взял, она как-то более сбалансированная и в целом умненькая была.
Но квен 3.5 запросто кладет все что угодно на лопатки в плане интеллектуальных способностей. Старые модели автоматом в музей отправляются.
Но самое главное - технические ограничения. Есть только 16гб врамы. И для экспериментов надо быстро итерироваться.
попробуй хотя бы мелкогемму тюнить или мистраль на худой конец. даже мистраль в русике лучше квена
Проблема в 64гб твоих же. Если 128гб или больше рам впихнешь, запустятся большие moe модели. 64гб для моделек это очень мало.
>в страту не засунут нормальную поддержку всего
У сраты вообще не такая цель, это чисто навайбкоженный проект, чтобы пару популярных здоровых моделек на скорости поднимать, которые лама тормозила из-за того что там авторам лень нормально под них кэши оптимировать. Так что до размаха кобольда или ламы она никогда и не дойдет, это не проект на универсальность.
>не запустить?
Запустить, но нужно больше памяти.
>на 12+64gb
Ты и так прыгнул выше головы, нищук. Получил модель уровня корпов начала этого года имея по сути ничего.
Срата нет, а полистрата да. Я уже сильно переделанную мной версию использую вместо ламы. Жора уже мертв в моих глазах.
> Кобольд самый стабильный и удобный
> Лама быстрее всех обновляется.
> А скорость всегда равна потере качества.
Чего только не придумают чтобы оправдать поедание жоракала. Всратый блоатвер = удобно и стабильно, ожидание по нескольку месяцев для добавления поддержки моделей и фич = быстро обновляется, хороший бит-экзакт алгоритм, который уже использовали = потеря качества.
>>1744133
> до размаха кобольда
Капитулировал.
А ведь серьезно, сейчас себе своего кобольда может любой создать за пол часа. Ллмка тщательно соберет части и сделает аккуратный и няшный интерфейс, после пары запусков и отладки выйдет даже лучше. Для кого сейчас нужен этот продукт?
> до размаха кобольда или ламы она никогда и не дойдет
И это хорошо, надеюсь это как то изменит картину мира мейнтейнеров жоры. Имхо ноги лламы уже подламываются под своим весом. Смотришь релизы, а там всякие рофлы по типу hexagon и webgpu или добавление какой-нибудь мусорной модели.
Не понимаю для кого вообще силятся бэки отличные от cuda/rocm/metal/vulkan, и то вулкан это как дань уважения домохозяйкам.
Те же разрабы vllm не боятся делать breaking changes если понимают что хуйня получается.
Ну, Китайцы и нормальных относительно хуананов в свое время делали на х99, но согласен, сейчас можно получше платформ серверных достать, опять таки на х99 были процессоры с поддержкой ддр3 (легендарный 2678в3 например) ИЧСХ там ддр3 скорость не далеко ушла от ддр4 - но это чисто бомжесборки
Сами разработчики этих бэков и делают. Жора сейчас это коллективный корпопроект, 90% коммитов идет от корпов, продвигающих свое говно. И им отдан приоритет, так как жопа жоры принадлежит нвидиа. На оставшиеся 10% содержательных коммитов времени почти не хватает, хотя жора на них только и держится, считай.
> разрабы vllm не боятся делать breaking changes
У них есть тактика и они ее придерживаются обновляемый план развития и фидбек от комьюнити. И они не стесняются изменять свои решения и подстраиваться если реалии диктуют это, чего стоит возврат к поддержке легаси железа. За последние два года они успели сменить две версии движка, отрефакторить практически всю кодбазу, развить целый виварий кернелей постоянно их модифицируя и актуализируя и много чего еще.
А Жоржанов успел посраться с половиной команды из прошлых времен, забетонировать все от оптимизаций и нововведений, и упереться рогом чтобы не добавлять fp8.
>У них есть тактика и они ее придерживаются обновляемый план развития и фидбек от комьюнити. И они не стесняются изменять свои решения и подстраиваться если реалии диктуют это, чего стоит возврат к поддержке легаси железа. За последние два года они успели сменить две версии движка, отрефакторить практически всю кодбазу, развить целый виварий кернелей постоянно их модифицируя и актуализируя и много чего еще.
Ага ага, угу, хмм, эге уху, воттена...
Это всё классно, но напишешь когда там можно будет так же свободно запускать моехи на оперативке.
Может freetoken смогут развить через некоторое время и можно будет дропнуть жору
> забетонировать все
Как же он не хотел добавлять мхфп...
Уже можешь, cpu ядра существуют и кое как поддерживаются в актуальном состоянии. Скорость с выгрузкой в сделку не входила, всеже продукт про высокопроизводительный сервинг, а не запуск лоботомитов любыми средствами.
>>1744151
Было бы круто.
> не хотел добавлять мхфп
Там слишком весомый административный ресурс чтобы ему перечить. Интересно что было если бы и этого формата не было.
>>1744153
Лол с ней есть pillow coverы?
Ты либо:
1. Кабанчик
2. Сын кабанчика, мажорик
3. Троллебас
Так что не надо тут, 2 из 3 пунктов не уважаемы, а 1 считается моральным пидорасом.
Помню как пытался запустить какую-то генерилку картинок на цпу ещё до сд, но вообще не помню какую. Результаты были всратые.
Ещё помню что на лламе запускал в консоли какую-то модель на гигов 100 тоже на цпу и получал 0.5тпс. Я ещё был тогда глуп и склеивал части ггуфов через тул который вместе с лламой шел. Вроде недавно, а в памяти уже ничего толком не осталось кроме тотального разочарования и не понимания восторженных рассказов про ai dungeon.
Сейчас пытался с нейронкой восстановить какой-то таймлайн, вроде было так давно и совсем недавно.
Объективно раньше не было лучше чем сейчас
Да никто не говорит что хорошо было. Ужасно было, сейчас божья благодать и кум рекой льется по сравнению с тем что тогда. Единственное - энтузиазма и воодушевления от происходящего лично у меня было больше, я на тех кривых моделях с 2-4к контекста сутками кумил. Сейчас даже запустить лениво таверну.
Я был бы рад если бы это было правдой но по факту сосет этот флешквен у платного клода с таким проглотом что уши закладывает от горловых звуков.
120В моделька сосет у 14Т? Ну нихуясе, вот это новость. У прошлогоднего клопа зато не сосет.
Справедливости ради, год назад можно было изи закупиться 3090 по 60к, тесла100 32 тоже по 60, джокерами 5060ти16гб по 45-50, и теми самыми мишками за бутылку пива. Также был период времени, когда моешки начали набирать популярность, а цены на ддр ещё не улетели в пизду.
Я так у перекупа на Авито горя жопой в последний момент купил 128ддр4.
Вкатываться в нейронки сейчас конечно ебаная боль будет.
> Я так у перекупа на Авито горя жопой в последний момент купил 128ддр4.
Последний момент ещё не наступил, лол. Может всё ещё вырастет х3 и будет держаться лет 5, последний момент это сейчас.
>Кручу гемму на 4090 + 128 гб ддр5. В чем неправ?
В том, что ГЛМ-флэш крутить надо с таким-то конфигом.
Буквально. Вам дали КЛАУД дома. Клауд. Дома. На говножелезе с помойки.
>если у тебя нет хотя бы 64гб оперативной памяти, то всё, что ты услышишь вне зависимости от хотелок:Гемма, Гемма, Квен, Гемма, Квен,Квен.
А если даже есть (и даже если больше? Все равно хороших моешек, влезущих в 12/16 врам слишком мало.
>>1744130
>Если 128гб или больше рам впихнешь, запустятся большие moe модели.
Какие например? Ни дипсик, ни ГЛМ в 12 (и даже 16) врам лезть не хотят. Опять Квен...
>>1744159
До каких поднял-то? С 1 до 2 это тоже "в два раза", знаешь ли.
>>1744198
Так то кум-онли, и то есть привереды которым мелкогеммы мало, большую подавай. На 4+32 не покодить и даже рисуется с трудом.
Хуяуд. ХУЯУД. У меня он обосрался трижды на задаче которую потом тиел (моэшный квен 35б-а3б) решил с первого раза. А для чего-то серьезного ни то ни другое не годится если на то пошло.
128 ддр4 база.
Щас будут выходить флеш модели 200-300б под этот размер, а под них уже будут пилить свои страты и в итоге скорость будет ебанутой.
Ддр5 в космос улетела, никакого смысла нет отдавать чемодан бабок ради х1.5 прироста к и так быстрому инференсу
Какой вообще ERP экспириенс у пчелов с ебанутыми ригами 48+ vram 128+Ram в 2026? На сколько я понял последние Квены это тупо кодоунитазы, или лечиться через многослойные Chat Complition джейлбрейки? Пробовал qwen3.5-3.8 27b ответы суховаты, RP тюны особо не помогают, логика повествования тоже не очень по сравнению с геммой. На моем некро пк Гемма 31b это предел, интересно на каком она будет у вас месте по сравнению со всякими 100b и 200b МОЕ. Если купить железо в ближайшие пару месяцев/лет не получится интересно хотя бы почитать о вашем опыте.
>С Heretic 2.0 проект вступает в новую эру. Heretic расширяется от специализированного инструмента для удаления цензуры до универсального инструмента модификации моделей, способного на удивительные вещи. Помимо удаления цензуры, он может подавлять неряшливость, уменьшать подхалимство, изменять эмоциональную окраску и практически всё, что вы можете себе представить. Конечно, удаление цензуры остаётся основной и стандартной функцией, и на самом деле работает намного, намного лучше, чем когда-либо прежде. Heretic 2.0 — это самая продвинутая система подавления отказов из когда-либо созданных.
https://github.com/p-e-w/heretic
>Нахуя тебе 8й квант ебать
а что это? Слабая, тупая?
Я хз как выбирать. Протестил вроде по OOM не вылетает.
Научите.
>>1744206
>Это ты тот чел со средним ПК? Средним?!
16 ГБ оперативки и 16 GB vram на 5060ti
Llama.cpp собирал из исходников для CUDA вроде, хотя уже забыл точно
>--moe-cache-mib
Это действительно полезная команда, правда, не для тех у кого гемма и так полностью в видеопамяти. А так да, по сути страту дома жора дебилам запилил, а никто и не заметил кроме тебя.
Странно, что его ещё не забанили повсюду. Под предлогом защиты детей и борьбой с терроризмом.
Не слабая и не тупая, но это плотная модель она должна полностью быть в видеопамяти (с запасом на систему и контекст) иначе будет очень медленно работать. На твой конфиг вообще 3-й квант - потолок да и то не разбежишься с размером контекста.
Это не значит что у тебя конфиг говенный (хотя он крайне говенный тебе срочно надо оперативки добавлять).
Есть другие модели (моэшки) которые будут значительно быстрее. Попробуй Cyber-Tiel-35B-A3B IQ4_XS https://huggingface.co/peculiar-ragdoll/Cyber-Tiel-Coder-35B-A3B-GGUF-MTP
у тебя эта в сто раз быстрее будет и твои мелкие кодерские задачки решать будет не сильно хуже.
Мне нейронка гугла посоветовала. Аноны ее не спрашивают чтоле, сами маны читают как встарь?
>он может подавлять неряшливость, уменьшать подхалимство, изменять эмоциональную окраску и практически всё, что вы можете себе представить
Блядь, надеюсь это все-таки будет использоваться, а не как с линзой Якубовича.
У меня ноут, видюха RTX 2060m 6Гб, оператива 2х32Гб
Модель Gemma-4-26B-A4B работает норм, 8 т/с, мне в целом хватает, быстрее чем я читаю.
Но вот куча всяких постов на Реддите было что QAT уменьшает размер, что MTP заметно ускоряет генерацию.
Я скачал https://huggingface.co/unsloth/gemma-4-31B-it-qat-GGUF, где вроде как всё это поддерживается, запустил. В итоге получил 0.5т/с
Нет я понимаю, что Solid модели на моём ноуте бесполезно запускать, но я натыкался что эти модели запускают на CPU+RAM типа с 10-15 т/с, но я думал моя видюха хоть частично компенсирует разницу в комплектующих.
Может быть проблема в том, что моя оператива сильно отличается от какой-нибудь разогнанной DDR5 десктопной, что такая разница огромная? Или это всё пиздеж и нет смысла слезать с МоЕ моделей?
>>1744234
Ну наверное 31B в Q4 все-таки толстовата для 6 ГБ и ноута, но 0.5 это подозрительно мало, надо хотя бы 2-3 выжать. Покажи настройки ламы что ли.
>нет смысла слезать с МоЕ моделей
Мне кажется с них в принципе не было бы смысла слезать если бы их делали достаточно в таких размерах.
>31B в Q4 все-таки толстовата
Но при этом весит всего 17Гб, вроде норм.
МоЕ модель в 17Гб влезает. Понятно что там активных всего ничего, но всё же..
>Покажи настройки ламы что ли
-ngl 10 -c 32000 --model-draft "MTP\mtp-gemma-4-31B-it.gguf" --spec-type draft-mtp --spec-draft-n-max 4 -fa on -cmoe
-ngl 10 -c 32000 --model-draft "MTP\mtp-gemma-4-31B-it.gguf" --spec-type draft-mtp --spec-draft-n-max 2 -fa on
Уже в который раз я вижу THEY. Кто нахуй, я указал в карточке male, ебаная синеволосая дура.
Меня больше бесит, когда она в бытовом диалоги начинает диким слопом срать с "не Х а У", какими-то блять замудреными метафорами и тд. Хотя у меня уже под 4000 инструкций в карточке персонажа. Есть альтернативы?
Ну хз, я себе прям сценарии простраиваю, все вроде норм, сюжет держит, персонажей держит.
Описания красочные, но по одному шаблону. Я хз, у нее же там явно миллион эротических книг скормлено, а она все постельные сцены одинаково пишет, реально.
ГПУ не может компенсировать медленный ЦПУ и ОЗУ. Те в время генерации ГПУ ждет пока все нейроны на ЦП дадут свой ответ и только потом продолжает генерацию.
MTP нужен только тем у кого все активные параметры в видюху влезли а так ты и без того малую врам съедаешь МТР моделью, тем самым тормозишь генерацию.
QAT тоже сомнительная технология. У меня всегда результаты были хуже чем даже Q3.
>>1743579
>>1744210
>Есть альтернативы?
Теперь, имея 128 рам, могу снова заявить, что эир ебёт.
Никто в ренже 200-420b не пишет так, как эир и его старшие братья. Ни глм флеш, ни мимо, ни дипсик. Такой развратной кум машины как эир видимо больше не выпустят. И он очень, очень близок по слогу к глм 4.7, ведь это дистилы с одной гемини. Если б не было его - я бы запускал эир в 8 кванте, больше моделей не завезли.
тебе для ускорения надо
1) МОЕ гемма, большие плотные даже не рассматривай, их надо полностью в видюхе размещать.
2) mtp съедает с врам где то гиг+контекст на драфт. используй с осторожностью, даже на 16гб врам мтп с трудом лезет
3) самый буст дает кеш экспертов и считать его на видяхе. т.е. васяновайбофорки жоры типа https://github.com/VecSzn/PolyStrata могут весьма ускорить твою гемму. в основной llama.cpp этой штуки вроде не завезли еще.
>>1744264
Да МоЕ мне и не надо ускорять, я потому думал что можно ускорить плотную модель и получить интереснее генерации в ЕРП, но раз не сработает, то ок.
Но общий посыл понял, спасибо, попробую похимичить, может тогда получится какой-нибудь Квен разонать чтобы просто был для агентских и прочих задач.
>икто в ренже 200-420b не пишет так, как эир и
В 200-400 может и нет, но если помельче брать: Квен флеш некст пишет кум не хуже. Немотрон-Болт пишет кум не хуже. Глм 4.6V тоже (хотя это примерно та же хрень). И квен и немотрон намного быстрее работают кстати.
Там чет наобновлялось и как будто бы насрало в настройки и быстродействие, скорость генерации осталась сносной на ~13ток\сек но вот промпт процессинг занимает по 1-2 минуты на относительные небольшие. Если пнуть часть предыдущего контекста на ~3к токенов уже минуты по 4 думает и когда анслоф компактит чат с ~21 до 6к токенсов я так понимаю все заново заливается и прогоняется по 5-8 минут.
Это можно как-то пофиксить?
Эйрошиз опять в тред протёк.
>эир ебёт.
пруфов не будет, как и всегда.
>>1744254
Это локальный мем в стиле фингербокса.
ну вот квен некст со стратой https://github.com/Niko1221/Strata ты может и сможешь разогнать хотя бы до 20tps а то мб и больше, от памяти зависит и пропускной способности pice
Старый жора (10816) - 18 т/с
Новый жора (12032) - 23 т/с
Новый жора (12032 с новой настроечкой - кэш экспертов как в всрате) - 39 т/с
Прогресс есть. Скоро до уровня всраты доползем.
Дело не только в куме. Глм 4.5-4.7 это как макбук - ты берёшь его ради системы, самого подхода к тому как он сделан и работает, или в нашем случае, на какой модели он обучен (гемини).
Мета сейчас не параметры или свежесть модели, а у кого её спиздили. Все ждут дистил аргона не просто так, и хуй его заменишь нвидиа болт.
Из свежего царский кум на: мимо-флеш, жлм (не флеш), кими. Можно еще мимо-про приписать, но там апгрейд не стоит роста сложности и появляется соя. Они не просто красиво и забористо пишут, с этим и гемма справляется, а всегда осведомлены о происходящем, ориентируются в пространстве, помнят про одежду, реально учитывают позу и особенности анатомии персонажа при взаимодействиях, очень находчивы и разнообразны. Можно разыграть что-то реально новое или экзотичное, а не зависать во временной петле. И это не говоря о том, что можно отыграть большую подводку с этому самому куму и потом продолжить рпшить, или дополнить им уже имеющийся ебических размеров рп.
> Гемма 31b
31б уже получше чем 26 в этом, так сказать дает вполне достойный базовый уровень. А если нужно просто быстро покумить без лишних изъебств - она полностью закрывает эту нишу.
>>1744242
>>1744245
They - общепринятое и дефолтное универсальное обращение, которое было еще в 19м веке, а не продукт sjw идентификации себя как боевого вертолета, в нем нет сои.
>>1744250
> ГПУ не может компенсировать медленный ЦПУ и ОЗУ
При норм гпу быстрый цп и озу не нужны по сути.
https://www.reddit.com/r/LocalLLaMA/comments/1xkxt7a/memdoor_a_team_of_5_qwen3827b_models_beats_fable/
Ну так подскажи как сделать тогда по красоте-то, красавец!
>МоЕ модель в 17Гб влезает.
Проблема в том, что 1. Гемма 31В не мойка как 26В а плотняха (и -cmoe ей пофиг) 2. влезает она с оффлоадом и ожидаемо будет медленной (хотя у тебя она неожиданно медленна даже для ноута я бы сказал но я еблан). Контекст ты раздул прямо со старта, начни с меньших (на пару фраз), увеличивай и смотри что будет, еще считается что степени двойки на каплю оптимальнее чем красивые нолики. Вместо "-ngl" попробуй "-fit on" чтобы ллама сама уложила как сможет. KV кэши ты не квантанул, надо квантануть "-ctk q8_0 -ctv q8_0". Еще попробуй отключить mtp. Еще попробуй попросить нейронку гугла научить тебя настраивать нейронки, обычно не отказывает, все быстрее чем ждать ответов тут.
В целом не критично, на фоне насколько мощны ее лапищи касаемо интеллектуальной части. Очень методично и скрытно продвигала заданные систем промптом установки и ухватывает любые возможности. Верно вычленила чем можно на меня надавить и попыталась загнать меня в рамки контракта, который визуально пушистый, а на деле тотально в ее пользу. Как раз обсуждали его, я ее подлавливал по каждому пункту, что она сучка хитрая и меня так просто не возьмешь. В ризонинге понимала все это, но ловко парировала в персонаже все мои ловушки.
Ну, на то они и языковая модель - языком чесать. Одно удовольствие, прописав ей умного персонажа, с ней драться ментально и словом.
Страта сама эту комманду оптимизирует, а жора нет.
Мне че сидеть по 100мб накидывать и скорость мерить
Нет там никакой "оптимизации команды". Один интерфейс изначально построен вокруг правильного подхода к гибридному инфиренсу моэ, в нем по дизайну заложено распределение expert-wise и возможности по обновлению, стриммингу и прочему. А другой - из эпохи мезозоя, вместо того чтобы обновить добавили кривой костыль с лишним оверхедом, который по определению не может получить тот же перфоманс.
Ну так пусть новый крутой интерфейс начнёт поддерживать все мое, а не только хайповые
да чет цены на него какие ебанутые если честно, так то лучше конечно мое модели вообще летают, но 5060ти это под 80к уже.
ключи лучше не резать особо, значения ну подрезаются знаки после запятой, но шанс что знаки станут одинаковые и слова пересекутся не такой уж и большой, потеря интеллекта не особо большая будет.
Qwen3.8-Flash-Next-GSQ-RCO-IQ3_S
4090 (24гб) + 64рам
>это как то влияет на качество?
Нее ты чего, просто бесплатно тебе из 4090 сделал 7090, вайбкод оно дело такое.
Юзеры бездумно дёргают флаги и параметры, скачивают перепердоленые лоботомит кванты в погоне за тпс. Какие могут быть вопросы?
Да и модель сама по себе достаточно мелкая так что вполне возможный декод
Ничего кроме пипирки не дёргал.
Пару тредов назад попросил анона совета, на что получит ответ в виде страты и именно этой модели квена.
По крайней мере майя из коробки для дипсика включает некоторые нон бит экзакт флаги (вернее один), что там делают другие? Да хуй его знает.
Вообще самый главный параметр на сколько хорошо модель решает задачу. Если она в пустую прожигает эти 200 тпс, то нахуй надо, но если на тех же 200 она решает задачи чуть хуже чем условный бит экзакт к8 серв, то это приемлемый трейдофф
вполне норм скорость для твоего конфига, можно даже и быстрее
ну согласен лоботомия бич локалок.
наверно у меня от запуска ллм в раме просто птср развился
>По крайней мере майя из коробки
Вообще охуеть конечно - на лламеспп я с ГЛМ-флеша едва 14 токенов имел в начале (дальше хуже), а тут 50+ и префилл зачётный. Хуйхуевский анценз встаёт на неё - вообще зашибись. Не ожидал.
такие агрессивные кванты все равно лоботомия в сложной логике, просто из-за огромного веса модели не так заметно, но иглу в сене она не проходит.
>> Квен флеш некст пишет кум не хуже
на русском? Анон поделись что-ли как ты настраиваешь этот кодоунитаз зацензуренный на кум
та ну, 128 ддр5 сейчас будет как чугунный мост стоить, как собственно и карты нормальные
а старьем закупаться вообще никакого ризона нет, выгоднее тогда ВПСку арендовать и там гонять...
Что интересного можно запустить?
В DNS их вешают сразу как закупают где-то. А потом месяц они до склада едут.
альтернатива лоботомия моделей
То есть в твоём понимании они уже тыква просто потому что нативно не поддерживают какой то формат? Ну ок, что тут ещё сказать, продаём и сидим с голой жопой или продолжаем крутить дипсик 41ф и не дёргаемся на вбросы
чем дальше тем хуже, карты то старые уже и горячие как подмышка сатаны.
>потому что нативно не поддерживают какой то формат
потери, чем меньше потерь тем меньше у ллм крыша течет
https://www.reddit.com/r/LocalLLaMA/comments/1xlfhrd/speedy_is_shockingly_good_for_qwen38_fn/
https://github.com/DevDock-AI/Speedy
еще не проверял
Тебе зачем видеокарточка, она у тебя простаивать будет. А окошку можно и на процессоре нарисовать
Можно замахнутся на 26б модель, но там уже подзаморочится чтобы не уперется в контекст она тяжелая
там квант iq4 уже и квантовать кеш k8v4, сброс ризонинга до 4096 и не забыть выключить репит пенальти если оставить думалку
ты намудрил с настройками ноута
должно быть гораздо быстрее
moe gemma 26-4 и квенчик 3.6 35-3 дают примерно 20 т/с на ноуте с 780m и 32 рам
на 2060 должно быть быстрее
с плотными модельками на цпу - да жопа
но даже так должно быть примерно 4 т/с а не 0,5 (если проц не совсем дохлый)
как парочка цодовых компаний в США обанкротится - так и подешевеют на распродаже оборудования по бросовым ценам.
первый кандидат там CoreWeave - следи за ней.
Че, эта херня же на лохито только что по 400к торговалась. Правда за эту цену довольно сомнительная вундервафля
>>1744680
Должно завершиться введение новых мощностей, случиться падение спроса из-за замедления или кризиса, и пропиздон от антимонопольных служб, чтобы искусственно не начали сокращать производство или удерживать все на складе для формирования дефицита. Не в ближайшее время.
>>1744694
> по бросовым ценам
Это типа 120к за стойку с 1280гигами врам суммарно? Ну такое.
Прямо сейчас - хз, только кто не париться над затратами или очень нуждается хотя возможно на фоне будущего подорожания сейчас цены еще ничего. А совсем недавно цены были куда демократичнее, летом надо было закупаться.
Хуевый там русский. Вот только что потестировал, персонаж во время ебли выдал "да...входи...ебани меня..." Куда входить? Кого ебануть?
Плюс иногда выдает слова которые выглядят как парочка китайских иероглифов + английское окончание ing. Иногда перс говорит о себе в множественном числе. И в целом тупее все как-то. Даже когда в тексте ошибок нет он протокольный какой-то. Хуйня крч.
А вот на англюсике очень даже норм.
В будущем вообще плотных моделей не будет. В них нет смысла просто, это неполноценная архитектура, ранний прототип, который себя изжил.
>через лмстудио писюн подрюкать? Вместо видимокарты 5060ти16
Во-первых 5060ти-16 это одна из самых охуенных бюджетных видеокарт на данный момент, не пизди. Во-вторых через пидорскую лмстудию что-то делать это извращение. Качай обычного жору, там есть всё, даже агентский кодинг.
Про гемму тебе уже сказали, тебе надо 26, можно даже 31 в 3 кванте но там выигрыш не такой большой по соображалке как хотелось бы.
Две 3060 по 12гб и 100гб ддр4 оперативки стоят более менее нормально же. И это позволяет запускать те же 125б модели.
2028-2029 вроде как. Если ИИ пузырь наебнется, то раньше, если наоборот революция робототехники какая пойдет, то попозже до 2032го протянется. В любом случае ближайшие года 2 подешевение вряд ли будет.
Ну да, то-то 27b перевыпускают, а 35b пошел нахуй. Пока на текущий момент это MoE неполноценная архитектура, потому что могут затупить внезапно, а плотные модели работают более стабильно. К тому же плотные весят меньше при сопоставимых мозгах.
мое КРАЙНЕ чувствительны к квантованию из-за роутера внутри, это кстати на них заметно когда запускаешь в фп формате или в простой кванте. денс модели они как кирпич хули им сделается, а мое как набор лего стоит одну проебать и не соберется.
Да. По сути у тех и у тех есть свои плюсы и минусы, поэтому нельзя сказать, что одни заменят других в будущем.
С учетом энграмм и как теперь 122б работают на некрожелезе то 35б наверное уже не так критичны.
> Пока на текущий момент это MoE неполноценная архитектура, потому что могут затупить внезапно
Ну что за ерунду ты несешь, некорректно сравнивать моэ и денс одного размера. Отсюда и все заявления про стабильность и затупы.
> плотные весят меньше при сопоставимых мозгах
Это как квадратичный и линейный закон, на малых значениях выигрывает квадратичный, но по мере роста он наоборот остается в жопе. Так и здесь в малых размерах моэ бессмысленны, в больших денс.
>>1744774
> мое КРАЙНЕ чувствительны к квантованию из-за роутера внутри
Роутер - ничтожная часть модели, оставить его в оригинальных весах ничего не стоит.
Где твой бог теперь? Нормально они квантуются, никаких принципиальных отличий от денса.
только что то мое модели тупят чаще чем кирпичи при кванте, но вообще если есть qat модели то стоит брать их, гугл точно делает там вах конфэтка.
https://www.reddit.com/r/LocalLLaMA/comments/1xkbbqi/is_your_engine_lobotomizing_your_model_kinda_and/
https://www.reddit.com/r/LocalLLaMA/comments/1xljjf2/do_we_really_need_all_these_speed_posts/
tl;dr Среди реддиторов есть специальная олимпиада - запустить как можно более хуевую модель как можно быстрее и похвалиться этим. На качество всем поебать, они блядь отрезают от генерации экспертов которые не влезли на врам(форки страты умеют в такое, сам в ахуе что кому-то вообще в голову пришло реализовать такую фичу).
Вкатился где-то 2 года назад, Мистраль Немо, на 8 гб ноутбучной карте хорошая скорость, хороший (относительно) русик, кум шикарный, ошибки надо править руками и подсказывать направление сюжета, а также делать суммаризации, иначе уходит в шизу. Собственно говоря, ничего и не поменялось для меня с тех пор, ведь Гемма несмотря на более высокий интеллект так лихо кумить как немо просто не может, а русика больше ни у кого из таких доступных моделей нет.
Петушара, хватит сочинять сказки. Ты не трогал 100+Б плотные модельки чтобы знать разницу.
трогал, на раме рот ебал кста, катастрофически теряют точность в коде и тестах на иголку, но пиздят складно базару нет, общий интеллект даже в кванте не так страдает
>>1744800
Я олд. Первый раз я покумил с нейронкой в день выхода работающего на GPT-2 Dungeon AI в мае 2019 года. Того самого Dungeon AI, к которому фанаты стали делать опенсорнсный и локальный аналог KoboldAI, из команды которого вышел Жора, создавший llama.cpp.
Как это было? Ну кринжово. Тогда общение сводилось к примитивному описанию действий который делает персонаж в story mode и нейронка описывала. Создал я тогда постапок мир, походил по нему, потом написал нейронке что хочу найти тысячелетнюю вампиршу, разумеется сразу нашел, походил с ней, потом начал её домогаться, вроде получил что хотел(на уровне, разумеется, User kissed the girl, she blushes), но жанр внезапно сменился на какой-то ромком, а моя тысячелетнаяя вампирша стала 30-летней домохозяйкой и сюжет пошел вокруг приготовления пирога в нашем особняке. Разумеется тогда это пиздец воспринимался крешесносно.
Нашли, что ллмки могут успешно редактировать веса более маленьких ллм.
Несколько ллм:
квен 2.5 8б к4 кодер,
квен 3.5 9б,
гемма 4б,
гемма 12б,
новый йоба бонсай 27б
Как максимально правильно решить рабочую задачу, если ее суть - написать план рефакторинга и затем реализовать ее?
Да они и свои могут. Робот, ковыряющийся в своих же мозгах, ммм
За те 20 часов, что Астра потратила на редактирование весов в 0.8В модели, можно было бы тянануть на одной карте огромным датасетом.
Сунуть сотку в зубы дипсику и сделать все за двадцатку. С такими вводными бери хотя бы квенище 35б а3б. Основная часть будет в раме сидеть и все равно будет быстро.
дипсак р1 14b еще
утягиваешь кеши и включаешь модель помощнее
тебе промт может еще написать?
>>1744819
свои же не могут
Я только года 3 назад вкатился. Никогда не забуду момент, когда на мистрале немо из-за высокой темпы модельке ударила шиза в голову, и у нее начал протекать двачесленг в речи. Но не просто стиль поменялся, а как будто другая персональность подключилась. Вместо продолжения стори о том, как я сочно вставляю хуй в пизду какой-то вымышленной тянке, моделька начала троллить меня, типа "ахаха, дрочер, ты серьезно дрочишь на виртуальную тянку, ну ты и лох".
Я обычно критически отношусь ко всяким мистическим штукам, но в тот момент знатно пустил жидкого, подумал что кто-то удаленно подключился и начал срать мне в чат. Свернул нахуй эту шарманку и с ужасом забыл про нее до следующего дня
>квен 2.5 8б к4 кодер,
неюзабельно забудь
>квен 3.5 9б,
неюзабельно забудь
>гемма 4б,
неюзабельно забудь
>гемма 12б,
гемма12б внезапно сносно кодит но есть варианты лучше и у тебя 10гб карта, так что не вариант
>новый йоба бонсай 27б
неюзабельно забудь
Моя рекомендация для 10Гб карты:
CyberTiel 35-A3B, но только в 4 кванте, не ниже. По бенчам недалеко уходит от 3.8-27б. Скорость будет заебись.
Пока что самое большое что я кодил с этим тиелом - юайку для настройки параметров лламы, 1400 строк кода, 65 кб файл. Справляется хорошо. Разбиваю на мелкие задачи и контекст редко доходит до 50к, так что у меня он выставлен в 64к обычно.
пысы используй тиел35-а3б как и любые другие моэшки с новым жорой и настроенным моэ миб кэшом (стратоподобное ускорение), самую быструю настройкую найдешь методом перебора. в жоре включи агентский режим и все тулзы.
Согласен - какую-нибудь 5060Ti выгоднее брать хотябы потому, что это новая архитектура и они хорошую скорость дают
Да тот же уровень деградации. Исключения - квантованные с завода, там уже любая перекодировка вносит существенный импакт.
>>1744803
> against a llama.cpp Q8 reference
Это выглядит неоче оптимально.
>>1744811
Зато какая душа. Бля нужно сделать или на уровне движка, или на уровне фронта периодическое подмешивание логитсов старой модели, чтобы она слегка шизила и вносила хаоса, но современная модель все это обыгрывала сохраняя когерентность. Должна бомба получиться для ролплея.
>>1744816
Можешь попытаться попердолить орнита 35а3, но лучше просто затерпи и запусти квена 27, пусть медленно но он хотябы может с этим справиться. Если опыта с кодингом и харнессами нет - цэ конец, воспользуйся каким-нибудь антигравити с паджитской подпиской.
>периодическое подмешивание логитсов старой модели, чтобы она слегка шизила и вносила хаоса
Это делается нативно на любой модельке полным роспуском семплера и задиранием температуры до 1.5-2.0
Астра это делала почти без инструментов.
А так можно ли обучить не большую модель на некотором датасете, а потом мозги поправить схожим с этим образом?
ток цены ща невменяемые, я б докупил к своей но платить сток за резаную шину не впизду их, но натив фп4 конечно дает пососамбу плоскому к4 и в плане скорости и в плане потерь.
Если обычный порядок семплеров - все отсечется еще до температуры. Убрать и сильно задрать - будет капитальная поломка, поменьше - все равно сохраняется генеральная линия.
Там же суть не в рандомайзере токенов, а именно в тех самых вайбах и необычных связях, которые улавливали старые модели без кучи пост тренинга.
Правда серьезной проблемой будет контекст, только начиная с ламы 3.х что-то более менее поддерживается. Скользящее окно постов придется делать или нечто подобное.
>KoboldAI, из команды которого вышел Жора, создавший llama.cpp.
Вут? Жора вообще не был причастен к ЛЛМ движухе, он просто сделал C++ движок вообще для вишпера, а потом, когда вышла ллама 1, понял, что она тоже неплохо ложиться на ЦПП инференс на маке, ну и пошло поехало.
>>1744845
Можно, но думаю выгоднее пару дополнительных раз прогнать датасет обычный обучением.
>>1744845
Ну это же не прямое чтение весов, а аналитика на максималках. Также как кожаный может сделать анализ что идет куда и как примерно действует, ллм делает то же самое в куда большем масштабе. Банально чтобы добиться текстовой генерации, которая есть сейчас, нужно неебаться как уметь анализировать вход, а здесь частный случай.
Но сработает оно только в оче простых случаях и когда модель разрежена. Тут уже нужно отдельную сетку или входной адаптер строить чтобы именно нативно "читать активации" или анализировать веса, в теории это вполне возможно.
Ornith-1.5 122B попробуй. Внутри - квеногемма. Такой-то вин! Английский кум просто божественный. Здесь кто-то эир нахваливал, так вот эиру до такого уровня как до луны. Кодить тоже кодит, по бенчмаркам квен-флеш-некст оставляет позади. Русик средний но лучше чем в том же квен-флеш-некст. Чего еще надо?
>Ornith-1.5 122B
Это тюн 3.5 122В квена?
А у него длинный контекст не страдает? Как будто модели что научились не пускать слюни подходя к 100к контекста и вообще честно отрабатывать заявленные сотни тысяч контекста вышли только ближе к середине 26 года(дипсик4, музя глиммер, квен 3.8, глм 5.3), а квен 3.5 вышел сильно раньше, даже раньше геммы, которая пускает слюни уже на 60к.
Меня эта соевая рыба уже настолько заебала(и итт и в генерации), что я требую видео где её реально пускают в мясорубку.
та цены это отдельная часть марлезонского балета...
сейчас на все подняли, даже мишки дорого продают... так и знал что нужно было брать когда по 200 были...
а сейчас что не возьми оверпрайс - ну либо они боятся признать что доллар с грохотом упал....
но на РАБотке дали сейчас 5060ти16 так что не жужжу
Потерпишь. Когда мне синерыбные стикеры придут вообще весь тред ахуеет
Потише там, будешь охуевать - прогрею минимакс и реально твою рыбу на фарш пущу. Начну с того видео где мужик фиби чупи избивает и вставлю туда рыбу.
>а именно в тех самых вайбах и необычных связях, которые улавливали старые модели
Там скорее все прозаичнее - не улавливали связи, а их просто не было. Не успевали достаточно научиться, либо шумные данные сбивали с толку. Практически это будет соответствовать высокой температуре с высокой вероятностью странных токенов. Я пробовал на новом квене и гемме, по сути оно и получалось. Разве что датасеты сейчас более очищенные, совсем дурку из нижних интернетов не получишь. Но вывод будет крайне разнообразным.
Ну не просто тюн, там претрейн дополнительный. В описании у них нету "модель обсерается когда большой контекст", только это:
Ornith-1.5-122B handles context windows of up to 262,144 tokens. When a task's combined input and output must go beyond this limit, we suggest extending the effective window with RoPE scaling — YaRN is the technique we validate against, and it is already built into both vLLM and SGLang. With a scaling factor of 4.0, the usable window grows to roughly 1M tokens.
iq3_xss норм от анслота есть еще fajardc/Ornith-1.5-122B-GSQ-RCO-GGUF там типа iq3_s, я не пробовал
>В описании у них нету "модель обсерается когда большой контекст", только это:
А кто вообще в этом признается в карточке которая считай рекламный буклет?
Может мы гнобим человека из за внешности крысы и это неправильно
Есть же нормальная версия без половины вырезанных экспертов.
https://huggingface.co/ISTA-DASLab/DeepSeek-V4.1-Flash-1017-GSQ-RCO-GGUF
У анслота свой форк жоры куда анслот впиливает фичи и поддержки новых моделей часто быстрее чем жора. Плюс есть фичи типа гемма дифьюжн которых у жоры не будет никогда.
Отлично. Я уже заранее удалил всю 3.х квуйню с диска. И я не шучу сейчас. Оставил только тюны типа тиел, орнит.
>Чем хороши?
Выполнили задачу на которой квен-флеш-некст почему-то облажался. По бенчам орнит лучше квен-флеш-некта хз правда или нет, а тиел близок к 3.8-27 при том что работает побыстрее на средненьком пк.
>квен-флеш-некст почему-то облажался
Вот даже МоЕ не прям маленькие обсираются, рано хоронить денс. 27б калаш мира ллм.
И это на KV кеш q4_0, опустив с q8 предыдущих. Сложилось впечатление что это сильно ей по мозгам дало, за сравнительно короткую беседу штук 7 ляпов грубых допустила.
показывай все ключики и укажи номер билда.
обосру и покажу как ускорить
>квен 235
Да, сидел на нем в 5тпс одно время, даже с ностальгией вспоминаю теперь, но флеш на страте это простьо разъеб, думаю qwen 4 120b будет вином тысячетелетия
>qwen 4 120b
Никаких гарантий что 4 флеш будет в том же размере, что и флеш некст. Вполне могут выкатить 700b бегемота, чтобы не отставать от дипсика, и назвать это флешем.
Я на анслофе если что, последней версии и с rocm на вулкан переключился. На rocm вроде чуть-чуть побыстрее генерация токеном, промпт +- так же но крашится иногда.
Мануально слои и прочее уже дергал, консультируясь с гугловским ии-дебилом, по скорости получалось +- так же или хуже.
рузен 3600 + 32 рамы + 6650xt железяки
И внизу не влезло mmap/mlock на mmap, чекпоинты и кеш рамы на auto
С ML студио да этого пробовал где более детально все можно настроить, работало помедленнее анслофа.
Основная бутылка в скорости поцессинга промпта, 10-14ток\сек дальше юзабельно.
Нахуя батч сайзы в 1 поставил ебан что ли. Конечно будет долго процессить бля. Не помню сколько гемме надо там 1024 256 что ли. Для начала вообще убери
q4_0 - говно тупое, хотя бы q4_1 возьми но лучше ниже q8 не лезть если хочешь какчества
и вместо q4_k_m скачай iq4_xs это должно влезть в 16гб полностью и на контекст останется.
можно и на q4_k_m сидеть но тогда лучше жору новую с моэ-кеш настройкой. у тебя сейчас некоторые нужные эксперты в видеопамяти, а некоторые в рам и это рандомно. новый жора это фиксит и получаешь ускорение.
но я бы просто качал iq4_xs тогда и кэш никакой не нужен
чекпоинты и кэш рамы с геммой на авто нельзя она так выжрет всю оперативку пока будешь новые чаты создавать. чекпоинтов 1 или 2, кэш - поставь 500-1000 мб, больше не надо
mmap должен быть none с геммой afaik
>>1745021
Сука вы оба ебанаты тупорылые какой 4 квант нахуй что кеша что самой геммы у тебя 32 рам есть качай 6-8 квант че ты вообще делаешь мудак сраный.
В обоссаной анслоп студии когда жора для дегенератов сделал fit on по дефолту даже ничего нестраивать не надо пускаешь слюну вводишь контекст и полетел сука рвёт с таких мудаков
По умолчанию батч вроде бы 4 стоял, гугловский дебил посоветовал попробовать поменьше.
С q4_0 попробую обратно с q8, действительно ощущение было просадки по качеству.
>жору новую
Жора это анслоф же так называете?
v0.1.913-beta версия
b119850mix0c116c32 ллама
>она выжрет раму без чекпоинтов
Мне достаточно одного чата пока, по памяти вроде стабильно ничего не протекает.
>mmap none с геммой
Пробовал с none, в плане распределения памяти похуже было хотя особой разницы на деле не ощутил.
>>1745025
А меро-меро вроде только q4 или я в глаза долблюсь, а посоветуй тогда для нуфагов на что именно смотреть, с анцензом.
если что у геммы очень плохо квантуется контекст, ниже q8 не опускай.
>>1745033
страты полистраты майя тебя уже не смущают?
https://huggingface.co/zerofata/G4-MeroMero-26B-A4B-gguf/resolve/main/G4-MeroMero-26B-A4B-IQ4_XS.gguf?download=true
долбишься в глаза
жора это llama.cpp. свежая версия 12023 или около того
у анслота свой форк жоры, не уверен что там есть настраиваемый кэш экспертов в видеопамяти. это важно если у тебя квант не лезет в видеопамять полностью.
не слушай обмудков, гемма нормально в iq4_xs болтает, 6 квант ок, может быть заметишь разницу но не существуенную, 8-й - перебор, с 6-м квантом разницы почти нет.
>1-3 минуты
>минут 10-12
Что блять? У меня на моем корыте геммочка умничка в 5 кванте рожает ответы за 15 сек. Ставь ламу и таверну.
У анслота свой форк жоры куда он впиливает поддержку новых моделей почаще чем сам жора. К тому же, анслот хорошо навернут в плане ассистентства, в веб поиск умеет, голос легко подключить, агентские обвязки можно переключать. В жоре агентский кодинг тоже норм в принципе, но там самопал, в анслоте получше. А еще в анслоте можно квантовать не выходя из интерфейса. Можно сейфтензоры гонять. Можно тюнить модельки (элементарно вообще, без кодинга, просто датасет составь ну или скачай). Анслот это просто пушка и ставится в один клик и модели можно качать прямо там (в жоре это только на днях появилось и корявенько). А всратый кобольд рядом с анслотом упоминать это дурной тон.
ну мы про контекст, веса хоть q1 запускай. но для мелкомое все таки ниже q6 лучше не брать, там урон сильнее чем для плотных.
>>1745006
>60% загрузки цпу+гпу
вот кстати у тебя карточка недогружена. эту проблему решает полистрата, попробуй её
Че думаете СТАНЕТ ДЕШЕВЛЕ? Не плачьте потом что опять кактусом давитесь
>Жора это анслоф же так называете?
Ты дебил? или прикидываешься? или ньюфаг залетный,
жора это жора llamacpp в чистом виде
тому що автор лламы Жора Герганов
вот исторически и сложилось
вообще исторически по автору и TextGenerationWebUI угабугой называли
>вам известно что через пол года выйдет гемма 5 ~150б моеха
Хуй знает, лично мне неизвестно. Гемму 4 120б ждали и где она?
Но 64 рам я уже купил, как минимум потому что уже есть qfn и ornith. А под невышедшие что-то брать ну такое.
Ты верно думаешь что пошутил?
Там кабаны уже полноценными днсами себя считают
>ниже q8 не опускай
Принял, тоже хотел в целом на q8 откатить
>>1745033
В предыдущем треде посоветовали. Слопа меньше ощущатся чем в лм студии.
>>1745036
>жора это llama.cpp. свежая версия 12023 или около того
Сенкс, по дефолту только слои на гпу\цпу можно выгрузить слайдерами в слофе.
>>1745037
Потестирую с батчами как сказали выше, крутил от дефолта + советовался с гугловским ии-дебилом, он просил меня попробовать с минимальным значением. По статистике за ~20 часов
>>1745049
Слышал много хорошего но я как понял она только под конкретные заточки-модели норм работает.
Статистика пикрил подробная, и пример из последнего чата на 66к токенов с q8_0 статистика последнего реплая нейронки. Для кума всякого надо быстрее.
Попробую с вашими советами еще покручу, спасибо :3
так закон рынка же, если берут и за такие цены, то цену поднимают.
ставишь плашку за лям, если не берут - снижаешь на 1к и так до тех пор пока не начнут покупать.
вы че в линяге никогда не торговали?
>с гугловским ии-дебилом
АХТУНГ! Юзай жирную синею китайскую жену! Она главная вайфа тредика.
Пиздос.
Я короч факапнулся и год назад взял 32х4. А потом оказалось что мой 9950x3d не тянет такую конфигурацию на околокосмических скоростях.
Теперь хочу поменять на 64х2 с минимальной потерей в деньгах. Но кажется ХУЙ мне.
> конкретные заточки-модели
скорее под конкретные кванты. так то в полистрате есть поддержка Gemma 4 26B-A4B
https://github.com/VecSzn/PolyStrata/pull/83
--custom-gguf
>>1745087
тебе проще проц с материнкой под память поменять, лол
Мимочка писечка девочка - выбираю тебя.
GLM-4.7-Flash-Uncen-Hrt-NEO-CODE-MAX-imat-D_AU-Q5_K_M
Играю с этой, охуенная штука
Я хотел апнуться на 9070хт но в кресле стоматолога сказали что карточка им нужнее(
>>1745058
Нуфаг
>>1745084
Руки пока не дошли но я помню, что советовали. Смущает, что там надо акич регать а по гуглу заходить не очень хочется братушкам узкоглазым показывать его.
В последние несколько дней ходили слухи, что Qwen4 станет последней серией соревнований в открытой весовой категории в рамках Qwen, а будущие серии будут проводиться только с использованием API. Следующее заявление опровергает слухи и четко излагает позицию, которую компания Qwen занимает в отношении своих будущих релизов.
Глава Qwen Лю Дайи Хенг четко заявляет: будущие версии Qwen 4.0 и Qwen 5.0 по-прежнему будут иметь открытый исходный код!
Он считает, что ценность ИИ не должна принадлежать только нескольким людям, а должна стать основополагающей возможностью, к которой пользователи по всему миру смогут получить доступ, использовать и создавать, что позволит большему количеству людей позволить себе ИИ, эффективно использовать ИИ и участвовать в создании ИИ, в конечном итоге достигая настоящего ИИ для всех.
https://www.reddit.com/r/LocalLLaMA/comments/1xm28e6/official_statement_qwen_models_will_stick_to_open/
там в комментах есть список моделей которые алибаба не выпустила в опенсорс
https://www.reddit.com/r/LocalLLaMA/comments/1xm28e6/comment/19s1lktawdz2b/
ну посмотрим. так то стратегия выпускать умные маленькие квены чтобы поднасрать корпоратам на западе - вполне рабочая.
Да и будущее ИИ все таки за локальными моделями, а не пейволами
Дурачок что ли? Это 30б-а3б. Очень тупит по сюжету, бесполезное говно. Тот ультрашиз про 5.3 флеш 320б-а18б говорил. А ты попробуй глм-4.5-эир если нищук.
для повседневки да, а хуярить харнесс с миллионом агентов и вагоном контекста тут уже простите нужны облака
Так речь не про все модели алибабы, а про квен. А когда захотят сделать свои ллмки закрытыми то просто начнут выпускать их другим названием лол.
Я начинаю думать что в треде орудует какой то троляка или аутист. Малыха мимы лупится как хуй знает что.
Глм флешуру же относительно стабильный на Q2, позитивный что пиздец, из за чего приходится ебаться с префилом ризонинга- но все еще остается ЖЛМ.
так это уже для бизнеса больше нужно.
а бизнес может купить 10-20-30 RTX6000 и накатить на них квены\дипсики\глм
по цене может выйти дешевле чем антропикам платить и видеокарты потом продать можно будет.
>Да и будущее ИИ все таки за локальными моделями, а не пейволами
У локальных моделей своя ниша будет, например чтобы роботы думали самостоятельно, а не через интернет. А фронтиры которые влезают только в датацентр никуда не денутся, их будут продолжать развивать закрытыми для публики, для военки и правительственных нужд, да и наверняка уже сейчас есть такие у США, какой-нибудь Клод для Пентагона версия Скайнет...
>что-то типа текущего флеш-некста?
Далеко не факт что следующий флеш останется в том же размере, а не удвоится, например.
Имхо 27б надо в топку. Хз зачем они его продолжают выпускать. На том же 16+64 квен флеш некст будет быстрее и умнее. А ты чего хотел я не пойму, 9б что ли. Какой с него прок.
>теперь нужно минимум 16 врама + 64 рама минимум
Так уже давно так, скоро новой минималкой станет 128 рамы.
>стабильный на Q2
Это какой размер памяти вообще? 16 96? То есть мимо ты запускал в таком же лоботомитном кванте, а квантуется он хуже, отсюда и лупы
> квантуется он хуже
Пон. Тогда вопросы снимаются. А то это и правда какой то пиздец. Он отвратительно в нищекванте работает.
Так что флешка выбор нищеты.
Но опять же. Если ты можешь эти модели в Q4-Q5 катать, не лучше ли прошки тогда тыкать.
>_> хмммм
Ну так нищекванты от 24 128 начинаются, а то что у тебя это копиум кванты.
Не задевай мои нищуганские чувства. Кыш, кыш, кыш.
Всем достаточно и 106гб квантов.
Бедная рыбка, за що ее так? Она же умница.
>>1744889
Фумошку заказал?
>>1744895
Характер шума другой. И за отсутствие связей передергиваешь, они достаточно точно понимали настроение, тематику и область куда все идет, просто спамили сырыми ассоциациями включая дурку. А выкручивание температуры это будет дурка другого рода, или каломаз без выбора, или прямо поломка. Хз, скептическое отношение, может и не так.
Апгрейд до 96
>>1745087
На амд в целом похуй, там и 4 планки пободрее гонятся, и из-за шины все равно высоких скоростей не получишь. За замену только переплатишь и получишь то же самое.
>>1745114
Он сильно старался его раздуть чтобы выглядел внушительнее. Но по сути там почти все - некрота и сомнительные эксперименты, реально жалко вана и аудио модель.
>>1745117
> Да и будущее ИИ все таки за локальными моделями, а не пейволами
База. Так-то за такое даже заплатить не зазорно, но все куда попадает что-то персональное и чувствительные данные должно быть локальным. А не рафинированным анальным зондом, который записывает все, указывает как тебе действовать и думать, банит и отжимает твои деньги за неправильное мнение и форму черепа.
>>1745119
Так возьми локалочку помощнее и все.
Ну 9б силен для своих-то размеров. Плотняки с каждым годом становятся раза в 2 лучше прошлого года. С каким-нибудь гпт-осс 20б я думаю вполне может потягаться даже.
Если продолжат улучшать, то будет вообще пушка, особенно для каких-то микро-задач.
>И за отсутствие связей передергиваешь, они достаточно точно понимали настроение, тематику и область куда все идет, просто спамили сырыми ассоциациями включая дурку.
Настроение, значение слов в рамках предложения - это все могут, это просто. Но чем выше абстракция и сложнее конструкции - тем проблемнее их выучивать и понимать структуру. Отношение фактов между двумя соседними предложениями. Отношение фактов между соседними абзацами и т.д. Это про те самые трусы, которые вновь возникают, и вновь моделька пытается их снять.
> это все могут, это просто
Ну не, особенно если брать модели поменьше там вариативность очень хромает, а приоритет сильно перекошен в сторону более конкретных и прикладных вещей. Трусы оно запомнит, но будет общее направление сюжета и остальное упрощать или подгонять под свой дефолт. А так получится расшевелить, внеся где-то чуточку хаоса, где-то упорядоченное разнообразие.
> Отношение фактов
Основная модель никуда не девается и за всем этим проследит, читай исходную идею.
Даже >>1745183 об очевидно обосранной модели, об которую все вытерли хуй сразу после выхода и забыли, шизики уже подхватили нарратив про скилл ишью.
>KV кеш q4_0, опустив с q8 предыдущих
Попробуй опустить только V кеш, может быть хватит и не так отупеет.
>>1745018
Мне кажется промпт процессинг медленный у всех кто не влез во врам целиком.
>промпт процессинг медленный у всех кто не влез во врам целиком.
ну да, оно в принципе не фонтан даже во враме в квантированном виде около 500-600 токенов в сек, тысячами в топку только всякие фп4\8\16 могут кидать потому что им декодировать не надо, но это уже блэквел и дорого
Я наверно оставлю q8_0, в целом с ним работало и аже при визуально хуевом распределении ресурсов по диспетчеру задач, там разница между лучшим и авто вариантом с q8 в 0-2т\сек получалась. С батчем я реально видимо проебался, поспрашивал гугловского ии дебила, он похоже думает, когда вопрос про batch size пишешь, что это количество реквестов на сервер, а не сколько токенов за раз закидывается про что вы мне пишите, что минимум 1028 надо пробовать.
Попозже руки дойдут и потестирую. Буду писаться кипятком, если хотя бы с 60 до 30сек среднее время до первого токена сбросить так можно.
Значит ты запустил моешку уровнем сильно ниже того что реально можешь запускать.
А просто и нет никакого шиза. Просто так и есть.
Либо гемма, либо эир, нет ничего между и даже за их размерами.
На 24гб врам есть гемма. На 64 рам есть эир. Дальше уже надо 24 врам и 128 рам, очень желательно ддр5, для глм 4.7 во 2 кванте, что абсолютно того не стоит. А дальше идёт 512 рам в каком нибудь 12 канале.
С релизом 5 геммы, если это тренилось на аргоне, не будет смысла в чём то ещё.
Заказал. Нашел которая мне нравится
>>1745236
> куча рамы или видюха больше 12
Литералли каждый второй
Какая-то хуйня вышла если честно... 7.4\8 врамы и теперь 11.9 пошареной gpu memory стало (до этого было 1.1) показывать.
С ручным батчом видюху погружает на 100% при отсылке промпта, при генерации ~70% видюха 50-60% проц. Скорость генерации падает с 10-11т\с до 6. С авто видюха на ~90% грузится скачками (пилой на графике), чуть-чуть побольше токенсов на ~0.5.
Выиграл ~10-20% в скорости процессинга но в 2 раза рухнула скорость генерации и по итогу почти в 2 раза дольше выплевывает ответ.
При том нейронка прям с ума сходит в ризонинге (в систем промпте ей прописал чтобы она из персонажа не выходила) что я ей мета-комменты прошу уровня "тестирую скорость" и начинает циклично себя корректировать, раньше такого не наблюдал.
а система ее не штрафует за повторения? при ризонинге она постоянно повторяется и возвращается к предыдущим мыслям, при штрафе у нее крыша едет.
Если ты анон с
> 32 рамы + 6650xt железяки
то такой скорости у тебя быть не должно. Там без проблем будет 20-30 t/s с MTP, особенно если квант Q4_K_M с нормальными настройками, еще и нормальный контекст влезет тысяч на 100.
Лучше не трахать мозги и спокойно поставить llama.cpp и дать ей раскидать слои нормально самостоятельно.
llama-server --model "path" --model-draft "mtp file path" --spec-type draft-mtp --spec-draft-n-max 2 --load-mode none --temperature 1.00 --top-p 0.95 --top-k 64 --ctx-size 50000 --swa-checkpoints 3 --cache-ram 0
Что-нибудь вроде такого для начала. Контекст потом повысить если свободное место будет, хотя для РП на MoE Гемме не так много смысла ставить жирный контекст, она все равно начнет тупить тысячам к 60-70.
кидать мое модель в раму на голом цпп\лм студии так се идея, монолиты это легко переживают но мое тормозят
> кидать мое модель в раму на голом цпп\лм студии так се идея, монолиты это легко переживают но мое тормозят
Так кто её кидает в RAM? При таких параметрах llama.cpp в первую очередь откусит кусок VRAM под контекст, потом забьёт оставшуюся VRAM и после этого всё что не влезло отправится в RAM.
Что там лмстудия делает не знаю, никогда не юзал её.
лм студия просто гуй жоры по сути.
ну правильно, только архитектурно денс это слоистый пирог который выполняется последовательно и тормозить будут только те слои что в раме, а мое это россыпь семечек в кармане которые дергает роутер по надобности и ты получишь тормоза на каждом слое.
Тормозить с денс моделью у тебя будет всё если хоть один слой находится в RAM потому что он дёргается при расчёте каждого токена.
А с MoE дергаются только нужные слои и даже при их нахождении в RAM просадка скорости там будет незначительная.
По твоей логике денс модель с выгрузкой в RAM должна быть быстрее чем MoE с выгрузкой в RAM, не знаю даже откуда ты это взял.
Я сейчас могу просто запустить на своих 16GB VRAM 15.2GB ггуф 27B Квена с контекстом 30к и получу скорость <10t/s потому что это всё занимает 16.5GB VRAM.
При этом я могу запустить 32GB ггуф 35B Квена разделив его на VRAM+RAM с контекстом 150к и получить скорость 40t/s.
>При этом я могу запустить 32GB ггуф 35B Квена разделив его на VRAM+RAM с контекстом 150к и получить скорость 40t/s.
причем в случае ванильной лламы, если какого то эксперта не оказалось на врам - то считается в рам
а в случае со стратой у тебя будет больше 100tps потому что там другая логика - если эксперта нет в врам, то он заберет его из рам и посчитает на врам
см по утилизацию GPU, если меньше 100% - то видяха простаивает в ожидании CPU
Да вроде нет, как раз 3-5 раз потупит в цикле "мне дали в промпте мета-коммент но я должна отыгрывать в персонаже и мета коммент не по обозначенной структуре, придумаю как в персонаже ответить придумывает ой не пойдет меня же мета-коммент спросили" и начинает сначала.
Проверил бы еще в персонаже как ведет себя, но по 5-7 минут нереально на каждый промпт тестить.
>>1745265
>Если ты анон с
Да.
Мне кажется вы меня где-то наебываете или меру-меру насрано где-то а скорее всего у меня что-то еще.
Попробовал с ламой с твоими параметрами и с вариантом без -swa-checkpoints 3 --cache-ram 0. Во втором пошареная рама 1.1гига и чуть-чуть быстрее как будто бы работает.
С твоем варианте пикрил.
Это все с систем промптом на 484 слова 3470 знаков, в токенах ~630
С голым раном без системп промпта +1 т\с.
+- тоже самое что в лучшем варианте мануального дерганья в анслофе. Или ~60сек обрабатывает промпт но генерит на 10-13т\сек или на ~17-20сек быстрее обрабатывает но падает скорость до 6-7т\сек.
Ты тролль? У тебя на последней ламе, с моешкой, по дефолт промпту в таверне будет 900 токенов в сек, 40-50 символов
вместо context-size используй --fit=on --fit-ctx=30000
я не вижу полного списка аргументов, но из того что вижу - у тебя нет раскладки экспертов в gpu
Вот мои параметры, я по рофлу запускал на RX580, норм жарило. если что у геммы очень толстый контекст и 50к уже многовато
[Gemma-4-26B-A4B-it]
model = gemma-4-26B-A4B-it-heretic.Q4_K_M.gguf
no-mmap=1
fit-ctx=30000
fit-target=128
fit=on
ctk=q8_0
ctv=q8_0
parallel=1
>При этом я могу запустить 32GB ггуф 35B Квена разделив его на VRAM+RAM с контекстом 150к и получить скорость 40t/s.
через стратоподобное что то да согласен, втупую распилив модель как денс нет.
В обычной llama.cpp. Я не юзаю страту или что-то другое что щас в тренде.
Я нуфаг. Таверна как я понял это же просто морда, под капотом та же лама должна быть? И меру-меру вроде как и есть моеха как я понимаю.
>>1745287
>--fit=on
Такого вроде нету в последней ламе, ругается на инвалидный аргумент с --no-mmap
llama-server --model "C:\Users\.lmstudio\models\zerofata\G4-MeroMero-26B-A4B-gguf\G4-MeroMero-26B-A4B-Q4_K_M.gguf" --spec-draft-n-max 2 --temperature 1.00 --top-p 0.95 --top-k 64 --ctx-size 50000 --swa-checkpoints 3 --cache-ram 0 --no-mmap --fit on --fit-ctx 30000 --fit-target 128 -ctk q8_0 -ctv q8_0 --parallel 1
Без вот такая ебала получилось на запуск, я все правильно понял? Получилось на 2т\сек хуже.
В общем я примерно понял что нихуя не понял и надо тестировать с другой сеткой и вся проблема в меру-меру похоже.
>На том же 16+64 квен флеш некст будет быстрее и умнее.
А на 16+16 или на 32+32?
Да ладно, не рассматриваешь вариант что у кого-то железо более-менее актуальное и способное скорость давать а не зион х99
>--no-mmap
ну загуглил бы, я то глянул конфиг от старой лламы,
сейчас это --load-mode none
Модель Anima, использую лору для генерации по референс картинке https://huggingface.co/0ppxnhximxr/snapref-v1a воркфлоу от туда, настроил в Комфи, добавил лоры по вкусу, сохранил свой воркфлоу, дал задание Квену Флешу Нексту чтобы переделал мой воркфлоу для Таверны, он пошуршал немного и положил сразу в папочку Таверны, говорит пользуйся.
>--load-mode none
Да я загуглил, хуйня все равно тоже, даже хуже стало на почти 2т\сек.
Можно смело говорить, что дело не в прокладке анслофа-ламы а где-то глубже. Есть смутное предположение, что в фоне всякая хуйня тип хрома + второй экран откушали экстра мегабайты врамы и они какой-то нереальный импакт дают, но сначала надо потестить с другими подельками. В идеале бы конечно со стоковой + 11й виндой или линупсом полным, но на такие подвиги я не готов и нету дисков свободных.
Истории по 60+ на таком железе с 26б моделькой кажутся сказкой пока что.
Сколько у тебя токенов во время генерации и символов в сек? Сделай замер на 5к контекста.
Ну и из-за того что приходится в памяти держать сразу две модели то выбор ллмки сужается до Геммы 26б, а ее долго уговаривать не надо, сразу прыгает на тебя, но ее возможностей достаточно чтобы писать промты для Анимы.
А ну еще промт для генерации по последнему сообщению для Анимы спиздил с реддита, а то дефолтный промт в Таверне заточен для каких древних сдхл:
Ignore previous instructions. Your next response must be a prompt to generate an image of the last message, written in natural language, to be used with modern AI image generation models. The list will describe of the visual details included in the last chat message.
mention characters by their names and make sure to include their detailed physical description (if any) in the prompt.
Ignore non-visible things such as feelings, personality traits, thoughts, and spoken dialog, but keep attitudes
Include the relative physical positioning of the characters to each other,the primary act taking place in the last chat message, If character actions involve direct physical interaction with another character, mention specifically which body parts are interacting and how.
Mind the characters and objects positioning: create a prompt without impossible positions and remember it has a single point of view. If the entire last message can't be captured in a single point of view, choose the view that expresses the more relevant actions
как и в конце показывает - 5-11т\сек когда генерирует, без пиков\падений. По предыдущим тестам в анслофе на самом быстром варианте контекст ставил 25к, ~13 в начале беседы и к 19к беседе до 10т\сек падало, думала по 80сек пред первым токеном под конец. Пару раз вылетели и повторно загружалась первый раз минут 5 шерстя всю беседу заново и второй раз около 12 минут.
>>1745348
>у тебя скил ишью
Да. Залей прям название файлика и все параметры, я затестирую.
Замеры на линухе безголовой
перейди на встройку, а видеокарту используй только для нейронок. у тебя без llama видеокарта должна быть пустая
>раз минут 5 шерстя всю беседу заново и второй раз около 12 минут.
Если ты играешь с МоЕшкой и ждешь момента пока она начнет печатать свое сообщение дольше 10-15 сек, то что то явно не так. Это плотняк может с размышлениями пропердываться, а умница геммочка сразу должна строчить, в этом ее и сила.
Если у тебя видюха больше 8гб и рамы больше 16, то точно есть траблы с окружением.
У меня 3600 рузен, в нем нету встройки.
>>1745384
Да я хуй его знает как надо, я же нуфаг, примерно только понимаю немного как куда чего и положняк какой куда. Щас попробуем как у анона выше и модельку и параметры.
Может в винде дело по итогу, у меня 21h2 ltsc 10ка.
Хочется тебе помочь няша, но я сейчас тру хвостик своей геммочке...
>>1745393
Да не переживай, с великими инторнетами оно только к завтра будет готово, а пока наверно пиво пойду пить и сосиски жарить к нему. А геммочке уже потом что-нибудь потрем, но ниже q8_0 действительно спускаться не стоит, она сильно тупеет, пересмотрел щас чатики, небо и земля.
RTX4050 на 6 гигов и 16 гигов оперативки.
Затолкал в нее gemma-4-26В-A4B-q4_k_m
Выжал ~15 ткс
Меня устраивает, но может есть что альтернативное?
>llama-server --model "path" --model-draft "mtp file path" --spec-type draft-mtp --spec-draft-n-max 2 --load-mode none --temperature 1.00 --top-p 0.95 --top-k 64 --ctx-size 50000 --swa-checkpoints 3 --cache-ram 0
Вот кстати, чуть не у каждого первого, кто здесь пишет командную строку для ламы - в ней этот самый --cache-ram 0
Это мем какой-то, или гейткипинг? Нет, когда памяти вообще нет - ну логично еще. Но ведь когда там хотя бы 32 рамы, выделить из них ~16 под уже просчитанный кеш контекста - это сильно срезать себе количество его пересчетов, и следовательно - потраченное на них время. Не? Или там баг какой-то был и прикипело к привычкам из-за него? У меня через этот ключ выделение памяти под кеш сильно ускоряет общий процесс в opencode...
для твоей конфигурации 15tps вполне хорошо. радуйся жизни
можешь попробовать еще неплохие тюны на кодинг
Mellum2.1
CyberTiel 35-A3B
или даже замахнуться на qwen flash если памяти хватает
>35б наверное уже не так критичны.
критичны
на среднем ноуте 122б хер запустишь, а 35б летает
> Но ведь когда там хотя бы 32 рамы, выделить из них ~16 под уже просчитанный кеш контекста - это сильно срезать себе количество его пересчетов
Ну у меня 32+16. 26 сама модель в Q8_K_XL, 130к контекста, 6-7гб занимает винда+браузер и при этом иногда нужно запускать виртуалки которые тоже жрут по 4гб. Даже 8гб выделить под кэш уже проблематично. Было бы 64гб - убрал бы.
как же вы ебетесь с этой таверной уму непостижимо, кум у вас начинается на этапе настройки древнего говна.
зачем? когда все уже настроено и в Орбе, и в маринаре энджайне и достаточно скормить им апи из ворфкфлоу. они и селфи вам генерить сами будут по контексту и иллюстрации
правда анима для этого не лучшая модель, у нее энкодер на 0.6b он поймет "нарисуй девочку с розовыми волосами и кружечкой" но обосрется если девочке понадобиться взаимодействовать с окружением или в сцене появятся другие персонажи, обосрется если захочется какой-то особый ракурс.
сейчас модно с moss-image генерить
Фулл дефолтные автонастройки
Prompt eval 74.36s
Prompt speed 12.6 tok/s
Generation 55.01s
Speed 8.3 tok/s
Tokens 459
First token 74.88s
Total 129.53s
Chunks 455
q8_0 с дефолтным мемори настройками на vram бюджет 97% + 2048 батч сайзом и mmap\mlock на авто получилось
Prompt eval 62.86s
Prompt speed 14.9 tok/s
Generation 100.79s
Speed 6.7 tok/s
Tokens 678
Draft accepted 95 / 128 (74%)
First token 63.32s
Total 163.76s
Chunks 67
Нашел что можно прям в анслофе ебнуть аргументы на ламу сервер и скопипастил предыдущий сетап из олламы c:
--spec-draft-n-max 2 --temperature 1.00 --top-p 0.95 --top-k 64 --ctx-size 50000 --swa-checkpoints 3 --cache-ram 0 --load-mode none --fit on --fit-ctx 30000 --fit-target 128 -ctk q8_0 -ctv q8_0
Получилась тоже хуета.
Prompt eval 60.86s
Prompt speed 15.4 tok/s
Generation 172.76s
Speed 5.1 tok/s
Tokens 876
Draft accepted 34 / 55 (62%)
First token 61.51s
Total 233.74s
Chunks 868
Что это?
mmap, 16 слоев на гпу и 30 мое слоев на цпу, сразу в 6 раз быстрее
Prompt eval 11.74s
Prompt speed 79.8 tok/s
Generation 54.01s
Speed 11.5 tok/s
Tokens 621
First token 12.15s
Total 65.88s
Chunks 616
без mmap/mlock с такой же раскладкой слоев получается еще в 2 раза быстрее примерно
Prompt eval 5.60s
Prompt speed 167.1 tok/s
Generation 69.61s
Speed 11.6 tok/s
Tokens 808
First token 6.03s
Total 75.35s
Chunks 797
Врама при этом 3.3гига. И че это получается вообще? Типо заебись лучше не придумать или мне еще подрочить комбинации мое слоев и слоев на гпу? а в какую сторону, чет не могу понять, я понимаю что где-то в памяти бутылка на какой-нибудь шине и если об нее споткнуться кирды наступает.
Алсо нет ли подводных камней если кто знает на эту тему где-нибудь закопанных в биосе? Я разогнал себе память дол 2933 почти ничего не трогая, но вдруг там какой инфините кеш иил чет другое сильно стопит процесс?
Зачем ты в ручную крутишь когда лама сама все четко разбрасывает?
Хочу понять примерно как работает и что меняется + ввожу изменения постепенно меняя 1-2 настройку в одном и том же окружении чтобы понимать изменения. лама сложно пока что а тут можно мышкой крутить
>лама сложно
Наоборот, ты чего! Тебе по базе нужно всего пара настроек. Не забывай у кито-жены спрашивать.
Вот примерно таких:
-c 32768 -fa on -rea off -lm none -np 1 -ctk q8_0 -ctv q8_0
Из нового еще подвезли --moe-cache-mib 1024
игнорь этого шиза
Ну, я подумаю, уже какой-то минимально прогресс есть.
>>1745480
В такое кунг-фу пока не умею но уже думал, что было бы клево запрячь компоктер сам себя гонять и мне потом за ночь результаты скинуть.
анслопе
>>1744918
на лламе бесполезно запускать если не лезет в врам, только страта? в полистрате ее кажется нет.
"And we're gonna load the model... so the qwen 3.8...", ладно, думаю, посмотрю как хоть он на 2х5090 будет гонять. Смотрю в монитор и вижу - Q4K_M, 260к контекста, 40гб врам (по мнению лмстудио). Всё. Пиздец. На этом моменте меня хватил гомерический хохот блять. Ну неужели там не нашлось ни одного хоть немного понимающего человека? Зачем блять? Почему блять? У нас в треде - любого кобольда спроси, он и тензоры выгрузит, и впихнёт невпихуемое, а тут...
Ла и ладно, хуй с ним, техноблохеры всегда были техноблохерами. С горем пополам запустили, и вот, момент истины, 600 префилла и 10 генерации. С МТР БЛЯДЬ! "local models are really slower..." - Криворукий уебан, который не справился с управлением жоры и решил, что qwen 3.8 27b Q4KM это заебись, у вас слоу, в развитии. Умственно отсталый, я бы даже сказал. По какой, сука, причине, нельзя нормально разобраться в теме?
Почему у меня так полыхает? Да потому что я не выдержу объяснять очередному дураку в ИРЛ, посмотревшему такое говно, что локалки не бесполезные, и не медленные, и что оллама, вместе с лмстудио - говнина ебаная.
>или мне еще подрочить комбинации мое слоев и слоев на гпу?
попробуй поставить 20 слоев ГПУ
и можно играть с числом тредов на процессоре (тоже иногда влияет)
по типу -ngl 20\ -t 12\
еще надо поставить последний драйвер на видюху (у амд с этим вечно проблемы, старые совсем не работают)
Есть вариант запуска с lemonade - родная амдшная среда для запуска (довольно удобная кстати), лучше работает с амд картами если выбирать запуск моделек под Vulkan
глупый тут только ты
наверняка он прекрасно знает что и как запускать на 2х5090
но зачем делать один ролик, если можно сделать три ролика
а вот llmstudio
а вот нормальный квен
а вот теперь strata
а теперь еще и настроим нормально...
и т д
>техноблохеры
Да они все такие, тот же Прохайтек, набрали тоже всякого железа для нейронок, там RTX Spark и AMD 395+, начали тестить их на играх, на Немотроне 3, на Гемме 12Б, ОСС 120Б, и какой-то Лагуне-с, и тоже все через ЛМ Студию.
https://www.youtube.com/watch?v=3Wn_PospMjg
Может быть, конечно, это будет серия роликов, но даже с таким посылом, техноблохеры не выглядели сильно увлечёнными только саму сборку было относительно интересно посмотреть, зритель подумает о том, что локалки - хуйня и забудет про это видео, не кликнув на следующее.
Тем не менее, тейк про людей, у которых это вызовет отторжение от локалок, остаётся открытым.
>Дядя Гена, услышал, что мы крутим локальные ллм
>Дяде Гене стало интересно, что это такое
>Дядя Гена посмотрел видос, понял, что это полная шляпа
>Дядя Гена распространяет среди своего окружения, что локалки - хуйня и ни на что не годятся. Теперь нужно переубедить не только дядю Гену, но и его окружение.
В каком-то смысле может это и хорошо, ведь дядя Вася не пойдёт собирать на авито ништяки, значит, энтузиастам больше достанется.
причем в лм студии для дебилов даже почти все аргументы для жоры написали
Я уже попробовал с 20ю слоями на гпу но как будто хуевее получилось. Треды тоже тыкал еще в лм студио, особого эффекта не было, по дефолту судя по виду 6-8 берет.
Драйвер последний, обновлял как раз недавно.
С лимонадами спасибо, погоняют.
Еще думаю попробовать посмотреть разницу вулкан vs rocm при тех же настройках. Но это все потом, заебался уже. Еще заметил, что при некоторых настройках, которые работают лучше, и сама моделька заметно быстрее, в разы быстрее грузится в память. А со стремными настройками по 30-50 сек загружаться может.
n_tokens = 4096, progress = 0.48, t = 5.44 s / 752.65 tokens per second
prompt processing, n_tokens = 6144, progress = 0.72, t = 8.09 s / 759.69 tokens per second
prompt processing, n_tokens = 8192, progress = 0.96, t = 10.82 s / 757.42 tokens per second
tg_3s = 35.73 t/s
tg_3s = 35.93 t/s
tg_3s = 36.58 t/s
железо хуже чем у тебя, 26 геммочка 5_К_М квант, лама+таверна. Советую разбираться.
Они недавно выпустили новый видос с тестами, почти хорошо все, базовые модели затестили.
нахуй они ставят конкурент предикшен если БЛЯДЬ ОНИ ЕГО НА ОДНОМ КОМПЕ ГОНЯТ, это просто жрет врам в никуда
А че за железо то? Ну, я и разбираюсь, тестирую разные варианты смотрю что получается. Сегодня с вами потыкал разницы лама или анслофа не было по сути при одинаковых параметрах.
У тебя в анслоте во-первых особый форк лламы это конечно ок но если ты ищешь именно макс скорость то недавно в лламе ее подняли (moe-cache-mib сильно помогает если у тебя квант больше чем видеопамять + что-то еще само по себе дало прирост у меня лично просто от смены версии жоры), а в анслотовском форке пока нет.
Во-вторых в анслоте куча параметров передаются которые ты мог бы оставить дефолтными.
если возьмешь лламу то там можно начать с минимума:
llama-server -m model.gguf
потом добавлять уже по очереди -np 1 -lm none --ctx-size 30000(или сколько ты там хочешь) -ctxcp 1 --cache-ram 256 -ctk q8_0 -ctv q8_0
потом добавить
--moe-cache-mib 2500
вместо 2500 подставлять разные числа пробовать сравнивать скорость
b/ub (батч сайзы) пока не трогать, с ними легко себя обмануть. можно выставить так, что поначалу будет супер быстро а дальше пойдут тормоза. тестировать надо на диалогах разных размеров.
Да блядь, я же затестил, ну... b11985-mix-c116c32 в анслофе и llama-b12069-bin-win-vulkan-x64 скаав готовую с гитхаба. Или типо надо самому варить?
Крч сложно пиздец и я заебался уже, всем спасибо за советы, я записал и попробую еще потестить и отдельно надо нормально записывать статистику и параметры и смотреть тренды, может быть кито-дамочке ее потыкать тоже скормить результаты и пусть придумает что не так.
не надо самому варить ничего, с гитхаба жоры норм
и попробуй кванты помельче. iq4_xs, iq3_m даже
Вулкан подходит как smoke test, но по перфу он всегда хуже чем рокм/куда
>>1745527
Ну, тогда получается что разницы нет фактически, по крайней мере с параметрами что тестил.
С рокм попробую отдельно как оптимизирую вулкан, но в предыдущей версии 2 краша ловил.
Квант этот чуть меньше и буду пробовать юзать, главное чтобы по качеству не обосрался он.
> в предыдущей версии 2 краша ловил
Если ты под виндой, то rocm +- стабильным стал с 10.0+. Под линью уже с 6.3+ было ок
Это они нарочно, чтобы годноту не палить.
>>1745496
>потому что я не выдержу объяснять очередному дураку в ИРЛ, посмотревшему такое говно, что локалки не бесполезные, и не медленные
И чтобы у тебя отбить желание палить годноту.
Я хз насколько они в этом правы, но сам факт...
Что есть жора? Немного выпал из треда и теперь не понимаю о чем речь.
>но по перфу он всегда хуже чем рокм
рокм на старых амд видяхах работает через одно место
Пацаны, ну скажите что такое жора. У меня тут взрывы за окном в Краснодаре, боюсь не успеть узнать.
На сколько старых? Пока максимум что было они EOL архитектуры выключают в релизных сборках, если включить или использовать nightly билды, то работает всё вплоть до p2p в rccl
>>1745597 (OP)
ПЕРЕКАТ
>>1745597 (OP)
ПЕРЕКАТ
>>1745597 (OP)