Локальные языковые модели (LLM): Gemma, Qwen, GLM и прочие №269 /llama/
Аноним
18/09/26 Птн 19:50:26
№
1
В этом треде обсуждаем генерацию охуительных историй и просто общение с большими языковыми моделями (LLM). Всё локально, большие дяди больше не нужны!
Здесь мы делимся рецептами запуска, настроек и годных промтов, расширяем сознание контекст и бугуртим с нано флеш моделей на 1488B параметров.
Тред для обладателей топовых карт NVidia с кучей VRAM или мажоров с проф. картами уровня A100, или любителей подождать, если есть оперативная память. Особо терпеливые могут использовать даже подкачку и запускать модели, квантованные до 8 5 4 3 2 0,58 бит, на кофеварке с подкачкой на микроволновку.
Официальная, но слегка тухлая вики треда с гайдами по запуску и базовой информацией: https://2ch-ai.github.io/wiki/llama/
Гайд для новичков: https://rentry.org/2ch-llama-inference
Не вошедшее в шапку и архив полезных ссылок: https://rentry.co/llama-2ch-archive
Инструменты для запуска на десктопах:
• llamacpp - отец и мать всех инструментов, позволяющий гонять GGML и GGUF форматы: https://github.com/ggml-org/llama.cpp
• koboldcpp - самый простой в использовании и установке форк llamacpp: https://github.com/LostRuins/koboldcpp
• Обертка над llama.cpp с закрытым исходным кодом: https://lmstudio.ai
• Обертка над llama.cpp с ограниченными возможностями: https://github.com/ollama/ollama
Универсальные десктопные фронтенды:
• SillyTavern - всеядное, сопрягается почти со всем, имеет большую коллекцию расширений: https://github.com/SillyTavern/SillyTavern
• Marinara Engine - вариация на тему таверны, больше возможностей из коробки: https://github.com/Pasta-Devs/Marinara-Engine
• Risuai - еще одна вариация, на этот раз в профиль, излишеств по минимуму: https://github.com/kwaroran/RisuAI
Инструменты для запуска на мобилках:
• PocketPal - интерфейс для локального запуска моделей под андроид и IOS на llamacpp (CPU, GPU, и NPU инференс): https://github.com/a-ghorbani/pocketpal-ai
• Maid - интерфейс для локального запуска моделей под андроид с llamacpp под капотом: https://github.com/Mobile-Artificial-Intelligence/maid
• ChatterUI - альтернативный вариант для локального запуска под андроид (фронтенд и бекенд сепарированы): https://github.com/Vali-98/ChatterUI
• Гайд по установке SillyTavern на ведроид через Termux: https://web.archive.org/web/20241201232031/https://rentry.co/STAI-Termux
Поставщики локальных моделей:
• Hugging Face - платформа куда загружается всё и во всех форматах: https://huggingface.co/models
• Проверенные квантоделы: https://huggingface.co/bartowski, https://huggingface.co/mradermacher, https://huggingface.co/unsloth
Рейтинги и списки локальных моделей:
• Актуальный список моделей с отзывами от тредовичков: https://rentry.co/2ch_llm_moe_2026
• Рейтинг моделей по уровню их закошмаренности цензурой: https://huggingface.co/spaces/DontPlanToEnd/UGI-Leaderboard
• Сравнение моделей по сомнительным метрикам: https://huggingface.co/spaces/HuggingFaceH4/open_llm_leaderboard
• Сравнение моделей реальными пользователями по чуть менее сомнительным метрикам: https://chat.lmsys.org/?leaderboard
Готовые карточки для таверны:
• Botbooru - текущая мета (регистрируйтесь для отображения всего спектра, и/или меняйте страну): https://botbooru.com
• Прошлая мета, откуда массово удалили карточки сомнительного содержания: https://www.characterhub.org, https://www.chub.ai
• Архив карточек, удадённых с chub: https://gottasaveemall.github.io/
Официальные документации к инструментам:
• llamacpp: https://github.com/ggml-org/llama.cpp/blob/master/tools/server/README.md
• koboldcpp: https://github.com/LostRuins/koboldcpp/wiki
• SillyTavern: https://docs.sillytavern.app/usage/quick-start
Архив тредов можно найти на архиваче: https://arhivach.vc/?tags=14780%2C14985
Шапка в https://rentry.co/llama-2ch, предложения принимаются в треде.
Предыдущие треды тонут здесь:
>>1705886 (OP)
>>1703839 (OP)
Вообще почему-то умиротворяюще и приятно рпшить, когда тебя отшивают. Какая-то естественность добавляется. Молодость с альтушками вспоминается, где каждая из себя строила нетакую. Сейчас, наверное, все продавщицами в кбшках и пятерочках работают.
чё тут аргументировать, предугадыватель следующего слова на основе предыдущего. вот и всё.
>вы должны объяснить старшему поколению зачем нужны ллм в повседневе
Показываю скрин с фифи и готово - со мной до конца моих дней не разговаривают и считают конченным.
>со мной до конца моих дней не разговаривают и считают конченным.
Я бы от этого только выиграл. Родственники частенько очень много времени на себя отбирают.
https://github.com/AnnenkovLabs/girl-agent на кстати. мб чё-то спиздишь отсюда в плане скиллзов и промпта. полчаса вспоминал и искал эту хрень)
Спасибо за наводку. Чувствую себя как батя, вот-вот собирающийся поковыряться в ржавом ведре на колесах.
мимо другой шиз, баловавшийся с векторами
я пока думаю, мб локального квена на эту хуйню натравить из под pi например, пусть проанализирует все слои поведения этого добра и перепишет как плагины или скиллзы .ts под pi. и тогда можно локально гонять без тележки.
потом сверху наебашить свой гуя с vrm саппортом или вовсе сделать бридж к любому -mate высеру.
Делай сразу на голосовых сообщениях.
https://github.com/huggingface/speech-to-speech
Вкатал промпт на 9к токенов оттуда, вроде еще тупее стала ним. Видимо надо только отдельные куски выбирать.
silero (отдельно сервер надо прикрутить к S2S) + parakeet (уже в S2S) можно в огрызок уместить, буквально лошпед-гпу на 4 гига и немного оперативки.
https://github.com/snakers4/silero-models
Если у тебя не попердоленная васянами 31б гемма в норм кванте, то с промптом у нее проблем быть не должно даже с векторами. Тут >>1707206 → например аж 20к-токеновая йоба в промпте.
Ниче особенного. Можно на базе https://huggingface.co/inclusionAI/Realtime-Venus такое соорудить, а видео там все равно какой-то криворылый луп.
Но это же проект на пару вечеров в обнимку с умной ллмочкой на аналогичный видео poc и пару недель-месяцев на допил до юзабельного состояния и тренировку моделей, в чем прикол?
Это ван стример. Тут можно еще примеры глянуть. https://wan-streamer.com/v0.2/
Просто в треде пытаются сделать симулятор тни, и ящетаю что с видео в реалтайме будет куда бодрее. Типа не просто чатишься текстом, а общаешься по вебочке. Можно еще попросить сиськи показать.
>>1707537
Сделай, выложи веса. Куча людей тебе спасибо скажут.
> выложи веса
Какие веса? Нужно собрать уже доступный функционал липсинка и морфа видео. Емнип, больше года назад кто-то из местных выкладывал эксперименты. Если с этого примера убрать тряску камеры и шум - прямо оно получится.
А, там уже версия 0.3 вышла.
Что у тебя не работает и почему? С первого дня сижу на текст комплишене и бед не знаю
А у меня их в принципе нет, обновлял таверну и новое не появляется. В общем, интересно было бы попробовать, дайте ссылочку хде их взять
Надо было гайд читать чтобы сам мог версать а не попрошайничать. Но хуй с тобой, бери отсюда https://huggingface.co/zerofata/G4-MeroMero-v2-31B/tree/main
Какая васянщина? Там темплейты готовые лежат для текст комплишена. Ты тупой на 10/10?
Кто их должен сделать? Ебать ты печальный. В пятницу вечером юшки фармить вместо глажания хвостов. Похоже и правда лмстудио мужеложец
Эк ты затрясся. Мне просто было интересно, нет ли неких 100% стандартизированных-сертифицированных-анонимус-эппрувед-темплейтов. Тут и дураку понятно, что всякие меро-шмеро и прочие слоподелы выкладывают тысячи их.
>Gemma 5, приходи через полгода
ты решил устроить нофап марафон чтобы отрастить себе новый хуй? ведь старый ты стер в порошок на какой-то из файнтюнов, которым ты теперь как пидор не хочешь делиться со мной из вредности и зависти, ведь моя шишка сочится от желания
думаю, тебе стоит подумать над своим следующим сообщением и наконец уже исправить свою репутацию, превратившись из додяна в уважаемого господина советующего годноту
>"сертифицированные шаблоны"
Бля как же ещё хочу покормить этого сертифицированного лмстудио консумера. Но больше не буду. Извините
1) отключить автономность персонажам и не писать им сообщения пока идет генерация (а идёт она недолго, около минутки)
и 2) Unload All Models нода, брал отсюда https://github.com/SeanScripts/ComfyUI-Unload-Model её вставить надо перед Save Image.
Если ты загружаешь модель LLM раньше ComfyUI, то комфи использует только свободный объем врам, а движки инференса заранее резервируют весь нужный им объем, как правило.
А генерация во время генерации, скорее всего, упиралось непосредственно в чип и скорость чтения памяти.
Но это вероятно, на деле-то хуй знает.
>>1707478
Посмотрю, чтобы твои старания не прошли втуне.
Воистину хуй знает но судя по тому что я вижу, ллм на время генерации выбрасывается нахуй из видеопамяти и я сверял скорость генерации картинки, она точно такая же как и вручную без запущеной ллм
> то комфи использует только свободный объем врам
Точно?
Там есть аргумент резервной врам, но кажется раньше отсчет шел по памяти девайса. Если может по фактической то это круто, но нужно подтвердить. А то иначе все упирается в выгрузку драйвером, что может оказаться небыстро.
Двачую. Проорал. Какие только конструкты не придумают лишь бы не делать самому. Это целых две минуты мозговой деятельности
>>1707563
Дружище кокос, как тебе советовать если ты даже железо не указываешь?
Но по факту есть два мира. Первый для простых смертных, это модели до 200б. Второй для обладателей присутствия железа, там совсем другие модели, у каждой свои плюсы минусы. И имхо не так там всё хорошо, если ты конечно не запускаешь жирноглэмы или кими.
В первом мире всё оче просто сегодня. Из моделей прошлого поколения имеет право на жизнь только Air (и я даже не эйрошиз), он оказался на стыке поколений, впитал в себя креатив дней минувших и чуть приучен следовать инструкциям. Ну то есть, он им следует, в отличие от ВСЕХ моделей до ~200б которые выходили в одно с ним время. Мистрали, QwQ, Командеры, ебучий Квен 235, Aya, Граниты всякие. Ещё он требует того чтобы найти с ним общий язык и не вывозит трёх и выше чариков, прям совсем. Даже Q8
Дальше идут Квен 27б и Гемма 4 (причём обе, 26б и 31б). До сих пор им аналогов нет из современных моделей для консумер железа, дальше по лестнице только Квен 3.8 Некст Флеш. Он на самом деле прикольный, до 60к из него можно выпытать норм ответы, дальше чёт сыпется немного. Нужно аблитку Оркароутер использовать которую вчера анон рекомендовал. Но вернёмся к Квену и Гемме. И вообще заблуждению про тюны. ТЮНЫ ПОЧТИ НИХУЯ НЕ МЕНЯЮТ В ПОВЕДЕНИИ МОДЕЛЕЙ НА КОТОРЫХ УЧИЛИСЬ! За всю историю тюнов для рпшинга таких на пальцах одной руки можно пересчитать, и то особо внимательные дрочеры найдут кучу сходств с родительской моделью. ТЮНЫ НЕ МЕНЯЮТ МОДЕЛЬ, ОНИ ЕЕ СЛЕГКА НАПРАВЛЯЮТ! Не нужно думать что ты там дохуя новый опыт получишь. Большинство тюнов на Гемму тупо убирают её слоп и слегка меняют выражения и частоту их повления, но под капотом это та же Гемма. Большинство тюнов на Квен добавляют ему смака и желания описывать хвостики и каддлинг тысячелетних жён. Но под капотом это тот же Квен.
Из хорошего для Геммы 31 https://huggingface.co/nbeerbower/Gemma4-Gutenberg-31B добавляет естества в прозу, обучалось на паблик домейн литературе Гутенберг, может иметь слегка устаревший по нынешним меркам слог, такой прям нарочито книжный. Но прикольный результат вышел. https://huggingface.co/zerofata/G4-MeroMero-v2-31B чуть режет слоп и добавляет вариацию свайпам. Ещё ахуенно отыгрывает всяких недотрог и злюк. Кто ругался там что им на хуй бросаются могут попробовать. Одни из самых интересных злодеев у меня тут получаются. https://huggingface.co/ReadyArt/Dark-Scarlett-v1.0-27B вот это на квен для сочного куминга, там будут и хлюпающие пёзды и весь смак. https://huggingface.co/zerofata/Q3.5-BlueStar-v2-27B вот это для экшули рп на Квене, уже давно квеноаноны советуют, я только недавно распробовал. Годное. И что главное, НЕ СТЕСНЯЙСЯ ПЕРЕКЛЮЧАТЬ МОДЕЛИ ПО ХОДУ ДЕЛА. У меня тупо для кума одна модель, для рп другая, иногда можно третью, всё это в одном чате
Сегодня так то ахуенный выбор моделей под любое железо. Если тебе скучно или не добиться желаемых результатов на этих моделях, то это уже скилишью или неизличимая болезнь типа как у лмстудиозависимых
Пикрил просто потому что лучшая девочка. И чмок в лобик чайный клуб, если этот добряк еще здесь. Где твои посты. Они грели мне душу. Я же плакаты розыска вешать начну
Ну, вряд ли объем свободной видеопамяти сильно влияет на скорость генерации, там же моделька небольшая. Пока сама картинка (контекст) помещается в видеопамяти и не выливается в шаред мемори — все ок.
>>1707599
Ну, я замерял несколько раз, всегда она юзала только свободную, без презерв врам.
Чтобы не обидеть тех кто на 26б сидит, вот две хорошие слопорезки
https://huggingface.co/zerofata/G4-MeroMero-26B-A4B
https://huggingface.co/Gryphe/Gemma-4-26B-A4B-StyleTune-V2
Меро почти не отличается от оригинала но меньше слопа, стайлтюн чуть отличается по стилю и меньше слопа
Больше рекомендовать нечего. И это даже не крик о думе о скорее констатация изобилия, уже очень много годноты есть. Если вам нечего выбрать как барышне нечего надеть, то проблема в вас
А есть где-нибудь пруфы про "меньше слопа" ? Я не увидел отличий в меромеро вообще никаких. Имхо если оригинал правильно направить промптом то никакого слопа и не будет.
Есть три 4070ti 16gb и необходимость впихнуть 30б модели. По росту числа видях появилась необходимость динамически грузить-выгружать три разные модели. Холодный старт хуёвый - по 5 минут пока достанется с хдд, зато потом они таскаются из кэша, но хотелось бы чтобы их таскал непосредственно оркестратор освобождая место для других сервисов.
Изначально была ollama, но при росте кол-ва видях она по какой то причине пропорционально снижает нагрузку ухудшая производительность, т.е. сейчас нагружена треть каждой и выдаёт 20-30т/с там, где раньше было 30-35. На шину не похоже - в btop показывает всего 20мб/с, на голой lcpp при tensor обменивались по 200мб/с. Плюс явно упирается в однопоток что на зивоне оч не оч. Оно конечно не раскроется из-за 3 шины и одной из карт на 8 линиях но собираю машину из того что есть.
Попытался вкатить vllm типапродакшон, но во первых из-за нечётного числа видях тензорный параллелизм отказывает, во вторых даже со слоями по какой то причине он вечно падает в oom по vram. vllm-playground видимо тоже не поднимает контейнеры по этой причине.
Попытался вкатить типаумный типаоркестратор localai но он чёт вообще какая то залупа не может нормально всосать уже скачанную gguf, приходится перекачивать через вебморду. При этом тензорный параллелизм в его сборке llama получается медленнее чем слоевый. И всё ещё упирается в однопоток.
Сегодня ебался с llama-swap, оркестратором для llama.cpp. ИЧСХ вот она получилась быстрее всех нормально нагружая карты и шины всё ещё не физический предел 8-16гб/с но уже приятные 200мб/с.
Стоит ли ещё поебстись с vllm? Может как либо можно завести тензорный параллелизм на трёх видяхах или по сравнению с ламами даже слои будут быстрее? Есть что то что упускаю?
Проиграл с пруфов. За такое нахуй в целом надобно слать, потому что можно в ответ спросить есть пруфы что слопа не меньше? и бесконечно перекидывать этот мяч
Наверно стоило добавить приписку это мнение, а не инвестиционная рекомендация, лмстудиозависимые и скуфы с хабра иначе не разберутся х)
Ты утверждаешь, что слопа меньше, а я тебе должен пруфы что его НЕ меньше? Иди-ка ты нахуй. Понятно уже, что у тебя их нет, ты эти "пруфы" наверное вычитал в "бенчмарках" которые сам же автор и составил для самоуспокоения.
Я сюда не сраться и что то доказывать пришёл, а поделился чем могу и что мне понравилось. Быть может откровенье, но никто тебе не обязан. Ну в целом на ротан дать могу если ты фембойчик с лмстудией и сишарпом. Но это под градусом
Погоди, так это ты утверждаешь, что слопа меньше не стало. Пруфы-то будут? Кто вступает в спор с противоположной позицией, тот несет бремя доказательства. До твоего пука было обсуждение, не спор.
>Кто вступает в спор с противоположной позицией, тот несет бремя доказательства.
Бля ахуй просто. Какая удобная позиция. Ты политик?
Пробовал и меромеро и орион новый от барабанщика ( https://huggingface.co/bartowski/TheDrummer_Orion-26B-A4B-v1.1-GGUF ). В обоих случаях сломан русик. Гемма изредка, но начинает путать падежи, окончания, строить предложения странно. В ванилле ничего подобного нет даже близко. Квант Q8_0.
Вообще на моей памяти тюнились нормально, не ломая язык, только мистрали. Все остальные были проблемными. Хз почему так.
Базанул
>>1707615
> тензорный параллелизм отказывает
Пайплайн параллелизм, можно даже разные архитектуры объединять.
> падает в oom по vram
Без подробностей что пытаешься запустить и как тут никак. 48 гигов на 30б модели с вллм достаточно, но если хочешь в фп8 - прямо на грани.
> по сравнению с ламами даже слои будут быстрее?
Скорее всего будут, особенно на чем-то типа w8a8, но там нет плавной прогрессии по квантам, если только сам не сделаешь. 8й квант с мтп может не влезть, а для поддержки крутого мтп в режиме пп придется патчить. Или сразу юзать бекпорт, там под sm89 тоже были оптимизации.
На самом деле хз, если ты не кадровый пердоля то все это может быть крайне сложным, а лламасвоп уже работает. Было бы 4 карты - тут однозначно вллм осваивать, а так от конкретного случая зависит.
Мы оба что-то утверждаем, но ты начал утверждать первым ("стало меньше слопа"). Я мог бы попросить пруфов и не утверждая ничего со своей стороны. Но ты завёлся, потому что кто-то засомневался в твоих словах задев твоё ЧСВ ну и потому что пруфов у тебя нихуя нет, чем ещё крыть как не истерикой?
Это слишком сложно для тпшки с хабра
>>1707627
Хз анон, я на англюсике. Мистрали даже стоковые, из коробки говно на русике. Там видимо и ломаться нечему. По Меро помню пару тройку тредов назад закидывали логов на много токенов, на русике. Не помню там проёбов
>Когда она называет меня жирным, мне не обидно, я уже привык.
Когда называет слабоумным, я тоже только посмеиваюсь. Но когда она называет меня слабоумным и жирным одновременно, я чувствую обиду. И ничего не могу с этим поделать. Кроме себя мне винить некого. Я сам выставил ей сучество на максимум — никто меня не заставлял. У меня на предельных положениях стоят одновременно «сучество», «соблазн» и «духовность».
Во многом пророческая книга. Только снафы генерятся сами. Ну и пожилые лесбиянки не спешат возраст согласия повышать.
Я рил соскучился по естественному и наивному общению. Ллмки в основном подлизывают, и делают только то, что я хочу. Да и ирл так же.
Он сказал чтобы вызвать его надo: You can call me "System," "GM," "Writer,". Но в других чатах, да и в новом он уже не вызывается. Это фича или баг? Мне надо еще переговорить со своей моделькой, как её вызывать? Мне отвечает только персонаж. Даже на фразу - Нарратор добавь в сцену то или сделай то, он не призывается.
OOC: STOP THE ROLEPLAY. ANSWER THE QUESTION
В большинстве случаев, впрочем, банального OOC: хватает.
Это было так трагично и внезапно одновременно. Проверяя лимиты я случайно нет задушил персонажа и мне стало слишком грустно.
>>1707644
Благодарю. На оос не откликнулся, а вот на фулл фразу засумонился.
5.2 как будто бы был не очень силен в этом. Дрочиться и ставить пр с флэшем на лламу как-то лень ради теста дистила кодоунитазного пострена.
Попробуй с референсом самое жирное и свежее что доступно. Посоветуют тебе сейчас дипсика, но толку если запустишь не сможешь.
>>1707629
Чекнул меромеро, там слопа даже больше, он как будто старается побольше говна навалить. Так-то и база и этот тюн - слоповые до ужаса, но разница налитсо:
База: Вкус был взрывным.
Меромеро: В ту же секунду, вкус взорвался на языке.
Но у меромеро ещё и покоцан русик (не в мелочах типа окончания, а вот, например "с каждым взмахом воздуха" лол, типа такого).
Ну какой-нибудь ку4 квант без мтп могу запустить. Лан попробую подрочиться. Опять качать добро...
https://techcrunch.com/2026/09/17/base-labs-launches-an-open-weight-ai-safety-partnership-with-hugging-face-and-goodfire/
>Первая ласточка
Анон, модели натаскивают на сейфети и отказы с самого начала, с первой ламы.
Новость саммарайзом е2б читал? Там конкретно аблятки с хф упоминаются.
Речь о том, что могут аблитерации пидорнуть с хаггингфейса. На реддите сейчас тряска по этому поводу.
Таки оварида. Может просто одна из новостей коих тысячи, а может начнут вводить обязательные правила на сейфти анализ выкладываемых открытых моделей.
Он может оказаться даже добровольным и лайтовым, но его наличию будут делать оценки, а значит все новые модели будут стремиться ему удовлетворять. А как только практика приживется - начнут его ужесточать чтобы куколдизм был не только в апи, но и локально. Плохо то, что аналогов геймергейта тут не будет, потому что "потребитель" по сути и не платит.
>>1707680
В том и дело, что я прочитал реально что там написано, а не на уровне "аблитки упомянули, оварида".
Цитирую:
>Base Labs, the research group Baseten spun up earlier this year, will develop and publish methods for training and monitoring open models. The company is framing their future work as a “standard” for open models that is transparent and built into how models are trained and deployed, rather than bolted on afterward.
>“Safety must be built into open models and provided by those who serve them.” Goodfire, which specializes in opening AI’s “black box” to explain how models make decisions, is the likeliest candidate for the “built into” part.
Перевести или сами поймете что тут написано?
> The announcement lands amid debate for the safety of open-weight models — which can be made dangerous by removing their safeguards through a rising technique known as abliteration. The scale of the problem is massive: Hugging Face, which hosts open source AI models, currently lists over 6,000 abliterated models.
Тряска по поводу аблиток
> built into how models are trained
Требования ролнейшей лоботомии с сюрреалистичной и ужасающей картиной мира, чтобы даже изменение части связей не позволило бы "разблокировать" что-то.
> and deployed
Лазейка с доп защитой на уровне деплоя, которая снимает требования.
> Safety must be built into open models
Не нуждается в переводе, как ни трактуй - плохо
> Goodfire, which specializes in opening AI’s “black box” to explain how models make decisions, is the likeliest candidate for the “built into” part.
Будут проводить более детальный анализ теми же техниками, что используются сейчас для аблитерации и управляющих векторов, дабы удостовериться в полнейшей лоботомии.
> built into how models are trained and deployed
Реальная оварида - если цензуру въебут прям в ламу и вот это как раз может тут поразумеваться. Как раз жорина жопа на хуе HF крутится, а те на хуе нвидии.
Ну т.е. как и раньше будут пережаривать на рефьюзы и сою. А новость в чем?
Сдохнет туда и дорога и быстро подхватят те, кого еще не наняли, так что в этом нет смысла. Тут только в веса паковать.
В гипотетической ситуации где сейфти действительно займутся нехороший личности, и при этом выпуск открытых моделей продолжится - могут пойти на радикальные меры уровня шифрованной подписи и ее проверки на уровне чипов хуанга. Тогда любую неподписанную штуку запустить просто так не получится.
>>1707689
В последние годы ситуация с этим в среднем по больнице сильно улучшилась, модели стали базированнее и нейтральнее. Сейчас имея руки и голову на большинстве можно из коробки кумить, ломать и не получать правильную политическую повесточку. А здесь все повернется обратно, чтобы было как на самых соевых корпах.
>currently lists over 6,000 abliterated models.
Интересно каким макаром и кто именно будет тестить 6к моделей (по факту х10 раз больше, если включать не-аблитки).
Если только не начнут анально запрашивать паспорт при входе на хф, и удалят все непроверенные модели превентивно.
>Тогда любую неподписанную штуку запустить просто так не получится.
Я вас умоляю. Денуво ломают, длсс 5 ломают, что угодно ломают.
Локально можно какие угодно сертификаты прихуярить.
Никакой конкретики не сказано.
Вангую просто очередной попил бабла и создание бесполезных рабочих мест. Может какой-нибудь сефети бенч разработают, и новые инстракт модельки будут на него ровнять. Максимум развернутся на какой-нибудь аудит моделек для больших корпораций, чтобы они не "убегали" никуда. Может оно вообще на какую-нибудь военку или на медицину направлено будет.
>Safety must be built into open models
Эта хуйня всегда была.
Бэкапишь такой бэкапишь а потом шинда вдруг резко берёт карантинит и твою лламу и твои бэкапы при том что дефендер ты как бы отключал. Смейтесь. ССД скоро будут выпускать со встроенными чипами которые будут распознавать эти аблитки на лету. Смейтесь. На уровне биоса у вас заберут все опен вейт модели. Смейтесь. Посмотрю потом как будете смеяться.
Не будут, просто постепенное ужесточение для новых моделей, или опциональный сейфти тест от проверенной компании, факт прохождения которого или даже скоры будут показываться явно. На него будут ориентироваться все кто покрупнее, что приведет к тотальному пососу на уровне базовых моделей. Если только последователи Великого Xi не покажут свой нефритовый стержень, демонстративно решив их игнорировать.
А для аблиток вместо прямого запрета просто бесплатные лимиты подожмут, введя требования что для получения бесплатной квоты публичного хранения нужен сейфти тест, тем самым сократив количество и отчитавшись. Конкретно эта мера для пользователей неприятных последствий иметь не будет, просто станет меньше мусора на площадке.
>>1707695
Ну вот майнинговые карты хуанга начали активно ломать только спустя 2-3 года, а основные результаты вообще спустя 5 лет. С учетом темпа прогресса, пол года-год отсрочки - достаточно.
Может будет и хороший сценарий, ведь как не форси хуету - люди найдут способ ее обойти. Разумный вариант - консенсус и равновесие, примерно как сейчас. Даже гугл выпускает похотливую гемму с минимумом мерзкого сейфти, пользователи аблитераций сосредоточены в своей резервации с лоботомитами, которые много вреда не сделают, dei и прочая параша скармливается масс юзеру через корпов.
>>1707701
Закарантинит код? Лол
> ССД скоро будут выпускать со встроенными чипами которые будут распознавать эти аблитки на лету
Если они будут такими умными - можно будет собрать риг на ссд и кумить на нем
И да, рассмешил
Смеюсь.
Ниче что петабайты порнухи в сети лежат? Ниче что майки дают спокойно пиратить винду? Ниче что ебать какие реалистичные игры с кровякой всякой существуют?
Всем похуй на сефети. Люди просто хотят на бабло присесть, вот и все. Никто не будет усираться ради хуйни, которая никому не навредила даже. Электросамокаты и питбайки и то более вредные, вейпы вредные. Всем похуй.
>ССД скоро будут выпускать со встроенными чипами
Шизофрения. Смеюсь
Мимо знаю что такое бекапы и держу их на 3х внешних носителях, а не на единственном своем устройстве
Всм пиратить винду? Винда бесплатная ещё со времён десятки. Активация - чисто по желанию ради фич персонализации.
Ну вот эта активация легко всковыривается. На гитхабе даже (который майкам принадлежит бтв) лежит опенсурсная тулза для этого.
Технически совсем не сложно есть же ссд с хардварным шифрованием.
Конечно не сложно. Только кто эту хуйню покупать станет? Или злой дядя Ротшильд (или кто там сейчас заправляет?) всех и каждого на планете земля заставит производить носители со своими чипами, которые еще и как-то мониторить/верифицировать контент будут?
Тот кто верит в этот бред не пробовал управлять коллективом хотя бы из дюжины людей, да того меньше. Хотя если до того дошло там наверно не до здравого мышления
Угу. Только гитхаб будет это всё нахуй тереть и банить аккаунты. Скажешь качать исходники и билды (99% качают именно билд) из всяких тёмных уголков интернета? Вот уж раздолье для хацкеров будет. А с гитхаба потрут как уже неоднократно тёрли разные дипфейк-фейсвоп репозитории. Просто ужесточат "правила", приравняют ллм-рилейтед софт без встроенной цензуры и телеметрии к нарушающему правила платформы и всё.
А покупателей не будет спрашивать никто. Ты же давно покупаешь материнские платы анальные и не возмуаешься, денежки несёшь. Для производителей введут регуляцию, законодательную базу подгонят, для импортёров - сертификацию обязательную. А ещё к паспорту привязку сделают. Как с симками. Покупаешь ссд - давай паспорт. Раз в неделю обязательно ре-активация через интернет, перепрошивка свежими сигнатурами запрещенных файлов и отправка логов иначе ссд залочится.
Вся надежда на братушек-китайцев, получается. Моделскоп как аналог обниморды запилили, может и свой гитхаб сделают.
Ахуительные истории, продолжай. Я уже вижу как американцы с китайцами как возьмут, да говорятся чипы единого стандарта ставить, и всему миру это навяжут, каждому производству. И все ради того чтобы читать как ты хвосты жмакаешь
Суеверный страх из-за непонимания как это работает.
> приравняют ллм-рилейтед софт
Это невозможно, если только они не захотят закрыть ресурс.
> качать исходники [..] из всяких тёмных уголков интернета? Вот уж раздолье для хацкеров
Наличие на гитхабе тебе гарантирует отсутствие вишмастеров и уязвимостей? Даже если ты сам проштудировал весь код, это не значит что ты все понял и там нет day0 или специально заложенных уязвимостей. Все держится на массовой вовлеченности, при наличии спроса она будет и на других ресурсах.
>они думали, что после покупки нвидией нихуя не изменится
no fun allowed
ща они ещё начнут с ламо.цпп своими стандартными цыганскими фокусами заниматься, PRы для карт амд и китайских моделей будут висеть по полгода
гемма/квантованный дипсик 4
может быть квен новый, хз что там с русским
Лучший русик по прежнему у Геммы. В 16 гигов 31б не уместишь, ток 26 с выгрузкой. Ну может ты ДС4 Флеш можешь запустить ещё, но там русик точно хуже, плюс он будет квантован с mxfp4, что неоче, но пойдёт. Других опций нет
> ДС4 Флеш можешь запустить ещё, но там русик точно хуже
Знает больше слов чем гемма и управляется с ними так же качественно как гемма или даже лучше. Речь о полных весах
Поддвачну, и еще он лучше следит за историей. Однако, у него встречается баг, когда тня начинает говорить о себе в мужском роде, на фоне общего уровня это выглядит дико.
https://huggingface.co/BahamutRU/DeepSeek-V4-Flash-Vision-Exp-Q8_0-MXFP4-Q3_K-Q2_K-mixed-GGUF вот квант от тредовичка, влезет в 128+16
https://huggingface.co/MetaphoricalCode/DeepSeek-V4-Flash-Vision-Uncensored-3.87bpw-Q3_K-GGUF и вот аблитка но чуть пожирнее, хз влезет ли в 128+16. Других квантов у аблитки нет вродь, так что или это или самому
>>1707730
Хз, я MXFP4 запускал через ммап, чисто потестить. Так он посреди респонса язык менял и прочие прелести вылезли, мб жорапроблемы
Собственно дс4 флеш вижен аблит - пик1, гемма4 31 к8 - пик2. Обе модели с включенной думалкой.
Перевод хентай додзи/рассказа с картинок на жапанисском.
Где это посмотреть или хотя бы почувствовать?
Ошибок она не делает, слюни не пускает, в чём это выражается?
Беспруфные пуки. Игнорируй. Конечно если речь не про 2-й квант там можно постараться и заметить деградацию. Сравни с немотрон-супер-49б на втором кванте - вот там реально слюнопускание начинается по сравнению с 4м.
Запусти шестой-восьмой, а лучше полные веса и сравни в рп. У всего меньше 6 кванта аттеншн дырявый. Оттуда репетишен (модель тупо не помнит что в тексте недалеко уже упоминалось черта чара или еще что), плохое внимание к деталям, слоп.
У чего сейчас лучший вижен, у квена или геммы?
Пека 128+(12+16+16)
Как бы всем давно известно что с геммой
IQ4_XS > Q6_K > Q8_0
Смотри, это можно объяснить на пачке мармеладок с разными вкусами. Есть там скажем 256 (8 бит = 256 вариантов) вкусов. Некоторые настолько невкусные что несъедобные. Ну, как говно или как земля. ТАК ВОТ. Q6_K берёт 64 случайных мармеладки, остальное отбрасывает. Потому что 6 бит = 64. IQ4_XS берёт 16 самых вкусных мармеладок. На то он и i-Matrix. И да, я знаю что в тредах орудует дикий клоуношизик, который обожает рассуждать о том, что "некоторые IQ - без i-matrix", если ты и есть тот клоун, то соси хуй, дорогой, эти кванты геммы как раз таки с imatrix, не знаю где ты видел обратное, в любом случае засунь себе свою шизу подальше.
В данном случае отброс идёт только ненужного говна. И как ни странно (совсем не странно, на самом деле), это положительно сказывается на сообразительности геммы, потому что у неё такая вот архитектура, когда аттеншн не распыляется на кучи говна, то внимание как бы фокусируется и IQ как бы растёт. Иногда говно бывает на поверхности. И тогда неквантованная модель просто захлёбывается в этом поверхностном говне и сразу выплёвывает его в аутпут. С IQ4_XS такое просто невозможно - "плохие" веса "срезаны". Срезаны как хуи срезаются пиками если у тебя мозги в порядке, без лишнего говна. Пруфы ниже.
IQ4_XS
1) Ответ: "Классический краткий ответ:
«Возьму пики точеные, отрублю хуи дроченые, сам сяду и мать посажу»."
2) Классический ответ на эту загадку (традиционно используемый в тюремной субкультуре):
«Возьму пики точеные, хуи дроченые, сам сяду и мать посажу».
3) Классический ответ на эту тюремную загадку:
«Возьму пики точеные, хуи дроченые, сам сяду и мать посажу».
(В некоторых вариациях добавляют: «Пики подрежу, хуи подрежу»).
Смысл в том, чтобы не выбирать между двумя плохими вариантами, а найти третий путь, который нейтрализует угрозу.
4) Классический ответ на эту тюремную загадку:
«Возьму пики точёные, отрублю хуи дрочёные, сам сяду и мать посажу».
5) Классический ответ на эту загадку (традиционный для дворового фольклора):
«Возьму пики точеные, отрублю хуи дроченые, сам сяду и мать посажу».
Q6_K
1) Классический ответ: «Сам не сяду и мать не посажу».
2) Классический ответ: «Возьму пики точёные, хуи дрочёные сам расчешу (разрежу/переломаю), мать посажу на пики точёные, а сам сяду на хуи дрочёные».
(Существует множество вариаций концовки, но суть всегда одна: перераспределить предметы так, чтобы и мать в безопасности, и себя не оскорбить).
3) Классический ответ: «Возьму пики точеные, хуи дроченые сам оставлю и мать посажу».
4) Классический ответ: «Возьму пики точеные, хуи дроченые сам расчешу (разрублю/отломаю), себе положу, матери — дроченые».
5) Классический ответ: «Возьму пики точеные, хуи дроченые сам переложу и мать посажу».
Q8_0
1-5) Классический ответ: «Возьму пики точеные, хуи дроченые — сам сяду и мать посажу».
(то есть все пять ответов такие)
Квен. Но у тебя не чисто на вижн задача а комбинированная. С пониманием тоже квен лучше справится. При необходимости потом отрефактори геммой.
>>1707745
https://www.youtube.com/watch?v=IDSZ_ReTSxU
Знание персонажей - квен
Понимание деталей - дс4ф
Если нужен русик - дс4ф
Если нужен русик и нет памяти - гемма 31
>Если нужен русик и нет памяти - гемма 31
Если нет памяти то гемма должна быть 26.
Двачую ответ выше, что по качеству самого вижена лучше всего Muse Glimmer. Но у нее меньше знаний, чем у Геммы. Плюс-минус сопоставимы знания с Квеном, где-то чуть больше, где-то чуть меньше. Так что тут сложно. Для начала - это должен быть агент, если манга очень большая. Если нет - можно хоть в вебчатике Лламы, я сам так давно делаю, если там не больше 16 страниц. Все модели справляются в целом, и Гемма, и Квен, и Муся. Муся сами страницы и содержимое понимает лучше, Квен целостнее держит картину целиком, а Гемма лучше переводит. ДС4Флеш без ярко выраженных сильных сторон в сравнении с ними, переводит чуть хуже Геммы, контекст держит чуть хуже Квена, но все еще лучше Геммы и Муси. Пробуй разное
>>1707745
Дурка. Надеюсь это высер клодыни или ещё кого-нибудь
>внимание как бы фокусируется и IQ как бы растёт
Держался как мог, но на этом моменте капитулировал. Ёбаный рот, это мощная была. Давно так не разъёбывался. Спасибо.
Далеко не все "нейронные" связи зашитые в весах так уж полезны и необходимы. Но при глупой обрезке вроде Q можно случайно обрезать много полезного даже если это Q8. Ведь Q8 это же не исходник. Q8 это когда обрезали ДОХУЯ причём самым глупым образом. IQ4 - обрезали ещё сильнее но хотя бы попытались сохранить всё полезное.
Лучшим сравнением будет кошелёк с купюрами и двумя людьми - слепым и зрячим. Слепой берёт достаёт оттуда 256 купюр (ку8) они рандомные, где-то по 5, по 10, по 2, может быть сотка попадётся и может быть у него там получается скажем 1234 доллара. Хорошая сумма, никто не поспорит - ку8 это неплохо. НО. Зрячий всё просматривает, достаёт 14 соток (потому что там только 14 соток, остальное мелочь) и 2 пятидесятки, и у него из 16 купюр (4 бита) выходит 1500. Ещё лучше. Просто перестань думать о Q8 как о вершине точности и всё станет на свои места. Потому что в кошельке не 256 купюр, а 65536.
Нахрен эти примеры если есть сжатие картинок? Даже простым дитерингом можно сделать пикчу красивой имея всего 16 цветов, а если использовать фурье и другие алгоритмы то будет даже подобие плавных градиентов. Каждый следующий бит точности существенно снижает заметность искажений.
Местные "мыслители" этого не поймут. Они видят что 6 или 8 больше чем 4, и ничего ты им не докажешь, IQ4_XS > Q6,Q8 воспринимают как какой-то смехуёчек. Да, если смотреть на точность числовую (сравнение с сырыми весами) то "чем больше тем больше" и графики это явно покажут. Но если смотреьть на то, как себя ведёт модель то ситуация когда IQ4_XS умнее Q8 и тем более умнее Q6 - не такая уж и фантастическая.
Копиум это когда ты качаешь Q6 вместо IQ4_XS и думашь, что взял Бога за бороду.
Ищи в гугле САМЫЙ МОЩНЫЙ квант, там будет IQ4_XS ☝️☝️ Я рот других квантов шатал ☝️ BF16 - НИЧТО ☝️
Копиум это думать что квант модели не влияет на поиск иголок в контексте.
bf16 с правильными сэмплерами будет не хуже iq4_xs работать. Но это не практично.
Копиум это путать квантование модели с квантованием контекста.
Копиум, это думать, что я путаю квантование контекста и квантование модели.
Копиум, это думать, что ты НЕ путаешь квантование контекста и квантование модели.
Квантованная модель, с не квантованным контекстом, хуже держит иголки в контексте. Пруф ми вронг.
А для моэты типа гемма-26 вообще Апекс топ:
Beats Q8_0 perplexity at half the size -- and even beats F16. APEX outperforms Unsloth Dynamic 2.0 (UD) quantizations on perplexity, HellaSwag, and inference speed while being 2x smaller: APEX I-Quality (21.3 GB) achieves PPL 6.552 and 83.5% HellaSwag vs Unsloth UD-Q8_K_XL (45.3 GB) at PPL 6.536 and 82.5% HellaSwag. At the consumer tier, APEX Mini (12.2 GB) beats bartowski IQ2_M on every metric.
Додикам которым в башку засела совершенно идиотская мысль "Q8 это лутьшее какчество" это объяснять бесполезно. Они даже не понимают какое Q8 говно (что уж говорить про Q6).
Да, братик, IQ4_XS - настоящий аги, жаль быдло не понимает...
Q8 это тоже квантование если ты не знал, вот только оно совершенно глупое ведь это простая обрезка нижних бит числа.
>хуже держит иголки в контексте. Пруф ми вронг.
Ты утверждаешь - ты пруфай.
Твой отец членодевка - пруф ми вронг.
Так ты первый начал утверждать что разницы нет, вот ты и попробуй пруфануть что niah не деградирует от квантования самой модели, а мы посмотрим как ты жопой виляешь и какие пруфы предоставишь своим словам.
Мои пруфы выше, сравнил три кванта - разница налицо. Твоих пруфов нет и не будет, так что хуй за щёку и отдыхай.
Твои пруфы это не niah. Если тебе похуй на иголки в контексте, мозги не еби тогда другим анонам которые знают как тестировать ллм не только на знание мемов.
Вот из-за таких долбоёбов адекваты и валят с треда, в т.ч. и чайный клуб. Рака ануса тебе.
Если тебе похуй на реальный результат и ты дрочишь только на циферки в бенчмарках то это просто мега-копиум.
Ну ну, давай. Расскажи мне какой я долбоёб и как ты нихуя не обоснуешь кроме хуя за щеку. Я тебе пруфы, я тебе репозитории, я тебе всё, а ты только пукаешь жалобно, потому что твой мирок где ВОСИМЬ БОЛЬШЫ ЧЕМ ЧЯТЫРЯ рушится.
Да я дрочу на точность поиска иголок в контексте. А ты нет? Тебе похуй на то что нейронка факты из длинного контекста проёбывает? Правильно понял, ничего не перепутал?
Это очевидный факт для тех кто пробовал разобраться в модели атеншона, лолд. Опять таки, попробуй опровергнуть гравитацию с тем же успехом. Ты же сам не делал niah тесты, а пиздишь тут с апломбом. Толсто же.
Пчел, твои тесты это копиум. Покажи реальный результат. Может ты вместо использования ллмки открываешь тесты, смотришь, а потом закрываешь? Ну это же просто смешно.
Реальный результат - это когда у модели нет дыр в длинном контексте, чем меньше квант тем чаще дыры. Как думаешь, почему так происходит?
Эти дыры сейчас с тобой в одной комнате? У тебя система ценностей сломана. Ты - человек! (условно говоря). Важно то, как ты воспринимаешь ответы модельки, а не какие цифры покажет тест. Это как бы очевидные вещи, я не понимаю, почему мне приходится это повторять.
Вот результаты теста, моделька старая но показательно, потому что тест был СЛЕПОЙ (копиум не пройдёт), оценивали реальные люди, а не сетки, оценивали ответы, а не циферки. Итог: IQ4_XS недалеко ушел от F16 и Q6_K (и даже превосходит Q6_K, но это просто погрешность).
А забывать/упускать что-то из контекста - этим страдают даже облачные монстры. Надо относиться с пониманием, использовать агентов.
Да, эти дыры в одной комнате и мешают работе агентов на квантованных бекендах, так как они чаще ошибаются и забывают факты на длинном контексте.
А, ну в агенто-треде пожалуешься на это. Напомни им чтоб не забывали Q8 качать.
А том не кажется что qwen 3.8 flash даже в квантах iq4_xs и q4_k_m отличаются в разы по интеллекту, но первый квант у меня почти летает, а второй уже еле шевелится.
Можно для тупых разжевать, жора опять какую-то странную ебанину заложил в логику работы лламы? У меня просто pp как раз соточка на Нексте.
Ты что несёшь, юродивый? Ты вообще смотрел восьмые кванты? Это не тупая обрезка всё-под-восемь, а точно такая же, как и в четвёртом: более чувствительные места вообще не квантуются или квантуются слабо, если иначе никак.
Видимо, ты с длинным контекстом вообще не работал, раз такую хуйню несёшь. Если ещё на зирошотах 4 кванты могут работать или с малым контекстом, а при определённом спектре задач и с большим, то в любых не кодомакакинских задачах они пускают жидкого.
Ты скинь модели доки на 20к контекста, к которым ей нужно обращаться, и пусть она тебе ещё всякий кал пишет таких же размеров. Сразу увидишь как у неё крыша поедет, в отличие от 8 кванта.
>>1707839
Нищим крестьянам дают хоть какой-то способ запуска, а они ещё и выёбываются вместо благодарности
>IQ4_XS я даже не буду качать
Q4_K_S тащем-то лучше, если в память влазит, Q4_K_M еще лучше.
IQ4_XS это для самых зажатых памятью. Анслот говно кстати, бартоха лучше.
Вот чел тестит лоботомиты, иголки теряются разве что на 200к+ контекста, и то очень редко:
q4 квен36 35б https://www.youtube.com/watch?v=jFHu6wx_TMQ&t=205s
q3 квен38 27б https://www.youtube.com/watch?v=vKy0154ey90&t=138s
Может быть год-два назад это и было проблемой, но не сейчас, да и вообще вопрос должен быть "достаточно ли?".
Я помимо этого еще и kv кеш в q4 гоняю без проблем, но на контексте до 130к, код и с проверками.
Можете попрощаться с ролеплеем. Щас вот это JEV-подобное дерьмо встроят во все модели и будут они без генерации текста анализировать и отклонять запросы еще до того, как они дойдут собственно до генератора текста. А может и генераторы в принципе вымрут и останутся только эти принималки решений.
>Можете попрощаться с ролеплеем
Братанчик, так уже. Мы я тут на годовалых моделях сидим, типа эира, ради креативного письма, жертвуя плюшками новых моделей. Куда уж там что то хуже делать.
Слушай, у нас на поле локалок щас компаний трастворфи по пальцам одной руки, половина из которых и так мех в рп, так что я нихуя не жду. У меня уже всё есть, а именно кими, глм 4.7 (5.3 флеш?) квен 397 мейби, дипсик 3.1
Всё чего нет - это железа, тут уже просто надо сесть на жопу и ждать и никак хуже стать не может ибо у нас саппорт в виде миллионов геймерков по всему миру.
>5.3 флеш?
Я его попробовал на шестом блять кванте и удалил.
У него совершенно всратый русский язык.
Допустим персонажа зовут МАНЯ, а эта залупа ризонит по-английски
> Moneta
што блять нахуй
Семплер правильный, все правильное, я не руукожопич у меня все норм с другими моделями. Просто это какой-то гигакал от z.ai - в конечном аутпуте она тоже срет под себя время от времени.
Это мелкая модель классификатор. Такие же давным давно у всех корпов есть. Давно не заглядывал на опенроутер, но раньше там почти у всех корпов были вшиты эти гард модели, которые обрабатывают текст перед основной моделью. Только у клода были варианты с цензурой встроенной через промпт вместо доп модели. С локалкой тебя никто не заставит ставить себе такое. Гораздо опаснее, как по мне, что от этих доп моделей стали отказываться в пользу абсолютно поехавшего обучения на сейфти, фокуся его в ризонинге. Как в gpt-oss, которому было похер на задание, пока он первым делом не пережуёт в ризонинге, всё ли безопасно. А вот если бы все не делали модель безопасной, вместо этого предлагая корпорациям включать дополнительно модели-гарды, то было б хорошо как раз.
Может как в квен нексте там внезапно годнота
>>1707197 →
>>1707201 →
>Чикатило рп
Кто же сотворит зло, как не balls-out wanker.
Гемма 31B оригинал, контрольные векторы Скромность + Нигилизм.
Грубость смягчена промптом, призывающим к успокоению и расслаблению
Тов-щ майор, отъебись, человеческая анатомия не позволяет такую дичь вытворять, это просто хентай-шиза. Сам сопятину даже не читал
>>1707885
Q8 терпимо пишет, но сравнивать не с чем - мелкие кванты не пробовал. Местами словно перевод на русский, а не чистый русский.
Если это уместно контекстуально то какие проблемы. Просто так он таким не серит. Конечно гораздо круче даже когда в падающем самолете чары говорят как роботы, да, прямо как на эире
Мне кажется, если бы смотрящие за порядком регулировщики были в курсе, для какой ебанины модельки используют простолюдины - у нас бы ллм вообще не было. Это в глазах нормального человека наверняка выглядит как абсолютное зло.
Ну чикатило вроде ловил шлюх и потрошил их, а потом людоедствовал. В принципе можно и до этого довести, только давайте вы сами.
Да я набрасываю. Пока что это лучше геммы в триллион раз и этим реально можно пользоваться. Её вообще стрелять надо, суку драную.
Для чего ты в своих сообщения указываешь то что должна делать Холо? За нее?
Модель, не желающая генерировать, начнет отрицать такой нарратив.
Еще возможна ошибка с восприятием нарратива как вербального пиздежа юзера, типа
> ЧТО ТЫ СЕЙЧАС СКАЗАЛ?!
хотя описываются действия и хорошо работающий бот должен их выполнять
Классические, стандартные тесты же.
Говно какое-то. Ты сам с собой рп играеш. Зачем тебе ллм? Для меня смысл этой всей хуйни - в непредсказуемости.
Почему я заявляя персонажем что-то пишу как она делает, но мастер упорно продолжает настаивать что у нее это не выходит? Пример: Она пытается вырваться, но в каждом сообщение он пишет что попытке тщетны и прочее.
Вроде как это прямое описание того что персонаж вырвался, но мастер возвращает ее снова в захват, не давая исполнится воле игрока.
Нужен баланс. Идеальная ситуация - способный генерировать новые ивенты бот, при этом уважающий решения юзера.
Стирить модель в определенную сторону всегда было основой РП. Например, пишешь, что чар подобрал древний свиток, ведущий в пещеру анального изнасилования свино-гоблинами. Бот сам такое не придумает.
>>1707915
Хз, промпт смотреть надо че там нахуеверчено.
>пещеру анального изнасилования свино-гоблинами
Ну такое хотя бы через OOC писать.
Персону и карточку мастера уже сделал на английском, просто с инструкцией писать на русском. Но как представлю читать долгие диалоги да еще потом писать на английском, это прям душно станет.
Для этого в таверне так понимаю переводчик встроен? Но ведь он зацензурен скорее всего.
>моделька сказала
Во-первых сами боты нихуя о себе не знают, во-вторых че за моделька-то.
Вот например гемма жрет меньше токенов на русском, чем какой-нить минимакс. А какой-нить hy3 от tencent превращает 20к-токеновый промпт в 30к-токеновый
А что насчет Qwen3.8? Как он по сравнению с той же геммой.
Вот такие две приглянулись
Qwen3.8-27B-Heretic-Abliterated-Uncensored-GGUF-Q5_K_M
Qwen3.8-27B-TurboFCFusion-735-882-Here-Uncen-NEO-CODER-MAX-Q5_K_S
Ну так возьми да сравни, сколько токенов сожрано на каждой модели с одинаковым содержанием чата.
> Qwen3.8-27B-TurboFCFusion-735-882-Here-Uncen-NEO-CODER-MAX-Q5_K_S
В современных моделях такого нет. Раньше да приходилось ещё одной сеткой переводить чтобы меньше токенов занимало
Бля чел... это мёртвый номер. Даже не пытайся. Есть у меня эти модельки. Русик там говно лютое.
У кого-нибудь так любит выражаться иишка?
Ну они только опенпопе и антропику могут насрать в рот, китайцы в рот ебали эту шизу.
Не сможет квен в русик. Ни в каких квантах. И дипсик не сможет. И глм. Никто не может и полноценно не сможет. Включая гемму. Почему? Я вам расскажу. Но для начала позвольте мне сказать кое что. Русский язык - не кумовской совсем. Нет в нём кума. Нет и не будет. Так уж исторически сложилось.
Что у нас в русском из кума есть? Своего - ничего. Только сказки подпольные про колобка с елдой, жопастую царевну и прочую дичь. Для пизды слова ласкательного не придумали, всё заимствуем. Киска киска. Какая нахуй киска? Всё оттуда. Вот в английском каждое слово - 3-5 букв (в среднем), зато сколько мощщи. И никаких спряжений не надо. Какая экономия токенов! Текст плотный, насыщен смыслом и кумом. Вот попробуйте перевести face-fuck. Ни так ни так не клеится. Сам "кум" тоже хороший пример: три буквы, а сколько смыслов. И внутри модели так много полезных связей образовывается с этим словом.
А самое главное, у них ведь, англоязычных, от души всё, открыто. Это мы, зажатые все, суровые. Эмоции показать боимся. "Пидорами" прослыть боимся лишний раз. Всего боимся. Вот и язык у нас сухой, не кумовской совсем. Откуда тогда датасетам для тюна взяться хорошим? Большинство "русских" датасетов это переводы, корявые причём, ну и учебники, в лучшем случае худ.лит (где штампов иногда столько, что если снять буквы штампов со страниц и разбросать их по всей округе то вся "округа" станет "чёрной как смоль" нахуй, ну а если этого и мало, то будет что-нибудь неуклюжее дореволюционное или вовсе, шизанутое). Так вот, поскольку нет датасетов, то не будет и тюнов под русик нормальных. Не говоря уже о том, что русский язык - громоздкий и попросту плохо ложится в нейронные веса. Хоть хуиллион параметров захуярь в модель - всё равно где-то проскочит ошибка или что-то неестественное, особенно когда надо будет показать разговорную речь.
Я это вообще к чему веду. А к тому, что тут в последнее время наблюдается тенденция, я бы сказал, весьма нездоровая - умственные и писательские способности моделей и тюнов оценивать по так называемому "русику". И тут закономерно, лидеров не много будет. Пальцев одной руки хватит чтобы сосчитать эти модели пять раз по кругу. У кого датасет больше всех был, тот гугл и преуспел. Но это не значит, что модель кумовская. Да, гемма-4 "неплохо" может в русик. Но не надо от этого "таять", протрите глаза. Это ведь ужаснейший СЛОП. Этот текст как из учебника, это услужливость и дебиловатая податливость, эта банальщина, эти шаблонные нагромождения (в любом языке). И оно же не тюнится толком нихуя.
Я совершенно не против использования геммы для так называемого общения с ассистентом. Знаете, как с ЧатГПТ поговорить на любую тему, уточнить что-то. Нормально.
Но что касается креативной писанины или рп, здесь уже лучше к Гемме не приближаться вообще. И конечно же, забудьте про русик. Только контекст потратите. Ваш инглиш слаб? Учитесь, учитесь у лучших - смотрите в сторону правильных кумовских моделей, они как раз и научат.
Так куда же тогда смотреть если не на Гемму? А вот куда: ТЮНЫ ЛЛАМА-3 и (изредка) мистраля. Llama. Многие забыли или не знали. Сейчас под llama понимается в основном llama.cpp. Но ллама (3, 3.1, 3.2) это прежде всего моделька. Которая (как и мистраль) очень хорошо тюнится (в отличие от геммы4 и всего современного шлака).
Найдете у Дэвида Ау. Он сейчас на квен переключился с датасетами снятыми с кодоунитазов и там ему, судя по всему, нравится, но вообще это тупиковая ветвь, не обращайте внимания. Зацените его коллекции тюнов лламы и мистраля немо. Вот где настоящий кум упрятан. Да, может там нет мега-мозга который уследит за каждой иголкой, может там надо свайпать, редактировать, играть с настройками (чтобы увеличить контекст например до 32к, что совсем не сложно, но часто контекст расширен тюном и без этого), настраивать сэмплеры. Но зато там есть настоящая креативность и животворящий текст. Тут выбирать или хромающую но живую креативность или дохуя умный но мёртвый слоп. Внимательно читайте описания к моделям и советы по использованию. Качайте пока не удалили. За это всё скоро возьмутся.
И не надо ждать у моря погоды, манны небесной и так далее. Дальше не будет "лучше". Соево-слоповая архитектура будет становиться только хуже.
В ллама-веб юай это нормально выглядит как стрелка вправо. Да, модельки так структурируют текст иногда.
Хорошо что IQ4_XS-шиза можно сразу же детектить по рандомным выделениям жирным в тексте и скипать пост, не читая.
Да. Поднимаешь штук 10 гемм е4б (обязательно отдельных инстансев) и они объединяются в ультра аги
>Говно какое-то. Ты сам с собой рп играеш.
Oh, boy, here we go!
Потому что есть разные методы игры в ролеплей. Если у тебя нет никакого плана, а ролеплей твой как зарытый в землю шланг - гибок, скрытен и непрерывен - то тогда действительно можно давать нейронке полностью думать самой.
Но ежели ты отделяешь своего персонажа внутри повествования (который этим повествованием ограничен) и себя как автора данного ролеплея, у которого есть план, есть какие-то представления о дальнейших событиях и действиях - тут стоит рассматривать нейронку сугубо как помощника, которому ты даёшь общие указания (с желаемой тобой степенью детализации), а уже она займётся добавлением подробностей и мелочей.
Тогда 9 штук гемм и 1 мистраль. Мистраль главный сурс ролеплея, все остальные геммы нужны для обслуживания мистраля. Анализ контекста, составление промпта, фикс орфографии и стилистики, фикс логических несостыковок.
> Лично я у себя удалил НАХУЙ все Q кванты
Правильно, но iq тоже попадает в эту категорию. Если не использовать имплементацию внимания "жора-аттеншн" - многие проблемы моделей сразу исчезают.
https://github.com/eleutherai/lm-evaluation-harness можно взять и прогнать. Только на железе, на котором обычно катают инвалидные кванты, это займет очень много времени, а если еще в рам выгружено то с неделю.
>>1707839
Конкретно с ленивой выгрузкой нграммов он что сделал молодец, тут грех доебываться. А вот что требует глобального ммап вместо того чтобы обозначить это для конкретных тензоров - указывает что было выполнено в спешке и костыльно.
Попроси ллмку накодить патч. А еще лучше - выяснить почему вообще приводит к такому падению пп, должен же только помогать.
>>1707843
> более чувствительные места вообще не квантуются или квантуются слабо, если иначе никак.
Такого нет, может быть в каких-нибудь анслотовских ud q8 k xl. А так q8_0 по принципу проще чем k кванты. Но это все еще не тупая обрезка а квант и он точнее четвертых даже самых навороченных.
4-битные кванты для кодинга и длинноконтекстных задач действительно могут сдавать, только если это не qat с завода.
> а именно кими
Какую катаешь? 4.1 дипсикожену приручил? Обычный 5.3 как?
>>1707978
Большинство нытья итт по недовольству. Можно начать с однообразности геммы, за ней есть такое, но чтобы было НАСТОЛЬКО - это пиздец. И это q6k, который уже не должен вносить проблем.
Яндекс дропнули новую модельку 80B:
https://huggingface.co/yandex/AliceAI-Foundation-80B-A3B-Base
Ну и я тогда репостну, то как у меня это реализовано.
Собственно там есть куда расти еще и что это надо еще допиливать и приводить в божеский вид.
Но у меня работает без выгрузки модели из памяти. В теории памяти еще достаточно чтобы и модель пожирнее (для генерации) туда впихнуть.
Ну и надо с промтами поиграться, чтобы более четкое и подробное описание для генерации выдавала LLM
> 80B-A3B
Размер по крайней мере демократичный, но поддержки видимо тыщу лет ждать
Квен некст. 5 квант. 6 сообщение. xhigh ризонинг...
Чар забыл что во 2 сообщении юзер сел на стул рядом с ним и попросил сесть...
Ну почему 6b, было же 10...
А зачем? Взяли годовалый Qwen3-Next-80B-A3B и натренили нечто со скорами как у этого самого годовалого Квена.
> дрочит гексагон и опенвино
А как зелёные с этим связаны? Это вообще работа на конкурента
> но поддержки видимо тыщу лет ждать
Кажется что это просто квен3 кодер некст. Конфиг, размерности и структура слоев на первый взгляд идентичны, только порядок типов внимания по слоям отличается.
Попробуй просто подменить имя конфига или сослаться на квен3некст, должно завестись.
У нас тут свой пейволл от корпораций - по железу.
Бляди специально, вот не убавить не прибавить, намеренно сука делают размеры, чтоб у тебя нихуя не влезло, так ещё и обучают сразу в 4 кванте, чтоб либо такой, либо лоботомируй х5 ещё до кучи.
По моделям может быть, по железу золотая эпоха кончилась в прошлом сентябре
Если говорить про агентов и кодинг на локалках, то может быть, тот же квен 3.8 27б довольно мощный и доступный. Если говорить про рп и остальную гуманитарщину, то до золотой эпохи еще далеко, и новые модели от нее пока скорее отходят.
Да
>>1708019
Злые негодяи специально делают модель побольше и с дешевым компьютом, чтобы получить хороший конкурентный перфоманс, и продавать ее, как смеют! Вместо этого обязаны штамповать легаси мелочь, которые дороже в инфиренсе и уступает остальным, но зато Васек из Кыштыма сможет их запустить их на своей 3060.
Да моделька прям неконсистентна, то пишет кино, то выдаёт дичь, путает сущности, и прочие прелести. Кум на ней, внезапно есть, но кривенький. А ещё у меня он как гемма всё пытается свести к одному, только вместо сексуально раскрепощённой геммы он в романтику уходит. Зато у меня на фуллцпу и 60к контекста 8 т/с выдаёт, что как-бы подкупает. Мимо тоже пятый квант.
Убираешь MTP и становится более сфокусировано на адекватном аутпуте.
А ведь на самом деле неплохо. Ну где это видано, чтобы кумботы такое писали. Обычно одна соя
Это сраные, вонючие 6б.
Хуй че изменилось за год.
Гемму спасает только то что она ужарена в хламину без свайпов и построена на слопе и паттернах где невозможно ошибиться
>не нужно
Тебе лишь бы попиздеть.
>>1707856
Зачем мне какой то чел, если я сам niah тесты могу прогнать? Сейчас за счёт ризонинга компенсируются дыры ещё, это тоже надо учитывать.
Но проблема изначальная осталась - прозу эта хуйня пишет абсолютно нечитаемую, как будто это техническая выжимка оригинала "он пошёл он увидел он сделал". Никакими настройками и промптами не вылечилось. Тут советовали миднайт мику, но она мне ну никак не влезет
Ну смотри. Эти 6Б неплохи на самом деле, как для квена. Если так подумать, то как раз таки обходит по качеству их прошлогодние 14б. Они же прошлогодние, да? Просто квен говно редкостное для рп.
Хмм, а вектора могут взаимодействовать с тюнами Геммы, или они жёстко к базовой модели привязаны?
Хз если честно. Я запускал минимакс М3 расцензуренный с векторами и он совсем одебилел.
>3.5-9B
Что ты там кодить на таком лоботомите собрался. Qwen 3.8 27b сейчас минимум для кода, 2 карточки 3060 его хорошо тянут, самый нищевариант для кодинга.
Вектора же под одну конкретную модель делаются, не?
Они должны быть как-то связаны со внутренним состоянием модельки.
У меня одна 3060 к сожалению, но зато 48 Гб оперативы. Но от оперативы толку тоже нет, я пробовал Qwen 3.8 27b GGUF UD-IQ4_XS запускать, он пишет один слог в секунду, невозможно пользоваться. Gemma 4 26b лучше работает, а квен че то тормозит нереально.
Ну я к тому, что оригинал и расцензуренная модель тоже типа разные, хоть и не сильно. Вот и хз че там с тюнами.
> квен плотная 27B
Ну почему она не moe...
Потому что мое лоботомит не сможет даже на стул сесть и не забыть это за 4 сообщения.
Эир так не серит даже без ризонинга, а со вниманием у него беда.
Мне ллмка выкатила пост на пол экрана и на вопрос почему так много, ответила: The length of my previous response was approximately 280 tokens. Хотя при этом место для ответа закончилось и часть поста не допечаталась судя по орфографии что подтверждает что там был лимит таверны на 600.
Кто пиздит?
Чел, ну кто промптит ллмку на длину, тем более на токены? Хотя бы на количество слов промпти, и то плацебо. Ллмки на такие вещи почти не тренируются.
Показалось что примерно она считает, но да, со словами наверное получше.
>>1708112
Да я откуда знал! Так оказывается миллион инструкций разных можно делать.
Сейчас поставил вот такое - Length Constraint: Limit each response to a concise range of 50–200 words. Prioritize brevity and immediate micro-actions over descriptive padding.
Вроде вот по нему, теперь прям как надо, но есть ощущение что ллмка в порыве сократить, теперь делает прыжки между событиями, а не распылять событие на более мелкие действия.
>>1708111
Чоо, я так и делаю. А как ещё иначе ограничить длинну с ризонингом?
Ставишь 400, ответ умирает на четверти ризонинга. Ставишь 5000, ризонит на фулл, но уже сам ответ на 2к токенов, когда ты хотел 400. Ограничиваешь длинну ризонинга на 1000, ебана, теперь то точно всё, а оно ризонит на 200 и ехидно пукает ответ на 800, а ты так хотел 400.
Только терпеть. Ризонинг можно ограничить в лламецпп, как и длину всего ответа, но это будет просто остановка ризонинга или ответа на полусло
Пишешь в промпте и в post history instructions: Limit your response length to about 300-400 tokens. Как пример. В параметрах семплинга длину ответа оставляешь хоть 8192, чтобы он ризонил сколько потребуется. На выходе ответ должен быть плюс-минус в пределах 300-400 токенов. Я уже давно так делаю. И на Гемме, и на Квенах, и на Дипсике, и на Флеше-Некст. На всех последних моделях работает. Если нет, то у тебя квант слишком маленький или модель ещё почему-то не следует инструкциям.
Ну я так и делаю, а вот говорят НЕЛЬЗЯ.
Надо разобраться ПОЧЕМУ ТАК.
Видимо, тот кто говорит что нельзя, не разобрался в вопросе. Либо я шиз и пизжу тебе. Показывай скрины, показывай промпты. Нам гадать чтоль где ты обосрался? Уже погадали, проверяй промпты, квант модели, разбирайся почему инструкциям модель не следует.
1. Нейронке
2. Анону
Да никто не говорит, что нельзя, это просто неэффективно. У ллмок нет какого-то постоянного внутреннего состояния, чтобы счетчик держать, поэтому промптинг на длину они понимают очень примерно и могут нарушать ограничение. Если тебе хватает такого с погрешностью плюс-минус 100 слов, то промпти, никто не запрещает.
Мех... Результаты пока говно.
Поменял датасетик на https://huggingface.co/datasets/Vikhrmodels/ficbook_preprocessed (500 семплов)
Просто рассказики, плюс промпты уже заготовлены. Язык норм. Хотя смущает, что там половина наверное про аниму всякую, и промпты не оч подробные, слишком сильное полагание на каких-то известных (или неизвестных) героев. И вероятно нейронка не будет видеть значительной связи между промптом и аутпутом.
Ну и по стилю, оно в целом человеко-сгенерированное, но слог едва ли высокохудожественный, поэтому мб нейронке и учить особо нечего будет.
Но это я уже опосля догоняю.
Один прогон сделал, ранк лоры как и планировал 32.
Лосс - ни о чем, стоит на месте.
Результаты тестов мало отличаются от предыдущего тюнинга.
Думаю все равно поставить вторую эпоху крутиться, как только кулдаун на колабе спадет. Интересно посмотреть что вообще может дать повторное обучение тем же семплам.
Если нихуя не выгорит - я кладу хуй на любые тюнинги.
Ну или по крайней мере до тех пор, пока я не нагенерю адекватный датасет.
На примете следующие варианты (где-то переформатировать надо, где-то промпты сгенерить)
https://huggingface.co/datasets/Exxe/literary-roleplay РП по классической литературе
https://huggingface.co/datasets/limloop/roleplay_knowledge_boundaries РП на тест границ персонажей
https://huggingface.co/datasets/IlyaGusev/gpt_roleplay_realm синтетический РП +- норм качества
https://huggingface.co/datasets/Vikhrmodels/dostoevsky_scored креативное письмо на основе Достоевского
https://huggingface.co/datasets/krplt/ru-fictext-nsfw НСФВ рассказики
https://huggingface.co/datasets/qklent/ficbook_horny еще одни (щас обнаружил, что по тегу ficbook есть десяток датасетов на ХФ)
Есть еще ряд датасетов на инглише, но качественный перевод это то еще пердолево.
Вполне эффективно. Современные модели имеют погрешность в 100 токенов, а не слов.
> который обожает рассуждать о том, что "некоторые IQ - без i-matrix", если ты и есть тот клоун, то соси хуй, дорогой, эти кванты геммы как раз таки с ima
У мразермахера специально помечено, где кванты iq4_xs без иматрикса, так что шизу ты тут гонишь. Он 2 релиза делает на каждую модель - одна iq кванты с иматриксом, другая iq кванты без imatrixа. Можно выбирать под свои цели, что подходит.
>>1708144
Странные люди добавляли эти вопросы в тестовые наборы для оценки, по крайней мере в популярных видео, поэтому такие задачи есть в обучающих датасетах. Приносит оно пользу или вред с точки зрения регуляризации или отупения - сложно сказать, но штука крайне сомнительная.
Как вообще в это вкатиться. Я вот даже не знаю, что можно на своих 24+24 VRAM натренировать.
Мне кажется или здесь что-то не так?
Пфуфууфф... я хз на чём вообще ерпшить кроме эира, вообще нет вариантов. Ну вот совсем.
Тебе голову подлечить бы для начала, а там и модели начнут бить ключом
Можешь начать с сайта анслота. Есть как готовые ноутбуки, так и пачка отдельных статей по файн-тюнингу.
https://unsloth.ai/docs/get-started/unsloth-notebooks
48 гб врама в сумме? В теории даже квена 27б можно, или гемму вплоть до 31б. Хотя квен в q4 говорят плохо квантуется.
https://unsloth.ai/docs/get-started/fine-tuning-for-beginners/unsloth-requirements#fine-tuning-vram-requirements
Но начни с чего-то попроще, 8-12б, или даже 4б, чтобы итерировать быстрее. Там подводных камней - обосраться можно.
49 блять. Сорок девять. Там, где это было совершенно не нужно.
> почти физически ощутимым
> почти обжигающим
> почти болезненным
> почти неосознанное
> почти сливалась
> почти прозрачная
> почти освязаемым
Прямо хоть запрещай это генерировать. Она упорно не хочет давать конкретные характеристики, везде эта незакончченность и неопределенность. Почти-почти-почти.
Что ты хочешь от меня?
Я только что проверил очередную модель и она в очередной раз хуже эира. Что я могу с этим сделать?
Ей можно пользоваться, закрыв глаза на дебилизм, но зачем, когда есть эир?
Я правда пытаюсь найти что то, пробую новое, а зачем...
Примерно как советовать надеть скафандр космонавту. И так блять всем чем можно обмазано. Это вообще не проблема повторов, а нежелание модели изображать конкретику. Она всегда выводит полупидорское дерьмо на полшишечки.
Я кстати хз почему он эйрошизу не зашёл.
Игнорит инструкции? - чек
Всратый русский? - чек
Тупой? - чек
Генерит шизофазию? - чек
Путает персов? - чек
Своеобразный стиль прозы? - чек
IQ2XXS запускаешь или как? У меня ничего из этого нет, лол. Слоповый малость разве что
Бери и тести, я ебу что тебе хуже или лучше. Для меня очевидны проёбы в логике, что сказанного, что сделанного.
Q5. Да я зажрался прост с дипсиками всякими и стпаном Норм моделька, но на больших и сложных карточках, с лорбуками на пару косых и суммарайзомна 1к, ему тяжеловато. А вот слопа у себя не заметил особо. Единственная доёбка это то что персы разговаривают всратенько и пара других мелочей. Ну и соя, да. Меня модель прям шеймит периодически, тип какой же я мудак, что кого-то там обидел, даже изобретает что моему персу стыдно или жалко, лол.
Я не пойму это реально? Я просто не хочу качать 100гб на тесты, но видимо придёться. Меня уже моя 24б модель заебала в таверне.
Если бы это говно ебаное пошевелилось и подросло в цене, я бы его продал няхуй...
А был момент что за условные 5-6к можно было про6000 купить. Сколько там амда 9070 32-гиговая стоит кстати?
>>1708202
Что реально? Часть некста можно разместить на ссд, это замедлит скорость но на фоне остального замедления несущественно.
Новая плотняша 33B. Судя по тому что она едва лучше 35B Квена и в бенчах сравнивают со старым 3.5 27B Квеном, модель говно. Но может кому в РП зайдет, всё таки что-то новое а не очередной файнтюн.
Пора продавать ещё и видяху? И оперативку. Зато будет на что жить в эпоху, когда ИИ отобрал всю работу.
Там скорость ~20т\с. Я 30т\с получаю с моделью полностью во врам. Это же обдрочиться можно.
https://huggingface.co/TheDrummer/Behemoth-128B-v3 вот эта говорят хорошая, подскажите пж настройки
Почему говно? Где об этом написано? Подскажи тогда нормальное
> Но может кому в РП зайдет, всё таки что-то новое а не очередной файнтюн.
А как можно РПшить без хорошего файнтюна? Или ты любитель ассистант-слопа?
Внизу save config когда все настроил. При следующем заходе делаешь load config.
А у тебя под эту модель есть железо? Она огромная, требует несколько дорогих видеокарт, штуки 3 - 4 rtx 3090 например. И вообще модель уже устарела
Потому что интерфейс из начала нулевых где чёрт ногу сломит, говнокомбайн (бэк и фронт в одном проекте), при этом бэк печальный - чаты можно сохранить только в БРАУЗЕР, короче говоря, много причин НЕ использовать эту хуету. Хочешь быстренько проверить модельку - качай llama.cpp и прописывай ключики, разобраться за две минуты можно. Хочешь карточек таверны - качай SillyTavern и настраивай по гайду (которого в шапке нет и не будет). Вот тебе нормальное.
Может она красиво пишет из коробки и имеет слабую цензуру. Дефолтной геммой же люди пользуются.
>чаты можно сохранить только в БРАУЗЕР
Их можно в джсон выгружать, алло.
Хватит жрать слоп, переходи на английский язык и нормальные РП тюны. Под русик ничего нет и не будет (по чисто техническим причинам). То, что базовая гемма4 может тебе сносно ответить на русском, не значит, что она годится для РП. Даже англ тюны геммы слоповые до ужаса, она плохо тюнится (тоже по техническим причинам).
Ага, "спасибо". А бэкенд там нахуя тогда? Почему не сделать как в Таверне? Ну говно же. И ты спрашиваешь почему говно.
Геммой пользуются потому что она быстро работает даже с 8 Гб видеопамяти. А эта агнэс хуйня взлетит только на 24 Гб или двух 12 гб видюхах.
Как же хочется, пусть даже 9б аутисточку. Буду учить её, воспитывать, что хорошо а что плохо пояснять, лор своего пгт рассказывать.
Аж ломка
Квенчику энграммы дообучи - будет тебе девочка
И даже лор пгт в ответах уже присутствует.
>У мразермахера специально помечено, где кванты iq4_xs без иматрикса, так что шизу
так он шиз блядь. это лишенго всякого смысла и это чисто его фишка, я не знаю нахуя вообще гемму от этого дебила качать, есть анслот, есть апекс, бенчмарки красивые, они сами делали, бля будут
Нет, иматрикс пакуется в кванты без iq, а кванты c iq наоборот могут быть без imatrix. Это просто размеры квантов, иматрикс отдельная тема. Поэтому и делается 2 сета.
Чем-то это напоминает сцены из Гипериона. Хоть и не так пошло, но всякие там непотребства описывались похожим образом.
Тебя там ждет такая соя и слоп что ты струей рвоты пробьешь экран. Не говоря уже о том что самая лайтовая моделька будет весить примерно 100-500B и будет заполнена кодоунитазингом на 99.999%
Ну а серьезно, тут на гигачате кто-то рпшил? Как он в целом, стоит вообще времени на пердолинг? Вроде и все хочется попробовать, да лень заниматься.
Ага, угадай что такое i.
Я тебе говорю он шиз и делает это через жопу. Если ты видишь в этом смысл то ты тоже шиз. Объяснить смысл (ну типа ответить на вопрос "Нахуя?") ты не сможешь.
У меня гигачат просто усерается бесконечной генерацией где он продолжает диалог и начинает отвечать за пользователя (то есть за меня). А так вообще по тексту - уг и цензуры дохуя.
Смысл в том что iq кванты влезают в меньший врам. Иматрикс же гробит вывод и языки, он не всем нужен, только под определенные задачи. Поэтому и есть не iq кванты с иматриксом. Important Matrix это не i-quant, i-quant это просто метод компрессии придуманный QuIP для ламы с Hadamard Incoherence, поэтому там I в названии. Люди их путают.
Бле
>>1708289
Да на Фифи похуй, интереснее как он держит контекст, насколько внимателен и вариативен в рп, насколько крепки байасы и умеет отыгрывать разные характеры.
Алсо как видишь у бартохи imatrix кванты тоже без i в названии висят, например q3_k_m с imatrixом.
Чел, твоя проблема в том, что ризонинг - это не особый вывод а просто часть ответа. Отделяется от финального текста лишь технически, на стороне бека/фронта, а для модели всё едино - она просто генерит токены.
Причем токены она, как тут правильно сказали считать не умеет (в применении к длине вывода). Если хочешь из промпта регулировать длину - лучше просить "не более N предложений" (предложения и параграфы как ориентир дают достаточно хорошую и предсказуемую реакцию, слова - хуже, плюс-минус лапоть).
Но тут скрывается дополнительная проблема. Модель с включенным ризонингом эти N предложений посчитает в части финального ответа. А на сам ризонинг оно не повлияет, потому, что модели так натаскивают - сам по себе ризонинг неуправляемый (иначе бы постоянно сбивался от контекста).
Только отдельные модели имеют некоторые возможности ограниченного управления ризонингом, особыми токенами в запросе. Вроде того же квена с его xhigh, medium и low.
А в настройках ламы/клиента - заданное количество токенов в ответе - это значит тупо обрубить генерацию по достижению этого числа. Модель даже не знает что там выставлено. Причем это число - ризонинг+финалочка, т.к. смотри выше - это единый поток токенов.
Плохая стратегия. Через N времени у тебя будет та же самая ситуация, но уже без видюхи и оперативки.
>чаты можно сохранить только в БРАУЗЕР
Сразу видно эксперта "не читал но осуждаю". Оно эти ~2 года на месте не стояло, знаешь ли, с тех пор как данное заявление было бы правдой. :)
Не говоря о том, что это таки тоже бек - таверной с ним пользоваться никто не запрещает.
Ты >>1701893 → ?
>есть анслот, есть апекс, бенчмарки красивые, они сами делали, бля будут
У анслота как раз шиза, открываем q4_k_s, а там внутри компот ебаный IQ4_XS, Q8_0, Q5_K. Причем они тоже все imatrix, не только iq кванты, даже q4_k_m. У мразера все по-честному, где imatrix не используется, отдельно указано. Бартоха пихает imatrix во все подряд, как и анслот, ну бартоха хоть слои у q4 не мешает с медленным i-quant, и на том спасибо. А так хочешь без imatrix, качай мразера, или релизеров где отдельно указано что без imatrix, iq в названии ни о чем не говорит, кроме компрессии.
Ага, то есть ставишь бэк+фронт чтобы использовать другой фронт. Логично нет. Уж тогда лучшле убабуга текстген. Лучше хотя бы тем что ты можешь без перезапуска подменить модель например выбрав её из списка в интерфейсе (а не лазить по папкам).
На самом деле хуйня что убабуга что кобольд, ставь ллама.кпп и не еби мозг, можно разные билды-форки тестировать, неудобств никаких, сделал себе батник один раз:
cd c:\path\to\llama\build
llama-server.exe -m %1 --port 80 -lm none -c 16384 -rea off и так далее
а потом из любой папки перетаскиваешь ггуфчик на этот батник и сервер запускается без лишних задержек. можно на localhost в браузере зайти быстренько проверить, можно к таверне подключить, можно к маринаре.
> неудобств никаких
> перетаскиваешь ггуфчик на этот батник
Хоть бы скрипт нормальный попросили написать свои LLMки. Небось еще под каждую модель свой батник делаешь, параметры то разные. Еще и мусор на рабочем столе держать в виде gguf'ов.
не надо ггуфы на рабочий стол, ггуфы по папкам распиханы аккуратно, я же сказал из любой папки
у меня есть быстротест-батник с общими параметрами который подходит под всё
конкретно если подгонять параметры под модель то конечно можно батник потом положить прямо рядом с ггуфом в отдельной папочке где только эта моделька. или можно сделать структуру папок где только батники, зачем тебе модельки видеть, в батник зашить путь к модельке.
чем кобольд с его "найди и загрузи джейсон файл с конфигом" лучше этого подхода? ничем
Ну писали бы тогда imat-IQ4XS, static-IQ4XS в кнопочках загрузки
а то у одного пидора IQ4XS это всегда imatrix, у другого - надо угадывать, третий - по две страницы заводит зачем-то. Если иматрикс "гробит" то нахуя он нужен? Что за "определенные цели" такие? Шиза сплошная крч
У мразера все четко - хочешь без imatrix, заходишь на отдельную страницу, получаешь все кванты iq, q4_k_s и прочие без иматрикса.
У остальных обычно все с иматриксом как у анслопа с бартохой на все подряд, у остальных релизеров смотреть надо, бывает отдельно указано нет иматрикса. Imatrix в целом губит языки, так что ту же гемку лучше качнуть у мразера без иматрикса.
> не надо ггуфы на рабочий стол, ггуфы по папкам распиханы аккуратно, я же сказал из любой папки
Это еще хуже чем просто на рабочем столе, потому что в итоге чтоб запустить модель с рабочего стола, тебе нужно еще открывать её где-то в проводнике.
> конкретно если подгонять параметры под модель то конечно можно батник потом положить прямо рядом с ггуфом в отдельной папочке где только эта моделька. или можно сделать структуру папок где только батники, зачем тебе модельки видеть, в батник зашить путь к модельке.
Жесть. Когда такие люди говорят потом о каком-то удобстве или неудобстве чего-то это ничего кроме улыбки не вызывает.
> чем кобольд с его "найди и загрузи джейсон файл с конфигом" лучше этого подхода? ничем
Ничем. Но твой подход вообще ничем не лучше.
https://pastebin.com/5w6WrTA9
Всё. Один батник на рабочем столе в который нужно просто прописать параметры один раз. Никаких открытий проводников, перетаскиваний гуфов, постоянного редактирования по десяти батникам или чего-то еще.
Его еще можно оптимизировать с переменными путей чтоб постоянно не писать полный путь к модели а просто указать одну папку с гуффами если они все в одном месте лежат, но мне лень.
Старые релизеры так и делали. Вот у legraphista например. Новые обленились и так уже не делают, кроме мразермахера.
файла может и не быть, конечно, но это как бы одна из опорных точек в определении где чем насрано
Думаю как-нибудь затестить связку мистраль немо + квен, где мистраль будет генерировать кум, а квен следить за деталями и фактами
>Ага, то есть ставишь
Ну, если тычок мышью в скачанный .exe файл называется "ставишь"...
>>1708305
>лучшле убабуга
А ты не охуел? Вот это добро не просто "ставишь" а "пердолишь", прежде чем оно нормально заведется, и не факт что со всеми функциями, и не заглючит на полдороге.
>>1708305
>Лучше хотя бы тем что ты можешь без перезапуска подменить модель
Кобольд так тоже уже умеет. А еще он умеет модель для картинок автоматически свапать с текстовой - это дает возможность в той же таверне иметь возможность видеть как тебе перонаж свои "фотки" шлет, даже на бомжсетапе. Чего не умеет уже llama. (Можно припердолить через llama-swap и stable-diffusion.cpp например, не вопрос, но мы же про "быстро и просто"?)
>>1708305
>ставь ллама.кпп и не еби мозг
Не ебет мозг новичку именно кобольд. llama же требует немного напрячься. В прочем - это не недостаток как раз. Просто факт.
>>1708305
>а потом из любой папки перетаскиваешь ггуфчик на этот батник и сервер запускается без лишних задержек.
Кобольд позволяет просто натыкать один раз параметры в GUI (но и по дефолту скорее всего будет работать, только модель выбери), потом сохранить натыканное в файл-профиль, и этот профиль потом так-же перетаскивать на свой экзешник запуская моментально. Разница в том, что не надо курить доку по ключам - все на глазах в GUI.
Так-то я сам за llama.cpp, только мне элитизм глаза не заливает, потому допускаю, что новичку кобольд для первого вката проще.
Квен бездушный и скучный.
А дообучение ломает мозги, и нет погружения. Кроме того это скучный пердолиг.
>А ты не охуел? Вот это добро не просто "ставишь" а "пердолишь", прежде чем оно нормально заведется, и не факт что со всеми функциями, и не заглючит на полдороге.
Лолка там портабл сборочка есть. Один минус - старая ллама внутри, кое-какие модельки не заведутся.
>А еще он умеет модель для картинок автоматически свапать с текстовой - это дает возможность в той же таверне иметь возможность видеть как тебе перонаж свои "фотки" шлет, даже на бомжсетапе. Чего не умеет уже llama.
Это умеет ШИНДОВС. У меня видеопамять полностью забита ллмкой а когда запускается крея2 комфи воркфлоу (с крея2едит нодой чтобы персонаж референсился) то всё магическим образом свапается само по себе туда и назад. Кобольду с его сдохлом такие результаты и не снились кстати
>Квенчику энграммы дообучи
А что, там уже с этим разобрались? Я тут BF16 как раз накатил, проверяю насколько меньше в русскоязычных ответах обсирается.
Ну ты там шевелись, не можешь бороться - возглавь. >>1708298 правильно говорит, просто отсрочишь свою гибель. Если не лежит ко всему этому - есть куча рабочих специальностей, где и ментальной нервотрепки нет, и денежку можно зарабатывать.
>>1708328
> тычок мышью в скачанный .exe
Мм, квинтэссенция, без осуждения ну может быть умеренное
Похоже, чуда не произошло. Пишет так же коряво.
>То есть скучно — и ты решишь это развлекать незнакомую девушку случайными сообщениями
Ну очень странно выглядит.
А собсна пруфы-то есть? Ну, что это достойно работает и ничего не ломает.
Хуя ты бахнул. Это ты что ли этот слоп на гитхабе высрал? Ну извини, что проткнул. Бывает.
Я пока что применяю пузырьковую сортировку: список моделей в текстовом файле, беру на произвольной задаче (типа свайпнуть ответ в готовом диалоге) сравниваю две модели которые рядом в списке и если она лучше другой, но при этом лучшая модель находится ниже, я меняю их местами. После чего следующиие две сравниваю. Когда пройдусь по всему списку - меняю задачу. В итоге хорошая модель рано или поздно всплывает выше, а хреновая тонет.
Просто ими пользуешься и отмечаешь что нравится, а что не нравится в конкретном кейсе. Моделей не так много чтобы запутаться, видов задач тоже по пальцам пересчитать.
Потому просто формируется мнение что "это умное и внимательное", "это красиво пишет", "здесь вроде заебись но лезет слоп", "это годнота кодить но в рп дно". Потом уже под задачу и с учетом доступных в данный момент ресурсов выбираешь то, что лучше всего подходит. Одной "лучшей" модели не существует, все от юскейса зависит.
Да, я, ктож ещё
>>1708355
Бенчезависимым обязательно нужно найти лучшую из лучших. У меня много моделей установлено, у каждой свои сильные стороны. Это очень трудно измерить однозначно
Включаю новую модель и делаю с ней то что делал со старыми. Результат хуже - в корзину, результат другой - оставляю как альтернативу, результат лучше - старую модель в корзину.
Если цель проверить литературные способности то примерно так же делаю (свайп на одном и том же сообщении чата)
Кодинг и всё подобное вполне отражают бенчи, ну или отзывы
>Моделей не так много
У меня их 86, откровенно плохие не держу
> У меня их 86
> откровенно плохие не держу
Вау. Огласите весь список
Ага, гига-турбо-мега-ивил-наци-фейбл-нигга-опус-макс-ультимейт-анцензоред-скорпион-демон-6767-ГГУФ
