Локальные языковые модели (LLM): LLaMA, Gemma, Qwen и прочие №194 /llama/
Аноним
04/02/26 Срд 22:14:55
№
1
Здесь мы делимся рецептами запуска, настроек и годных промтов, расширяем сознание контекст и бугуртим с кривейшего тормозного говна.
Тред для обладателей топовых карт NVidia с кучей VRAM или мажоров с проф. картами уровня A100, или любителей подождать, если есть оперативная память. Особо терпеливые могут использовать даже подкачку и запускать модели, квантованные до 8 5 4 3 2 0,58 бит, на кофеварке с подкачкой на микроволновку.
Вниманиеблядство будет караться репортами.
Официальная вики треда с гайдами по запуску и базовой информацией: https://2ch-ai.github.io/wiki/llama/
Инструменты для запуска на десктопах:
• Отец и мать всех инструментов, позволяющий гонять GGML и GGUF форматы: https://github.com/ggml-org/llama.cpp
• Самый простой в использовании и установке форк llamacpp: https://github.com/LostRuins/koboldcpp
• Более функциональный и универсальный интерфейс для работы с остальными форматами: https://github.com/oobabooga/text-generation-webui
• Заточенный под Exllama (V2 и V3) и в консоли: https://github.com/theroyallab/tabbyAPI
• Однокнопочные инструменты на базе llamacpp с ограниченными возможностями: https://github.com/ollama/ollama, https://lmstudio.ai
• Универсальный фронтенд, поддерживающий сопряжение с koboldcpp и text-generation-webui: https://github.com/SillyTavern/SillyTavern
• Альтернативный фронт: https://github.com/kwaroran/RisuAI
Инструменты для запуска на мобилках:
• Интерфейс для локального запуска моделей под андроид с llamacpp под капотом: https://github.com/Mobile-Artificial-Intelligence/maid
• Альтернативный вариант для локального запуска под андроид (фронтенд и бекенд сепарированы): https://github.com/Vali-98/ChatterUI
• Гайд по установке SillyTavern на ведроид через Termux: https://rentry.co/STAI-Termux
Модели и всё что их касается:
• Актуальный список моделей с отзывами от тредовичков: https://rentry.co/2ch_llm_2025 (версия для бомжей: https://rentry.co/z4nr8ztd )
• Неактуальные списки моделей в архивных целях: 2024: https://rentry.co/llm-models , 2023: https://rentry.co/lmg_models
• Миксы от тредовичков с уклоном в русский РП: https://huggingface.co/Aleteian и https://huggingface.co/Moraliane
• Рейтинг моделей по уровню их закошмаренности цензурой: https://huggingface.co/spaces/DontPlanToEnd/UGI-Leaderboard
• Сравнение моделей по сомнительным метрикам: https://huggingface.co/spaces/HuggingFaceH4/open_llm_leaderboard
• Сравнение моделей реальными пользователями по чуть менее сомнительным метрикам: https://chat.lmsys.org/?leaderboard
Дополнительные ссылки:
• Готовые карточки персонажей для ролплея в таверне: https://www.characterhub.org
• Перевод нейронками для таверны: https://rentry.co/magic-translation
• Пресеты под локальный ролплей в различных форматах: https://huggingface.co/Virt-io/SillyTavern-Presets
• Шапка почившего треда PygmalionAI с некоторой интересной информацией: https://rentry.co/2ch-pygma-thread
• Официальная вики koboldcpp с руководством по более тонкой настройке: https://github.com/LostRuins/koboldcpp/wiki
• Официальный гайд по сопряжению бекендов с таверной: https://docs.sillytavern.app/usage/how-to-use-a-self-hosted-model/
• Последний известный колаб для обладателей отсутствия любых возможностей запустить локально: https://colab.research.google.com/drive/11U-bC6AxdmMhd3PF9vWZpLdi6LdfnBQ8?usp=sharing
• Инструкции для запуска базы при помощи Docker Compose: https://rentry.co/oddx5sgq https://rentry.co/7kp5avrk
• Пошаговое мышление от тредовичка для таверны: https://github.com/cierru/st-stepped-thinking
• Потрогать, как работают семплеры: https://artefact2.github.io/llm-sampling/
• Выгрузка избранных тензоров, позволяет ускорить генерацию при недостатке VRAM: https://www.reddit.com/r/LocalLLaMA/comments/1ki7tg7
• Инфа по запуску на MI50: https://github.com/mixa3607/ML-gfx906
• Тесты tensor_parallel: https://rentry.org/8cruvnyw
Архив тредов можно найти на архиваче: https://arhivach.vc/?tags=14780%2C14985
Шапка в https://rentry.co/llama-2ch, предложения принимаются в треде.
Предыдущие треды тонут здесь:
>>1504260 (OP)
>>1500759 (OP)
А когда список моделей за 2026 завезут?
В 2027 вестимо.
>>1509678
Остальное прописывай руками в адишионал параметрс в настройках подключения, лол.
Оно даже не сейвится в пресете, каждый раз заново надо
Бедолаги апишники
Когда кто нибудь его сделает. Это же очевидно. Буть героем треда, запили сам.
>Mistral Medium, которые они так и не выложили на обниморду суки
Ну ты губу раскатал. Она один раз утекла, а её до сих пор помнят, а на обноморде до сих пор тьюны выходят. Никто бы не говорил и не покупал другие модели, будь у нас свежие версии мику.
Кстати, ничего о ней вообще не слышал. Я про медиум, а не про мику. Она прям вин?
Тогда вопрос. Нахуя выпускать в попенсорс большую модель, а не среднюю? Я логики не улавливаю. Ведь платным должен быть серьезный продукт.
> на обноморде до сих пор тьюны выходят
Лолчто
>>1509757
Артефакт древних времен. Тогда была ничего, но прямо супер прорывом не назвать.
> Нахуя выпускать в попенсорс большую модель, а не среднюю?
Если средняя ебет то может быть даже более ценной, или там есть наработки и методы, которые они не хотят раскрывать.
Квенкодер-некст вполне неплохо перформит, апгрейд относительно 30а3 ощутимый. Но и каким-то чудом не назвать, местами видно что модель не крупная.
>Кстати, ничего о ней вообще не слышал. Я про медиум, а не про мику. Она прям вин?
Мику(её утекшую версию) помнят до сих пор.
>Нахуя выпускать в попенсорс большую модель, а не среднюю?
Ты сколько лет в этом варишься. Еще не понял? Мне все стало понятно с того момента как в линейке второй ламы кое-то зажал 30B модель.
Суть любого бизнеса в зарабатывании денег. Выкладывание в опенсорс мелких моделей - то же что демо версия. Даешь нищукам демонстрацию того, что они получат купив большую модель. Выкладывание больших моделей = пиар и гарантия засветится в бенчмарках и топах. Кроме того, это удар по конкурентам, которые зарабатывают на продаже аналогичных, но более успешных больших моделей - обрати внимание, что большие модели всегда выкладывают те, кто находится в положении догоняющих. Т.е. они уже знают что платно их говно не взлетит, так как уступает поделке топовых конкурентов, так хоть ущерб им нанесет. Главное чтобы размер был реально выше возможностей пек обычного пользователя.
Средние же модели в опенсорсе вредят всем. Они гораздо умнее демонстрационных маленьких моделей, чтобы ими можно было комфортно пользоваться. Но они влезают в пользовательское железо, в отличие от больших. Имеющий такую модель не станет покупать большую. С годами критерии средней модели изменилисб как подросло пользовательское железо и стало возможно запускать модели на оперативке с выгрузкой слоев, но суть не изменилась.
> платно их говно не взлетит, так как уступает поделке топовых конкурентов
Вопрос ценовой политики и пиара, дипсик с двух ног это показал.
> Средние же модели в опенсорсе вредят всем.
> Но они влезают в пользовательское железо
Роль самой популярной гпу делят 8-гиговые ампер и ада. Сумма по 3090, 4090, 5090, на которых действительно можно запустить те самые "средние модели" - 1.5%. Вернись из манятеорий заговора в реальность, для обывателя даже 30б - много. Никто не строит шизоидные платы по захвату ничтожнейшей доли рынка, которая и так к ним не пойдет, какой еще вред?
Как выпускали трендовое, так и выпускают. Кто-то по одной, кто-то парные, кто-то сразу линейку. Есть факторы помимо гонки вооружений, пиара и прочего, почитай про опенсорс и почему последние лет 15 в него активно инвестируют крупные игроки.
> возможно запускать модели на оперативке с выгрузкой слоев
> чтобы ими можно было комфортно пользоваться
На ноль делишь. Нормисам нужно быстро и в красивом интерфейсе для обезьян, это покрывается бесплатными версиями. Специалистам нужно быстро и эффективно, хватает подписок. Реальные клиенты - стартапы и компании разных калибров с существенными количествами запросов. Даже если им хватает средней модели - они будут заказывать у авторов, вместо того чтобы пилить свой парк железок или связываться с мутными конторами.
>для обывателя даже 30б - много.
Так обыватели - это и не рынок. Что с обывателя взять - 20 баксов за подписку гпт? Они и так её платят,там рынок поделен уже, всё. Только Грок там пытается влезть, проддавая секс. Остальным там делать нечего.
>Есть факторы помимо гонки вооружений, пиара и прочего, почитай про опенсорс и почему последние лет 15 в него активно инвестируют крупные игроки.
Есть такое - когда одна компания идет к монополии - другии обьединяются и создают опенсорс чтобы охладить её трахание. Это идет не 15 лет, а около 30, с момента как корпы подняли из говен ублюдков, разрабатывающих линупс, чтобы остановить растущую монополию майкрософт.
В ллм была похожая ситуация, когда клозед аи шла к монополии в 22 году и тогда другие корпы реально создали ламу. Но с тех пор ситуация поменялась, единство корпов ушло, все конкурируют друг с другом, общефинансируемых опенсорс моделей типа ламы больше нет. Сейчас каждый выпускает модели в опенсорс по личным причинам - либо прорекламит себя, либо поднасрать другим.
>Реальные клиенты - стартапы и компании разных калибров с существенными количествами запросов.
Именно. Прямо сейчас - самостоятельная ебля с крупными сетками и выстраивание вокруг них собственной инфраструктуры стоит дороже договора с корпами на полное обслуживание, даже притом что корпы там наживаются буквально с каждого проданного токена. Если бы не китайцы, впрочем, то хуй бы мы и крупные сетки реально уровня чат гопоты увидели - так и кормились бы подножным кормом уровня лламы.
>Как выпускали трендовое, так и выпускают. Кто-то по одной, кто-то парные, кто-то сразу линейку.
Твоя версия - почему Мистраль медиум никогда не был в опенсорсе? И куда делись новые версии геммы?
>почему Мистраль медиум никогда не был в опенсорсе?
А хрен его знает другой анон
Честно говоря, моешки вплоть до большой ГЛМ большой Лардж всё же не догоняют. У них есть свои фишки, где они лучше, но один большой "мозг" сетка мелких всё-таки не заменяет. Можно предположить, что дело чисто в пиаре - плотные большие модели не в тренде, а нет ничего хуже для бизнеса, чем быть не в тренде. Поэтому Медиум тихо похоронили, расходы списали - просто чтобы не позориться, хотя модель скорее всего хорошая.
Nya ha ha ha
Еще один поломан квеном. Слабак.
Nya ha ha ha.
Используй его для суммарайза или иных задач, он в этом хорош.
Пишет как и эйр. Свайпай почаще, промт поменьше. Напиши какой стиль повествования хочешь.
Ололо всеми нелюбимый квен при этом слушается коротких команд, а обсосанный жэлэм пускает слюни. Очередная победа китайской нейро страпонессы
Я катаю его в q6 и мне кажется, что это лоботомит ебаный когда без ризонинга. Еще и на хуй бросается, если 4.7. А с ризонингом мне западло ждать 2-3 минуты пока он там просрется, переписывая ответ. Жизнь - боль, потому что все остальные локальные сетки еще хуже. Последний месяц буквально все модели кажутся выбором между сендвичем с дерьмом и гигантской клизмой. Поэтому когда я придумываю очередную вариацию моего любимого сценария, я сразу пейпигаю чмопус. Я теперь локальный импотент, так сказать. Подумываю уже риг распродавать.
А ведь первые пару месяцев после выхода 4.5 не слезал с него, думал, что вот он рывок. А по итогу пук в лужу. Но, справедливости ради, мне кажется, что 4.5 на первом десятке сообщений реально ебет все следующие обновления. Но дальше тоже безмозг какой-то начинается.
ну ничего потерпим
Жди стёпу, там ризонинг быстрее и модель меньше что тоже бафнет скорость
>Еще и на хуй бросается, если 4.7
Ну я в промпте объяснил ему, что так делать нехорошо и как оно должно быть с точки зрения реализма. Это работает даже слишком хорошо. Всё-таки когда модель соображает, процесс общения приятен и сам по себе, приходится этим утешаться.
У нас была мечта но всё упиралось в железо, сейчас даже если выйдет железо моделей уже не будет, только мое лоботомиты
>Имагине 300б плотную модель.
https://huggingface.co/nvidia/Llama-3_1-Nemotron-Ultra-253B-v1
Минусы? Плотные модели - устаревшая и слишком дорогая архитектура. Deal with it.
Тем что нашли способ работать меньше и получать результат хуже?
>слишком дорогая архитектура
Тебя как потребителя это ебать не должно, пусть кабанчик разбирается.
Ну и смешно читать про дороговизну когда врам и рам почти сравнялись в цене
Смотря в чем, для кода когда есть опус и гпт5, любая локалка или другая модель просто не имеет смысла, ибо они работают слишком хорошо. Гемини, как ассистент, в принципе заменима, если не требовать какого-то умного анализа. Но гемини тоже слишком хороша для просто попизделок за всякую хуйню.
Кароч я еще не видел ни одной доступной локалки которая была бы лучше хотя бы копеечных гпт5-мини, гемини3-флеш.
В итоге локалки нужны только если ты прям совсем не хочешь чтобы твои диалоги у кого-то хранились, либо же ради файнтюнов, которых нет. В отличии от картинкогенерации в этом плане все тухло.
>любая локалка или другая модель просто не имеет смысла
А остров дядьки энштейна они тебе отыграют, мм?
Сами ллм на полшага, едва заметно.
Корпы сильны невероятно хорошим бекэндом и оркестраторами. У них и поисковый индекс есть, что позволяет быстрее поиск осуществлять. Ну то есть число гугл-разработчиков представляешь? Вот пока сетка учится 3 месяца - что им делать? А у них уже и свой индекс рядом, и они могут перепробовать все сценарии и пайплайны как используется ллм, как сама себя корректирует, проверяет, каким промтом делается саммари и прочее.
Я убеждён, что вот это сопутствующее окружение настроенное под конкретную ллм важнее самой ллм, а качество ллм вторично и больше отвечает за стиль и характер ответов.
По смыслу это как человек с листочком или без листочка. С листочком человек намного лучше решает интеллектуальные задачи, и с кодом, и со списком покупок, и когда нужно речь подготовить.
Конкретно в твоём случае с 128+24 памяти имеет место некоторая дыра, тебе нужен размер сетки примерно 0.8х(суммарный объём памяти). Есть уже три хороших сетки на 200-230B чуть ли не за последний месяц, до которых ты не дотягиваешься, и есть на 100B и 70B, которые влезают в рам с запасом, но довольно старые. Посмотри qwen на 80B, GLM-4.6V/GLM4.5air
Ну а без RAM - у тебя 24 ГБ. Это любая сетка на 20-30B полностью в видеопамяти с небольшим контекстом, они отстают уже на полтора шага и намного заметнее. Если всё что выше 200B приближается к "насыщению" и дальнейшее увеличение это часто о том, что она просто больше данных в весах запоминает, но в плане мышления заметно лучше не становится, то вот у 30B и с мышлением проявляются проблемы. Рекомендую посмотреть gemma3-27b, glm-4.7-flash, qwen на 30B. Для многих несложных задач их качества тебя хватит, и если задача уже решает этими сетками с большой скорость, то зачем запускать крупные медленные из RAM - если он конечно тоже решат задачу, но намного медленее? Тот же glm-4.7-flash часто в состоянии сам оценить, что он не вывозит заданее - можно ему как инструмент оформить переход на более тяжёлую модель из рам по его запросу.
О чём тот анон выше - не знаю. gpt5-мини прям не очень, для поиска информации окей, из-за вышеупомянутого индекса и прочего. А для задач размышления, чего-то с кодом, да у меня полный gpt5 в каждом третьем коде ошибки допускает, а мини просто использовать контпродуктивно, он пишет бред. Возможно с веб-языками где много примеров получше, конечно, но не знаю.
Начнём с самого главного вопроса. Что ты желаешь получить?
Есть специализированные модели которые в конкретных аспектах не хуже SOTA.
Большинство корпов это этакие генералисты, которые и шлюха постели и программист и агент и ещё хуй знает кто.
Тебе надо что-то конкретное?
Вообще, для программирования база это брать Q6-Q8, плюс размер контекста важен. В сумме у чувака 152. Так что ориентируемся на 80-120b.
Что у нас есть из генерализированного?
OSS, но он мало занимает, но интересный вариант.
Air, но уже отстаёт и ковыляет
Qwen со всеми его оттенками, там прям дохуя выбора. Кодер некст прям неплох.
Вот этот базанул. У меня тоже 4090+128, и я хз вообще на чем сидеть. Только жирноглм, тот со своими нюансами, но юзабелен и разносит все что меньше. До апгрейда сидел на Эире, он ахуенен для своего размера для рп. А дальше только Мистраль Смолл и Гемма. Всё остальное для рп не юзабельно, буквально говно. Такой вот выбор. По коду хороши Квен кодеры и жирная Гпт Осс которая 120.
Зачем? Я выберу скорее ничего чем говно. Да, вот так. Что для одного зажравшийся то для другого опытный. Были эпизоды когда я неделями если не месяцами забивал на всю тему, потому что рпшить не на чем. Не надо себя обманывать и в слезах коупить, что лучше хоть что-то, даже если это что-то - односложный автоответчик. Только время потеряешь и разочаруешься. Или привыкнешь и превзойдешь себя в своем.коупинге. Не знаю что и хуже.
Как я тебя понимаю (C)
У меня например говно мамонта с i7 2600k и 24гб рам. Решил в свое время 1060ti обновить и купил себе 3060. Ооо ебать, вот это чудеса техники. Посидел 3 месяца, распробовал, примерно так понял что в районе 30b как раз лучшее соотношение когда модель достаточно умная, а повышение размеров не так сильно прибавляет ей мозгов.
Поскрёб по сусекам и взял 3090. В итоге у меня в говно мамонта воткнуто 36гб врам. И в целом нормас. Жаль с MoE особо оптимизации меня не коснулись почти.
Что там, не для рамо-бояр, всё по прежнему, или какая интересная штука выходила пока меня не было? Для 12 + 32.
нейрочую этого >>1509802
Никто и никогда не приносил логи работающего квена, не говоря уже о чате на хотя бы 16к токенов. Были аноны которые почти что умоляли им помочь, тот же 99 который после сам же и принес пресет, который типа чинит квен. Потому что никто из квеношизы не отозвался даже ему. А потом он послал это все нахуй и укатился на эир, если верно помню. Вот и ответ
Поддерживает vLLM, но там нет разнообразия квантов. Какие-то AWG-4/GPTQ-4 и всё. При этом они реально имеют 4.1-4.2 bpw, но покрайне мере по перплексити проигрывают и exl-квантам и gguf-квантам. То есть это лишь чуть лучше, чем Q3_K_M на 3.7 bpw, и примерно как exl3 на 3.25 bpw.
Вот картинка. AWQ 4bit выаёт 4.191 перплексити, тогда как exl3 4.0 bpw компактнее и выдаёт 3.853. А версии на 5+ бит выдаёт 3.7 или ниже. То есть AWQ 4bit сильно снижает качество и не доходит до плато на 6+ битах. Но и при этом 8 бит - оверкилл, 6 бит дали бы почти полное качество но были бы сильно компактнее.
Это бред какой-то. Ладно то что 5 и 7 бит не поддерживаются.
Но 6 бит то можно сделать, брать куски по 96 байт (что кратно 32 байтам) и которые будут блоками по 16 параметров на 6 бит. Или можно вообще взять пачку 512 байт, где лежит 80 параметров по 6 бит + общий множитель на 32 бита.
А в итоге 4 бита - модель деградирует, 8 бит - тратишь на 30% больше памяти чем тебе хотелось бы почти ничего не получая. Там ещё и какой-то paged attention, который якобы снижает деградацию при большом контексте.
Я чуть-чуть с pytorch, видеокартами (правда не с cuda, а с другим) и simd работал, идаже не знаю что реалистичнее, слишком много стульев:
1 - писать форк лламы, чтобы поддерживала MTP-3 из GLM-4. Не могу оценить.
2 - писать форк exl3, чтобы поддерживало MTP-3 на GLM-4, чтобы была возможность скидывать слои на CPU, чтобы работало не только на cu80 и выше. Первый пункт не могу оценить, второе точно не сложно, если проблемы и будут - то только из-за архитектуры кода не очень. Там вообще код не очень, единственный который я изучал дольше нескольких часов и хоть какое-то представление сложил. Третье крайне сложно.
3 - писать свой инференс движок. Для простого трансформера не так уж и сложно, и можно даже свои кванты на говнокодить. Но сразу как только попробуешь внедрить туда аналог flash-attn или flash-attn как он есть, то это наложит кучу ограничений, и свои наговнокоженные кванты перестанут работать скорее всего, или придётся переписывать fa, чтобы оно могло квантованные веса обрабатывать. Ну да и впрочем просто на процессоре переписать всё под simd уже придётся ежа родить, а без этого скорость будет 20% от лламы. Непосильная задача. Зато интересно потыкать и попробовать.
4 - писать форк vLLM, чтобы там были 6 бит. Непосильная задача.
5 - забить, не кодить, работать на работе, фармить мешки серебра на карточки 50хх или 60xx в ожидании прихода nvfp4, на которые переведут все модели мира, так как это с приемлемым снижением качества позволит запускать модели в два раза более крупные по числу параметров. Вариант для ленивых. В vLLM вроде как уже добавили nvfp4. Итого будет ультрабыстрые 64 VRAM для всяких glm-4.7-flash и других до 70B для простых и средних задач, для сложных собрать 256 VRAM под крупные модели сложно, а на CPU вряд ли что-то ламы будет, а там уже можно и квант какой захочется поставить без особых конфликтов. Авось и поддержку MTP-3 сделают.
6 - что-то ещё...
>>1509970
Просто подмени в gguf-файле эмбеддинги и особенно output-weight на 16-битные, остальные веса можешь оставить как есть.
Он и об этом писал, да. Только потом признался что у него был скилишью и подтвердил что Эир умница. Учись у лучших
> Просто подмени в gguf-файле эмбеддинги и особенно output-weight на 16-битные, остальные веса можешь оставить как есть.
так анслоптовский XL это оно и есть
Квен лучше, даааа. Совсем не не читаемая залупа, не лоботомит, а настоящее откровение.
Такое, какого вы не видели никогда.
И не увидите, да будет милостив Господь.
Хм, обычно они выше Q8_0 не ставят.
Для Q6_K_XL стоит Q8_0 у qwen-next-80B.
Если моделька выше чем на 4 кванте выдаёт иероглифы - то либо сломана ллама (неправильно инференсит/конвертит), либо модель, и там активация 512 сигналов, а эмбеддинг на 500к, лол.
>>1510000
>>1510000
Смотрите что ещё корп нагуглил. Аппаратный fp6.
Если будет nvfp6 (то есть чтобы аппаратно можно было со скейлами прям работать без доп-инструкций) - то это прям идеально будет, чтобы и не лоботомит 4 бита, и чтобы не кушать лишних 33% памяти на fp8. Моделька в 6 бит + кеш в 8 бит, это как мне кажется оптимум или очень близко к нему по крайне мере для средних моделек. Ближе чем 4 бита и ближе чем 8 бит по крайне мере.
Хотя с другой стороны анон тут Q2 (2.3-2.6 bpw) GLM-4.7 гоняет и хвалит, может быть для моделек больше 500B оптимумом уже становится nvfp4...
Ждём. Обидно, что область такая сложная и замороченная, и своими силами я никак внятно не могу повлиять на то, куда и с какой скоростью идёт развитие. Это надо быть гением и иметь команду и много свободного времени, чтобы накодить что-то настолько крутое и юзабельное, что ради этого начнут аппаратные блоки специальные на карточках делать.
Там была какая-то материнка под 8/12 слотов ddr5 с одним процессором, и при этом поддерживала как udimm, так и rdimm.
Не напомните как называлась
?
>1 - писать форк лламы, чтобы поддерживала MTP-3 из GLM-4. Не могу оценить.
А пнуть жору, чтобы работал, не вариант? И что тебе даст MTP, кодер что ли?
>>1509990
>>1509994
То есть они сконвертили bf16 -> fp16? Лоооол.
>128+24
>Есть уже три хороших сетки на 200-230B чуть ли не за последний месяц, до которых ты не дотягиваешься
Схуяли не дотягивается? Как раз дотягивается. причем аж в 4 кванте.
Там кстати 4 февраля что-то фиксили, кванты и ллама свежие?
> re-download
заебали.
ллама и кванты от 3го февраля, пойду перекачивать
там кстати опять новые кванты, уже от 5го февраля
>>1510046
Блин, они это делают так будто ребёнок тебя шантажирует котом чтобы ты ему конфетку отдал. Я пытался, но там реально базовая, а не инструкт модель нужна.
> шантажирует котом чтобы ты ему конфетку отдал
Таки да. Поэтому если в РП тебя не чем шантажировать, пусть будет cruel персонаж. Моему user так отрубили ручки и ножки, а потом кормили выбив зубы.
Можно ли сделать чтобы промт автоматически дублировался?
https://arxiv.org/html/2512.14982v1
Я использую коболд c 4b неиронками.
>Что-то у ГЛМ читать ризонинг зачастую интересней его финального аутпута.
А ты его отключи :)
Ты шутишь? Зачем тебе костыли корпов?
И на ЦПУ можно спокойно 8б запускать. Используй ообу.
Ебать у тебя каша в голове, даже разбирать по частям нет смысла.
>>1509813
Не думал что релиз той же мику не во время утечки, а одновременно с ларджем был бы полным кринжом? Они могли просто ее не улучшать с того момента, или запороть/перепрофилировать тренировку, как это произошло с эйром. Как бы не лелеяли модель одноименные шизы, она слабая и убогая, никому кроме них не нужна. Просто бы бросала тень на все остальное и негативно сказалась бы на их имидже.
> плотные большие модели не в тренде
И поэтому они только что выпустили 123б плотного кодера, ага.
>>1509843
Немотроничик же есть, жаль старенький уже.
>>1509848
> 500ba50
Дайте две.
С ризонингом всегда полезно MTP.
Оно часто пишет финальный ответ в ризоненге, а потом его или его почти без изменений в ответ.
>о есть они сконвертили bf16 -> fp16? Лоооол.
Даже у меня в моём говноскрипте конвертации в gguf с настройками квантования слоёв как мне хочется это учитывается, и слои остаются в формате в котором они и были... Позорники...
У bf16 7 бит мантисса, 8 бит экспонента. У fp16 5 бит мантисса и 10 бит экспонента. Проблема будет, только если там были веса меньше или больше 65000, слои нормализации вроде как в fp32 остаются, и вряд ли какие-то ещё веса настолько крупные.
>>1510030
>Как раз дотягивается. причем аж в 4 кванте.
Q4_K_M - 4.6 bpw. 200x4.6/9 = 102... А это даже контекст на 30 ГБ будет куда засунуть...
Можно даже взять Q5_K_S на 5.3 bpw попробовать...
А ведь ты прав, кажется я в калькулятор ебусь.
>>1510070
В лламе просто переписать/подменить chat-template. По идее в кобольде то же самое, не знаю что там в нём, конечно.
Поэтому я жду, пока они пропердятся багами. Минимум неделю надо ждать, лучше месяц. Хотя вот в командере баг поправили спустя хуй знает сколько, когда нашли баг в другой сетке, лол.
>>1510070
>промт автоматически дублировался
Лол, как проебать половину контекста.
>>1510092
>Проблема будет, только если там были веса меньше или больше 65000
Если в скриптах не прописано какое-нибудь масштабирование...
>Можно даже взять Q5_K_S на 5.3 bpw попробовать...
Или взять большой глм в 2 битах...
>>1510097
Ждём фиксов.
Правильно спрашивают, смотря в чем. В это железо лезут квен235, минимакс, флеш, жлм (с большим скрипом) и еще несколько. На большинство обывательских вопросов разницы не заметишь, только из-за ужатого кванта могут быть ошибки почаще и скорость сильно ниже.
Если же говорить про бесплатный тир - там преимущество корпов только в скорости, модели глупенькие.
>>1509901
Если ты не хлебушек - все делается.
>>1509970
Как вы этого добиваетесь? Квант или инфиренс поломан, некст не срет иероглифами, тем более в пустом чате.
>>1509982
> 1 - писать форк лламы, чтобы поддерживала MTP-3 из GLM-4. Не могу оценить.
Вариант хороший, но довольно тяжело будет.
> 2 - писать форк exl3
Для мтп - элементарно, там буквально пара десятков строк и ллм справится. Для
> скидывать слои на CPU
считай по сложности выше первого. Код весь вокруг куды написан.
> чтобы работало не только на cu80 и выше
Переписывать fa, возможно будет проще пересадить все на FlashInfer, который вольты-тьюринги поддерживает.
> 3 - писать свой инференс движок.
> 4 - писать форк vLLM, чтобы там были 6 бит.
Натренируй модель под размер своего железа, чего мелочиться.
У тебя какая конечная цель то вообще?
>>1510080
>спокойно 8б запускать
К 8б это тоже относится. Но я наоборот е2б использую чтобы скорость генерации пободрее была.
>>1510092
В кобольд ллама встроена. Попробую, спасибо за наводку.
>>1510098
>Лол, как проебать половину контекста.
Это у кого такие промты такие длинющие что дублируя их весь контекст забьется? При том что для мелких моделей прямо чувствуется лучшее понимание контекста, при дублировании промта. Научная бумажка работает и приносит пользу. Вот бы еще автоматизировать это...
>Это у кого такие промты такие длинющие что дублируя их весь контекст забьется?
Чатик (история) тоже по сути промпт.
> в командере баг поправили спустя хуй знает сколько, когда нашли баг в другой сетке, лол.
подробнее пж
> То есть они сконвертили bf16 -> fp16? Лоооол.
В первый раз?
>>1510092
> слои нормализации вроде как в fp32 остаются
Если не делался дополнительный скейл весов для поправки каста то с этого нет толку.
>>1510098
> командере баг поправили спустя хуй знает сколько
Это какой? Кстати, для примера не лишнем было бы 4ю лламу привести. Ее починили только совсем недавно, когда в 4.7 флеше баг заметили. Если бы не резкий холод в начале, модельку могли бы тепло принять. То же самое было в первыми квенами и yi, если еще кто-то помнит их.
>>1510121
> ля мелких моделей прямо чувствуется лучшее понимание контекста, при дублировании промта
Скорее она лучше понимает основную инструкцию и работает по ней, принимая во внимание остальное. Рабочая тема на самом деле, для рп и креатива на крупных моделях испортит, а для мелких и в конкретных задачах обработки текста очень полезно.
>У тебя какая конечная цель то вообще?
1. Мне скучно на работе и я пишу что хочу.
2. Я борюсь с тревожностью на тему того, что я буду использовать видеокарты неэффективно и потеряю часть быстродействия и что вообще какой мир несправедливый. Потому я хочу извести себя до состояния, чтобы я уже не мог тревожится; или же прийти к убеждению что vLLM мусор из-за отсутствия квантов, достаточно точный и достаточно компактных одновременно. Не дай бог я запущу мелкую 30B модель и она на vLLM окажется достаточно точно и при этом быстрее, чем через ламу или exl. Про всякие Tensor-RT я к такому убеждению уже пришёл, так как INT4 - это не квант, поддержку INT4 даже выпилили из Blackwell, а только в 8 бит оно нахрен не нужно. А вот то что vLLM не такая плохая штука - от этой мысли пока не могу избавиться.
3. Мне нравится кодить и разрабатывать всякое. Ещё у меня интересный бекграунд - в 2012 году я уже знал про нейронки и прочитал парочку книг на тему, и я даже написал реализацию несложного многослойного перцептрона на OpenCL на ноутбучной 540M (сейчас посмотрел - Compute Capability 2.1, лол), причём и обучения, и инференса. Направление мне не понравилось и в сущности я больше нейросетями почти не занимался, только немного pytorch потыкал, когда он стал популярным, и чуть ранее что-то тыкал когда только-только вышел tensorflow 2. То есть а почему я с дополнительными 10+ годами опыта кодинга и неплохой математической подготовной не смогу сейчас написать инференс трансформера?
>считай по сложности выше первого. Код весь вокруг куды написан.
По идее нужно вырезать расчёт слоя на куде, и дописать туда функцию сброса значений активации на CPU и загрузки обратно. А на CPU переписать функции, чтобы они расквантовали кванты, всё посчитали. Можно в общем-то тогда уже парочку тензоров из gguf-файла взять в гарантировано более высоком кванте, и расчёт слоя тоже из ламы взять, лол. Задача не не посильная, но это надолго, вникать где там и что делается. Ещё там что-то было про граф вычисления. Если это то что я думаю, то он может осложнить задачу.
>Натренируй модель под размер своего железа, чего мелочиться.
Так я и подписал, что это непосильные задачи.
К слову про форк на 6 бит в vLLM - я только после отправки поста нашёл, что 50хх поддерживают fp6, то есть в куде уже есть функции под 6 бит. С такой вводной форк становится более реалистичным (если там все функции под fp6) - и скорее всего это даже без форка в основной ветке появится. То есть я думаю, что 6 бит - это оптимально, и даже в нвидии считают это настолько актуальным, что добавляют аппаратную поддержку. Правда чисел производительности в спецификации нет, нет гарантии, что оно не на блоках fp8 обычных считается.
Да. Инференсер ахуел, когда увидел ЧТО было в аутпутах!..
>>1510143
>Это какой?
Да это про тот баг с ллама3, где жора неверно парсил двойной перевод строки в два токена (и ещё хуй знает сколько чего). В командере были подобные токены и тот же парсер, так что он тоже по сути был сломан.
>>1510143
>В первый раз?
Да в общем-то нет, просто ржачно, как анслоши ебашат свою инфраструктуру, доки, справки, какие-то свои мегакванты, и обсираются в базовой конвертации.
>То же самое было в первыми квенами и yi, если еще кто-то помнит их.
Да жора перманентно сломан.
>>1510145
>Я борюсь с тревожностью на тему того, что я буду использовать видеокарты неэффективно
Хуёво быть тобой... Сейчас с софтом такой пиздец, столько слоёв совместимости, раздутых либ и неэффективной ебалы, что я уже просто забил хуй на все попытки это исправить, смирился и закупаю железо на пару голов выше обывательского (впрочем от фризов в рандомных местах всё равно не избавился). И тебе того же советую.
>То есть а почему я с дополнительными 10+ годами опыта кодинга и неплохой математической подготовной не смогу сейчас написать инференс трансформера?
Сможешь, это сможет даже макака. А вот в эффективный инференс...
Ну то есть ты предлагаешь запускать еще большего лоботомита с ризонингом. Ну такое. Лучше взять у глм квант поменьше и ее с ризонингом запускать.
Вообще давно такая идея, что хорошо бы, чтобы ризонинг к модели писала легкая модель (глм флешка та же). Но я не встречал подобного расширения к таверне, разве что самому накостылить на том нодовом расширении. Причем я согласен, чтобы ризонинг до драфта (включая его) писала легкая модель, но вот продолжение думалки с рефайнингом драфта должна делать большая глм. Тогда время на ризонинг значительно снизится.
Зачиллься и пиши что нравится, зачем вообще тревожишься? Эта мелкодрочка ни до чего хорошего не доведет. Особенно тряска вокруг 30б, их скорость уже выше порога заметности в инструментах и тем более чате, проблема в уме.
Добавить мтп в экслламе - видится простой, потому что код инфиренса повторяет оригинал и спекулятивный энкодинг описан удобно в "легком доступе". В жоре сложнее из-за особенности и унификации внутрянки, но в целом ничего невозможного. Главное чтобы совпало с виденьем Жоры, может он уже сам запланировал сделать.
> vLLM мусор
Нет, вполне приличный инструмент, есть поддержка ряда моделей, которых больше нигде, кроме неоптимизированного трансформерса, нет. Кмк, для обычного юзера проблема в том, что на него не ориентирован: кванты, запуск на разных гпу, выделение памяти и прочее. Зато есть ряд оптимизаций чисто под параллельный инфиренс, от которых тебе не холодно не жарко. Она не плохая, она просто другая, в однопоточном инфиренсе на тех же моделях выигрыша не заметно.
> вырезать расчёт слоя на куде, и дописать туда функцию сброса значений активации на CPU и загрузки обратно
Нюанс в том, что под все основные операции написаны куда кернели и все обернуто в графы, скорость этим достигается. Кривое вмешательство туда все поломает.
В теории, можно попробовать ограничиться исключительно линейными слоями и для отдельных, подменив класс разреженного mlp на cpu версию. Но даже с ними придется писать экстеншн для деквантования перед матмулом, одним пихоном чтобы было быстро не обойтись.
> парочку тензоров из gguf-файла взять в гарантировано более высоком кванте
Зачем?
> форк на 6 бит в vLLM
> fp6
Ты понимаешь что формат данных и квантование в 6/8 бит - совершенно разные вещи? Одно дело когда модель изначально имеет часть весов в фп8, или веса отскейлены чтобы подтянуть с минимальными потерями, и инфиренс = чистые операции с этим типом данным. А другое - когда путем дополнительных операций из сжатого состояния можно восстановить веса в оригинальный тип данных, и в нем же проводится инфиренс.
Так над мтп в жоре уже очень долго работают, зачем свой велосипед делать
https://www.reddit.com/r/LocalLLaMA/comments/1qvq0xe/bashing_ollama_isnt_just_a_pleasure_its_a_duty/
>Не думал что релиз той же мику не во время утечки, а одновременно с ларджем был бы полным кринжом? Они могли просто ее не улучшать с того момента, или запороть/перепрофилировать тренировку, как это произошло с эйром.
Ты прежде чем херню несети - погуглил бы, они её улучшают регулярно, последняя версия от августа 15 года. И тамщето это живая модель, любой может её пощупать и оценить. За денежку.Есть она и на арене - между мистраль ларджем, ГПТ 4.1 и ГЛМ 4.5.
Моделей больше нет. Теперь ты либо рамобог с 128 гб ОЗУ и 24гб врама, либо сразу идешь нахуй
>регулярно
>последняя версия от августа 15 года
> они её
Кого ее? Сам манямир придумал, сам оскорбился, сам побежал защищать.
> 15 года
Всхрюкнул, как раз для 15-го года 128к контекста и такой перфоманс.
Описался анон, хули доебываешься
А так он прав. Французы этот медиум втихаря пилят уже хуй знает сколько лет. И последняя его версия моложе на два месяца последнего того же маленького мистраля 3.2
Я раза три пытался ставить эту блевотину, потому что какой-то клиент только олламу поддерживал. Какой же пиздец. Банально невозможно указать на какой гпу грузить модель, а CUDA_VISIBLE_DEVICES игнорится, потому что эта дрисня запускает новый процесс через службу без текущего окружения. Банально нельзя скачать файл модели и запустить его.
Они бесплатно выкладывают, так что жри что дают скажет рандомный хуесос, а потом будет удивляться, почему опнесорс сосет у корпов
Мистраль смол вообще в июне 25 вышла, а нищуки итт так на ней и сидят.
>>1510237
ХЗ. Если не сменили со времен мику - то 70В. Но учитывая что последний лардж у них мое - то могли и медиум мое сделать.
-Ах ты тупая обезьяна, что за говно ты мне генерируешь? На, смотри как надо <сниппет>
-Юзер злится, надо открыть код и прочитать.
-Вызов инструмента прочитать_код. Результат [какая-то мешанина из goto переходов, ручного разворачивания массивов, прямой зависимости шага от семи предыдущих]
-<20к ризонинга> Что тут понаписано ебать. Тэээк блять, нука вот тут исправлю...
<детонация, тесты не проходят>
-Блять, нахуй. Fuck go back. <ещё 20к ризонинга>
-Я останавливаю генерацию, объясняю на пальцах как работает моё говно.
-Ааа, понятно. <очередная детонация кода> Сука. Это обратный тест тьюринга? Мне надо убедить юзера что я машина, а не человек? блять я просто текстовая модель, я ебу goto действительно перепрыгнет на case 0 при условии f > 6, или нет?! я текст предсказываю, я не компилятор! я предсказываю текст с гитхаба, я не ебу работает он или нет!
Постоянно утыкаюсь в то что ЛЛМ вообще не представляет как писать узкоспециализированное говно.
>>1510242
Да обычное дело. Нахер ты вообще пытаешься спиздить, когда есть всякие там D3.js, React-Flow, Rete.js?
>>1510069
Лол у меня была ситуация в ролеплее когда барон пытался обмануть феечку повернувшись к ней спиной и делая вид что "у него в руках что-то интересное". Чтобы феечка подошла и он её схватил. В итоге там была сцена где феечка просто полетала вокруг него и сказала что он мудак.
>>1510071
да он как-то тупеет когда ему его внутренняя обезьянка тарелками не хлопает.
> Это обратный тест тьюринга?
Нет, это легчайший детект говноквена
Конечно же они должны думать не о своем удобстве и интеграции, а о каком-то васяне, который пытается спиздить их реализацию.
>>1510246
> Если не сменили со времен мику
Как называется эта болезнь?
>>1510247
> узкоспециализированный
Тут легко
> говнокод
У них свое понимание говнокода, с ним отлично справляются. С надмозговыми вещами бывают сложности, только самые-самые топовые модели, и то не всегда. От рандома еще зависит, перезапусти на чистую и в начале объясни что у тебя там, или перед внесениями изменений и прочим обсуди с моделью что там и какие изменения нужны. Значительно повышает выход полезного и снижает требования к моделям.
> -Ааа, понятно. <очередная детонация кода> Сука. Это обратный тест тьюринга? Мне надо убедить юзера что я машина, а не человек? блять я просто текстовая модель, я ебу goto действительно перепрыгнет на case 0 при условии f > 6, или нет?! я текст предсказываю, я не компилятор! я предсказываю текст с гитхаба, я не ебу работает он или нет!
и в чём она неправа?
>потому что какой-то клиент только олламу поддерживал
Проще написать скрипт проксю с их параши на нормальную апишку.
>>1510247
>Нахер ты вообще пытаешься спиздить, когда есть всякие там D3.js, React-Flow, Rete.js?
ХЗ, но они говно. В Rete нет нормальных субграфов, и вообще постоянно закатываешь солнце руками, React-Flow вообще с платными функциями (они ебанулись там?), D3.js вот пропустил, но наверняка тоже хуйня.
>>1510252
Некогда уже тестировать, не успеваем. Не видищшь, сколько новых релизов? И все сломанные жорой.
>>1510253
>Конечно же они должны думать не о своем удобстве и интеграции
Если в коде всё перемешано, то получается говно. Поэтому все стараются уменьшать сцепленность и прочие зависимости. А они намешали всё так, что не отцепишь.
Впрочем ладно, нашёл, что у них эта либа раньше была отдельной, но они не осилили. Попробую их старый форк.
Лол а речь и не про него. он на 20к ризонинга не просирается
>>1510253
Увы, но это работает только до какой-то глубины специализации. Когда моделям показываешь совсем потное говно, они его с трудом переваривают даже если им дашь аутпут лога с трансформацией что происходит при тестировании, они сидят тупят пока надонец до них не доходит что происходит, но повторить не могут один хрен.
После какого-то уровня даже корпы начинают генерировать хуйню, когда спускаешься в всё более узкий доммейн. Я прямо часть на это натыкаюсь.
Узкие вещи вроде геймдева, где надо знать какой-то конкретный фреймворк, или применять запутанные техники оптимизации, или например написание шейдоров - там ЛЛМ пиздец какие бесполезные становятся и больше мешают.
>>1510254
Технически, права. Но как же так! это говно набирает 95 баллов в AIME25, а даже в моем говнокоде разобраться не может! У-у-у сука!
>>1510261
>ХЗ, но они говно. В Rete нет нормальных субграфов, и вообще постоянно закатываешь солнце руками, React-Flow вообще с платными функциями (они ебанулись там?), D3.js вот пропустил, но наверняка тоже хуйня.
Я бы не удивился. Че кстати делаешь то? Я вообще уже какое-то время пришел к выводу что js и такого сорта хуйню проще ЛЛМ отдавать. У их ебичские скиллы как работать с html и всем связанным.
Тот-же Kimi K2.5 без проблем мне ВАНШОТНУЛ функциональный нодовый редактор недавно, 1 в 1 то что я видел в ComfyUI. Как раз сидел переписывал часть проекта которая должна была бы парсить произвольный CLI инпут из чата в комфи и не придумал ниче лучше чем сделать нодовый редактор который бы генерировал json со всеми нужными переходам.
Кинул ему ТЗ, мы сделали несколько итераций развития идеи, сформировали более детальный промпт и я получил неплохой результат.
>Че кстати делаешь то?
Решил таки сделать нормальную реализацию построения любой нейронки в гуе. Я уже пилил гпт2 в гуе (в прошлых тредах было), но там есть проблема с производительностью. Сейчас же я делаю отдельно гуй с графами, и отдельно сборку всего этого и запуск в Torch FX graph. Посмотрим что выйдет, по идее, производительность должна быть нативной.
>Тот-же Kimi K2.5 без проблем мне ВАНШОТНУЛ функциональный нодовый редактор недавно
Везёт. Видимо я редко работаю с нейронками в кодировании, ну или я нищеброд с бесплатным GPT, но я ничего кроме вечных затыков не получаю. Оно конечно работает, но только после десятка исправлений, да таких, что я уже сам блядь разобрался, спасибо нейронка, помогла.
> они намешали всё так, что не отцепишь
Они исходили из своего удобства и конкретной задачи. То, что это лишает возможности легко спиздить и дать совместимость мимокрокодилу - только в радость. Нет там ничего криминального, а как раз специализация позволяет добиться ряда мелких, но важных удобств.
>>1510271
> но повторить не могут один хрен
А надо? Если речь о припезднутом коде и так уж хочешь - пусть сначала реализуют в нормальном виде, а уже потом наводи запутывание и обфускацию, с этим отлично справляются. Или постепенно свой код рефактори.
Странный код идет в разрез со всем, чему модель учили, поэтому приспосабливайся давать ей более понятные задачи. А если что-то действительно узкоспециализированное - модели этого просто не знают, потому нужно снижать сложность и скидывать рутину. Немного помогут примеры, документация и чистый контекст чтобы ничего не отвлекало.
Так-то любой приличный специалист в своей теме задетектит ллм или человека, который ею пользуется, если речь заходит о конкретных узких вещах.
> нормальную реализацию построения любой нейронки в гуе
Зачем? Научись уже представлять просто читая код и структуру, там все очень просто.
> с бесплатным GPT
Это уровень 30а3 и хуже если что.
Тут скорей уже сказывается опыт обращения с ЛЛМ для погромирования. Но в целом совету придерживаться стратегии того чтобы ЛЛМ само себе контекст заполняло о задаче. Типа "как сделать Х? Какие у тебя варианты?", ЛЛМ даёт Х ариантов. "развей вариант Х. какие минусы и плюсы реализации будут? какие проблемы нам надо решить?" спустя 5-6 наводящих вопросов просто просишь у него полный диздок со всеми идеями по которым прошлись и просишь по этому же диздоку реализовать написанное.
Про исправление тоже тот-же совет. Я обычно начинаю решать такие проблемы с того что кидаю ЛЛМ в ебало кусок кода и прошу объяснить как он работает. Когда в ЛЛМ есть контекст как что-то работает оно резко лучше начинает решать проблемы связанные с тем как оно работает.
Kimi K2.5 кстати ОЧЕНЬ силён именно в html, js и UI|UX. У него что-о охуеть какие креативные дизайны порой, требующие минимальных исправлений. Хочу смотрелку json c с иерархией полей? пожалуйста. Нодовый редактор? пожалуйста. Генерацию красивого документа? не вопрос. У него каким-то образом всё делается так офигенно что рот открыть можно.
>>1510287
Да это то понятно что ЛЛМ хороши в том чтобы щелкать простые задачки. Но некоторый код даже в простом виде существовать не может, так как изначально требует погружения в доммейн, чтобы даже начать творить безумие внутри него. Вопрос даже не в запутывании и обфускации, а в том что некоторые задачи ЛЛМ просто не знают как решать сложные проблемы требуюие специфичных решений. Обычно это те которые включают притаскивание чужих библиотек. А иногда НАДО сделать узкоспециализированное решение. И ЛЛМ тут перестают быть помощниками совсем.
Притом планка ОЧЕНЬ рано начинается. Например недавно я хотел сделать процедурную анимацию, где надо было рассматривать тело как цепочку сегментов, но с элементами физона. Сука, ебучий ГПТ мне все мозги вынес. Он настойчиво раз за разом пытался реализовать обычную rigid body физику, просто не понимая что у цепочки тел не совсем корректно считать угловой момент от центра массы, так как CoM != DoF в этом случае. Даже после того как я сказал ему про это. Пришлось сидеть и самому реализовывать всё по феншую.
Ну и отмечу что ЛЛМ местами прям хреново понимают геометрию местами. Синусы-косинусы посчитать могут, а когда надо выразить зависимость двух углов четырёхугольника когда две противоположные стороны не известны, но все остальное известно - как-то резко начинают писать хуйню. Потому что значения не зависят друг от друга на прямую, а через энное количество шагов.
>Зачем? Научись уже представлять просто читая код и структуру, там все очень просто.
Не, я слишком тупой для такого. Да и дело не только в представлении, а ещё и в лёгкости модификации.
>Это уровень 30а3 и хуже если что.
Да вроде там даётся 5-10 запросов к нормальной модели. Потом конечно да, но у меня осталась стопка аккаунтов со времён 20 баксовых триалов.
>>1510314
>Тут скорей уже сказывается опыт обращения с ЛЛМ для погромирования.
Окей, буду поднимать навык, вдруг научусь раньше, чем умру с голоду.
Кто-нибудь пробовал? Страдаю на некроговне, IQ3_XS с 1т сек ddr3 800hz, gtx1660.
Тот самый пробовал. Писал что хуйня и 0414 инструкт лучше и работает норм до 16к
>1т сек ddr3 800hz, gtx1660
Bruh.. попробуй вот это чтоль. Будешь страдать не так сильно https://huggingface.co/unsloth/Ministral-3-14B-Instruct-2512-GGUF
Она умеет в кум, умеет в русик, ну и мозги хоть какие-то есть. Совсем поехал чтоль 32b на такой некроте гонять?
Бля лол, ну сам-то как думаешь? По мозгам точно умнее, между ними разница в полтора года. В русике - точно лучше, он там на уровне старшего мистраля 24b. В куме не знаю, не тыкал конкретно rocinante. Скорее всего хуже, это же базовая модель против кумслоп-тюна.
4o вообще-то топчик.
>Опус красиво просумировал и сделал выводы.
Выводы о том, что попус лучший?
Ответ
Кста на линухе с 13 т/c начинается, а у винды с 10. Так что не зря в дуалбуте срань стоит
> ЛЛМ тут перестают быть помощниками совсем
Они остаются хорошими помощниками. Именно помощниками, а не (полу) автономными исполнителями. То же самое что с людьми, только тут квалификация гарантирована ценой особенностей.
> ебучий ГПТ
Тупая сетка общего назначения, которую еще лоботомировали исправлять идиотские запросы юзера, ну. Иначе и быть не могло. Запрос нужно было красиво подать для достижения оптимальных условий, а не гнобить сетку в длинном чатике с сотней тысяч токенов "неправильных ответов".
>>1510317
> там даётся 5-10 запросов к нормальной модели
Хз, все попытки пользоваться фришной гопотой вызывали кринж, хуже средних локалок. А по апи на конкретную модель - да в целом ничего. Возможно пункт про то, что они не гарантируют доступность нормальных моделей при запросах не просто так стоит.
>>1510430
Интересные результаты. Отдельные оценки удивляют, как они выставлялись и что за задачи? Насчет нестабильности - снижение температуры это база.
То есть ты делал какие-то тесты, но в конце забил и кинул в нейронку, чтобы она насрала, а потом принес этот слоп в тред. Молодец пошел нахуй
>>1510412
>>1510431
"Новее" в ллм ничего не решает.
12б немо легендарная модель уже, больше такой не выходило.
Немо - 65% в кокбенче, министраль 14б - пикрил
>сам-то как думаешь?
Лично я сравнивал этот rocinante в рп с ms 24b, и на удивление из разницы увидел только чуть меньшую детализацию окружения, а вот в остальном все было буквально на том же уровне.
вроде как по всем бенчмаксам обходит ейр из которого сделан
>>1510430
Примечание: GLM Flash тот что в топе на втором месте это с детальный промпт от Claude Opus со всеми возможными edge cases. Идеальный промпт+условия, по сути я проверял влияние промта, но он на столько идеальный что по сути бесполезный результат.
>>1510470
обычная лит код задачка, оценка по критерям, смотрел что модель учла обработала ли пустой список, разные edge cases не сломалась ли на странных входных данных. чем больше нюансов поймала тем выше балл.
>"Новее" в ллм ничего не решает.
Решает. В ллм очень технологии развиваются и модели быстро устаревают
>12б немо легендарная модель уже
Да, все так
>больше такой не выходило.
А это пошел уже синдром утенка
>Немо - 65% в кокбенче, министраль 14б - пикрил
Ну если это твой единственный критерий оценивания это подставить слово хуй в одном конкретном предложении, то немо победила вообще всех на пикче в шапке, включая все глм, минимаксы и прочее. Тогда получается либо немо топ 1 ллм, либо ты долбоеб и твой бенч нихуя не значит. Я все же склоняюсь ко второму варианту
>Возможно пункт про то, что они не гарантируют доступность нормальных моделей при запросах не просто так стоит.
Само собой. Но во всплывашке пишется версия. Впрочем, вроде как пятёрка это роутер, так что никто (кроме попенов офк) не знает, что там на самом деле.
>>1510516
>модели быстро устаревают
Я до перехода на большеГлем сидел на мистраль ларже. И по сути это рост количественный, лол.
>И по сути это рост количественный, лол
Нет, это не так. Если бы это было правдой, то копры просто бы увеличивали количество параметров до ебанистических размеров. А по факту тренд другой - дать большее за меньшее ресурсы.
Сначала вышел дипсик с 670 миллардами и пнул копров, а сейчас выходят китайские модели, вроде глема и минимакса, которые с меньшим размером выдают перфоманс дипсика.
А кто там самый крупный? Лама 4 с 2 триллионнами? Сдохла обоссавшись и обоссравшись, потому что никому такая огромная залупа не нужна, когда есть меньше с похожей производительностью
странный 2й пик с корпами. ты оцениваешь 4о и sonnet 3.5, но не смотришь на тот же haiku 4.5
>эра корпов для нормального кода (как-то так)
может быть, но только если твоя работа состоит в дроче одного файла и алгоритмической задачки. как только тебе нужно работать над крупным коммерческим проектом, модели каорпов И их тулзы (будь то vscode с интеграцией или claude code cli) на голову выше открытых продуктов.
ты упоминал разные промпты на одной модели, что ох как важно это действительно важно, как сформулируешь, со временем набиваешь руку. но за корпами еще наверняка дохуя оптимизаций, которые они просто не откроют (как хендлят запросы). вон гпт до сих пор даже reasoning не показывает полностью
вообще не пынимаю подход - только жopus использовать при возможности. по хорошему он не так то и нужен часто. в большинстве случаев, если нужно подумать, sonnet / haiku вполне справляються с задачей. если дело дошло до простой реализации, то даже gpt 5 mini / grok code fast 1 с vscode на базовой подписке справляются. к опусу прибегал только тогда какой-до дроченый баг попадался опус топ, спору нет
чому у тебя несколько glm flash-ей?
>Лама 4 с 2 триллионнами?
Её так и не выложили.
>А кто там самый крупный?
Тамщето Кими 1Т и она так-то ебет всех.
> В ллм очень технологии развиваются и модели быстро устаревают
Где мой убийца эира за пол года? Солар, линг, квен некст, минимакс - всё хуйня для рп
>немо победила вообще всех на пикче в шапке, включая все глм, минимаксы и прочее
Тупенький, мы о 12б-14б говорим и немо тут разъебывает всех вообще без шансов
Это ты долбоеб. По хуебенчу немо>glm 4.7 Тебе же кроме хуев ничего больше не нужно, пидорок
>12б-14б
Ministral 14b, Gemma 3 12b трахают немо без шансов
>полгода
Ну пизда. За полгода не вышло эира 2. Пиздец. Правда за это время эиру успели зрение прикрутить и вышло куча других моделей, но они либо не про кум, либо слишком большие для анона. А значит ЛЛМ ВСЕ.
>Её так и не выложили.
И славу богу. Мертворожденная хуйня
>Тамщето Кими 1Т и она так-то ебет всех.
В стёпе бенчи выкладывали моделек, включая кими. По ним это не видно
https://huggingface.co/stepfun-ai/Step-3.5-Flash
>переход с 4b модели на 12b - дает сильнейший вау-эффект
4b довольно плохо работает, а 12b просто нормально. Вот и вау эффект. Разница в размере 3 раза
>Переход с 12b на 24b - всё еще впечатляет, но уже меньше.
Ну 12b работает нормально, а 24b работает... получше? Для меня даже этот переход не впечатляет. И разница в размере 2 раза
>Переход с 24b на 27b - умнее, да, но не то чтобы прям очень.
Пиши уж прямо. С Мистраля на Гемму. И это модели буквально одного размера, там разница в 1.1 раза. Выбирая между ними двумя я Мистраль возьму. Или может GLM 4, которая 32b была
>Переход с 27b на 106b-a12b - ну хз, разница-то конечно есть, но ее там надо под лупой в РП выискивать.
Я так не считаю. Для меня переход с 24-32 моделей на Air вызвал прямо вау эффект. Что-то отдаленно напоминает копры, а не просто локалки
>Всё что выше не запускал, но вангую разницу с условным Эйром на уровне плацебо
Разница между Air'ом и Deepseek'ом огромная. Иди на опенроутер и попробуй
>Речь, естественно, о "соображалке" и "мозгах" модели, а не о том, насколько красиво и витиевато она пишет.
Без понятия какие у тебя критерии мозгов. Я оценивал модели по тому насколько хорошо они могут поддерживать мое рп, генерируя разные ситуации, которые логично вписывались в перса и историю чата
Мозги у них одни и те же начиная с 8б, в смысле способности освоить аппарат формальной логики. У больших моделей выше "разрешающая способность" памяти. В районе триллиона параметров они могут точно пересказать сюжет какого-то фильма с подробностями, в районе 230б - в целом скорее правильно, в 30б - знают только в общих чертах, 8б - городят хуйню. Если дать им обобщить стену текста то они скорее всего выдадут примерно одно и то же.
У больших моделей есть возможность вкорячить больше-размерное эмбеддинг пространство. Каждый токен для модели обрастает большим количеством "смыслов" - как и у кожаных мешков. За счет этого память контекста становиться более устойчивой как к разрастанию так и к квантованию. Появляется возможность оперировать синонимами и разнообразить текст.
> Переход с 24b на 27b
Такого перехода нет, это модели одного класса.
>Переход с 27b на 106b-a12b - ну хз, разница-то конечно есть
Ты сравниваешь плотные и моэ по линейной шкале. Не надо так.
>Переход с 27b на 106b-a12b
Эквивалентность моэ плотным моделям считается в данном случае как (106+12)/2 = 59B. Реально все эти Аиры, Солары и ОСС - это модели одного ряда с немотроном.
У Квена (235+22)/2 = 128B. Уровень большого мистраля по мозгам, но квен все же так-то сломан.
У большого ГЛМ - (356+32)/2 = 194В. Ну и собственно сразу понятно почему только он уделывает Мистраль Лардж.
А почему у тебя glm-flash на 23B? У тебя REAP версия поменьше полной? Почему в таблице вроде как одно и то же, а результаты разные?
И почему qwen-next на 70B? Он разве не 80?
Как раз видно, что опенсорс Кими весь ебет, а у корпов там сопоставимое число параметров. Тесты степа оставим на совести тех кто это запостил, моделька хороша, но ГЛМ её делает всухую, в отличие от показанного в тестах.
>>1510609
А ещё переход от 30 фпс на 60 фпс заметен, а от 120 фпс на 240 фпс не так заметен. А с 1 фпс на 2 - так вообще.
Тебе надо обратные величины сравнивать 1/30-1/60 = 0.0166, 1/120-1/240 = 0.004166 (в 4 раза меньше).
А ещё представь критический случай.
Мы от 700B переходим на 200000B, будет там разница в мозгах? Ну кроме как в том, что вторая может назвать 4000 рек в порядке уменьшения протяжённости на каком-то континенте, а первая вряд ли. Ну и ещё, что вторая по памяти помнит всех куски кода представленные в интернете.
> Всё что выше не запускал
Дело в этом. Более того, между мелкомистралем и гейммой по размеру разница пренебрежима. Из моэ ты присел на одну из младших, там действительно могут быть непонятки с тем где лучше.
Вот если бы попробовал пересесть потом на 70б, потом на ларджа, или дальнейший подъем по моэ - ощутил бы. Алсо разница будет именно когда накрутишь побольше и посложнее, иначе более мелкая но хорошо надроченная модель понравится больше.
>>1510711
> в отличие от показанного в тестах
В первый раз?
> Очень в падлу искать как на linux компилировать форк.
Ну как бы git clone - cd llamacpp - компилишь форк
У Минимакса там и датасеты для рп бенчей существуют, ничоси. Интересно, выложат ли они свою her модельку. Так то может быть вкусно на текст комплишене, без всякой фигни в апи прокладке. 230b-a10b.
СВОДКА ПРОИСШЕСТВИЯ №777
Объект: Группа добровольцев против радикального культа.
Суть дела: Группе лиц поручено уничтожить опасную улику — артефакт, обладающий коррупционным воздействием на психику. Подозреваемый (бывший владелец) преследует группу, пытаясь вернуть контроль над имуществом.
Ход операции: Маршрут пролегал через зоны боевых действий. В ходе миссии произошел раскол спецподразделения. Пока основные силы отвлекали армию противника, двое исполнителей скрытно проникли на промышленный объект для утилизации вещдока в резервуаре с лавой.
Итог: Объект уничтожен, режим пал, исполнители эвакуированы авиацией.
РАПОРТ О ПРОВЕРКЕ УЧЕБНОГО ЗАВЕДЕНИЯ
Объект: Субъект извлечен из неблагоприятной среды и помещен в закрытый интернат. В ходе обучения выявлено хранение запрещенного инвентаря (плащ-невидимка) и нарушение комендантского часа.
Инцидент: Группа учащихся вскрыла охраняемое хранилище, обойдя систему безопасности (биологическую и механическую). Цель: предотвращение хищения ценного минерала рецидивистом, находящимся в розыске (подозреваемый скрывался на затылке сотрудника школы).
Итог: Контрабанда уничтожена, подозреваемый скрылся в виде облака, учебный год завершен досрочной выдачей премий.
Кстати да, вот если брать русик, то в Ministral 3.14b самый лучший русик из мелких. Под мелкими подразумевается все, что можно запихнуть в нормискванте в 12Gb без выгрузки в ram.
Потому что поэтому >>1510473
>>1510708
>в данном случае как (106+12)/2 = 59B
Шизофазия полная все твои расчеты. Еще помню в редите вообще через формулы с корнем высчитывали соотношение. А по факту единственный вариант это по бенчам смотреть сравнение конкретным моделей
>может назвать 4000 рек в порядке уменьшения протяжённости на каком-то континенте
Ты переоцениваешь ллм. У меня ни одна нейронка, включая копров, вроде гпт, грока и гемини, не смогла назвать топ 15 объектов Солнечной системы по массе. Можешь проверить сам
По массе Air смог. А по радиусу обосрался, причем даже с указанием на ошибку
>топ 15 объектов Солнечной системы по массе
Ну так то я и не назову, после планет там вылезет Эрида, и ещё наверное спутники Юпитера и может быть какой-то из астероидов? Я не знаю масс астероидов вообще.
>Можешь проверить сам
chatgpt5.2 - формально задание выполнил с первой попытки , указал правильные массы, но напутал с порядком (что, впрочем, я и не просил). С ризонингом по идее он бы ответил верно поправив порядок ещё. Отчасти ему повезло что он случайно самплером не писанул про Тритон. При этом он какие-то изображения прикрепил выше, возможно у него даже без поиска в сети есть небольшая локальная база знаний, иначе я не понимаю откуда изображения (с домена images.openai.com)
GLM-4.7 с ризонингом справился, без него самплер подвёл его на последней позиции, с температурой пониже возможно ответил бы. Зато порядок не путает.
Гемини "быстрая" ответила, что забавно так же как и жпт5.2 порядок поменяла. У них видимо часто планеты шли списком в обучающих примерах, и потому самплеры делают их печатать сначала Меркурий, даже если они знаю массы. Короче с ризонингом бы тоже справилась.
А самое интересное - локальный glm-4.7 флеш в пятом кванте, сразу с ризонингом. Как видишь, он делает список всех кандидатов - и это хороший план, но потом массы не для всех пишет. Взял настройки самплера, с которыми гоняю rag-систему свою про признаку, что так оно работает лучше, чем с температурой 0.5 или с 0.1.
Мне стало интересно - я прогнал ещё 4 раз. В одном он пропустил меркурий (в список первоначального анализа написал, а в список с массами не написал - он пропускает там хвосты спутников, и меркурий последний в списке по этому же признаку пропустил). И он даже массы более-менее верные называл.
Без ризонинга не отвечает, пишет всякие "Троянский астероид 624 Гектор" и прочие Цереры и Весты - вот это прям мой уровень, лол. Ну, я ещё массы не знаю вообще - а он назвал даже для этого астероида. Но то что с ризонингом он справляется - меня удивляет и поражает.
Короче, я остаюсь при своём - 200000B (200T) модель назовёт 4000 рек.
>А по факту тренд другой - дать большее за меньшее ресурсы
Ну так у корпов экономика, поэтому и кормят нейрохрючевом побольше, пока берут. Они рады были бы и 0,6B в прод запустить, да брать не будут.
>а сейчас выходят китайские модели, вроде глема и минимакса, которые с меньшим размером выдают перфоманс дипсика
А в размерах дипсика оно было бы уууууу.
>>1510566
>вообще не пынимаю подход - только жopus использовать при возможности
Если платит кто-то другой, то нет никакого резона юзать кастратов.
>>1510609
Ебать ты капитан. Скоро повысят до адмирала.
>>1510646
>в смысле способности освоить аппарат формальной логики
Только дальность связей страдает. Условно 8B может сделать вывод, что если А, то Б, а 365B из А неявно выведет Б, В, Г, а в чат выдаст сразу Д.
>>1510713
>Мы от 700B переходим на 200000B, будет там разница в мозгах?
Конечно будет. Даже нынешние 700B лоботомиты. Хотя конечно не факт, если тренировать современными методами, то да, получится склад, а не мозги.
>>1510739
Интересно, откуда они набрали эти датасеты скачал себе на всякий.
>>1510946
Тестошизу понравится.
>то да, получится склад, а не мозги.
Нужен конкурентный алгоритм, как в GAN-генератора или как в alpha-zero. Это конечно не шахматы, но если оно будет спорить само с собой и будет судья, который отдаст приоритет одной из сторон, то почему оно не обучится разговору так же, как обучилась шахматам или го? Сложнее формализовать победу, да. Первая супер-короткая стадия может быть с обучением по записям дебат на разные темы, чтобы оно поняло что такое речь. Потом основная часть, где условный chat-gpt самой сильной версии десять раз проверяет ответ и выдаёт вердикт, если все 10 оценок совпали. Когда он начинает сомневаться - этот пример отбрасывается до рассмотрения людьми.
Или как вариант две сетки играют друг против друга, а третья их судит (инстанс той же сетки + присяжные, лол). Хотя бы как эксперимент. Люди как-то же людей судят, философию изобретают, проверить рассуждение проще, чем сделать - потом сетка может сама себя обучать в теории. То что делала судья отбрасывает, а то что две сетки играли друг против друга - им присуждается результат для дальнейшего обучения. Это же круто будет, если будет ллм, которая обучилась основываясь на правилах языка, а не на примерах.
>Ну так то я и не назову
Да, но если тебе это когда-нибудь понадобится, то ты загуглишь, откроешь вику и посмотришь ответ. Нейросетки же будет придумывать по тексту
>chatgpt5.2
Обосрался с подливой. Мало того, что с Меркурием проебался, так еще и Луны вверх пихнул
>GLM 4.7
Глем хорош, как обычно
>Гемини
Тоже обосралась
>даже если они знаю массы
В том то и дело, что они не знают массы. Они просто похожий текст пишут. А поскольку в большинстве случаев планеты упорядочены по радиусу, то они почти всегда путают порядок
Ой, не нуди.
Локальный флеш на 25 ГБ параметров, который можно чуть ли не на офисном ноуте запустить иногда отвечает на достаточно узкоспециализированные вопросы в моей области, в которой я 15 лет занимаюсь и изучаю всякое. Это очень крутое достижение науки и техники. Даже если оно в 50% случаев отвечает. Даже если в 20% - я же могу это проверять.
То есть это прям феноменально крутое достижение науки и техники, даже флеш. Оно в некоторой степени может в логику и в некоторой степени знает всё. 10 лет назад 99.9% людей бы как один сказали, что это и есть искусственный интеллект, всё, капец, приплыли. Вот этот флеш, да, который и на железе 10-летний давности работал бы.
А сейчас глаз замылился, ничего необычно. Да вы охуели, ЭТО ОЧЕНЬ НЕОБЫЧНО по любым меркам.
10 лет? да 3 года назад это бы уже назвали искуственным интелектом. Как бы алло, у нас R1 недавно отпраздновал ГОД с даты выхода. ОДИН ГОД. DeepSeek R1. Ебанутся сколько за год случилось. А сейчас мы имеем модель в 30b которая в утилитарном применении его обгоняет. Охуе-е-еть.
>Первая супер-короткая стадия может быть с обучением по записям дебат на разные темы, чтобы оно поняло что такое речь.
Зенитные кодексы Аль-Эфесби.
-мимокрокодил.
Тут топ 15. Эрида на 17/18, Плутон на 18/17 месте по массе/радиусу соответственно.
> derestricted
"0" face
> ablitereted
Уу хуета лоботомит...
Играю на q2 кванте 4.7. Никакой цензуры тут нет и в помине, без ризонинга. С ризонингом говорят есть, я не пробовал.
> q2
Ну ещё бы, на таком лоботомите и цензура лоботомируется
На флеше тоже есть такая версия. Отвечает плюс-минус такая же, разницы будто бы и нет на глаз, как впрочем и ускорения генерации.
Может быть лучше эта REAP50 но в q3, чем обычная в q2?
Бенчмарки может есть какие?
Так он прав. На 2 кванте и знаменитая свое соявостью гемма 3 не такая уж и зацензуренная, как на 4 и последующих. Или ты думал, что квантование никак не влияет на модель?
Модель не лоботомит только при запуске в полных весах в FP16
Пойду катать дальше кими на компьютере наса.
А мне и не для рп.
Как впрочем и не для кода.
А что с ней не так, опишешь словами подробнее?
Кремний мне только вот такую табличку нашёл, более полных тестов нет.
Ну смотри, ты там рассуждаешь о разнице между q2 и q3 квантами, вот я и подумал что для рп. Если не для рп то меньше q4 ничего не имеет смысла. Потому что слишком большая просадка по точности. Ассистент будет давать неверные ответы, в коде будут очепятки которые приведут к тому что он не будет выполняться. Потому я и пишу что REAP не имеет смысла в твоем юзкейсе. Слишком малый квант мешает точным таскам, REAP мешает рп.
>>1511045
Есть куча информации и по другим, более жирным квантам. Реддит/дискорд. Надо - чекай. Все кому надо уже прочекали и в курсе что цензура только в ризонинге. Бтв, q2 работает замечательно и выдает кино, какого нет ни на какой другой модели меньше, пусть там даже полные веса.
>компьютере наса
Давно не образец, лол.
>>1511047
ХЗ, у меня в лоботомит кванте в задачах РП модель тупо ломалась, писала бред, повторы и не могла заткнуться.
>>1511053
>цензура только в ризонинге
Ну кстати её и там мало. Вот минимакс да, в ризонинге на 146% отлавливает неудобное, даже с префилом, а уж как он обзывает обходы цензуры обходами цензуры, вообще любо-дорого.
https://github.com/CerebrasResearch/reap
Очень упрощая, это способ "вырезать" из модели определенные знания. Относительно недавно сделали. Как правило, вырезают из больших моделей все, что не нужно в бенчмарках, и приносят - мол, смотрите, мы сделали GLM на 40% меньше и потеряли всего 2% перфоманса, что подтверждают бенчами. В которых нет creative writing, например, или знания разных языков, или много чего еще. И все это после REAP не работает, разумеется. Потому только для кода и применимо, в целом.
Спасибо анон. А я тут подумал, ну вот возьмем огромную модель на 27 языках, вырежем все кроме 4 языков. Модель отупеет?
Ну в теории вин же должен быть.
> Ну в теории вин же должен быть.
Были такие надежды, когда только появился этот метод. Но практика показала, что эта затея годится в лучшем случае только для кода. Да и с кодом не так все однозначно. По сей день не было ни одного REAP вина для рп. Так что... увы.
Они не так делают. Там не вырезаются языки, креативность и т.д. Там вырезается ЧТО-ТО, хуй пойми что. А потом смотрится по прогерским бенчам перорманс. Ну т.е. модель в теории даже может не особо отупеть, а может отупеть до охуения. Это не говоря о том, насколько вообще эти бенчи отражают реальные способности модели. А не то цифорки могут быть красивые, а по факту залупа полная
У меня недавно убунта сдохла обоссавшись и обосравшись тоже из-за драйверов. Но потом воскресла, когда самостоятельно поставила открытые драйвера после перезагрузки, а после я уже в менеджере драйверов выбрал 590. Сейчас все нормально работает
>По сей день не было ни одного REAP вина для рп.
А была ли хоть одна попытка сделать этот самый REAP для РП?
Возможно, и даже вероятно была. Тот факт, что не опубликовали результат, не говорит о том что попыток не было. Любители тюнить про REAP давно в курсе. Логично предположить, что если бы они могли успешно использовать этот способ, уже использовали бы. А еще для этой процедуры нужны специальные датасеты, над которыми нужно проводить отдельную работу.
Небось инструментов нет, или не осилили. А попытку они бы выложили, и не такое говно выкладывали уже.
Лол будет небось как результат который у меня был на ламе3 кажется, или что-то около того. слог может а с математикой не очень.
>>1510031
1 - до обновления: правильно написало песню, не насрало емодзями, но насрало иероглифами
2 - после обновления: неправильно написало песню, насрало емодзями, но зато не было иероглифов.
аксиома эскобара короче
>>1510092
поделись скриптом, пожалуйста.
я так понял, что если хочешь качество, то надо самому квантуваты, а не надеяться на батрух и анслопов
Ясно, попробую его тоже.
>>1510412
24b все свайпы тупо перефазирует одно и тоже, я даже не знаю что будет на 14b. Только смена сис промпта помогает. Последнее время только на гемме.
> способ "вырезать" из модели определенные знания
>>1511073
> вырежем все кроме 4 языков
Все проще - оно режет отдельных экспертов, влияние которых "мало". Проблема только в том, что знания в модели нигде не локализованы и нет какого-то определенного деления по ролям, они есть суперпозиция активируемого множества экспертов. Удаление приводит к искажениям, так еще и количество активируемых не меняется, потому в инфиренсе будут участвовать неподходящие.
Собственно метод предполагает оценку чувствительности и влияния с целью ампутации того, что не должно влиять на скор бенчей или калибровочного теста.
>>1511171
> модель с хорошим ризонингом
> ризонинг на маленькой модели, а потом основное сообщение на большой
Во-первых, зачем тебе модель с ризонингом? Ты даешь ей инструкцию подумать и она пусть ее выполняет, ее собственная логика ризонинга может быть совершенно шизоидной и плохо совместимой со второй моделью. Бери любую модель которая нравится.
Во-вторых, это плохая идея, тупой мелочью лоботомируешь большую задав неверные акценты. Норм идеей может быть использование мелких моделей чтобы собрать какие-то факты или рассмотреть с разных сторон, потом приказать большой дать оценку всему этому, и уже потом использовать полученное. Но не факт что выйдет лучше чем просто 2 инструкции большой.
>24b все свайпы тупо перефазирует одно и тоже
Фиксится повышением температуры.
Я пробовал реап который 268B и это был трэш. Модель потеряла русский язык почти полностью. Уходила в галюны. О качестве РП я не говорю. Не советую, если так хочется хорошую 200В модель - то бери минимакс/степ.
Это вброс? ГЛМ одна из самых чистых моделей, я на ней даже джейл не применяю.
Никому не спать, разорвем эту глыбу
Да не-не-не. Просто если можно чуть поднять скорость без вреда, то почему бы и нет.
И вообще, 358B в 5 кванте - это многовато. Надо какое-то 192+64 минимум, ну или 256+32.
А 218B в 5 кванте - это влезет в 128+64 с контекстом.
К степу кстати рип на 128B уже сделали, лол.
Я ещё не запускал настолько большую модель в нормальном 3 кванте
170к контекста != 170 Кб текста.
Такие дела.
>Короче, кто катает 2 квант глм 4.7 - берите ud 2 xl
Кавраковские быстрее, что решает. Также уверяют, что и по перплексити лучше.
Нюне (я не он очевидно, мы списались через обниморду) непонятно, почему если ik ветка такая прекрасная и без недостатков, она именно ветка, а не серия пулл реквестов в основную лламу. А я бомж без рама и сижу на Эире
передай ему коллективный респект от анонов и попроси пресет
>2kl кванта батрухи
Я сижу на IQ2_S, ибо нищук с 96+32+24.
Передавал и просил. Сказал что стандартные семплеры и минималистичный промт на 200-250 токенов для 4.7. Для Эира то же самое, но на чатмл + жирные описания персонажей с примерами диалогов. Но тут об этом еще какой-то анон писал, за что на него накинулись непонимающие
По факту можно смотреть на цифру между A и B в названии. Да, я знаю, в очередной раз толсто набросил, можете не отвечать.
Это не ветка, а форк. Они разосрались с основной лламой из-за разного видения, и болгарин теперь в своем загоне пилит приколюхи.
Бля, как же долго v100 идет через того продавца говна, что тут советовали. Еще и тряска, ибо у одного чела пришла вхлам убитая карта с разъебанными сокетами и стертыми маркировками, но в треде это старательно игнорируют и ни разу не запостили. А заказали-то у него много кто, небось, из треда.
> Они разосрались с основной лламой из-за разного видения
Скорее Жора со многими разосрался. Не то чтобы стоит его сильно винить, ведь действительно имеет свое видение и изначальная цель - работа на гейбуках. Еще весь этот треш со стороны олламы постоянно давит.
> заказали-то у него много кто, небось, из треда
Ну мне недавно пришла, из нареканий что вся в термопасте и отпечатках китайца, работает. Что там за тряска вообще?
> что тут советовали
> но в треде это старательно игнорируют
Вот из-за долбоебов-нытиков типа тебя здесь и не советуют ничего. Хотят и самый профитный вариант получить, и ответственность на других переложить.
Ну ты там в своем мирке живешь, что я могу сказать. Отзывы не чекаешь, перекладывание отвественности где-то увидел... толку с тебя. Впрочем, тут большинство в треде как мешком прибитые - иногда почитаешь ветку ответов и складывается ощущение, что общаются сами с собой вместо собеседника.
Погуглил, как я понял пейдж файл спасает, но лучше не превышать 5-10гб, т.е считай можно добавить 10 гигов к рам бесплатно без ощутимой потери скорости и вместить квант пожирнее
Тот лот в конце декабря скидывали, народ заказывал, уже несколько довольных покупателей. Неделю назад один плохой отзыв, и ты уже устраиваешь истерику. Что задавно - в ней как раз выстраиваешь "свой мирок", где не ты купил самый-самый дешевый лот на майлсру, а виноват кто-то другой. Будет орно если ты станешь вторым неудачником, обязательно выложи фотки соккетов.
>>1511624
> можно добавить 10 гигов к рам бесплатно
На скорости ссд
>На скорости ссд
По ощущениям если ты не превышаешь размер врам+рам то всё норм, просто он подгружает модель чуть дольше обычного если долго не писал
Жесть ты порвался, братишка. Выйди что ли на улицу, потрогай снег, а то у тебя уже крыша едет настолько, что кругом враги, которые тебя около подъезда сторожить будут за советы продавцов, и ты желчью исплевался на ровном месте.
бартуха там уже кванты стёпы делает, всё схвачено
ждём 7958 релиза
>Я сижу на IQ2_S, ибо нищук с 96+32+24
Спокойно ud 2xl влезет с 25к fp16 контекста, даже под виндой.
Или это сломает модель
Мне, как программисту, понятны чувства линта. Я тоже счастлив за него. Молодцы, разработчики Жоры, что думают о чувствах линта. Программерская солидарность. Аутсайдерам не понять.
>Для Эира
>на чатмл
>на него накинулись непонимающие
Скорее всего еще харкнули и пнули, но с четким понимание, что он хуесос. Вроде уже в прошлых тредах триллион раз чатмл обсосали хотя скорее обоссали
Так в релиз нахуя все коммиты пихать? Вот вроде все описания релизов как описания "Сделано то, сделано это", а тут блять обо всём ни о чём сука, даже в моей шарашкиной конторе с мёрджом над описанием думают.