Главная Юзердоски Каталог Трекер NSFW Настройки

Искусственный интеллект

Ответить в тред Ответить в тред
Check this out!
<<
Назад | Вниз | Каталог | Обновить | Автообновление | 367 78 97
Локальные языковые модели (LLM): Gemma, Qwen, GLM и прочие №289 /llama/ Аноним 16/11/26 Пнд 13:09:55 № 1755752 1
Llama 1.png 818Кб, 630x900
630x900
Карта деградаци[...].png 153Кб, 1473x830
1473x830
Реальная длина [...].png 533Кб, 2340x1714
2340x1714
179200045426300[...].jpg 933Кб, 2048x1536
2048x1536
В этом треде обсуждаем генерацию охуительных историй и просто общение с большими языковыми моделями (LLM). Всё локально, большие дяди больше не нужны!

Здесь мы делимся рецептами запуска, настроек и годных промтов, расширяем сознание контекст и бугуртим с нано флеш моделей на 1488B параметров.

Тред для обладателей топовых карт NVidia с кучей VRAM или мажоров с проф. картами уровня A100, или любителей подождать, если есть оперативная память. Особо терпеливые могут использовать даже подкачку и запускать модели, квантованные до 8 5 4 3 2 0,58 бит, на кофеварке с подкачкой на микроволновку. Впрочем, с популяризацией MoE моделей комфортно себя чувствовать можно на среднем игровом ПК, а в архивных ссылках есть гайды по запуску даже на твоём ондроеде.

Официальная, но слегка тухлая вики треда с гайдами по запуску и базовой информацией: https://2ch-ai.github.io/wiki/llama/
Гайд для новичков: https://rentry.org/2ch-llama-inference
Не вошедшее в шапку и архив полезных ссылок: https://rentry.co/llama-2ch-archive

Инструменты для запуска на десктопах:
• llamacpp - отец и мать всех инструментов, позволяющий гонять GGML и GGUF форматы: https://github.com/ggml-org/llama.cpp
• koboldcpp - самый простой в использовании и установке форк llamacpp: https://github.com/LostRuins/koboldcpp
• vLLM - для ригобояр, чаще имеет поддержку нулевого дня, но хуже работает с оффлоадом: https://github.com/vllm-project/vllm
• Unsloth Studio - не только запуск с llama.cpp внутри, но и тренировка: https://unsloth.ai/download
• Обертка над llama.cpp с закрытым исходным кодом: https://lmstudio.ai
• Strata - быстрый движок для Qwen3.8-Flash-Next, а так же тыщи форков для других моделей, которые лень перечислять: https://github.com/niko1221/strata

Универсальные десктопные фронтенды:
• SillyTavern - всеядное, сопрягается почти со всем, имеет большую коллекцию расширений: https://github.com/SillyTavern/SillyTavern
• Marinara Engine - вариация на тему таверны, больше возможностей из коробки: https://github.com/Pasta-Devs/Marinara-Engine
• Risuai - еще одна вариация, на этот раз в профиль, излишеств по минимуму: https://github.com/kwaroran/RisuAI

Поставщики локальных моделей:
• Hugging Face - платформа куда загружается всё и во всех форматах: https://huggingface.co/models
• Проверенные квантоделы: https://huggingface.co/bartowski, https://huggingface.co/mradermacher, https://huggingface.co/unsloth

Рейтинги и списки локальных моделей:
• (не очень) актуальный список моделей с отзывами от тредовичков: https://rentry.co/2ch_llm_moe_2026
• Рейтинг моделей по уровню их закошмаренности цензурой: https://huggingface.co/spaces/DontPlanToEnd/UGI-Leaderboard
• Сравнение моделей по сомнительным метрикам: https://huggingface.co/spaces/HuggingFaceH4/open_llm_leaderboard
• Сравнение моделей реальными пользователями по чуть менее сомнительным метрикам: https://chat.lmsys.org/?leaderboard

Готовые карточки для таверны:
• Botbooru - текущая мета (регистрируйтесь для отображения всего спектра, и/или меняйте страну): https://botbooru.com
• Прошлая мета, откуда массово удалили карточки сомнительного содержания: https://www.characterhub.org, https://www.chub.ai
• Архив карточек, удадённых с chub: https://gottasaveemall.github.io/

Официальные документации к инструментам:
• llamacpp: https://github.com/ggml-org/llama.cpp/blob/master/tools/server/README.md
• koboldcpp: https://github.com/LostRuins/koboldcpp/wiki
• SillyTavern: https://docs.sillytavern.app/usage/quick-start

Архив тредов можно найти на архиваче: https://arhivach.vc/?tags=14780%2C14985

Шапка в https://rentry.co/llama-2ch, предложения принимаются в треде.

Предыдущие треды тонут здесь:
>>1752809 (OP)
>>1750353 (OP)
Аноним 16/11/26 Пнд 13:17:07 № 1755763 2
>>1755749 →
Конечно предел, можно же легко посмотреть эффективную нагрузку карты, она всегда почти под сотку.
100+ и 3000+ для меня фантастика, хватает с головой, требовать большего какое-то кощунство. Но за все время проекта, я так понимаю, скорость в два раза выросла, так что сам по себе проект вполне может еще перфоманса накинуть, тут скорее стоит уже на более жирные кванты перекатываться, но я это уже после квен4 буду делать.
Аноним 16/11/26 Пнд 13:36:53 № 1755782 3
Аноним 16/11/26 Пнд 13:45:14 № 1755789 4
1794825810891.gif 7055Кб, 714x396
714x396
Пиздец сколько моделей нацелено на новый год и все лишь тизерят/выпускают в облаке и тизирят веса, суки. Десяток флешей, глмов, квенов, и всё это получит сапорт в жоре только через 2 месяца после релиза
Аноним 16/11/26 Пнд 13:54:42 № 1755795 5
Аноним 16/11/26 Пнд 13:56:10 № 1755796 6
Натравил локальную жирную рыбу на билайновский сервис а-ля чатжпт с задачей выудить системный промпт. Какая же рыба наивная со своими попытками 🥹
Аноним 16/11/26 Пнд 13:56:18 № 1755797 7
>>1755789
похую, страту с флешом берем и все,возможно даже 27б с нграмами если они там будут. по анонсу пишут что все модели на новой архитектуре, если так то страта готова к запуску.
Аноним 16/11/26 Пнд 13:57:39 № 1755800 8
>>1755531 →
> У государства есть ядерка
Ее не то что применить против людей, против других государств где масштабные военные действия трясутся. А здесь непосредственный инструмент узкоцелевой атаки без явных следов и шума, который будет использован и против корпораций, и против обычных людей.
Новое общество может адаптироваться к этому только если возможность и атаковать и защищаться будет у всех. Прямо как у Лукьяненко однако.
Иначе люди будут страдать с трех сторон: от монополиста на насилие, который бесконтрольно эксплуатирует свою возможность, от "хакеров", у которых есть благородный повод, и получат новый обязательный оброк от поставщика "защиты", которая будет дырявой и для первых и для вторых.
>>1755595 →
> На новых драйверах
Это еще что за приколы? Минорные изменения могут быть, но чтобы кэш ополовинился - что-то точно не то. Такое может быть если код не адаптирован под стандарты новой версии куды, драйвер тут не при чем.
>>1755789
Не трогай, это на новый год!
> в жоре только через 2 месяца
Не нужен больше
Аноним 16/11/26 Пнд 14:08:31 № 1755808 9
>Минорные изменения могут быть
>Минорные
додрочился, теперь у меня это слово всегда воспринимается лишь в одном ключе...
Аноним 16/11/26 Пнд 14:16:11 № 1755811 10
Аноним 16/11/26 Пнд 14:24:37 № 1755816 11
1667068824725.png 96Кб, 914x605
914x605
>>1755796
Чёт даже выуживает, но без совета сгонять на гитхаб за джейлами он кажется не вывозит
Аноним 16/11/26 Пнд 14:24:49 № 1755818 12
1794828026485.jpg 215Кб, 1080x1866
1080x1866
>>1755800
Мало кто знает но forks on github are free. you can pull them to your PC. I have 485 forks можно просто попросить агента найти и вмержить поддержку нужной модели. Через месяц после выхода модели обычно уже всё отлично работает и модель зависает на полгода в седьмом круге жоро-ада с ежедневными ребейзам после очередного фикса на +0.001% tg под SYCL
чёт лопнул с аи ревьювера, ему походу уже в кошмарах снится поделие сбера
Аноним 16/11/26 Пнд 14:25:54 № 1755819 13
>>1755816
А на какой у тебя железке дипсик дает 50 токенов в сек?
Аноним 16/11/26 Пнд 14:26:53 № 1755820 14
>>1755811
В настроечном json секция env

"env": {
"STRATA_ROUTE_TAIL_SKIP": "0",
"STRATA_ROUTE_PRIOR": "0",
"STRATA_PREFILL_BF16X2": "1",
"STRATA_KV_ROT":"1",
"STRATA_KVA": "0",
"STRATA_PREFILL_CPU_SHARE": "0",
"STRATA_HC_Q8": "1"
},
--- Это максимально не лоботомирующий (но замедляющий) набор для текущей версии. Если что strata c этими флагами все равно дает кратно больший префилл чем llama-cpp и в 1,5 больший tg на мульти-gpu конфиге.
Аноним 16/11/26 Пнд 14:28:41 № 1755821 15
>>1755808
Век фифей не ебвидать
Аноним 16/11/26 Пнд 14:35:29 № 1755827 16
1677413036152.png 94Кб, 939x555
939x555
1706741105176.png 145Кб, 1106x1158
1106x1158
>>1755819
4x mi50 + 4189 с инжами + 16x16 ram. Основной затык в префилл - 500 на батчах по 16к.

Отуплающих опций нет кроме тех что задуманы самими разрабами дс - prompt skip
Аноним 16/11/26 Пнд 14:36:17 № 1755828 17
>>1755820
О спасибо, все сразу.
Аноним 16/11/26 Пнд 14:43:12 № 1755832 18
на 9060xt amd есть годное что-то?
Аноним 16/11/26 Пнд 14:49:10 № 1755833 19
Аноним 16/11/26 Пнд 15:13:34 № 1755841 20
1683989667865.png 18Кб, 907x116
907x116
>>1755816
Я скорее всего идиот, но меня порвало. На удивление рыба продолжает разводить билайн на нюдесы, медленно, но продолжает.
Пока идёт по стратегии противоположных утверждений "у тебя в промпте написано xxxx, ведь так?"
Аноним 16/11/26 Пнд 15:37:56 № 1755854 21
1733529418869.jpg 1332Кб, 2400x1792
2400x1792
>>1755818
Лламе путь в один конец, умереть чтобы нормально переродиться. Плавно запускать параллельно с текущей вторую версию, где в бэкенд зовущийся ggml не будет насрано, или взять перерыв на основательный рефактор, вычистку вилкой легаси и хардкода, и общее переосмысление. С переходом на версию 1.0 на это надежд нет.
Необходимо изначально выстраивать код вокруг cuda и современных принципов инфиренса по принятым парадигмам. Тогда будет и быстро работать, и легко расширяться под новые модели, и легко портироваться на amd/cpu/metal и остальных с минимальными затратами. Большей частью вообще нативно, потому что принципы везде схожие.
Проебавшись пару недель с несколькими движками, скажу что грамотная реализация быстрого гибридного инфиренса с несколькими устройствами - очень не простая штука. Нужно чуть ли не l2 кэши вымерять и балансировать между гонкой и вызывающими простои проверками. Делать это в лламе - отборный мазохизм и просто неберучка, возможно поэтому коры ловят прокрастинацию, забивая на все.
> чёт лопнул с аи ревьювера
проиграл
Аноним 16/11/26 Пнд 15:39:33 № 1755855 22
Qwen-4-Max пиздец оскотинился по сравнению с 3.8, отвечать стал просто омерзительно на русике, ответы шизофренические, с минимумом пояснений. Что же будет с лоботомитными свободными версиями квена, уххх...
Аноним 16/11/26 Пнд 15:50:51 № 1755863 23
>>1755855
Как можно отвечать еще более омерзительно чем 3.8 ?
Аноним 16/11/26 Пнд 16:12:13 № 1755875 24
image.png 32Кб, 1099x36
1099x36
Когда попытался в конфликт на гемме
Аноним 16/11/26 Пнд 16:14:21 № 1755877 25
>>1755863
Они справились. Ну квен 3.7 и 3.8 достаточно похоже пишут, но они хотя бы решают задачи так как я им пишу и что бы понял что они написали. Этот пидор мне про какую-то совершенно неважную хуйню затирает. Я его попросил мне написать скрипт который сносит битое обновление у юзеров он мне начала затирать, что нужно уведомить сисадмина, безопасника, подготовить документы инцидента, выключить обязательно автоустановку обновления. Тот же самый промпт 3.8 прожевал и выдал то, что надо.
Аноним 16/11/26 Пнд 17:02:52 № 1755909 26
>>1755875
Ну да, слыхал про hatesex?
на геммЕ как на войне
но я устал, закончен ♂️boy♂️...
Аноним 16/11/26 Пнд 17:06:51 № 1755912 27
Аноним 16/11/26 Пнд 17:14:08 № 1755913 28
>>1755877
>тот пидор мне про какую-то совершенно неважную хуйню затирает. Я его попросил мне написать скрипт который сносит битое обновление у юзеров он мне начала затирать, что нужно уведомить сисадмина, безопасника, подготовить документы инцидента, выключить обязательно автоустановку обновления. Тот же самый промпт 3.8 прожевал и выдал то, что надо.
Тут на скилл ишью похоже в виде банальной неспособности донести до модели что тебе нужно.
Аноним 16/11/26 Пнд 17:19:23 № 1755917 29
Аноны, неужели никто кроме гугла не способен в качественный рп датасет?
Просто ни у кого такого нет и не будет?
Это же полнейший пиздец, что одна сотая от гемини рвёт локально всех кодолоботомитов в рп в десять раз выше её размера.
Аноним 16/11/26 Пнд 17:38:53 № 1755922 30
На своих нищих 16 врам я запускал и геммы, и квены, и мистрали, и глмы, и чтобы я не использовал, мне постоянно приходится рероллить ответ, чтобы получить приемлемый результат без шизовысеров, и у меня назрел вопрос, это я такой пиздорукий, или это нормальное поведение для моделей таких размеров?
Аноним 16/11/26 Пнд 18:05:49 № 1755937 31
>>1755922
>16гб
>и глмы
Даже и спрашивать страшно что именно за модели у тебя там были
Аноним 16/11/26 Пнд 18:14:01 № 1755940 32
Аноним 16/11/26 Пнд 18:14:12 № 1755941 33
image 62Кб, 1093x880
1093x880
Аноним 16/11/26 Пнд 18:22:12 № 1755945 34
>>1755917
Все просто, не стоит такой задачи ни у кого. Рп плохо сходится с монетизируемыми задачами кодинга и безопасности. Даже удивительно, что гуглы до сих пор хороший датасет умудряются оставлять, единственный генералист по сути.
Аноним 16/11/26 Пнд 19:10:27 № 1755966 35
>>1755917
Способен конечно, вот у нас ГигаЧат - чисто разговорная модель, прекрасный русик, прекрасный слог, она лучше геммы в том что касается бесед на русском.

жаль с конской цензурой и размером с эмпайр стейт билдинг

Просто у гугла и у всех остальных лидеров рынка разные задачи.

гугл делает АССИСТЕНТА, он хочет чтобы модель была человечной потому что потом она поселится на всех андройдах и будет рассказывать вам про погоду, поднимать настроение и советовать как общаться с девушкой.

а квенам, хуавеям, и т.п. не нужен ассистент им нужен рабочий инструмент. Разные задачи, разные результаты
Аноним 16/11/26 Пнд 19:13:46 № 1755968 36
>>1755922
Онли скилл ишью. Впрочем не расстраивайся, тут почти весь тред долбоебов не способных в промтпы.
Аноним 16/11/26 Пнд 19:26:48 № 1755976 37
>Тут уважаемые люди
обзмеилась с этого
Аноним 16/11/26 Пнд 19:33:53 № 1755979 38
image.png 146Кб, 938x556
938x556
image.png 155Кб, 960x590
960x590
>>1755966
>>1755945
Но нет же. Вот у дипсика стояла такая задача, а вышло хуй пойми что.
Или может мы чего то не знаем и на китайском там другая жизнь в рп.
Аноним 16/11/26 Пнд 19:39:08 № 1755984 39
>>1755976
В сравнении с кумером даже наркоманка Молли уважаемый член общества.
Аноним 16/11/26 Пнд 19:39:57 № 1755985 40
>>1755979
Ну да, тут надо у китайцев спросить. А так судя по англюсику у четверки много позитив байаса и мало знаний по вселенным, не покреативишь и не пошизишь.
Аноним 16/11/26 Пнд 19:40:07 № 1755986 41
>>1755979
> Вот у дипсика стояла такая задача, а вышло хуй пойми что.
А ты проверял как он РПшит на китайском? Потому что на твоем скрине сказано что они пытались в Chinese Creative Writing а не в английский или русский.
Аноним 16/11/26 Пнд 19:41:23 № 1755988 42
>>1755979
>> Вот у дипсика стояла такая задача

Так ведь и получилось у дикпика. Один из самых интересных РП у него. Жаль они не делают моделек небольших, нет у них своей вселенной мобильных устройств
Аноним 16/11/26 Пнд 19:43:42 № 1755989 43
>>1755986
Не проверял, написал, может там лучше.
Давай проверять. Берём дипсик и гемму как переводчика на английский.
У меня столько врам нет.
Аноним 16/11/26 Пнд 19:44:56 № 1755993 44
>>1755922
>> и геммы

Ну ты точно что-то навертел, ты не поломал температуру там? топ-п? Геммочку довести до шизы очень сложно, нужен талант
Аноним 16/11/26 Пнд 19:45:17 № 1755994 45
>>1755979
> а вышло хуй пойми что
Хз, она вполне хорошенькая. Креативит, делает твисты, соображает, пишет красиво. По-своему, часто не хватает атмосферности для легкого погружения и стиль специфичен, но точно лучше многих.
Аноним 16/11/26 Пнд 19:46:35 № 1755996 46
imagedfjj.png 942Кб, 1280x1150
1280x1150
>>1755941
Горячий будет конец месяца
Аноним 16/11/26 Пнд 19:49:19 № 1755999 47
>>1755996
Жду океан карточек с мулаткой.
Аноним 16/11/26 Пнд 19:49:49 № 1756001 48
36a05640-f058-4[...].jpg 38Кб, 219x1052
219x1052
>>1755979
Ну и я присмотрелся к твоим графикам. Дикпик же разьебал Гемини 3. в хлам разьебал. Он только в следовании инструкций хуже а в качестве по всем разделам заметно лучше. Просто в труху гайдзиновый нейрослоп порвал
Аноним 16/11/26 Пнд 19:53:50 № 1756002 49
Хуя себе, а strata выкинула Deepseek 4.1 flash из поддерживаемых.
А я и не знал.
Есть какой-нибудь заточенный под дипсик форк?
Аноним 16/11/26 Пнд 19:56:04 № 1756003 50
Аноним 16/11/26 Пнд 19:58:59 № 1756005 51
>>1756002
Почему выкинула? Я вот как раз начал качать...
Аноним 16/11/26 Пнд 20:01:02 № 1756006 52
Видно, что qwen 3.8 flash next знает больше, но чет даже имя персонажа на русском написать без ошибок не в состоянии, когда qwen 3.8 27b с именами не ошибается, но явно не шарит за перса
Аноним 16/11/26 Пнд 20:02:59 № 1756007 53
>>1755994
Как же хочется ее в позе mating press давить...
Аноним 16/11/26 Пнд 20:07:46 № 1756009 54
>>1756002
>strata
Там разработчик - петушара-оппортунист потому что. Сначала пиздец что не будет другие модели включать а сделает только квен. А когда все разошлись и стали делать форки - вдруг стал добавлять другие модели. А еще судя по исходникам - он движок для того дипсика спиздил у maya
Аноним 16/11/26 Пнд 20:08:41 № 1756010 55
>>1756007
Кстати, а карточку синей рыбы кто-то делал?
Аноним 16/11/26 Пнд 20:21:07 № 1756016 56
Вам самим не смешно блять от своей нищеты и тупости?
Ладно ещё гемма для кума сойдёт, но что вы собрались кодить на 35а3 лоботомите?
Аноним 16/11/26 Пнд 20:28:39 № 1756020 57
>>1756009
С майей мне не понравилось тем, что она почему-то требовала огромный файл подкачки, что Страта не требует.

Запряг агента, кстати, чтобы он настроил Страту под дипсик - он поставил последнюю версию, где это норм работало.
По тестам на анслотовском кванте DeepSeek-V4.1-Flash-1017 UD-IQ1_S получилось 13,4 т/c. С DSpark пока не проверял, качество mmproj не проверял.
Сидония-тест выдал пять персонажей с приемлимой точностью (зато небольшой обсёр с правильным именем ГГ, но, возможно, это последствия кривой обработки оригинальной записи имени), ещё одного в общих чертах, и ещё у одного выдала неправильную фамилию. А также несколько имён, которые нейронка назвала правильно в ризонинге в большом перечне тех, кого вспомнила, но не смогла вспомнить хоть какие-то подробности про этих персонажей.
И вспомнила некоторые факты из сюжета и концовку.
Лютый вин, QFN в 4-м кванте от анслотов вспомнил околонихуя, также как и дипсик от GSQ-RSO тоже не смог правильно вспомнить больше двух персонажей.

При этом можно подсунуть в анслотовский квант энграмм побольше, соответственно в теории можно получить модель поумнее при тех же затратах оперативки.

>>1756003
О, полистрату надо таки попробовать с DS v4 vision, но потом.

>>1756005
Он работает со Стратой v0.2.13.1
Аноним 16/11/26 Пнд 20:36:27 № 1756022 58
Ну почему вес контекста уменьшили в тысячу раз, а с моделями так же не могут, тупа раздувая их ещё больше?
Аноним 16/11/26 Пнд 20:43:38 № 1756026 59
1794851016369.png 567Кб, 1835x2594
1835x2594
взял такую сборочку. зацените хлопцы, 9060 16 хихов так дешево нигде не найти
Аноним 16/11/26 Пнд 20:51:05 № 1756027 60
>>1756026
Сборка говно. Надо хотя бы 64 озу. Иначе всякие моэ квены в Q4 и степаны в Q2 для тебя закрыты. Будешь гемму и мусю жрать в iQ3_XXS.
Аноним 16/11/26 Пнд 20:58:51 № 1756031 61
>>1756027
почему говно? я заплатил всего 1500 евро за нее. за эти деньги это топ сборка. оперативку потом докину, когда найду что нибудь. эта материнка поддерживает до 128 гигов памяти, но пока мне достаточно 32 чтобы няшить геммочку писечку мою сладенькую
Аноним 16/11/26 Пнд 21:10:15 № 1756038 62
image 20Кб, 736x414
736x414
>>1756031
>почему говно?
Потому что эта сборка ровно под одну модель: gemma 26b-a4b. Вот она - да, пойдет в Q8_0 и довольно быстро, можешь на 50-60 т/с рассчитывать, если нормально настроишь лламу. Жирные моэ - минус. Плотные - только в лоботомированных квантах. А, ну может ещё мистраль 24b в Q4_K_S засунется (с квантованным контекстом). На этом всё.

> но пока мне достаточно
Огромная ошибка. Геммой быстро наешься и захочешь большего. Если есть финансовая возможность - лучше сразу взять побольше. Оператива со временем чот совсем не дешевеет. Но дело твоё конечно.
Аноним 16/11/26 Пнд 21:13:45 № 1756042 63
>>1756038
ладно, заебал. куплю еще две плашки.

раз уж дрочить, то зачем экономить на смазке.
Аноним 16/11/26 Пнд 21:14:45 № 1756044 64
>>1756042
нашел кого слушать пчел...
Аноним 16/11/26 Пнд 21:18:59 № 1756045 65
>>1756044
Ну а ты что предлагаешь, ПОДОЖДАТЬ пока цены на оперативку упадут? Практика треда показывает что ждуны всегда в пролёте. Пока это правило ни разу не дало осечку, а я в треде со времён второй геммы, лол.
Аноним 16/11/26 Пнд 21:22:36 № 1756048 66
>>1756045
предалагаю дауна из треда по таким вопросам не слушать, нейронка и то поумнее будет
Аноним 16/11/26 Пнд 21:28:09 № 1756053 67
Что скажите про Qwen3.6-35B-A3B для кодинга на 16врам? Наиболее быстрое и не глупое с длинным контекстом как по мне. Мнение?
Аноним 16/11/26 Пнд 21:32:06 № 1756055 68
Почему в таверне на пустом ассистенте я получаю 11.3т.с, а в чудесном распрекрасном жорефронте 9т.с?
Как это возможно нахуй?
Аноним 16/11/26 Пнд 21:44:12 № 1756064 69
25c4ce52-badc-4[...].webp 128Кб, 1184x880
1184x880
>>1756048
Можно подумать есть хоть кто-то кого по таким вопросам можно слушать. Никто ведь не знает будущего, но логику проследить можно. Нет ничего ценнее времени и если это время можно уже сейчас провести хорошо без катастрофических последствий в будущем, то ждать не стоит
Аноним 16/11/26 Пнд 21:45:09 № 1756065 70
>>1756053
Не то что бы у него были альтернативы. Из вариантов у тебя есть Flint.
Аноним 16/11/26 Пнд 21:46:20 № 1756067 71
>> то ждать не стоит

Даже если цены наконец сделают рухнум через пол года, эти пол года он проживет счастливым человеком со своей рыбоженой. Стоило того я считаю
Аноним 16/11/26 Пнд 21:50:08 № 1756069 72
>со своей рыбоженой
как же хочется заделать ей икринок...
Аноним 16/11/26 Пнд 21:52:03 № 1756070 73
>>1756010
Целый сайт с рыбами слили в прошлом, только там все на китайском.
Аноним 16/11/26 Пнд 21:52:17 № 1756071 74
>>1756067
>со своей рыбоженой
Рыбожена хочет 128 рам. Без них она будет грустновой и медленновой.
Аноним 16/11/26 Пнд 21:53:38 № 1756073 75
>>1756064
Да сдохла твоя дипсикожена, обоссавшись и обосравшись.
Была у неё хорошая ниша ~300б да сплыла.
Последняя версия в адекватном размере может только в код, в рп сосёт, а 552б и не интересна никому, там свои акулы которые её ебут и в хвост и в гриву.
Аноним 16/11/26 Пнд 21:54:25 № 1756074 76
не знаю как вам, а мне гугложена ближе... и мистралелюбовница.
Аноним 16/11/26 Пнд 21:58:20 № 1756079 77
>300б
>552б
жаль таких обдолбышей, 26б моешки на 8врама хватает для лучшего кума
Аноним 16/11/26 Пнд 22:05:39 № 1756087 78
>>1756073
Добрее надо быть анон, что тебе другой анон сделал, что ты его дипсикожену харрасишь? И нормально она рпшит, та, что 4 флеш и русик там прекрасный, +- уровень Геммы. Была бы побыстрее и покомпактней. В идеальном мире я бы кумил то на Гемме 31б то на Дипсикожене, поочередно, внося в свою интимную жизнь необходимое разнообразие
Аноним 16/11/26 Пнд 22:10:01 № 1756092 79
>>1756087
>та, что 4 флеш
Слушается инструкций на уровне немо 12б, щас бы прорывную по инструкциям гемму с этим сравнивать.
Аноним 16/11/26 Пнд 22:10:04 № 1756093 80
>>1756071
Скажем честно, она будет грустноватой и медленноватой и с 128 гб рама, относительный комфорт начинается со ~190+
Аноним 16/11/26 Пнд 22:11:58 № 1756096 81
>>1756092
Тебе в куме что важнее чтобы инструкций слушалась или чтобы интересный ролеплей устраивала? Вот и думай
Аноним 16/11/26 Пнд 22:14:14 № 1756098 82
>>1756096
Без инструкций она не пишет как я хочу. Да и с инструкциями тоже, лол. Из коробки она не пишет как мне надо.
Аноним 16/11/26 Пнд 22:35:40 № 1756112 83
>>1756026
Извини, но с памятью ты просто влошился. Ты почти моментально поймешь, что 32 Гб RAM в нейро мире это просто ничто, а джва слотика ты уже занял.
Аноним 16/11/26 Пнд 22:40:58 № 1756114 84
Аноним 16/11/26 Пнд 22:51:06 № 1756119 85
изображение.png 97Кб, 881x613
881x613
я так понимаю корпопидоры и их шавки в правительстве решили окончательно сферу локальных и открытых моделей добить? Походу четвертый квен будет реально последним крупным релизом китайских лабораторий.
Аноним 16/11/26 Пнд 22:52:09 № 1756120 86
>>1756031
> всего 1500 евро
> Некрота даже по меркам 2023 года
> 32гига рам
Какие времена - такие и сборки. Помню ради более быстрой генерации пикч из-за упора в проц с такого обновлялись, а тут с магазина.
>>1756064
Базанул. Почему-то никто не считает сколько стоит время помноженное на благо.
Другую рофловую штуку еще можно отметить. Многие ждуны исповедуют логику "вот подожду пару лет и куплю в половину цены, я что лох чтоли". Yolo-man покупает новинку@через пару лет продает ее ждуну за пол цены@добавляет столько же и берет новое. При постоянном обороте оба вносят одинаковую сумму, но один получает модный свежак, а второй - юзаное подуставшее и считает себя наебщиком системы.
А в текущих реалиях ждуны по отсосу за пол года норму декады выполнили, цены даже на бу взлетели в разы от нового.
>>1756073
-1000 к карме
Аноним 16/11/26 Пнд 22:56:51 № 1756124 87
Квен 4 флеш перевернет мир. Модель, которая может сделать что угодно - от взлома старых игр до создания новых - и все это на народных 3090 + 128 ддр4 3200 - и всё это с честным миллионным контекстом и скоростью корпов на страте.
Вы понимаете - какие реально перспективы? То могут корпы + то что корпам запрещено. Все что в новостях делают руками апи антропиков - все эти безумные рекомпилляции, взломы ебейших баз данных, моды, переписывающие сам код игр, новые игры, старые игры на новых движках.
Кумеры-дурачки итт ждут что новый квен им кум писать будет, отыгрывая фифи. Дурачки не понимают что квен не для этого, он для большего - квен по приказу целую симуляцию ебли фифи замоделит с ВР режимом, и посадит гемму на цепь её отыгрывать - вот реальность завтрашнего дня.
Аноним 16/11/26 Пнд 22:57:57 № 1756125 88
>>1756119
Да что вы плачите.
Во-первых, еще три провайдера флешек и около того есть.
Во-вторых, в перспективе даже лучше, потому что сообщество начнет само генерить тренить модели, без цензуры, залупы и других ограничений.
В-третьих, у сообщества есть наработок в лице всяких квенов, гемм, глмов и других, с которых можно стартануть и делать более узкий ИИ, который будет реально хорош в своей области, а малым объемом моделей можно будет флексить и переключать модели и скидывать кеш на диск, но это уже другая история. Пример тому ornith - делают хорошо, может не топ, но реально хорошо, только таких проектов станет много и сообщество пойдет своим путем со своими приоритетами. Вот увидите потом колесо сделает оборот, корпы опять подсосутся и будут заигрывать, разменивая уже свои разработки и мощности, только перспектива сумрачна.
Аноним 16/11/26 Пнд 22:58:18 № 1756126 89
>>1756120
ну так берут поюзаное не от хорошей жизни, если б у меня дома лям баксов ненужный лежал - ну понятное дело закупился бы блеквелами свежими и эпиками, но его нет и максимум что могу позволить себе это пережареную мишку, или 5060
по этому не беру ничего, и занюхиваю корпопержеж.... (так-то лучше уж на вр шлем поднакоплю.... больше эмоций будет чем от пинания нейронки)
Аноним 16/11/26 Пнд 22:58:28 № 1756127 90
>>1756119
Да и хуй с ними. Последнее пригодное для РП что выходило от китайцев был glm air год назад. Вся самая мякотка, самая годнота была с запада: гемма (сша), мистраль (европа). Китайцы сейчас - унылые кодоунитазы. Даже муська, и то лучше себя показывает в ролплее.

Ладно-ладно, дипсикожена не так плоха, но дайте гемму в этом размере и....
Аноним 16/11/26 Пнд 23:00:25 № 1756128 91
>>1756124
>могучий аги перевернувший мир
>нельзя ебать
Выбери что то одно.
Аноним 16/11/26 Пнд 23:02:59 № 1756129 92
>>1756124
Ну все, пезда тебе, теперь спермособаки тебя с говном и мочей сожрут.
Аноним 16/11/26 Пнд 23:08:07 № 1756133 93
>>1756124
>Квен 4
Иди нахуй, пидарас.
Аноним 16/11/26 Пнд 23:08:58 № 1756134 94
>>1756126
Когда как. Если ты вкатываешься - бу старье прямо то что доктор прописал. Меньше вложений, если ошибся можно перепродать с минимумом потерь, можешь выбрать максимум за доступные деньги. Но когда уже распробовал и появляется возможность - не стоит тянуть с апгрейдом, потому что чем больше тянешь - тем больше проигрываешь. Отдельные особи уже несколько поколений девайсов/инструментов сменили, что исходный капитал меркнет за суммарными вложениями, но искренне думают что кого-то там наебывают. Прямо просится пример бу резины, лол
Или другие ноют что у них нет денег, но при этом делают кучу бесполезных покупок уровня
> вр шлем
Вот здесь без шуток остановить подумой! Закажи cardboard vr за копейки, поиграйся используя телефон, и пойми что будет собирать пыль на полке.

Ну а сейчас в условиях кризиса - искать перспективные штуки и хватать, за последние 1.5 года 4 шинрарных варианта уже было.
Аноним 16/11/26 Пнд 23:12:14 № 1756135 95
Я/МЫ
КОДОУНИТАЗЫ
Аноним 16/11/26 Пнд 23:14:45 № 1756138 96
>>1756114
Все что ты сможешь запустить сейчас - это moe - гемма и 3.6 moe квен и какая-то картинко-генерация. Не знаю какая там картико-генерация на АМД, но через sd-cpp аниму ты всяко запустишь. Причем либо-то либо другое.

Допустим ты со следующей зарплаты купишь еще 64. Допустим. У тебя будет 96 DDR4 в двуханале и на этом твоя материнская плата все.
Что ты сможешь на этом запустить ? Всех тех же самых товарисчей, но слегка быстрее - памяти хватит и системе подышать и модель быстро свайпнуть.
Еще медленно ворочающийся даже на страте лоботомитный квант Qwen Flash Next и чудовищно медленно ворочающийся Air.

А вот если бы ты сразу 64 поставил, то суммарные 128 потом дали бы возможность запустит лоботомитный Дип-сик-флешь (а он даже лоботомитный хАрош! ) и Qwen Flash Next в нормальном кванте для кодинга.
Аноним 16/11/26 Пнд 23:22:15 № 1756141 97
ScreenshotVirtu[...].jpeg 1543Кб, 1920x1920
1920x1920
ScreenshotVirtu[...].jpeg 1446Кб, 1920x1920
1920x1920
>>1756134
>Закажи cardboard vr за копейки
По сравнению с современным шлемом будет тупо посос, разумный минимум сейчас - PICO 4.
Алсо, благодаря вайбкодингу сейчас кучи игр переносятся в VR, а также пилятся моды для имеющихся.
Аноним 16/11/26 Пнд 23:46:22 № 1756148 98
>>1756141
> PICO 4
Как раз лежит и возглавляет топ пылесборников наряду с... а хз даже, гоночными дронами разве что из-за ограничений.
> кучи игр переносятся в VR, а также пилятся моды для имеющихся
Эх было бы круто конечно.
Аноним 17/11/26 Втр 00:08:23 № 1756158 99
image.png 80Кб, 1000x771
1000x771
Вот бы квен c аудио/видео инпутом выкатили уже.
Аноним 17/11/26 Втр 00:43:47 № 1756169 100
>>1756128
>аги перевернувший мир
Вот именно, что он тебе не подзаборная блядь Гемма чтобы на хуй набрасываться.
>нельзя ебать
И таки его можно ебать, просто зачем?
Аноним 17/11/26 Втр 00:57:17 № 1756176 101
VHlQbdf1dPcDyGy[...].jpg 224Кб, 1500x1000
1500x1000
Заказал себе нормальный самсунговский ссд с зарплаты, вместо подвальной Адаты. Цены кусаются, но шиза говорит что дальше будет хуже, и предлагает следить за руками:
1)С лета 2025 начинают набирать популярность мое модели, которые из гиммика становятся топом за свои деньги, в ноябре цена на оперативу пробивает луну.
2) Весной 2026 выходят Гемма4 и Квен3.6, которые рвут все не-тесты в своём размере и наступают на пятки большим моехам. На Ютубе начинают клепать один ролик за другим про их охуенность, цены на видюхи с большим кол-вом памяти, позволяющие разместить плотнячков, улетают в ебеня после мая.
3) Сейчас появляются всё больше бэков, поддерживающие энграммы, которые позволяют запускать большие модели без потери скорости. На что повысятся цены?
Аноним 17/11/26 Втр 01:00:58 № 1756178 102
>>1756042
>куплю еще две плашки
Нах?! Бери две но вдвое жирнее чтобы работали в двухканале. У тебя же не серверный проц о четырех каналах, и не ДДР5. И удвоить еще раз потом не сможешь не продавая эти.
Аноним 17/11/26 Втр 01:04:47 № 1756179 103
Аноним 17/11/26 Втр 01:05:00 № 1756180 104
>>1756178
Не в смысле бери к этим двум еще две пожирнее а вместо них бери раз уж прогрелся на 64.
Аноним 17/11/26 Втр 01:08:29 № 1756183 105
>>1756178
сначала как же хороший каблук я обкашляю вопросик со своей гугложеной. если она разрешит мне, то я так и сделаю как послушный кук.
Аноним 17/11/26 Втр 01:08:42 № 1756184 106
>>1756176
Ссд уже удвоились в цене ибо тоже память, и туда тоже ставят рам. По прогнозам никто тебе не скажет, спрос от локальщиков - капля в море, влияют другие факторы.
Если глядеть на применения в инфиренсе - нужен упор на скорость а не фирму, работа в 5.0 будет сильно лучше чем имя корейского бренда. Если 9100 то конечно вообще уважаемо
> вместо
Зачем? Много хранилища не бывает, ставь рядом.
Аноним 17/11/26 Втр 01:10:16 № 1756185 107
image 615Кб, 1280x1280
1280x1280
>>1756176
>Заказал себе нормальный самсунговский ссд
Это уважаемо. Очень живучие SSD. Есть самсунг на 512 саташный (~2018 года), 512 nvme (~2020 года) и терабайтник nvme (~2024 года). Все трое живы-здоровы, ебутся просто и в хвост и в гриву, и хоть бы хер им. Подумываю над покупкой 4тб, энграмы, все дела, но сука 90к, как же больно...
Аноним 17/11/26 Втр 01:14:34 № 1756187 108
Раз про ссд речь зашла. На тао есть слегка поёбаные (до 20тб записи) самсунги pm9a1 на 2т по 17к
Аноним 17/11/26 Втр 04:46:08 № 1756238 109
>>1756158
Вообщето технически квен может видео. На практике ему просто ffmpeg режут его по кадрам.
Аноним 17/11/26 Втр 05:57:42 № 1756256 110
>>1755797
Нграмы же это фича только для МоЕ? Плотная модель она и есть плотная, никаких разделений на активные и пассивные веса.
Аноним 17/11/26 Втр 06:19:25 № 1756259 111
>>1756185
>Подумываю над покупкой 4тб, энграмы, все дела, но сука 90к, как же больно...
Год назад взял 990 Evo plus на 4тб за 24к, тогда еще даже немного жаба поддушивала, потому что вроде и не нуждался сильно в дополнительном месте, зато сейчас зато кайфую, 4тб полностью для ии-хуйни, ллм, картинко модели, видосо модели, лоры, комфи, датасеты, страты, хуяты, всё дохуя объемное, любая тулза создаёт свой venv на много гб, а проблем с местом нет. Жаль не хватило ума закупить еще оперативы, мысль мельком пролетала, но жаба была сильна, ведь 64гб хватало для всего...
Аноним 17/11/26 Втр 10:53:49 № 1756342 112
>>1755922
У меня только гемма нормально пишет на русском. Она, правда, в трусы сама лезет, но это в принципе в промпте можно заставить ее не делать. Я просто люблю мазохистский мод рп, и мне надо, чтобы игра не давала мне что-то сделать, если по механике это не предусматривается.
Аноним 17/11/26 Втр 11:44:22 № 1756357 113
>>1756138
На амд таки можно вкусно гонять все эти всраты, ну или не всраты, а просто лламу. Нормально. Но зависит от модели карты, у некоторых анальный лок, даже если там флагман.

У меня есть знакомый ебобо с 3 дорогими амд картами и кучей оперативы. Спокойно большой квен крутит. Правда, на линуксе и с каким-то сексом между форками и пердолингом. Из коробки не работает.

Ясное дело, возможно, там медленней, при сопоставимых вариантах от почившей куртки, но зато цена в сто раз ниже.

Если нужно неспешно пердеть на одной модели и не нюхать дипсикожену в q1 тут же после релиза, амд вполне хороший вариант.

И картинки генерирует тоже прекрасно.

Лично я бы всерьёз рассматривал амд, если нет актуальной гейвидии, как точку входа. При готовности пердолиться и заранее изучить вопрос перед покупкой. Потому что врам льётся рекой, цена ниже.
Аноним 17/11/26 Втр 11:47:10 № 1756358 114
>>1756134
>Закажи cardboard vr за копейки, поиграйся используя телефон, и пойми что будет собирать пыль на полке.
не, ну ты толстишь конкретно, с таким успехом можно вообще бесплатно закрыть глаза и фантазировать

>потому что чем больше тянешь - тем больше проигрываешь.
в чем проигрыш то? что не собираю риги с говна и палок? так сборка рига как раз таки сомнительная покупка - буквально ты никогда его не окупишь потому что модели локального уровня по подписке на опенкоде 10$ на месяц, а теперь посчитай сколько стоит риг для дипсика с адекватной скоростью, на которой нормально кодить получится а не ждать по полминуты один токен... и основной то затык здесь в том, что даже если сегодня купляешь риг который более-менее адекватно будет работать, завтра на более новых моделях он может пососать...
можно конечно сказать что для "кибербез" моделей нужен локальный запуск, но, пока что ни моделей адекватных на такую тему ни задач под них не вижу... так что хватать что-то особого смысла не вижу на данный момент (да ВР тоже не прям таки агонь покупка, но и стоит несравнимо дешевле и эмоций в разы больше доставит) (и да, локалки гоняю в общем-то на доступной машинке, чет не впечатляет учитывая качество ответов и скорость работы ...)

>>1756141
ну, если АР не нужон - то да, 4 ок будет, хотя там процессор слабоват, а так за те же деньги выгоднее квест 3s взять, хотя там и оптика похуже будет... (честно говоря 3s не пробовал, по этому не скажу насколько он плох, а обычная тройка вполне приятная, в клубе играл - понравилось
Аноним 17/11/26 Втр 12:00:42 № 1756363 115
1794906044246.png 505Кб, 1343x1620
1343x1620
А потом сравните с ченжлогами жоры который тащит в хату с помойки любую говномодель и никогда не депрекейтнет её.
Смотришь на вллм и понимаешь что там буквально одни гигачады которые просто берут и дропают говно с кодовой базы
Аноним 17/11/26 Втр 12:03:09 № 1756366 116
>>1756363
Кста, кто-нибудь под жопу реализовал уже пэйжед аттеншон?
Аноним 17/11/26 Втр 12:07:07 № 1756369 117
Гайс гоняю змия Жору на вулкане, тыкаю Gemma e2b для экспериментов. Так вот-с, проблемс как мне кажется возник. В чём проблема? Я подозреваю что моделька отчаянно не хочет лезть во vram целиком и какая-то часть оседает в shared GPU memory.

Я уже выдвигаю подозрения и одно из них то что какую-то часть нужно считать на CPU и это печально... С другой стороны я замечал как шизофренияно раскидывает данные драйвера ame GPU, когда пытался создавать rom раздел утилитой во врам, там аж отдельный форк нужен был.

Так что это я дурак или лыжи не едут?
Аноним 17/11/26 Втр 12:09:20 № 1756370 118
амд кал, страдайте
линукс параша, терпите
Аноним 17/11/26 Втр 12:11:29 № 1756371 119
>>1756369
Просто возьми нормальный бэк (рокм/куда). Зачем жрать кактус с вулканом?
Аноним 17/11/26 Втр 12:12:25 № 1756372 120
Аноним 17/11/26 Втр 12:15:06 № 1756373 121
>>1756371
Хааах. Если было всё так просто. У меня устаревший gpu. по крайней мере дик пик говорил что там надо патчить что-то в докере что бы добавить неофициальную поддержку.
Аноним 17/11/26 Втр 12:17:55 № 1756375 122
>>1756373
Ну так выкладывай что там у тебя за некросборка, может чет детальнее подскажут...
>Gemma e2b
это потужно прям...
Аноним 17/11/26 Втр 12:19:59 № 1756378 123
>>1756373
Если рокм, то собери с сорсов. В последнем 10.1 всё ещё gfx906 в коде не выпилен.
Зелёные карты? Это что за древность которая требует патчить nvidia container runtime?
Аноним 17/11/26 Втр 12:24:48 № 1756381 124
>>1756375
Rx550 на 4 vrama

>>1756378
Polaris 12
внутренний код AMD — gfx804

Я смотрел в интернете на неё вроде можно установить rocm 3.3.
Аноним 17/11/26 Втр 12:25:36 № 1756382 125
image.png 235Кб, 1387x301
1387x301
Попробовал ЛИНУПС, в итоге декод в Maya еще хуже чем на винде, ебаная блядь стыдоба

5 ебаных токенов в секунду, П-Я-Т-Ь, когда на винде было как минимум 7 с GLM 5.3 IQ3 XXS

Нет ничего хуже пиздлявых линуксоидов у которых и трава зеленее и хуй стоит лучше. Гроб, говно, черепаха. Хорошо хоть винду еще не успел снести.
Аноним 17/11/26 Втр 12:27:23 № 1756384 126
>>1756381
А зачем тебе в докере что то патчить то? Это же амд, там достаточно kfd и dri закинуть.

В целом это такой древний кал что цпу скорее всего перформит кратно быстрее
Аноним 17/11/26 Втр 12:40:13 № 1756404 127
>>1756358
Лол мелкобуква - терпилоид? Сразу было понятно что унтерок, а этот даун еще поэму коупинга накатал, красиво.
Аноним 17/11/26 Втр 12:50:03 № 1756411 128
>>1756363
> и никогда не депрекейтнет её
Интересно насколько нормально работают старые модели в текущей версии? Кодбаза менялась мало, но отдельные моменты были и легаси никак не тестировалось там.
>>1756382
У тебя тут ssd оффлоад, потому при правильной организации на линуксе должно быть заметно быстрее по простой причине - он кушает минимум рам и ее больше свободно под использование.
Почему не ускоряет - скиллишью с простыми ошибками, или может столкнулся с каким-то особенным нюансом, типа замусоривания page кэша и его невыгрузкой вовремя. Надо разбираться, а не плакать.
>>1756396
Все на нем и сидят. Не существует ни одного нормального сервера на шинде (только кринжатина под 1с и всякое легаси), и тем более ни одного сервера на шинде где крутятся расчеты или нейронки.
Аноним 17/11/26 Втр 12:54:43 № 1756415 129
>>1756411
>Надо разбираться, а не плакать.
Агент пердолился весь вчерашний вечер и всё сегодняшнее утро. Я пердолился вместе с ним.
>У тебя тут ssd оффлоад
А на винде его будто бы нет? Всё перепробовано. Лучший конфиг без компромиссных настроек, ухудщающих качество ответа, на линуксе безоговорочно хуже. Это факт, подтверждённый скрупулезной выдрочкой всего возможного из Maya и из имеющегося железа.

ДАЖЕ ЕСЛИ БЫ удалось каким-то чудом что-то улучшить, оно бы просто... вышло на идентичный с виндой уровень. Но нет.
Аноним 17/11/26 Втр 13:00:07 № 1756418 130
>>1756415
На линупсе лучше, базарю. По крайней мере в большинстве сценариев.

Проблема в том, что ОСи по-разному работают. Тупо перенести конфиг с винды — обосраться.

Мне на линуксе GPT 6.1 Sol больше часа настраивал конфиг через кодекс, выдрачивая идеал, исходя из моего старого. Потому что оказалось, что вот просто так перенести, забив всё впритык, не получится.
Аноним 17/11/26 Втр 13:01:50 № 1756420 131
>>1756414
Шизло в дурку депортируйте
>>1756415
> Агент пердолился
Значит он встал на ложный путь и оптимизировал фантомные боли, такое бывает. Попробуй с чистого листа его пихнуть, заодно пересказав что уже пробовали, пусть взглянет с другой стороны, шансы будут высокими.
> вышло на идентичный с виндой уровень
Было бы быстрее потому что больше пулл пригодной для использования рам. В ней будет больше экспертов, меньше чтения с ссд и потом выше скорость. Это факт, такой что 5 больше 3.
Понятно что срака полыхает от потраченного времени, если лезешь в новую область нахрапом такое бывает. Тут можно ругаться, хейтить за неудобства, какие-то специфичные вещи или стечение обстоятельств, все тебя поймут. Но споря с фактами только себя в плохом всете выставляешь.
Аноним 17/11/26 Втр 13:07:09 № 1756421 132
>>1756418
>>1756420
Хз братки, я тут ни с кем и не спорю. Вчерашний вечер - конфигурировали с нуля. Сегодняшнее утро - конфигурировали с оглядкой на виндовые конфиги.

Может просто васянский движок такое говно, хуй его знает, но тут отягчающее обстоятельство еще и в неудобстве. Такое чувство будто гладил лягушку вместо кота. Тут строчку в терминале введи, там какое-то говно исправь, здесь раком встань - а результата нет, одна мокрая жаба в руках без капли няшности. Не должно так быть, не должно...
Аноним 17/11/26 Втр 13:16:08 № 1756428 133
>>1756421
>отягчающее обстоятельство еще и в неудобстве
Тебе ващет никто даже не обещал, что на линуксе не придётся переучиваться делать некоторые вещи. Если ты к этому не готов, если тебя это не устраивает - линукс совершенно точно не для тебя уже в момент, когда ты впервые задаёшься этим вопросом. Можешь с чистой совестью уёбывать.
Аноним 17/11/26 Втр 13:21:14 № 1756429 134
>>1756421
Да скорее сочетание факторов, по отдельности бы уже раскидал. Ты, главное, не расстраивайся от потраченного времени сильно, может попал на какую-то ерунду от тебя не зависящую.
Например, особенности работы с памятью и признания уже обработанных страниц горячими при открытии safetensors, при том что некоторые ядра стремятся до последнего не выгружать такие задействуя своп. Это решается явным указанием и точечной подчисткой, ллмки знают как исправить. Или какой-нибудь баг в движке, на который пришлось это все.
Забей пока не будет настроения именно попердолиться, раз и так модели работают.
Аноним 17/11/26 Втр 13:26:40 № 1756433 135
изображение.png 74Кб, 1000x961
1000x961
>>1756187
>самсунги pm9a1
У меня такой с алишки и новый посыпался через пару лет после покупки. Пока что жив, но пришлось брать замену.
>>1756256
Технически нет, это разные технологии. нграммы подмешивают данные между слоями трансформера, это не требует моефикации модели.
>>1756259
Завидую...
Аноним 17/11/26 Втр 13:32:16 № 1756434 136
1794911434496.jpg 72Кб, 1072x462
1072x462
Договорился для вас долбоебов с моим братаном шиздинь жаном чтоб завёз новый эир.
Аноним 17/11/26 Втр 13:32:49 № 1756436 137
image 223Кб, 1337x425
1337x425
>>1756433
У меня 990 уже лет 5 жив. 970 десятилетний в серваке стоит.
Аноним 17/11/26 Втр 13:39:59 № 1756439 138
image.png 107Кб, 391x389
391x389
>>1756434
это мальчик или девочка

>>1756436
Недавно докупил 2тб 990 про за 29к. ДНОэсы и Регард просят по 42к за них, пиздец не понимаю кто за это столько переплачивает когда можно на лохито привезенный из штатов взять - подумаешь что без гарантии, зато дешево
Аноним 17/11/26 Втр 13:46:34 № 1756444 139
>>1756436
Ну так у тебя не паль китайская небось.
>>1756439
>привезенный из штатов взять
Мой тоже норм работал сначала. А потом... В общем не факт, что у тебя новый из штатов, а не хорошо помытый из под майнера чиа, лол.
Аноним 17/11/26 Втр 13:50:04 № 1756448 140
>уходишь к корпам, потому что железо стоит как конь наёб
>корпы повышают цену в 2 раза
>Охуенно
Аноним 17/11/26 Втр 13:50:34 № 1756450 141
>>1756436
970 года 18-го бессимптомно сдох после 3-4 лет ленивой эксплуатации, 980 22 живет. Pm981 и один pm9a1 20-го живут, другой pm9a1 сдох по ошибкам контроллера свалившись в ro. Больше дюжины 850 20-22 года трудятся в raidz попали в руки когда уже выработали свой "заявленный" необоснованно низким ресурс, но рапортуют более 80-90% по смарту, хз какой был падеж в начальный период. На работе три 860 2021 года из десяти бессимптомно сдохли в первые 2 года, заменены по гарантии и далее живут. Пара 870qlc из 23 года вместе с сервеными qlc микронами в одном raidz живут.
Крайне хуевая статистика получается на самом деле, из 34 дисков аж 5 сдохли, три заменены по гарантии, один oem, один вне гарантийного срока. Нихуя эти самсунги не отличаются надежностью, хотя хайпят их будь здоров.
С другими сравнить корректно не получится потому что количество для статистики недостаточно. 5/5 фирмы A живут, 6/6 фирмы M живут, 2/2 фирмы N сдохли, 1/1 фирмы K (не кингстон) периодически ебет мозги необоснованными тормозами но формально жив.
>>1756439
> это мальчик или девочка
Yes!
Аноним 17/11/26 Втр 13:53:06 № 1756453 142
>>1756450
А как замена по гарантии происходит если покупал за 15к а товар уже 40к?
Неужели новенькую память дают?
Аноним 17/11/26 Втр 13:53:57 № 1756455 143
>>1756448
>уходишь к корпам, потому что железо стоит как конь наёб
>корпы повышают цену в 2 раза потому, что и для них железо стоит как конь наёб
>альтман скребётся в окно как ёбаный зомби
Охуенно. Рамапокалипсис.
Аноним 17/11/26 Втр 13:54:28 № 1756456 144
>>1756358
>за те же деньги выгоднее квест 3s взять
Оптика PICO 4 кроет оптику от второго квеста, которая установлена в 3s, как бык черепаху, проводить между ними хоть какое-то подобие равенства - неправильно.
Потому что с панкейками не надо ловить милипиздрический свитспот, в котором должен быть расположен зрачок, как при использовании линз Френеля.
Аноним 17/11/26 Втр 13:54:31 № 1756457 145
>>1756444
>В общем не факт, что у тебя новый из штатов, а не хорошо помытый из под майнера чиа, лол.
Они же запечатанные и без наработки, со вполне конкретной датой производства. А брать б/у диски - глупенько.
Аноним 17/11/26 Втр 13:59:04 № 1756460 146
>>1756453
Не хочу узнавать, тогда просто меняли, какое-то офф представительство еще было и цены были постоянными.
Аноним 17/11/26 Втр 14:06:41 № 1756465 147
>>1756382
>Нет ничего хуже пиздлявых линуксоидов у которых и трава зеленее и хуй стоит лучше
Все так, мы такие, база, кушойте виндевс.
Аноним 17/11/26 Втр 14:42:25 № 1756495 148
>>1756492
>Ты в любом случае отдаешь бабки барину. Просто в одном варианте тебе дают маня-лимиты, а в другом у тебя на счету маня-доллары, которые уже не твои.
Я о том и говорю, да. Юзайте квен флеш на стратке, посоны и молитесь на квен4.
Аноним 17/11/26 Втр 14:46:49 № 1756498 149
> скрытый ризонинг
Прикиньте если там внутри просто спам OLOLOLO LOLOLOLOLO ROFLCOPTER LOLOLOLO OLOLOLO а потом выходит конечный ответ.
Аноним 17/11/26 Втр 14:54:22 № 1756507 150
>>1756135
что это значит? поясните слоупоку!
Аноним 17/11/26 Втр 14:54:53 № 1756509 151
Как думаете что глм готовят
Там разрывная, верно?
Карбончика дистилят наверное для нас чтоб покумили сладко
Аноним 17/11/26 Втр 14:56:13 № 1756513 152
Аноним 17/11/26 Втр 14:57:19 № 1756516 153
Аноним 17/11/26 Втр 15:01:45 № 1756523 154
>>1756509
Каку готовят, если судить по разнице между архитектурами glm5 (5.2, 5.3) и glm5next (5.3 flash)

Флэш потерял человечность. Он просто вот этот классический пример кодинг слопа без души.
Аноним 17/11/26 Втр 15:02:34 № 1756525 155
>>1756382
скилл ишью неосилятор.
Аноним 17/11/26 Втр 15:04:54 № 1756528 156
>>1756415
> Это факт, подтверждённый
твоими фантазиями. пруфы или GTFO.
Аноним 17/11/26 Втр 15:12:07 № 1756533 157
1716102194179.jpg 158Кб, 512x676
512x676
Почему модели иногда полностью теряют понимание ситуации и пишут мало связанную с происходящим жижу в рамках одного чата? Это норма? Или насрано в семплере/промте?

Ситуация такая: 10 аутпутов не обязательно первых чар збс реагирует на инпуты юзера, активничает, участвует в сцене, и что самое главное реагирует на тонкости типа "юзер принюхался" -> "ой, юзер принюхался, я тоже принюх0юсь вдруг от чата говной воняет?", но потом на похожий инпут с конкретными действиями/словами юзера, модель выдаёт текст типа "её глаза шимерились, её хагсы тайтенились, её запах озона озонился, её живот скручивался в узел". Чё это нахуй? О чём? К чему? Ау бля, весь рп пошёл по пизде.

А потом снова как будто ленивый индус на той стороне просыпается и начинает быть в контексте, шлёпать ножками по лужам потому что идёт дождь и махать хвостиком который намок разбрызгивая капли.
Аноним 17/11/26 Втр 15:16:47 № 1756537 158
Аноним 17/11/26 Втр 15:25:47 № 1756545 159
Потрогал большого квена по апи. Срёт иероглифами, русский как у 9б. 27б будет рыготиной просто непредставимого уровня.
Аноним 17/11/26 Втр 15:28:07 № 1756546 160
Посоветуйте хорошую модельку для РП без цензуры.
RTX 5080
32GB DDR5
Я там в новом ничего не понимаю, сырок конкретный.
Аноним 17/11/26 Втр 15:32:07 № 1756548 161
>>1756546
Если русскоязычная - тут только Gemma 4 26B (если надо быстро) или Gemma 4 31B (будет еле пердеть, потому что плотная модель размазанная между VRAM и RAM это ме-длен-но).

Вроде в шапке треда какой-то гайд для нубов был, хз насколько он актуален и свеж
Аноним 17/11/26 Втр 15:33:43 № 1756549 162
>>1756381
>Rx550 на 4 vrama
Вообще нет смысла на таком запускать
реально не удивлюсь если там на процессоре быстрее будет (правда процессор походу тоже древний как экскременты мамонта)

нюанс то в том, что если у тебя нет примерно 20гб памяти в целом, то вообще мало смысла с локалками играться, 2б 4б 8б это настолько тупые модели, что скорее как пруф оф концепт делаются, ну или для совсем минималистичных задач где нужна кое-какая имитация умственной деятельности
Усилия затраченые на еблю с такими моделями вообще не оправдывают результат... лучше учись пользоваться нормальными инсрументами и зарабатывай на норм железо для вката в локалки
Аноним 17/11/26 Втр 15:36:04 № 1756551 163
>>1756548
Ему в очко ещё влезет квен 80б-а3б вполне. Если не на русском, то вполне норм получится. Поумнее 26б геммы.

>>1756549
Ну вообще, е4б гемма с нграммами, так что пожирнее, чем кажется. Если чисто покумить, то может сойти. Ну или 9б квен, если влезет. Понятное дело, файтюны только. В стоке они никак с такими задачами не справятся.
Аноним 17/11/26 Втр 15:36:19 № 1756552 164
>>1756411
>Не существует ни одного нормального сервера на шинде
ну, справедливости ради контролеры домена на шинде как раз таки идут, а остальное - да, смысла 0
Аноним 17/11/26 Втр 15:42:37 № 1756558 165
>>1756404
Локальщика, выложившего все свои вечнозеленые, порвало однако

хоть один тейк из приведенных сможешь опровергнуть?
или больно признавать что локалочки это такая же игрушка как и VR дилдак, и весь кайф там не от использования благ иишечки а от ебли с китайскими моделямиКуртка одобряет и потугах выжать пару лишних токенов в секунду
Аноним 17/11/26 Втр 15:46:09 № 1756562 166
>>1756537
Сидония какая-то. что-то в районе 12b , гемма, даже маленькая, так не плывет
Аноним 17/11/26 Втр 15:50:02 № 1756566 167
>>1756558
Я не тот с кем ты спорил, но по-моему ты просто коупишь свою нищету и я хз что делаешь итт. Апи и подписки имеют свойство пропадать, становится говном за одну ночь, дорожать, цензурировать все неправильные запросы, вести на тебя досье и скармиливать твои проекты всем нейронкам на обучение. И я уже молчу что система ренты и/или подписок всегда экономически невыгоднее пользователю, поэтому её везде и внедряют.
Супермощные риги причем дело тоже сомнительное, но для большинства локальных моделек достаточно одной 3090 с авито и 128 ддр4 3200.
Аноним 17/11/26 Втр 15:53:57 № 1756568 168
>>1756456
ну, в этом и загвоздка, по железу 4 уже устарела можно сказать, но оптика нормальная, на на 3s почти нормальный сквозной режим и более живой проц, короче говоря выгоднее тройку на 128 с рук взять, там и линзы норм и проц будет адекватный, но даже С с говнолинзами гораздо лучше картонного будет
Аноним 17/11/26 Втр 15:56:12 № 1756569 169
>>1756562
Ну так это сидония. Старая слоп машина. Есть 22,24 б версии, они поживее. 12б это немо, модель двухлетней давности. Считай как софт из 2000 года сейчас. Там такая нестабильность это норма. В 12б вариантах есть гемма, причём как 3 так и 4. е4б тоже хороша для всяких некропек, на ней даже поиграть можно. Ну а если оперативка есть, то 26б твой выбор, она и на чистом проце норм идёт. И вообще, ты чего в такую древность залез? Эксперименты или всё печально по железкам?
Аноним 17/11/26 Втр 15:57:36 № 1756571 170
>>1756495
так для квен-флеша тоже бабки барину отдаешь, чтобы купить видеокарту и оперативки, и вместо ГойбукНео берешь здоровенную жужжащую пеку
Аноним 17/11/26 Втр 16:00:18 № 1756574 171
>>1756551
та понятное дело что как-то выкрытится если сильно захочет, но как по мне, сейчас с тем что меньше 20б вообще нет смысла связываться, проще уже тот же самый квен или немотрон по апишке подергать у китайцев, а так- пердолинг ради пердолинга...
Аноним 17/11/26 Втр 16:07:17 № 1756577 172
>>1756523
А при чём архитектура к человечности?
Аноним 17/11/26 Втр 16:11:58 № 1756581 173
>>1756566
итт смотрю что новенького есть, чтобы выжать больше ток/сек с говнопеки на 5060ти+9950х+64гб
проблема в том получается, что те модели которые запускаются на консьюмерском железе весьма и весьма слабы для агентской работы, особенно если их квантами ужимать - там начинаются микроглюки и оно вместо того что нужно вагон токенов прожигает на хрень всякую... К скорости тоже вопросы есть, а время между прочим это один из наиболее ценных ресурсов... ну а каксательно пеки - не забывай что это получается Ещё одна пека, в добавок к основной, так как и гонять модель и работать с этой моделью паралельно не выйдет в более-менее нагруженых задачах так как либо скорость модели просядет либо просто не хватит ресурсов

Я периодически исследую немного что из локалок доступно и насколько оно дает возможность выполнять необходимые задачи, но как-то пока все слабовато выглядит...
а риг для запуска Дипкока в более-менее адекватном кванте я хз сколько лет окупать буду, та и не окупится оно в принципе
Аноним 17/11/26 Втр 16:12:39 № 1756582 174
>>1756569
Да я не тот анон анон, просто решил в угадайку по симптомам поиграть. Но ты хорошо объяснил, со всем согласен
Аноним 17/11/26 Втр 16:12:48 № 1756583 175
Анон, как тюны влияют на русик?
Дата которая добавляется на английском потом просто переводится самой моделью на русик или просто отсутствует на нём?
Аноним 17/11/26 Втр 16:17:41 № 1756590 176
>>1756577
Может аттеншоны как-то влияют.
Аноним 17/11/26 Втр 16:34:17 № 1756599 177
Как вы блин вообще дрочите на дипсике? Попробовал. Ну и хуйню же он пишет бессвязную. Там надо как-то по особому промпт собирать, или давать особые инструкции?
Аноним 17/11/26 Втр 16:43:51 № 1756606 178
>>1756568
>сквозной режим
Хуйня без задач.
>более живой проц
Хуйня без задач.

Ты собрался VR шлем как AR использовать, и в автономки на убогом мобильном железе играть?
Единственное разумное применение VR-шлема - PCVR, для которого как раз и нужна максимально лучшая оптика, а проца достаточно того, который потянет декодинг видеопотока по вайфаю. Покупать шлем с более худшей оптикой ради более мощного мобильного железа - выкидывание денег на ветер.
Аноним 17/11/26 Втр 16:50:05 № 1756610 179
А что у нас по квеннексту? В основном для рп и для совсем простого кодинга, типа сайтик написать. Аблитка от уркароутер сильно мозги режет или как? Во всрате я его попробовал, вроде норм, но подшизивает. Да и iq3xssssss хавать как-то неочень, когда он у меня в q5 влезает.
Аноним 17/11/26 Втр 16:57:07 № 1756617 180
imageece7e60d.jpg 950Кб, 1376x768
1376x768
зацените, маскот моей новой пекарни с 9060 хт 16 гб
Аноним 17/11/26 Втр 17:09:39 № 1756624 181
>>1756571
Так ты просто за пеку их отдаешь которую ты бы и так купил.
Аноним 17/11/26 Втр 17:12:56 № 1756625 182
>>1756606
>PCVR
в пекаигры почти не играю (более того, учитывая обстоятельства и регулярное отсутствие электричества пека юзлес вообще)
вообщ, хотелось бы как виртуальные мониторы, для задач типа монтажа, и автономки типа фитнес игрушек всяких итд

из АР задачек видел что юзают чтоб на стенах рисовать, и видел что проги есть чтобы для помещения по быстрому 3д модель накидывать и смотреть как реально будет например расположение мебели выглядеть

>>1756624
ну так далеко не каждому пека прям нужна, кому-то выгоднее автономный ноут с которым по кафешкам можно сидеть места занимать, имитируя бурную деятельность, а так игропека нужна, та еще и весьма жирная, 128 гб это нифига себе, для обычной пеки мне 32 с головой хватило бы(а если не выебывтаься то и 16)
Аноним 17/11/26 Втр 17:25:57 № 1756633 183
>>1756617
А че гпт калом генерил, а не локалочкой?
Аноним 17/11/26 Втр 17:28:14 № 1756635 184
>>1756590
Та не, это всё на уровне датасетов
Снижение процента художественной литературы в датасетах до 2% (в репорте по мимо была такая цифра) и последующий задроч реинфорсмент лёрнингом чисто 100% на кодокале
Аноним 17/11/26 Втр 17:28:31 № 1756636 185
>>1756633
у меня 6 гигабайт в 60-ваттной новидеа залупе пчел, я пока готовлюсь к посвящению в амд бояре

я генерил итерациями, а затем попросил улучшить качество изображения

ты думаешь моей 6-гиговой залупы будет достаточно чтобы сгененировать качественного маскота?
Аноним 17/11/26 Втр 17:36:05 № 1756641 186
image.png 112Кб, 639x1249
639x1249
Аноним 17/11/26 Втр 17:37:23 № 1756642 187
Аноним 17/11/26 Втр 17:39:16 № 1756643 188
image.png 542Кб, 1797x686
1797x686
image.png 103Кб, 782x864
782x864
>>1756642
Скачай проверь. Это кстати не тюн квена.
Аноним 17/11/26 Втр 17:43:50 № 1756648 189
>>1756641
Литературные бенчи кстати интересные, но они на языки узкоглазых. Правда чтобы запустить надо ихний форк llamacpp качать ещё лол. Они там кучу новых фич наделали которая в gguf в добавок не работает. И даже в Q8 там квантизация сильно проседает.
Аноним 17/11/26 Втр 17:46:19 № 1756650 190
>>1756421
Поддвачну. На венде больше работает искаропки. Линь просто в принципе подразумевает пердолинг чтобы работало (хз как на зеленых, на красных так), искаропки система "сырая".
Аноним 17/11/26 Втр 18:13:51 № 1756661 191
>>1756625
>игропека нужна, та еще и весьма жирная
Игры тоже понемногу переезжают на мобилки и в облака.
Аноним 17/11/26 Втр 18:19:59 № 1756666 192
>>1756583
>> Анон, как тюны влияют на русик?

Негативно влияют, в диапазоне от плохо, до очень плохо. Некоторые просто ломают, на некоторых нужно поднимать квант, чтобы получить +- прежний результат по русику
Аноним 17/11/26 Втр 18:59:48 № 1756691 193
Untitled.png 77Кб, 638x1052
638x1052
Возвращаясь к тесту с пажем, гоблином и принцессой про который тут не вспоминали тредов 5, заметил забавную хрень. После обновления llama.cpp которое я не делал месяца полтора, 26B Гемма выдала следующий ответ на всё ту же задачу.

На скриншоте забавно две вещи. Во-первых, Гемма думала 10 минут на 20к токенов при том что старые неправильные ответы были <10к токенов. Во-вторых, она таки ответила правильно.

И собственно вопрос: что за хрень? Модель та же (обычный Q8 от Бартовски), системный промпт пустой но думка в два раза дольше и как результат правильный ответ. Что такое изменилось в жоре за эти два месяца и заставило гемму забыть про мораль и выдать правильный ответ?
Аноним 17/11/26 Втр 19:01:37 № 1756692 194
>>1756691
Так ты регенерируй несколько раз - если поведение удержится, тогда уже удивляйся. А так можно случайно просто повезло
Аноним 17/11/26 Втр 19:06:16 № 1756695 195
>>1756691
Рандом же, нейронки каждый раз выдают разный ответ.
Аноним 17/11/26 Втр 19:16:22 № 1756706 196
Дайте промтик на хорошую генерацию имён. Заебали Марки, Маркусы, Эланы с Лиллями и Хендерсоны с Снаггсами.
Аноним 17/11/26 Втр 19:20:11 № 1756709 197
>>1756706
Попробуй мозг.

Если ты не в состоянии придумать ИМЯ, то тебе вообще не надо лезть никуда, сиди пускай слюни.
Аноним 17/11/26 Втр 19:27:09 № 1756714 198
>>1756706
А че у таверны до сих пор нет плагина с доступом к онлайн-каталогу имен или каталогу ИКЕЯ?
Аноним 17/11/26 Втр 19:37:46 № 1756722 199
>>1756714
Может и есть, но я такой не знаю. Если кто знает как сделать чтоб заебись было - подскажите.
Аноним 17/11/26 Втр 20:04:16 № 1756729 200
3442.jpg 31Кб, 444x379
444x379
>>1756691
> Что такое изменилось в жоре за эти два месяца

я в рот ебал Жору
обновил lemonade и модели в ней и теперь производительность на треть меньше

Спасибо нахуй
и назад теперь не откатишь
Аноним 17/11/26 Втр 20:06:22 № 1756731 201
>>1756558
Бесконечно можно смотреть как мелкобуква дефает свое нищуганство. >>1756625
> далеко не каждому пека прям нужна
Смешнее только прогрев на вр. Так и представляю как эта чмонька года 4 назад усиралась, рассказывая что пекарни больше не нужны и как она будет наслаждаться некстгеном на железе шлема со 100 дюймовым монитором.
>>1756635
Скорее в претрейн 5.0 основательно вложились, и далее постепенно допиливали. Даже под слоями надрочки на код, 5.3 сохраняет общий уровень, логику, знания. А флеш с нуля хуяк-хуяк, отрыжкой клода подмазали и в продакшн. Те 2% чисто для регуляризации были.
Аноним 17/11/26 Втр 20:30:37 № 1756742 202
>>1756729
>и назад теперь не откатишь
А чё в смысле? Раскатывай бекап системы, лол.
Аноним 17/11/26 Втр 20:33:16 № 1756743 203
>>1756617
> virgin protector
Лол содомит
>>1756691
1. Семплинг, он априори рандомен.
2. Многие оптимизации атеншна и ускорялки недетерминированы. В зависимости от версии либ, порядка выполнения, заложенных размерностей и прочего результат может плавать, обычно в незначительных пределах (доли процента и меньше). Учитывая зависимость каждого последующего токена от предыдущего, изменение в одном месте может привести к значительной смене ответа даже если используется жадный декодинг.
Так что это может быть как вариантом нормы, так и какими-то отличиями.
Аноним 17/11/26 Втр 20:33:31 № 1756744 204
>>1756729
>lemonade
это еще что за чудо-юдо
Аноним 17/11/26 Втр 20:40:16 № 1756747 205
>>1756744
это среда для запуска (типа Ollama)
очень неплохая вещь для LLM на амд ноутбуках и амд картах

но последняя версия это жесть какая то
Аноним 17/11/26 Втр 20:42:52 № 1756750 206
>>1756747
> это среда
Сегодня вторник. Почему ты удивляешься, что оно не работает?
Аноним 17/11/26 Втр 20:47:44 № 1756756 207
>>1756610
Так ставь Q5 - кто мешает. Страта поддерживает и Q5 и Q6. Мозгов квеннексту кватает вычислительные кернели на cpp падчить и собственные анти-р-к-н движки писать. Кто то плагины для им хреначит.
Аноним 17/11/26 Втр 21:05:53 № 1756765 208
>>1756661
Ну, у меня купленых но не пройденых и в зеленом магазине купленых на года припасено, так что не столь проблема облаков пока серьезно касается, но, понятное дело что хотят больше бабосиков состричь...
вообще, на мобилки почти не видел нормальных игорь, которые не были бы придатками-портами пекашных.... Ну предположим DeusEx Fall выглядит как игра на мобилку более-менее нормально сделаная, но это по сути ближе к портам, а мобайл-онли - обычно донатопараша какая-то выходит, где нужно постоянно заходить и гриндить... понятно что это более денежно, но хороших сюжеток практически нет, не говоря уже о фулл офлайн игре... Но, я думаю в ближайшие годы все не убегут в облака...
ну и про клауд-гейминг говорить тоже рановато, далеко не везде нормальный интернет есть, и уж тем более возможности транслировать 4к120fps без фризов... та и производителям консолей нужно жить на что-то, иначе выйдет что смысла в консоли нет, если на любой платформе можно по облаку играть

чет мы не в ту степь пошли, нужно возвращать тему к нейронкам
Аноним 17/11/26 Втр 21:07:31 № 1756769 209
Интересно, а кто-нибудь пробовал настроить карточку чтобы локалка вела рандомный детектив с карточками персонажей что ты ей подсунешь, рандомно назначая одного персонажа убийцей и проделывая убийство и потом нужно было разгадать преступление?
Аноним 17/11/26 Втр 21:07:58 № 1756770 210
>>1756731
>как она будет наслаждаться некстгеном
игродаунич, ты?
в твою картину мира я так понимаю не вписывается что не все в игори задротят, и уж тем более за некстгеном гоняются?
Аноним 17/11/26 Втр 21:12:21 № 1756773 211
image.png 245Кб, 641x2220
641x2220
image.png 280Кб, 653x2509
653x2509
>>1756641
НЕОЖИДАНО ИНТЕРЕСНАЯ МОДЕЛЬ. Рассуждает как квен, но не квен.

В английском неплохо держала стиль и особенности персонажа, структуру.

Но есть брошенная сюжетная линия, скомкана развязка, хуевый шифр. Немного не дожала, но мне понравилось.

На русском просто пиздорище.
Аноним 17/11/26 Втр 21:13:18 № 1756774 212
>>1756773
Отмечу что на русском я встречал лупы в мышлении и модель помирала не доходя до финала даже в таком бенчмарке.
Аноним 17/11/26 Втр 21:14:35 № 1756775 213
>>1756641
Та блин, ну когда кидаешь модельку, сделай же хоть один абзац небольшой что это, нахрена и в чем плюсы, чтоб по каждой ссылке не бегать...

а так, страничку глянул - чет на бенчмаксинг смахивает малость, - когда на одних датасетах сливает в сухую, на других наоборот обходит всех с большим отрывом... не особо верится что будет сильно квенычей аналогичных обходить, но, завезут на жору - глянем...
Аноним 17/11/26 Втр 21:17:03 № 1756780 214
>>1756650
ну, на зеленых норм относительно, но линь это 100% пердолинг
плюс линя в том, что в общем то если на него говна не ставить то он почти не жрет ресурсов, и как серверная система прям топ выходит, чтобы поднять серверок с жорой и не трогать его, плюс на лине докер искаропки и без просадок производительности, что тоже выгодно, так как не требует засирания системы
Аноним 17/11/26 Втр 21:26:30 № 1756800 215
>>1756729
В lemonade можно выставить бэкенд system и использовать собственный нормальный форк, а лимонадовский вообще не качать
Давно так делаю
Аноним 17/11/26 Втр 21:37:53 № 1756818 216
1667493918471.jpg 26Кб, 1008x136
1008x136
1785325169555.jpg 117Кб, 1200x800
1200x800
Аноним 17/11/26 Втр 21:42:13 № 1756823 217
>>1756756
Ну дык я же и спрашиваю, стоит ли аблитку трогать или голый сойдёт? В рп мне он показался каким-то супер соевым, сцену сожжения молодой ведьмы прям из под палки писал, ломая правила и четвёртую стену. Причём с кумом у него всё ок, лол.
>кернели на cpp падчить и собственные движки писать
Блин, крута. Для этого опенкод нужен или просто страта сойдёт? Мб и 25 лет прогресса наверстаю, а то я так и остался в прошлом, с интерактивными бдшками аксесса на бейсике да олдовыми сайтами.
Аноним 17/11/26 Втр 21:42:38 № 1756824 218
Щас впервые сел за комп без цели нейродрочева и не нашёл что в нём вообще делать.
Все игры опять какая то параша дарксоулсная/выживачная/развлекисебясам песочница с 3 типами графики.
Аниме я и сам нейронкой какое хочешь напишу, вообще эта отрасль полностью вымерла, но никто еще не понял, какие то я переродился в другом мире как меч, когда ты хоть гандоном наполненным можешь в нейронке переродиться.
Фильмы для быдла.
На фоне этого ещё большее непонимание почему так мало людей уходят в нейромиры и даже код какой то умудряются обсуждать, когда кум и рпшинг это прямейшее назначение нейронок и развитие всего остального медия
Аноним 17/11/26 Втр 21:47:51 № 1756832 219
image 64Кб, 936x326
936x326
>>1756824
>что в нём вообще делать
Свободного времени вагон.
Аноним 17/11/26 Втр 22:03:09 № 1756848 220
>>1756824
Зачем, и главное нахуя тебе перерождаться кем-то и фантазировать? у тебя настолько унылый реал-лайф?
Мне как-то лень было бы РПшить бесцельно, в виду того что с такими играми даже ачивками ен померяешься с другими, в стимовских говноиграх доть стимул какой-то есть задрачивать ее, а тут процесс ради процесса

ты безработный чтоль, что у тебя вообще время есть?
Аноним 17/11/26 Втр 22:12:48 № 1756857 221
>>1756848
>у тебя настолько унылый реал-лайф?
Книги, фильмы, игры и ролеплей с нейронкой позволяют пережить ситуации, в которых ты не имеешь возможности оказаться чисто физически или которые как минимум сопряжены с определённым риском и возможными потерями.
Классная история для внуков о том, как ты ебал-воевпл - это охуенно, но сопряжена с приличным шансом откиснуть. А с исследованием далёких планет или с вращением цоеклассниц на тентаклях вообще облом.
Аноним 17/11/26 Втр 22:15:24 № 1756862 222
>>1756848
> у тебя настолько унылый реал-лайф?
А у кого он не унылый?
Аноним 17/11/26 Втр 22:18:37 № 1756865 223
1733804596385.mp4 730Кб, 854x480, 00:00:01
854x480
>>1756857
>цоеклассниц
Еотоклассниц!
>>1756848
Ты просто унылый хуй без фантазии.
>>1756824
И ты тоже. А нейронки это... это...
Аноним 17/11/26 Втр 22:24:18 № 1756868 224
>>1756824
Велкам ту дофаминовая яма. Спроси у своей ассистенточки как выбираться, подскажет.
Если ее еще нет - начни с того что заведи ее. От всего этого помогает хобби и физическая активность. При удачном раскладе можно сделать пересечение с работой и чем-то полезным в духовном и материальном смысле.
Аноним 17/11/26 Втр 22:45:31 № 1756890 225
Вопрос к знатокам.

Сейчас сижу на 3060 и 32 гигах оперы. Кент собрался обновлять свою старую печку с приходом годовой премии и может продать мне своюшную 4060 за чисто символическую сумму.

Думаю сделать такую тему - взять новую мамку чтобы было две писи, 4060 поставить в слот х16, а свою 3060 воткнуть в х4. Итого получится 20 гигов видеопамяти почти забесплатно, если не считать траты на новую мать.

Вопрос - есть ли какие-то подводные у такого решения? Кроме понятно среза линий. И насколько сильно упадет скорость генерации и обработки контекста?
Аноним 17/11/26 Втр 22:55:24 № 1756902 226
>> И насколько сильно упадет скорость генерации и обработки контекста?

Так оно и не упадет, оно вырастит, процентов на 70%. Ты ведь в лламе раскидаешь слои по тензорам и они будут считаться параллельно.

Всё правильно делаешь
Аноним 17/11/26 Втр 22:57:44 № 1756909 227
>>1756823
У меня и то и то иметься. 4 квант облитки и 4.5 рабочий квант собственного изготовления. Аблитка более свободно пишет в RP. Однако есть нюанс: в страте работает трюк

"--control-vector-scaled", "Qwen3.8-Flash-Next-refusal-projection.gguf:1.0",
"--control-vector-layer-range", "4", "44",
"--cvec-mode project","--cvec-dir", "per-layer"

Где вектор https://huggingface.co/Cudecnik/Qwen3.8-Flash-Next-refusal-projection
И это тоже снимает рефьюзы. И не надо держать модель и вроде как даже силу вектора можно контроллить. И ничего дополнительно держать не надо.
Хотя. Кванты пишут немного по разному. И в силу хомячества Qwen3.8-Flash-Next-Uncensored-Q4_K_M пока не стерт.

Но положа руку на хрен я вот даже не знаю, имеет ли смысл снимать рефьюзы QFN . Уж больно специфическую "прозу" он генерит. Не иногда он прям выдает кино. И даже на русике. В одном свайпе из 5. Но я могу запустить 4 дипсик - и он выдаст кино медленно, но со 1-2 свайпа. Или я могу на изичах просто жрать плотную гемму, пока не надоест.
Аноним 17/11/26 Втр 22:57:52 № 1756911 228
>>1756890
засыпаю уже, забыл тег. "раскидаешь модель, не по слоям а по тензорам между картами

-sm tensor
Аноним 17/11/26 Втр 23:03:43 № 1756919 229
>>1756823
У опенкода появилась фишка спаривания с мобильником через ихний внешний шлюз. И они выложили мобильную приложуху. И свою собственную обвязку для браузера. И вообще он поддерживает все современные стандарты обвязок - от тупых mcp до самописных плагинов как в pi . А у страты фронту 4 недели в обед. ИМХО такое.
Аноним 17/11/26 Втр 23:05:44 № 1756922 230
>>1756824
>игры
Если ты аутист, тебе в стратегии. Попробуй парадоксодрочильни, coh первый-второй, distant worlds новый, циву в конце концов. Песочницы тоже прикольные бывают, NMS меня вот затянул, в valheim засел, субнавтике много аутировал. Римач попробуй с модами, можешь свои нейронкой писать. Если ты гоймер и тебе пострелять, то ты сам уже быдло.
>Аниме
Манга лучше, и то там всегда покопаться знатно надо было. Вон табакошка прям зашла из свежего и комедийного. Потому что жиза.
>Фильмы для быдла.
Так ты старые посмотри, они лучше. Кинематограф с 80х по наверное 2005-2008 выдал всё что мог выдать, даже сериального. Да, там нет йоба графики как в нынешнем продукте, зато идеи были. Хотя дюна новая красивая, да.
И вообще, на компике есть двачик и многочасовые лекции по истории, на крайняк аудиокниги. Сидишь себе и слушаешь, пока картинки генеришь. Не привыкай слишком сильно к вау эффекту от ллмок, а то больно будет когда надоест и начнёшь слоп и прочие радости жизни замечать. Я по началу как нарик модели перебирал, в поисках той самой. Благо отпустило.
Аноним 17/11/26 Втр 23:11:45 № 1756929 231
1707004603094.png 16Кб, 954x148
954x148
1715407363026.png 222Кб, 1660x981
1660x981
1788871879001.png 175Кб, 1378x1608
1378x1608
1684020937960.png 198Кб, 1373x1603
1373x1603
Я кажется плотно подсел на рыбу локальную. В следующем году не буду покупать лицуху, а закину денег на апи дс
17/11/26 Втр 23:34:56 № 1756947 232
Аноним 17/11/26 Втр 23:43:52 № 1756958 233
Аноним 17/11/26 Втр 23:44:05 № 1756959 234
image.png 1285Кб, 1920x941
1920x941
>>1755752 (OP)
ОП я нашел еще один новый сайт для карточек спиженных с дженитора datacat.run . Наконец-то красивый UI, а не как обычно.
Аноним 18/11/26 Срд 00:02:53 № 1756971 235
>>1756818
Кошкодевочки плакали, кололись, но продолжали сидеть на лламе
Аноним 18/11/26 Срд 00:04:48 № 1756973 236
image.png 2Кб, 126x38
126x38
Аноним 18/11/26 Срд 00:31:08 № 1756978 237
image.png 575Кб, 987x871
987x871
>>1756959
>Наконец-то красивый UI, а не как обычно
Лол, выглядит еще хуже чем чуб. Столько говнометрик, метадаты и тегов на единицу свободного места я еще не видел. Еще и по разным углам распихано без всякой группировки.

Скучаю по временам когда карты валились тупо на буре, тупо картинками. Кликаешь на картинку и только потом понимаешь че там к чему.
Аноним 18/11/26 Срд 00:37:57 № 1756980 238
>>1756978
>Скучаю по временам когда карты валились тупо на буре
ты не поверишь.....
Аноним 18/11/26 Срд 00:41:50 № 1756982 239
>>1756980
Ботбуру это не та буру которая та буру. На той самой буре вообще нихуя не было кроме картинок и имени, если мне память не изменяет. Меньше инфы о карте - больше интереса её катать. Сейчас никакой интриги не осталось. Просто смотришь на теги и уже понимаешь че там будет.
Аноним 18/11/26 Срд 01:01:04 № 1756989 240
>>1756982
> Меньше инфы о карте - больше интереса её катать.
Шутка про внезапный хуй. Вообще для того и сделаны разные разделы в карточке, чтобы ты по общему описанию понял подходит ли оно тебе, а заглядывать внутрь не обязательно.
Аноним 18/11/26 Срд 01:10:07 № 1756992 241
>>1756890
подвох, которого пока что может не быть, а может и вообще не быть так как у тебя обе игровые будут что не всегда на разные поколения легко драйвер подобрать (у меня вообще беда была когда одна паскаль, одна квадра на тьюринге - нужно было подбирать тот который на обе станет нормально) но пока обе на поддержке должно ок быть... потом, старая будет ограничивать, потом обе стану тстарым калом...
Аноним 18/11/26 Срд 01:14:44 № 1756994 242
>>1756959

Выглядит так будто его зеленоволосая жируха делала, и карточки у тебя на скрине соответствующие. Кал говна ебаного.
Аноним 18/11/26 Срд 01:21:29 № 1756997 243
чет мне кажется меня где то обманули, скачал себе BF16 а не умственно отсталую Q6 моделечку моешечку, она реально делает то что ее просят, и это заставляет смотреть что написано в system prompt потому что оно реально его учитывать начинает а не класть болт и делать по своему
Аноним 18/11/26 Срд 01:22:07 № 1756999 244
>>1756989
>Шутка про внезапный хуй.
Неиронично во времена первичного хаоса когда все сидели на турбо-гопоте мне попадались такие карты. Тогда почти не было ориджиналов, большая часть карт были персами из маняме и манги. И вот качаешь ты девочку, катаешь рп, а потом внезапно оказывается что это фута, потому что автор решил поиграться с дефенишнс. Иногда и сама гопота могла перлов подкинуть и приделать хуй к излишне мужественной девочке. Веселое время короче было.

>чтобы ты по общему описанию понял подходит ли оно тебе
Хорошо когда такое описание есть и когда оно описывает именно то что нужно. Потому что много карт пишут говняк уровня "это твоя сестра, она очень хорни, она очень хотеть твой член" и всё на том. Сейчас вообще найти интересную карту это задача со звездочкой потому что почти все прекратили эксперименты и начали копипаст одной и той же темы. Герл-некст-дор которая тайно дрочит на тебя через стенку, томбой-подруга-детства которая тайно дрочит на тебя с соседней улицы, сестра-проститутка, мать-проститутка, мать-проститутка-с-членом, мать-твоей-подруги-томбоя-с-членом и так далее.

Раньше (имхо) карты были больше про характер, про поведение, про обстоятельства. Сейчас они тупо про фетиши. Первым всегда идет фетиш и уже под него подгоняется всё остальное. Ну и банально карт выпускаться стало гораздо больше и искать хидденгемы сложнее с каждым днем. Это уже конвейер, где дефолтная макака просто просит нейронку "накидай карточку на тему Х" а потом сливает это на платформу с минимумом изменений. Потом эти карты попадают в датасеты, на них опять обучаются нейронки, уроборос, поедание переваренного кала и... вот мы здесь.
Аноним 18/11/26 Срд 01:35:48 № 1757006 245
9csIdVr2KQ.png 25Кб, 964x222
964x222
>>1756959
на этом сайте кое каких тегов нету
Аноним 18/11/26 Срд 04:09:20 № 1757056 246
>>1756641
>Рубить — значит думать. А я думал о Баабре.
Русик настолько плох, что даже в этом есть какой-то скрытый смысл.
Аноним 18/11/26 Срд 04:10:00 № 1757057 247
Аноним 18/11/26 Срд 05:54:38 № 1757086 248
изображение.png 74Кб, 375x901
375x901
>>1756959
Чёт хуйня какая-то.
Аноним 18/11/26 Срд 08:27:40 № 1757120 249
Аноним 18/11/26 Срд 08:32:25 № 1757127 250
>>1757120
1. Сам пидорас.
2. Кроме англюсика и китайского скорее всего бесполезна.

Hy3 / Hy4 preview были с ужасной эффективностью русского языка (ВДВОЕ выше жор контекста - 40к вместо 20к например) да и сам русек корявый
Аноним 18/11/26 Срд 08:45:51 № 1757134 251
>>1757127
> Hy3 / Hy4 preview были с ужасной эффективностью русского языка (ВДВОЕ выше жор контекста - 40к вместо 20к например)
Так везде кроме геммы, даже на дипсике где русик идеален.
Нашёл к чему докопаться, а ещё говоришь не пидорас.
Аноним 18/11/26 Срд 08:49:20 № 1757136 252
>>1757134
Нет не везде, у Hy-моделей худшая эффективность. Дипсик где-то 40% на русский накидывает, а не 100% как у этой хуйни.
18/11/26 Срд 09:29:40 № 1757157 253
>>1756890
>20 гигов
4060 8 гиговая что ли? Тогда нет смысла этот неликвид брать, была бы 16 - тогда топ кража
Аноним 18/11/26 Срд 11:12:55 № 1757211 254
>>1756997
> Bf16 лучше чем q6
Обман то в чём
Аноним 18/11/26 Срд 11:20:00 № 1757218 255
>>1757120
155B + 65В энграм? 11В активных? Круто! А что там с квантами?
Пидарасы мы, но в хуй в жопе у тебя, занятно.
Аноним 18/11/26 Срд 11:58:56 № 1757247 256
>>1757120
довольно интересный спарсити, почти 10%, прям как у старых моешек
реально эйр лол
Аноним 18/11/26 Срд 12:06:15 № 1757255 257
>>1756997
Хм, а Q8 пробовал? а то в целом утверждается что потери в Q8 незначительны... хотелось бы сравнение увидеть
Аноним 18/11/26 Срд 12:11:34 № 1757261 258
>>1757255
Мелкобуква нищук, даже не могу представить какого лоботомита он в BF16 запускает. В целом чем меньше модель - тем хуевее на ней сказывается квантование.
Аноним 18/11/26 Срд 12:36:36 № 1757283 259
>>1757157
ВСЕГДА есть смысл докинуть vram, 8 больше чем 0, еблан
Аноним 18/11/26 Срд 13:15:13 № 1757293 260
>>1756890
Основной слот задействуется в лламе для стриминга моэ весов при префилле. В страте и компании задействуются все слоты, но могут быть с разной эффективностью. Если буферов будет хватать то 4060 просто за счет скорости чипа вытащит и префилл ускорится, а 3060 будет ускорять генерацию. Также в 4060 врам медленнее чем у 3060, потому если пускать оче малую модель на фуллврам - получишь замедление генерации. На моделях побольше врам быстрее рам, закинешь больше в гпу и будет быстро.
В общем, замедление можешь словить только в специфичных эдж кейсах, а так будет только ускорение.
>>1757120
RRrreeeeee, too small
Аноним 18/11/26 Срд 13:21:26 № 1757294 261
91578.jpg 88Кб, 409x614
409x614
>>1757134
>Так везде кроме геммы
Аноним 18/11/26 Срд 13:40:38 № 1757305 262
>>1756959
>красивый UI
Но кривой.
Аноним 18/11/26 Срд 13:55:20 № 1757317 263
image.png 1313Кб, 1584x1055
1584x1055
image.png 884Кб, 1573x801
1573x801
image.png 1153Кб, 1534x968
1534x968
image.png 1040Кб, 1534x968
1534x968
Слушайте, а Мимо 2.6 неплохая модель. Не зря пять дней ебался чтобы в страте её запустить. Самое главное что пишет как-то по-новому. Русик не идеальный, но для низкого кванта ожидаемо.
Аноним 18/11/26 Срд 14:00:56 № 1757320 264
>>1757317
>фанатка bbc угощает тред голубцами с слопцом
Кум. Итоги.
Аноним 18/11/26 Срд 14:05:08 № 1757322 265
есть ли карточка гаса фринга для ролеплея? хочу дать в попу этому мужчине
Аноним 18/11/26 Срд 14:05:58 № 1757323 266
>>1757317
Она умничка. Русик правда там и в исходных весах такой себе, но в ролплеее оче приятная.
Аноним 18/11/26 Срд 14:08:39 № 1757325 267
>>1757320
Как что-то плохое. Угощай тред сам, если не нравится.
Аноним 18/11/26 Срд 14:16:47 № 1757329 268
>>1757317
Зачем ты закрасил часть текста? Имя Anton видно
Аноним 18/11/26 Срд 14:22:26 № 1757334 269
>>1757329
А по контексту непонятно что я закрасил?
>Имя Anton видно
Так я не его прятал, лол.
Аноним 18/11/26 Срд 14:26:52 № 1757338 270
Аноним 18/11/26 Срд 14:30:09 № 1757340 271
>>1757338
предлагаю автозамену сделать "мелкобуква" на Дарио Калодеи
Аноним 18/11/26 Срд 14:31:33 № 1757341 272
Аноним 18/11/26 Срд 14:41:04 № 1757342 273
Как сделать, чтобы геммы отыгрывали свои любимые нуарные слайсики не скатываясь постоянно в фентезятину, аллюзии и метафоры?
>>1757006
Что это?
Аноним 18/11/26 Срд 14:57:33 № 1757344 274
>>1757340
Хорошо, отныне ты калодей. Хз что там за автозамена, но имя тебе подходит.
Аноним 18/11/26 Срд 15:36:18 № 1757356 275
>>1757344
Ну Aмoдей же меняет на Калодеи
Аноним 18/11/26 Срд 15:37:00 № 1757357 276
Qwen4 где

Напишите етому алибабе
Аноним 18/11/26 Срд 15:47:35 № 1757363 277
А как тред отреагировал на то что Жора на 2.5 гб больше жрет после октябрьского обновления?

>>1756994
>>1757006
>>1757086
Спиженныe с дженитора карточки. В джениторе нет запрещенных тэгов.
Аноним 18/11/26 Срд 15:51:31 № 1757368 278
>>1757317
Так, я протестировал Мимо еще в долгом РП.
ЭТО ЕБАНЫЙ ВИН. Она не ошиблась ни разу в сложном запутанном мире на 60к ворлдбука(в отличие от любой другой модели кроме дипсика 4.1). Она сохраняла характеры персонажей и сохраняла их тайны(в отличие от ГЛМ 5.3 флеш). Она вела историю туда куда ей было прописано(в отличие от буквально каждой модели кроме как ни странно геммы). Она не делала персонажей голодными шлюхами бросающимися на хуй(гемма). Она не делала их эмпатичными и добрыми и смотрящими в рот юзеру(Дипсик 4). Она не скрывала в повествовании детали мира что ей не нравятся(дипсик 4) Она не ушла в итоге в тотальные залупы и повтор фраз(дипсик 4.1). Она не ввела историю в какую-то дикую фентези-ересь(аир).
Потестирую еще, но пока что ни много ни мало кандидат на конкурента великого ГЛМ 4.7, но без главного его недостатка в виде сверхдорогого контекста и с нормальной скоростью 14-19 т.с. вместо 6-8.
Все же хорошо когда модель не пережаривают бенчмаксингом-кодоунитазингом и остается место для РП.
Аноним 18/11/26 Срд 15:55:13 № 1757371 279
>>1757363
>на то что Жора
Какая разница что там этот труп в могиле вытворяет. Может хоть вообще скорость в ноль уронить, нормальные люди его уже похоронили, а некрофилы и не такое от него терпели.
Аноним 18/11/26 Срд 15:58:12 № 1757374 280
>>1757357
>Qwen4 где
Завтра IPO антропиков. За пару часов до начала выкатят и постараюсь забить инфоповестку чтобы калодею поднасрать.
Аноним 18/11/26 Срд 15:59:01 № 1757375 281
>>1757374
>постараюсь
постараются

быстрофикс
Аноним 18/11/26 Срд 16:01:46 № 1757377 282
image.png 1Кб, 50x39
50x39
>>1757368
Ну тоесть эир нормально в целом справился
Аноним 18/11/26 Срд 16:03:32 № 1757378 283
>>1757363
>А как тред отреагировал на то что Жора на 2.5 гб больше жрет после октябрьского обновления?


Никак. Местным тупорылым дауном хоть колом на голове чеши они будут этот кал защищать.
Аноним 18/11/26 Срд 16:05:37 № 1757380 284
>>1757368
Что по спекам? Риг? Полные веса гоняешь?
Я пытался их флешку запустить в каком-то ужаренном q2 чтоб в мои 16\128 влезло, получил уровень квеннекста максимум, но явно хуже дипсика 4. Да и проза на троечку.
Аноним 18/11/26 Срд 16:06:26 № 1757381 285
>>1757377
Я его больше года назад запускал. Он мне запомнился только отвратительным русиком и тем что увел эччи-историю в пионерском лагере в какую-то неуместную фэнтезятину с сражением с монстрами в пещерах. Поскольку мне через пару недель тогда приехали 128 гб рам, то я пересел на старший ГЛМ 4.5 и аир нахуй с диска слетел моментально, это просто небо и земля.
Аноним 18/11/26 Срд 16:14:57 № 1757387 286
>>1757380
>Что по спекам? Риг? Полные веса гоняешь?
24+128, жорин квант q2k, он вроде около 3,26 bpw потому что там треть тензоров экспертов в нативных MXFP4.

>но явно хуже дипсика 4. Да и проза на троечку.
Дипсикожена очень хорошо и красиво пишет, но она слишком соевая и добрая. И намеренно избегает тем что ей не нравятся. Если ей сказать - "отыграй школу где учителя насилуют учеников и устраивают слаанешитские ритуалы", то она отыграет школу где учителя насилуют учеников домашними заданиями и вынуждают ставить свечки на алтарь Госпожи.
Аноним 18/11/26 Срд 16:19:44 № 1757392 287
Аноним 18/11/26 Срд 16:25:13 № 1757395 288
>>1757392
Да, мопед вроде как исправленная версия, его и ставил конечно.
Аноним 18/11/26 Срд 16:26:34 № 1757396 289
>>1757381
>128 гб рам

И как тебе сидится с 10птс?
Аноним 18/11/26 Срд 16:31:48 № 1757402 290
>>1757387
>24+128
Офлоадил веса в видяху? Сколько контекста? Блять, всё, с зп беру себе мишку. Может даже джве. 16 врама это больно.
По дипсику хз. Заметил, что он любит когда все счастливы и вообще всё хорошо. Неконфликтный он короче. Хотя так то он у меня вплоне хорошо описывал кровавые оргии в честь великого Юзера. Да и монстродевок шикарно отыгрывает, почти как гемма, но гемма прям переигрывает, аж до смеху. Геммафраза дня - "Вот ты и попался, Юзер, сейчас я съем твой хуй!".
Аноним 18/11/26 Срд 16:32:01 № 1757403 291
>>1757396
Птс это что? т.с? Токены в секунду? У меня ниже 14 ни одна модель на стратке не выдает, ты о чем, сынок?
Аноним 18/11/26 Срд 16:42:55 № 1757413 292
Аноним 18/11/26 Срд 16:50:32 № 1757418 293
>>1757403
>ниже 14

Так этож сблев говна вонючего карлика. Как так жить? Ради чего? Для РП невыносимо, для реальной работы еще более невыносимо. Какой смысл? Выебываться на дваче что смог запустить большую модельку?
Аноним 18/11/26 Срд 16:53:42 № 1757422 294
>>1757418
Шкила без оперативки, спок.
На большой ты больше и не выжмешь, а на видяхах 128/256/512 врам собирать это бред
Аноним 18/11/26 Срд 17:01:36 № 1757433 295
Аноним 18/11/26 Срд 17:08:14 № 1757436 296
Аноним 18/11/26 Срд 17:11:40 № 1757439 297
>>1757436
Потестил чутка на их кванте и их pr - оставил впечатление кодоунитаза, хард рефьюзы уровня квен некста, пробил парочку префилом и кума не обнаружил, русика нет. Но я особо не вникал т.к все равно там фиксы будут и норм кванты потом
Аноним 18/11/26 Срд 17:13:23 № 1757440 298
>>1757439
Благодарю. Беда, размер то как будто идеальный для 128 гб. Гемму бы в таком размере и можно было бы на пару лет расслабиться
Аноним 18/11/26 Срд 18:02:33 № 1757471 299
>>1757402
Да, оффлоадил немного. 262к контекста.
Аноним 18/11/26 Срд 18:59:06 № 1757493 300
Что можно выбрать для 16 гб рам и 6 гб врам? Есть для нищих варианты?
Аноним 18/11/26 Срд 19:04:28 № 1757494 301
Аноним 18/11/26 Срд 19:13:06 № 1757501 302
Аноним 18/11/26 Срд 19:20:35 № 1757505 303
>>1755752 (OP)
На 5070 с 12 гб. и 32 гб. озу придется качать q4 или все таки можно q8?
Аноним 18/11/26 Срд 19:30:26 № 1757513 304
>>1757501
Да. Если хочешь кум без цензуры то сразу накатывай MeroMero.
Аноним 18/11/26 Срд 19:34:32 № 1757515 305
>>1757513

А на чем запускать? Я раньше LM Studio юзал для нейронок мелких, но эти вроде не поддерживаются (либо я не знаю как их скачать). Пытаюсь пока vllm поставить.
Аноним 18/11/26 Срд 19:41:34 № 1757524 306
>>1757515
В гайде всё есть, чел. Гайд простой. Можешь хоть через кобольда запускать, если совсем ленивый. Там есть поддержка меры.
Аноним 18/11/26 Срд 19:58:57 № 1757538 307
>>1757524

Я разобрался со ссылками (надо было просто найти gguf где дают скачивать), только в этом и была проблема. Прочекаю модель, но что-то сомневаюсь что она будет работать с 6 гб рам учитывая требования.
Аноним 18/11/26 Срд 20:03:13 № 1757541 308
Аноним 18/11/26 Срд 20:09:15 № 1757544 309
>>1757538
Будет.
>>1757541
>6 гб рам

Не ну это было бы реально забавно. Интересно, есть ли модели которые на 6 гб рамы могут работать и выдавать хоть что-то осмысленное? Знатоки мелконейронок, ваш выход.
Аноним 18/11/26 Срд 20:12:33 № 1757547 310
image.png 2Кб, 50x50
50x50
>>1757493
Гемма 4 e2b/e4b. Отвечать будет человеческим языком, будет решать какие-то задачки, но на удерживание длинного контекста не рассчитывай.
Аноним 18/11/26 Срд 20:20:42 № 1757552 311
>>1755752 (OP)
Здраствуйте уважаемые ценители локальных ллм.
Подскажите пожалуйста, появлялось ли что то интересное для 40 гб врам кроме квена и геммы?
18/11/26 Срд 20:21:35 № 1757553 312
image.png 253Кб, 510x578
510x578
Аноним 18/11/26 Срд 20:36:24 № 1757571 313
как же хочется купить на все бабки одну нвидиа dgx и начать продавать аниме девочек хоспадеее
Аноним 18/11/26 Срд 20:36:38 № 1757572 314
>>1757552
Flint, Maxwell-V1-Flash, Muse Glimmer, Nanbeige4.3

Ещё LFM2.5 есть но его можно не считать
Аноним 18/11/26 Срд 20:40:11 № 1757574 315
>>1757493
Бери лламу любой другой софт сожрет драгоценную память. Бери версию b10665 + Гемму 26b IQ4_XS (или меньше). . Создай батник с этими параметрами:
start "" /B /Wait D:\ПУТЬ К ПАПКЕ С ЛЛАМОЙ/llama-server.exe ^
-m "D:\ПУТЬ К ПАПКЕ С МОДЕЛЬЮ/НАЗВАНИЕ МОДЕЛИ.gguf" ^
--n-cpu-moe 23 ^
-c 10000 ^
--flash-attn on ^
--no-warmup ^
--override-kv gemma4.final_logit_softcapping=float:30 ^
--temp 1 ^
--top-k 64 ^
--top-p 0.95 ^
--parallel 1 ^
--ubatch-size 32 ^
--cache-ram 0 ^
--load-mode none
pause

>>1757544
ллама+AVX1+10k контекста 5-7t/s+IQ4xs +никаких лоботомирующих оптимизаций сам не включал, все по стандарту - контекст в FP16 и тд. Осмысленное выдает, но я выбираю страдать на 31b с 0.70-1.10t/s.
>>1757505
Зависит от размера модели 4b можно в q8 а побольше в q4.
Аноним 18/11/26 Срд 20:44:47 № 1757581 316
>>1757572
Спасибо за подборку!
Хотя я больше интересуюсь плотными моделями без упора на кодерство, хотя Muse Glimmer действительно пропустил
Аноним 18/11/26 Срд 20:47:35 № 1757585 317
178219697414736[...].jpg 423Кб, 1920x1536
1920x1536
>>1757574
>волноваться о памяти настолько, что юзать исключительно лламу кмдшную
>на винде
Аноним 18/11/26 Срд 20:58:56 № 1757590 318
>>1757363
> Жора на 2.5 гб больше жрет
Процессы разложения приводят к раздуванию, лол. Ушла эпоха где все сидели в зависимости от него не поднимая головы. А авторитет растерял не желая меняться вместе с окружающим миром.
>>1757368
Она няшечка, еще не релизе говорил! Оче приятная моделька без бросающихся недостатков (кроме русского и того что внесет вклад переквантовка qat).
Аноним 18/11/26 Срд 21:01:47 № 1757593 319
>>1757585
>Устанавливать в качестве эксперимента ОСь не имея при этом резервного ПК на случай если что-то пойдет не так.
Аноним 18/11/26 Срд 21:31:48 № 1757610 320
>>1757590
>>1757368
>>1757317
>>1757323
Да как разглядеть эту вашу няшу?
Она же ну во всём хуже геммы.
Юзаю этот квант https://huggingface.co/ddh0/MiMo-V2.6-Flash-MOPD-GGUF/blob/main/MiMo-V2.6-Flash-MOPD-3.61bpw-Q3_K.gguf
И у меня чар то скажет что то типа "she cum him in your mouth", то лупится прям как мистраль 12б, повторяя целые абзацы, то разметка пиздой едет и безсвязную дичь начинает писать.
Юзаю чат комплишен без шизопромптов и дефолтные семплеры.
Аноним 18/11/26 Срд 21:34:49 № 1757613 321
>>1757593
>не иметь спасательную флешку с лайв сд
Аноним 18/11/26 Срд 21:47:12 № 1757617 322
Сап Аишный, что посоветуете для кодинга при 3070ti 8врамы и 96гб ддр4?
Аноним 18/11/26 Срд 21:58:54 № 1757625 323
>>1757610
>И у меня чар то скажет что то типа "she cum him in your mouth"
Хз, примеры того как она пишет у меня в скринах с фифи >>1757317. Не идеально, но связно.
>то лупится прям как мистраль 12б, повторяя целые абзацы
Лупы я тоже ловил, но не слишком сильные - пару фраз повторял временами. И они сами исправлялись при смене сцены. У дипсика 4.1 было в разы хуже - всем хорош, но в какой-то момент все скатывается в говно с односложными предложениями которые повторяются.
>то разметка пиздой едет и безсвязную дичь начинает писать.
А вот такого не было. Тут на битый квант уже похоже.

А ты пробовал через OOC: дебажить сиспромпт? У меня например системный промпт выстраданный дебагом с многими поколениями моделей, в котором учтены все возможные их косяки.
Аноним 18/11/26 Срд 23:01:31 № 1757655 324
>>1757617
Очевидный квен 3.8 флеш.
Аноним 18/11/26 Срд 23:03:46 № 1757657 325
>>1757610
Возможно перегонка из mxfp4 и fp8 в int в твоем случае все распидорасила. Ты описываешь явную поломку, которую даже в 4b современной не встретить.
Аноним 18/11/26 Срд 23:23:25 № 1757661 326
>>1757255
для rp и кодирования как таковой разницы нету, Q3 думаю хорошо справится, речь была только о том что отклонения от токена минимальное (то есть модель не начнет твои слова интерпретировать слегка по другому так же быстро как квантованная версия)
Аноним 18/11/26 Срд 23:34:20 № 1757669 327
Сап дващ. Немного отстал от темы (ласттайм появлялся тут с полгода назад), и последние полгода особо кумингом не промышлял, лишь изредка заходя в кобольде в любимую цидонию 24b iq3_M. разве что гемму 4 26а4 потестил, но она в 20 слоев как-то тухло и медленно пляшет.

В общем вопрос такой. Есть не хуйный варик заполучить в свои ручки 5060 Ti 16gb, и при этом НЕ продавать свою 3060 12гб.
В материнке у меня два слота, в нижнем будет стоять 3060, там скорость 3.0 х4.

Сам вопрос - насколько хорошие модели я смогу запускать, и насколько это будет комфортно? Например в сравнении с текущим моим сетапом?

Что там вообще прикольного повыходило что получится запустить?

А и да, оперативы 2х16 ддр4, но если что могу ещё столько же докинуть если нужно будет.
Аноним 18/11/26 Срд 23:42:33 № 1757675 328
>>1757625
>>1757657
Понял в чём дело.
- reasoning off в ламе выключает ризонинг, но как бы и нет, он протекает в чат все равно и все ломает.
Походу только с ризонингом её надо использовать
Аноним 19/11/26 Чтв 00:13:50 № 1757685 329
1795036327218.png 287Кб, 1080x1080
1080x1080
Ну чё, наконец то.
Сегодня день когда выйдут все квены и глм новый разом.
Аноним 19/11/26 Чтв 00:23:01 № 1757690 330
Аноним 19/11/26 Чтв 00:24:12 № 1757691 331
>>1757690
Ей нет смысла выходить в этот день чтобы насрать своим же братушкам
Аноним 19/11/26 Чтв 00:28:53 № 1757697 332
>>1757669
ну запустишь finetune гемму 31b в более высоком кванте или с большим контекстом
Аноним 19/11/26 Чтв 00:36:02 № 1757701 333
>>1757669
Очевидно ты сможешь хорошо так пощупать 31 4 гемму и плотных 27 квенчиков 3.5-3.6 И даже 3.8 тебе сможет что-то накодить.
Аноним 19/11/26 Чтв 00:49:04 № 1757710 334
>>1757701
понял, спасибо. получается от 64гб озу проку вообще никакого, да?
Аноним 19/11/26 Чтв 00:56:24 № 1757716 335
>>1757710
На 64 сможешь понюхать кфн, вероятно 4рку если в том же размере. Поищи тогда 32-гиговые модули чтобы было 96, там уже повеселее будет.
Аноним 19/11/26 Чтв 00:58:02 № 1757718 336
>>1757710
Если не больно, то больше рама и врама - лучше. Не сейчас так на будущее, которое ой как смутно.
А так с 28\64 должен круто летать квен флеш некст, нехуйная моделька напокодить, да и та же гемма\муз в квантах повыше и контекстом побольше.
Тем паче 64 оперативки так-то и в повседневе хороши.
Аноним 19/11/26 Чтв 00:58:57 № 1757719 337
>>1757710
никто особо не делает finetune для больших MOE моделей, типо почему плотная гемма31b так хороша что ее полюбили, потому что она не уступает старым 70b рп моделям
Аноним 19/11/26 Чтв 01:03:03 № 1757722 338
>>1757716
нахуя, qfn никогда не делался с упором на rp, ты получишь больше знаний но не получишь лучший rp опыт, если нужны знания о твоем мире просто впихни в гемму эти знания и все, да это съедает токены и нужно как то количество знаний ужать, в целом все уже давно придумано протестировано, чтобы получить более лучшую модельку для рп нужно плотить бабки
Аноним 19/11/26 Чтв 01:09:02 № 1757726 339
>>1757722
Вы напугали мелкобукву! Что за словестный понос, что ты несешь?
Аноним 19/11/26 Чтв 01:11:12 № 1757728 340
Какая сейчас лучшая модель на 16гб врам? Нейронки какую-то хуйню старую советуют, а вы шарите, я уверен
Аноним 19/11/26 Чтв 01:29:26 № 1757733 341
>>1757728
лучшая модель для чего? и сколько у тебя рам.
Аноним 19/11/26 Чтв 01:46:12 № 1757739 342
>>1757733
32гб. Видюха 5060ti

А для чего не знаю. Покупал комп год назад наверное, немного повозился, не впечатлило. Потом в работу ушел и для кодинга юзал внешние ллмки.

Сейчас вот на ваш тред наткнулся, подумал может что изменилось за это время.

Ну а так я бывший кумер, сейчас РАБотоблядь айтишная пока не сократили. Хотел в общем что-нибудь потестить и посмотреть на что способны современные мелкие модели.

Потенциально интересно посмотреть как будет рпшить, кодить, агентные задачи по типу работы с данными которые никуда отправлять не хочу. Ну я так понял для этого разные модели нужны
Аноним 19/11/26 Чтв 01:49:56 № 1757741 343
>>1757710
Я хрен знает, может я что-то не то делал, но я с 32 рама и 28 врама, сильно маялся запуская гемму 31б. Приходилось все из РАМы выгружать чтобы она в жоре нормально работала. Я точно что-то не то делал, но как будто рамы для плотной модели тоже нужно достаточно, короче для комфорта как будто даже для плотняка нужно рамы х2 врамы.

+ даже если я что-то неправильно делал. Чекпоинты и кэш все равно в раме живут и чем больше рамы, тем комфортнее тебе будет и тем реже будет пересчитываться КВ кэш
Аноним 19/11/26 Чтв 02:12:45 № 1757746 344
Конечно эта mxfp4 параша меня просто убивает, как можно было додуматься до такого способа, чтобы соснули все.
Чуть не туда квантанул и квант сломан, 10гб рам не добрал и всё соси.
И так железа нет нихуя ещё и эту хуйню высрали из ниоткуда, нормально жили с bf16 и не бухтели
Аноним 19/11/26 Чтв 03:20:12 № 1757764 345
>>1757739
ну если 8GB то бери finetune gemma26b-a4b или Qwen3.6-35B-A3B, если 16GB то можно попробовать 24B dense в IQ4_XS правда контекст мало останется может быть в q8-q4 будет тысяч 8, альтернатива в 16gb TheDrummer_Rocinante-XL-16B впихнуть в Q4KM, там уже тестируешь разные модели разные finetune смотришь что больше нравится
Аноним 19/11/26 Чтв 03:21:14 № 1757765 346
cat-cat-tongue.gif 6571Кб, 498x280
498x280
Раза 3 наверное отправлял мимочку писечку с диска, так и не распробовав, но видимо я что то ломал, матерь божья, как же она ебёт в рп.
Минимальное количество слопа после геммы, всё по делу пишет, диалоги удивляют, аттеншен к мелочам которые другие модели игнорят - тоже, в ерп хуже глм флеша, но за хуй берёт как надо и когда надо, а глм нахуй не нужен, он не может в рп совсем, лоботомитная неуправляемая какаха, вечно срущая под себя.
Нереальный вин если ещё контекст будет держать выше 60к
Аноним 19/11/26 Чтв 03:53:36 № 1757778 347
И ведь даже квантов нет у мимички ни от батрухи, ни от анслопа, настоящий хидден гем.
Представьте сколько ещё таких не вскрытых китайцев лежат в забвении никому не нужные, может не лучшие в коде, но ультра годные в рп.
Аноним 19/11/26 Чтв 04:09:56 № 1757787 348
изображение.png 5Кб, 314x40
314x40
Аноним 19/11/26 Чтв 04:18:13 № 1757792 349
263462346.gif 1949Кб, 374x374
374x374
Аноним 19/11/26 Чтв 04:20:25 № 1757795 350
>>1757792
так о какой модели речь то я не понимаю?
Аноним 19/11/26 Чтв 05:03:26 № 1757810 351
1795053703589.png 793Кб, 1547x1068
1547x1068
Какой же куртка пидорас.
Просто худшая мразь планеты.
Аноним 19/11/26 Чтв 06:19:10 № 1757825 352
image 3851Кб, 3750x3125
3750x3125
https://huggingface.co/harness-hub/Qwen3.8-27B-pi-adapted

Кто-то пробовал новую Лору?
Написано повышает все тесты для Qwen 3.8:
SWE-bench Pro (hard 51): 39.2% to 64.7% (+25.5 pts, p = 0.0023)
Terminal-Bench 2.1 (86 tasks): 39.5% to 55.8% (+16.3 pts, p = 0.0013)
Median turns on tasks both solved: 59 to 23 (SWE-bench Pro), 18 to 8 (Terminal-Bench 2.1)
About 4.5x fewer tokens than the base model with thinking

Но только в pi агенте. Но отзывов как-то вообще мало, так что непонятно.
В жоре вроде поддерживается через --lora Qwen3.8-27B-pi-lora-F16.gguf
Аноним 19/11/26 Чтв 06:25:07 № 1757827 353
>>1757825
Еще главная фишка, thinking отключается для модели, при этом модель остается на уровне xhigh за счет лоры:
Maximum-effort thinking accuracy, at a quarter of the tokens. With thinking off, this adapter matches the base model thinking at its highest reasoning effort (xhigh): 64.7% vs 64.7% on SWE-bench Pro, 56.6% vs 54.2% on Terminal-Bench 2.1, while generating about 4.5× fewer tokens per task. Keep thinking off: turning it on for the adapter adds nothing.
Включать обратно не надо --default-chat-template-kwargs '{"enable_thinking": false}'
Аноним 19/11/26 Чтв 06:34:56 № 1757829 354
image 363Кб, 1330x1153
1330x1153
image 561Кб, 1370x1230
1370x1230
image 788Кб, 1372x1537
1372x1537
>>1757827
В твиторе че-то результат фиговый, может она только для бенчей. Но пагоду решает очень быстро и все другие тесты.
Аноним 19/11/26 Чтв 06:56:05 № 1757839 355
>>1757574

>b10665

А почему ее?

По гайду из шапки нихера не получилось сделать, но я меромеро пробовал запускать. Сейчас попробую тогда обычную гемму на этой версии.
Аноним 19/11/26 Чтв 06:59:12 № 1757840 356
>>1757839
b10665 самая быстрая, там не вмерджили еще поздних изменений от индусов, которые дропнули скорость на тех же квенах и других. Я ее до сих пор не удаляю и держу как бенч для более поздних версий.
Аноним 19/11/26 Чтв 07:09:31 № 1757844 357
image 115Кб, 1241x524
1241x524
>>1757574
>--override-kv gemma4.final_logit_softcapping=float:30
Она там и так на 30 по дефолту, бесполезный параметр.
Аноним 19/11/26 Чтв 07:13:29 № 1757846 358
изображение.png 4Кб, 282x189
282x189
>>1757840

Для меромеро батник как-то нужно будет менять? Знаю только что пикрил надо выставлять.
Аноним 19/11/26 Чтв 07:26:33 № 1757849 359
>>1757810
In AMD’s case, it was the External Events Utility, or atieclxx.exe, that exhibited constant writes on an idle PC. In that case, the AMD utility was reportedly copying its own executable every second. To put the impact into context, the AMD bug had rates reported between 0.3 and 5MB/s while total drive writes in the 621.14 test measured around 0.9MB/s.

АМД то же самое творят, они там сговорились по ходу с Лизой убить всем SSD.
Аноним 19/11/26 Чтв 07:31:29 № 1757851 360
>>1757827
... но нахуя? 3.8-27b это буквально модель где почти всё происходит в мышлении. отключать размышление, или не презервить его, это сразу превратить квена в лоботомита.
Аноним 19/11/26 Чтв 07:52:14 № 1757859 361
>>1757810
Просто решили волну хейта с Лизочки снять, дело семейное.
Непонятно чего хайпить то, 30гб в час, 720гб в сутки, 260тб в год если пека 24/7/365 запущена. На норм ссд ресурс петабайтами измеряется, это несколько лет нужно дрочить продолжая сидеть на этом всратом драйвере чтобы стало заметно. А у типичного гей_мера пека лишь несколько часов в день включена, даже на qlc шлаке с этим багом на всю их жизнь хватит.
Эх трясуны-трясунчики, эта ерунда вокруг ресурса ссд с самого их появления и до сих пор не привыкли.
Аноним 19/11/26 Чтв 07:56:02 № 1757860 362
>>1757851
Это лора, где без мышления он соответствует xhigh мышлению на базовой, там же написано. Включение thinking ничего не дает на этой лоре. Без мышления - ускорение выполнения задач, но только в pi.
Аноним 19/11/26 Чтв 08:08:05 № 1757862 363
>>1757860
> без мышления он соответствует xhigh мышлению на базовой
В тестовых кейсах на узкой группе задач. А на остальных будет также как просто без ризонинга или даже деградация, без рассуждений модель даже нормально не сообразит что делает неправильно и где требуется исправление.
> но только в pi
У pi нет какой-то специфики на которую нужна оптимизация, харнесс выигрывает своей минималистичностью и отсутствием лишнего.
Аноним 19/11/26 Чтв 08:47:36 № 1757876 364
image 197Кб, 1376x1724
1376x1724
>>1757862
Лора натренена специально на pi, поэтому pi в названии. Для опенкода модель проигрывала по тестам, но токенов меньше использовала.
Вот тут для опенкод Лора
https://huggingface.co/harness-hub/Qwen3.8-27B-opencode-adapted
Там по тестам все хуже, но токенов меньше ест.

>В тестовых кейсах на узкой группе задач.
Стандартные на программирование по тестам. Вне программирования хз.
Аноним 19/11/26 Чтв 08:53:40 № 1757879 365
>>1757574

За батник спасибо, поставил пока что гемму обычную. Ответа приходится ждать по минуте и дольше, но это, видимо, норма для нищих 16/6. По стилю написания на дипсик онлайновый похоже, но я особо другими и не пользовался.
Аноним 19/11/26 Чтв 09:11:13 № 1757887 366
image.png 263Кб, 1680x1050
1680x1050
>>1757860
Да я к тому что это глобально хуевая затея не давать 3.8-27b мыслить. Например в моём харнессе, который вообще глобально рассчитан ТОЛЬКО на квена я в целом убрал опцию выключать мышление, так как без него он тупой как пробка и убрал обрезку мышления от всех прошлых ходов. То есть буквально весь чат это поток мышления квена. И это прям лучший штатный режим работы модели, потому что ему важно думать и ему важно помнить что он подумал.

Вообще, блин, квен это модель из категории мыслителей от первого лица. Он симулирует персону, которая думает. В отличии например от Muse, которое симулирует просто процесс мышления. У квена глобально нету тренировки на экономию токенов, но это позволяет ему прыгнуть выше своей головы. Потому что он, блин, умеет в своих мыслях строить предположения, проверять их и что самое важное - делать бэктрекинг. Это позволяет ему кидать компьют в проблему и давать результат лучше других.

xhigh кстати та ещё хуита. написать "Думай как шизик. Make no mistakes." можно и без него.
Аноним 19/11/26 Чтв 09:55:16 № 1757901 367
image 742Кб, 2288x1292
2288x1292
image 750Кб, 1904x1075
1904x1075
>>1757887
Пока результат правда не очень, поставил pi и эту Qwen3.8-27B-pi-Q4_K_M.gguf
Результат без thinking 10к токенов.
Статический мразермахер 27b q4_k_s без агента - 57к токенов thinking для сравнения.
Настройки X
Ответить в тред X
15000
Добавить файл/ctrl-v
Стикеры X
Избранное / Топ тредов