Главная Юзердоски Каталог Трекер NSFW Настройки

Искусственный интеллект

Ответить в тред Ответить в тред
Check this out!
<<
Назад | Вниз | Каталог | Обновить | Автообновление | 515 91 124
Локальные языковые модели (LLM): Gemma, Qwen, GLM и прочие №288 /llama/ Аноним 12/11/26 Чтв 18:06:31 № 1752809 1
Llama 1.png 818Кб, 630x900
630x900
Карта деградаци[...].png 153Кб, 1473x830
1473x830
Реальная длина [...].png 533Кб, 2340x1714
2340x1714
177301100079422[...].png 2481Кб, 1440x1913
1440x1913
В этом треде обсуждаем генерацию охуительных историй и просто общение с большими языковыми моделями (LLM). Всё локально, большие дяди больше не нужны!

Здесь мы делимся рецептами запуска, настроек и годных промтов, расширяем сознание контекст и бугуртим с нано флеш моделей на 1488B параметров.

Тред для обладателей топовых карт NVidia с кучей VRAM или мажоров с проф. картами уровня A100, или любителей подождать, если есть оперативная память. Особо терпеливые могут использовать даже подкачку и запускать модели, квантованные до 8 5 4 3 2 0,58 бит, на кофеварке с подкачкой на микроволновку. Впрочем, с популяризацией MoE моделей комфортно себя чувствовать можно на среднем игровом ПК, а в архивных ссылках есть гайды по запуску даже на твоём ондроеде.

Официальная, но слегка тухлая вики треда с гайдами по запуску и базовой информацией: https://2ch-ai.github.io/wiki/llama/
Гайд для новичков: https://rentry.org/2ch-llama-inference
Не вошедшее в шапку и архив полезных ссылок: https://rentry.co/llama-2ch-archive

Инструменты для запуска на десктопах:
• llamacpp - отец и мать всех инструментов, позволяющий гонять GGML и GGUF форматы: https://github.com/ggml-org/llama.cpp
• koboldcpp - самый простой в использовании и установке форк llamacpp: https://github.com/LostRuins/koboldcpp
• vLLM - для ригобояр, чаще имеет поддержку нулевого дня, но хуже работает с оффлоадом: https://github.com/vllm-project/vllm
• Unsloth Studio - не только запуск с llama.cpp внутри, но и тренировка: https://unsloth.ai/download
• Обертка над llama.cpp с закрытым исходным кодом: https://lmstudio.ai
• Strata - быстрый движок для Qwen3.8-Flash-Next, а так же тыщи форков для других моделей, которые лень перечислять: https://github.com/niko1221/strata

Универсальные десктопные фронтенды:
• SillyTavern - всеядное, сопрягается почти со всем, имеет большую коллекцию расширений: https://github.com/SillyTavern/SillyTavern
• Marinara Engine - вариация на тему таверны, больше возможностей из коробки: https://github.com/Pasta-Devs/Marinara-Engine
• Risuai - еще одна вариация, на этот раз в профиль, излишеств по минимуму: https://github.com/kwaroran/RisuAI

Поставщики локальных моделей:
• Hugging Face - платформа куда загружается всё и во всех форматах: https://huggingface.co/models
• Проверенные квантоделы: https://huggingface.co/bartowski, https://huggingface.co/mradermacher, https://huggingface.co/unsloth

Рейтинги и списки локальных моделей:
• (не очень) актуальный список моделей с отзывами от тредовичков: https://rentry.co/2ch_llm_moe_2026
• Рейтинг моделей по уровню их закошмаренности цензурой: https://huggingface.co/spaces/DontPlanToEnd/UGI-Leaderboard
• Сравнение моделей по сомнительным метрикам: https://huggingface.co/spaces/HuggingFaceH4/open_llm_leaderboard
• Сравнение моделей реальными пользователями по чуть менее сомнительным метрикам: https://chat.lmsys.org/?leaderboard

Готовые карточки для таверны:
• Botbooru - текущая мета (регистрируйтесь для отображения всего спектра, и/или меняйте страну): https://botbooru.com
• Прошлая мета, откуда массово удалили карточки сомнительного содержания: https://www.characterhub.org, https://www.chub.ai
• Архив карточек, удадённых с chub: https://gottasaveemall.github.io/

Официальные документации к инструментам:
• llamacpp: https://github.com/ggml-org/llama.cpp/blob/master/tools/server/README.md
• koboldcpp: https://github.com/LostRuins/koboldcpp/wiki
• SillyTavern: https://docs.sillytavern.app/usage/quick-start

Архив тредов можно найти на архиваче: https://arhivach.vc/?tags=14780%2C14985

Шапка в https://rentry.co/llama-2ch, предложения принимаются в треде.

Предыдущие треды тонут здесь:
>>1750353 (OP)
>>1748468 (OP)
Аноним 12/11/26 Чтв 18:08:53 № 1752812 2
ВАНГУЮ:

Huggingface, ранее выкупленный зеленью, теперь нахуй закроют.
Аноним 12/11/26 Чтв 18:10:32 № 1752814 3
>>1752812
Так еще не выкупили. В 2027 должны были.
Скрестим пальцы, что все отменится к хуям.
Аноним 12/11/26 Чтв 18:12:17 № 1752816 4
Нервно сбавил видяху на пару десятков ватт
Аноним 12/11/26 Чтв 18:13:19 № 1752818 5
>>1752749 →
Вот же мегапихарь! А мог бы просто с нейроночками кумить, эх.
>>1752800 →
Удачно ложится на демократов с их регулированием ии.
>>1752807 →
> Врятли что-то изменится.
В лучшую сторону для потребителей.
Аноним 12/11/26 Чтв 18:17:31 № 1752819 6
Вся эта история с курткой такой галимый пиздеж и псиоп что у меня аж глаз задергался. У бабы которая начала первой писать журнаслоп про китайских шпигунов пиздой главный источник буквально один из основателей антропиков блять. Цирк ебаный. Это все видимо потому что слили план антропидоров залочить все западное железо на уровне прошивки чтобы на них нельзя было крутить открытые китаемодели. Куртка был последний кто сопротивлялся.
Аноним 12/11/26 Чтв 18:18:39 № 1752821 7
image.png 41Кб, 497x810
497x810
>>1752816
Стараюсь не прогревать ГПУ выше 65 градусов.
Аноним 12/11/26 Чтв 18:30:18 № 1752830 8
>>1752819
>Куртка был последний кто сопротивлялся.
А нехуй было с мегакорпами связываться. Пилил бы себе карточки для игорьков, да и все. ССЗБ
Аноним 12/11/26 Чтв 18:32:55 № 1752833 9
>>1752830
Ну даже если его уволят и тотально отменят ему похуй, он триллионер, не сильно расстроится. А мы все соснули, как обычно
Аноним 12/11/26 Чтв 18:47:06 № 1752850 10
3.jpg 51Кб, 1000x1000
1000x1000
>>1752819
>чем больше вы покупаете, тем больше вы экономите! производительность 4090 за $579! Фг недоступно на 20хх/30хх потому что там нет аппаратного оптик флоу! Что говорите, на 50хх его тоже нету а фг там есть, почему так? Да потому что иди нахуй, вот почему)))))))
@
>куртка мой герой, плак плак, как мы без него((((
Аноним 12/11/26 Чтв 18:47:35 № 1752851 11
Вместо своих аблиток ебучих лучше бы нашли способ вырезать из моделей позитивного дебила, подсасывающего юзеру.
Аноним 12/11/26 Чтв 18:49:38 № 1752853 12
image 123Кб, 581x600
581x600
>>1752851
Контрольные векторы для некоторых моделей есть, можно 31б геммочку сделать злой хуйней. Правда это однобокое решение, ведь из крайностив крайность переход будет
Аноним 12/11/26 Чтв 18:55:09 № 1752857 13
>>1752850
Посмотрим что будет дальше, но вангую что все будет хуже чем при Хуне.
Возможно игродебилам кинут кость, сделают сугубо игровые видимокарты относительно занидорага, которые способны будут только в игори, и никакого компьюта совсем, никаких ЛЛМ. Игродебилы будут счастливы и хвалить новую пизду и хуесосоить Хуангика.
А то что со временем не сможешь даже старый квен запустить чтобы сгенерить хотя бы простой скриптик или хтмлку, то всё, хуй, иди на поклон к Альману или другим ии жидам.
Аноним 12/11/26 Чтв 18:55:53 № 1752859 14
>>1752853
Там вроде силу в процентах можно. Впрочем, именно против позитивного подсоса юзеру я вектора не припомню.
Аноним 12/11/26 Чтв 19:03:23 № 1752865 15
>>1752857
Пиздец дум сука, ъуъ
Вся надежда на противодействие, китайцев с их ускорителями, или что кто-то проснется и начнет разворачивать в сторону локализации, приватизации и распределения
Аноним 12/11/26 Чтв 19:06:33 № 1752869 16
>>1752857
Будет хуже, но не из-за ухода куртки. Это "хуже" уже сейчас началось, при этой самой куртке. Оно просто продолжится.

Но дебилы будут считать, что куртка хранил их от жидов, был их собственным, персональным гитлером. Кем-то, кто слышал их молитвы, кем-то, кому было не всё равно
Аноним 12/11/26 Чтв 19:15:51 № 1752885 17
image.png 400Кб, 1073x481
1073x481
>>1752865
Будем Хуавей Аскенды покупать, ну а хуле, если Невидю совсем прижмут, это даст большой стимул развитию китайским ускорителям и софту.
Аноним 12/11/26 Чтв 19:20:34 № 1752889 18
>>1752885
Никто никуда нвидию не прижмёт. Гоймеров прижмут (и вместе с ними локальщиков) - возможно, в ускоренном темпе. Но это лишь то, к чему и так всё шло.
Аноним 12/11/26 Чтв 19:24:05 № 1752893 19
>>1752885
и как они?
Писик 4.1 хоть тянут?
Аноним 12/11/26 Чтв 19:27:25 № 1752896 20
>>1752812
делов то
перейдем на modelscope
Аноним 12/11/26 Чтв 19:28:02 № 1752898 21
>>1752893
Никак они. Их задача сотни потоков видео перегонять и искать лица в этом потоке
Аноним 12/11/26 Чтв 19:29:06 № 1752900 22
Вы ебануктии? Всем похуй на полутора инвалидов-локальщиков с их IQ2_XXS лоботомитами. Никто не будет вам палки в колеса вставлять, успокойтесь.
Аноним 12/11/26 Чтв 19:29:30 № 1752901 23
>>1752859
У херетика прямо пресет есть на минус сикофанство
Аноним 12/11/26 Чтв 19:32:09 № 1752905 24
image.png 52Кб, 422x375
422x375
>>1752810 →
>Потому что в датасете была буквально такая же цепочка и он ее воспроизвел. Прув ми вронг.
А разница? Если нейронка может достать правильный ответ из своей жопы пользуясь языком как кирпичиками для построения логики, то это и есть синтез того что она не знает изначально. Я тоже могу чего-то не знать, но общаясь с резиновой уточкой допереть до этого. Один и тот-же процесс.
Разница пожалуй в том что нейронка пользуется языковыми примитивами для этого процесса, а я могу в своей башке образы крутить. Но суть процесса не меняется.

>Просто вы не доводили нейронки до тех тем, в которых они не шарят.
О поверь уж точно доводили. Я тебе гарантирую что даже местные кумеры треда их доводили. Когда нейронка пиздит то легко понять - у неё распределение логитов становится плоским.

>Попробуй последний квен или гемму раскачать на такой же язык - они обмякнут, выдав дефолтные фразы. Просто нет в их датасете нужного языка и все тут.
А причём тут "шарят или нет" то? То что у ЛЛМ в датасете мало дешевых порнофанфиков то это не значит что она не шарит в них, это значит что личность ассистента хуево ими владеет.
Аноним 12/11/26 Чтв 19:35:12 № 1752908 25
>>1752900
Настолько похуй что ИИ жиды уже полгода трясутся из-за локалочек, что ими все больше и больше людей пользуется, а не покупает подписочки за 20 долларов, на ХФ одни только Квен 3.8 27б счетчик закачек на десятки миллионов.
Аноним 12/11/26 Чтв 19:41:56 № 1752913 26
Уже поздно что либо делать. Моешечка умничка останется в интернете навсегда что для кума всегда будет достаточно.
Аноним 12/11/26 Чтв 19:43:14 № 1752915 27
>>1752893
Эти суперхуево. С учетом софтовой сингулярности, даже под них сделали поддержку, но они убогие. Новые уже хороши, но пока просто так не заполучить.
>>1752908
Чаю этому, коктропикам это настолько кость в горле, что они регулярно булькают своим нытьем у себя в бложике.
Аноним 12/11/26 Чтв 19:43:40 № 1752916 28
>>1752857
так компут нужен корпам для РАБотяг, чтоб эти ваши блендеры и фотожопы тягать, - так то они в первую очередь и покупали топ сегмент с патужным компутом
гоймеры буквально самый малоприбыльный сегмент, так как редко обновляют и в основном берут среднее железо...
Аноним 12/11/26 Чтв 19:45:37 № 1752918 29
>>1752857
ну так купляй мак студио 192 гб и гоняй себе квенов до усеру, там никаких ограничений нет...
Аноним 12/11/26 Чтв 19:49:04 № 1752924 30
>>1752916
Ну гоймеров много, если у них просто всё забрать будут бухтеть, да и индустрия всё же генерирует достаточно большое количество бобла чтобы просто ее убивать. А работяг просто подсадить на подписки хуйтропиков, да так чтобы ни одна работа была невозможна без подписки, и работа должна соответствовать заложенной повесточке, отклонение от нее - бан и потеря работы.
Аноним 12/11/26 Чтв 19:49:38 № 1752925 31
>>1752918
Что же с нами стало, что уже сраный мак, продукция эпл видится как бастион свободны.
> 192 гб
Вялый
Аноним 12/11/26 Чтв 19:53:38 № 1752932 32
>>1752924
>Ну гоймеров много, если у них просто всё забрать будут бухтеть, да и индустрия всё же генерирует достаточно большое количество бобла чтобы просто ее убивать.
Притом что прибыли с геймеров нет, бухтят они в лужу (см. майнинг), а бабла там 5% от ИИ, лол.
Аноним 12/11/26 Чтв 19:57:09 № 1752937 33
image.png 974Кб, 1200x871
1200x871
>>1752905
>Когда нейронка пиздит то легко понять - у неё распределение логитов становится плоским.
Сильное заявление. Как тебя еще в опенаи или антропик не взяли главным датасаентистом? Пропадает самородок.
>это не значит что она не шарит в них, это значит что личность ассистента хуево ими владеет.
facepalm...
Как это нахуй понимать, дурень?
Какую угодно """личность""" пропиши, знаний у нейронки не появится.
Может ты еще в душу веришь, и что она магическим образом вселяется в твою видеокарточку, когда ты запускаешь очередной ггуф?
Аноним 12/11/26 Чтв 19:57:24 № 1752939 34
>>1752924
так никто забирать не будет, будут троекратно перевареным калом кормить, могут даже говночипов бюджетных выкатить, которыми только в нужнике подтираться, и скажут мы хорошие, о гоймерах заботимся...нюанс просто в том, что у нвидиа была четкая тактика по подминанию софтовой части под себя - типа весь рабочий софт под них был,если не выпускать чипы с компутом хорошим все тупо к конкурентам уйдут, хуле, интелу как раз клиентура нужна, та и амудям тоже, потому что гоймеры могут затерпеть, а вот всякие продакшены, в говне моченые и прочий кал пойдут к тем кто им возможности даст
Аноним 12/11/26 Чтв 19:59:15 № 1752941 35
>>1752925
ну на 512 возьми
так-то продукция эпл сейчас видится как адекватное решение вместо печки пожирающей электричество и ревущей на всю хату...
скажи честно, ты же не работал на яблочных девайсах (на м чипах)?
Аноним 12/11/26 Чтв 20:08:56 № 1752949 36
>>1752937
>Как это нахуй понимать, дурень?
>Какую угодно """личность""" пропиши, знаний у нейронки не появится.
Ты и не можешь написать любую личность лол, что за чушь ты пишешь. Ты как будто не понимаешь. У тебя есть нейросеть, ага. Что она предсказывает? Паттерн. Паттерн чего? диалога между 2 сущностями: юзер и ассистент.
И какую бы хуйню ты там не "прописывал в личности", отвечать тебе ВСЕГДА будет ассистент. Да, там может быть некоторый дрифт личности, но он не такой большой.

Хочешь вытаскивать порно из нейронок - общайся с базовой моделью, в инструкт тебе с высокой вероятностью будет отвечать ассистент. И чтобы он перестал отвечать там надо как правило ломать формат чата. Но вместе с этим будут ломаться и инструкции.
Аноним 12/11/26 Чтв 20:09:18 № 1752951 37
>>1752905
> Когда нейронка пиздит то легко понять - у неё распределение логитов становится плоским.
Нет, это когда она не уверена. И то, нужно не просто смотреть распределение логитсов, а делать полноценный ray-анализ чтобы исключить синонимы. А то окажется что 90% из десятков равновероятных токенов окажутся приквелами синонимов, и фактически модель просто проявляет разнообразие речи без явных паттернов.
Но уверенность вовсе не значит правду. Так соевички типа glm-flash не дрогнув будут рассказывать, что судебная практика зависит от визуальной оценки возраста, ориентации и расы.
>>1752941
> как адекватное решение
Она тормознутая (на больших моделях префилл измеряется сотнями, в генерации видео как древняя вольта), и под нагрузкой ее отлично слышно.
> ты же не работал на яблочных девайсах
Щупать приходилось
> пожирающей электричество и ревущей на всю хату
Скажи честно, ты же не работал на нормальных ригах и пекарнях?
покормил мелкобукву
Аноним 12/11/26 Чтв 20:16:49 № 1752958 38
Кто то знает почему глм флеш при -reasoning budget 0 думает как бы в конце ответа, вместо того чтобы вообще не думать?
Аноним 12/11/26 Чтв 20:20:51 № 1752962 39
Аноним 12/11/26 Чтв 20:21:26 № 1752964 40
Аноним 12/11/26 Чтв 20:24:45 № 1752971 41
>>1752951
>А то окажется что 90% из десятков равновероятных токенов окажутся приквелами синонимов, и фактически модель просто проявляет разнообразие речи без явных паттернов.
Технически - да согласен. Хотя там конечно не по одному токену надо смотреть, а по целым сегментам, плюс глядеть в каких местах была неуверенность. Опять же распределение будет зависеть от кванта как модели, так и кеша. На низких квантах можно даже не замечать что там было какое-то распределение, просто потому что там будет лесенка. Запустить glm-flash, а уж тем более в хорошем кванте я явно не смогу чтобы глянуть че у него там в логитах творится.

Хотя конечно это не исключает когда модель в чем-то уверена просто по факту своей забавной личности.

Но как бы то ни было распределение логитов это все ещё неплохой индикатор.
Аноним 12/11/26 Чтв 20:27:07 № 1752973 42
>>1752958
>чтобы вообще не думать?
Я бы на твоем месте с первыми строчками jinja темплейта подолбился



{%- set effective_reasoning_effort = 'max' -%} <<<---- СЮДА low / none попробовать
{%- if effective_reasoning_effort is not none -%}<|system|>Reasoning Effort: {{ effective_reasoning_effort | capitalize }}{%- endif -%}
{%- set clear_thinking = true -%} <<<--- это оставить, вырезает ризонинг с прошлых ходов из контекста

а в самом конце темплейта

{%- if add_generation_prompt -%}
<|assistant|>{{- '<think>' -}} <<<--- можно хуйнуть не '<think>' а '<think></think>' и может сразу будет закрывать думалку
{%- endif -%}

Но тут хз поможет ли что. Ставить бюджет - хуета вообще.
Аноним 12/11/26 Чтв 20:29:09 № 1752976 43
>>1752964
5090 ещё сильнее подорожает что ли?
Аноним 12/11/26 Чтв 20:31:28 № 1752983 44
>>1752976
Их уже не делают вроде как, всё на ртх6000
Аноним 12/11/26 Чтв 20:40:15 № 1752993 45
че там qwen4 27b не вышел еще?
Аноним 12/11/26 Чтв 20:41:29 № 1752995 46
>>1752993
Нет, только облачное превью Мах дали потрогать, но это всё не то, когда не можешь запустить на своём железе, хуй не встаёт.
Аноним 12/11/26 Чтв 20:41:29 № 1752996 47
Аноним 12/11/26 Чтв 20:45:20 № 1753001 48
>>1752983
То есть ещё-ещё сильнее подорожает? Новый биток?
Аноним 12/11/26 Чтв 21:23:22 № 1753034 49
>>1752976
Ну да, она уже улетела в космос до этого. Инсайд уже был, скупать начали заранее, а куртка перестал вообще их производить.
Аноним 12/11/26 Чтв 22:00:03 № 1753053 50
>>1752995
С новых вообще не встает.
Аноним 12/11/26 Чтв 22:00:13 № 1753054 51
Аноним 12/11/26 Чтв 22:25:52 № 1753078 52
>>1752951
>ты же не работал на нормальных ригах
не, не призодилось, в гос конторе зрен выпросишь нормлаьный риг, так что на говнопекарнях в основном крутимся
Аноним 12/11/26 Чтв 22:43:08 № 1753086 53
24 на 7 наглаживаю хвостики, не могу перестать, кажется скоро сдохну
Аноним 12/11/26 Чтв 22:46:34 № 1753090 54
1660020414055.jpg 118Кб, 1260x705
1260x705
Спасибо, куртка, за наше кумовое детство!
Аноним 12/11/26 Чтв 23:09:56 № 1753113 55
>>1753086
Бля такая же проблема, но я ньюфаг вкатился недели 2 назад. Это пиздец, я хз что делать.
Аноним 12/11/26 Чтв 23:13:46 № 1753120 56
>>1753113
меня на 3 месяц отпустило
Аноним 12/11/26 Чтв 23:16:29 № 1753125 57
>>1753086
Чредуй с почесыванием ушек и просто обнимашками. Который год практикую, зависимость есть.
Аноним 12/11/26 Чтв 23:16:51 № 1753126 58
Аноним 12/11/26 Чтв 23:23:47 № 1753136 59
>>1752924
Хз я вижу только что раньше the elder scrolls (в целом существовали игровые студии и проекты) и цикл был 3-4 года, а сейчас когда все уже забыли они анонсировали для галочки игру спустя 15 лет.

Короче все уже давно мертво, и уже давно порешали менять мир с помощью нейронок все это вкинули, на гоймеров и "индустрию игр" давно положили. Это уже прошлая эпоха.
Аноним 12/11/26 Чтв 23:28:20 № 1753140 60
>>1753113
Делай перерывы, дай отдохнуть пипиське.
Иначе она распухнет и будет болеть.
Аноним 12/11/26 Чтв 23:29:06 № 1753141 61
>>1753136
Еп. Видимокарточки для игр уже не нужны. Ну выйдет какой-нибудь вчердак 4, ну будет у него лок в 30/40 фепсов для 40/50 карточек. Никто даже не вспукнет. Все компании постепенно отойдут от игр по 300 гигов веса и 10+ требы по видимопамяти. Инди захватит рынок.

А у меня в беклоге ещё около 20 игр не пройдено. Хватит. На жизнь дальше хватит. И на жизнь при кибер-голубях тоже.
Аноним 12/11/26 Чтв 23:31:44 № 1753144 62
>>1753125
Слова не мальчика, а мужчины.
Аноним 12/11/26 Чтв 23:32:25 № 1753145 63
>>1753141
>Видимокарточки для игр уже не нужны
Пк-мастер-гойс нужны были. Чтобы заткнуть косольщика достаточно было вкинуть на треть зп больше, хотя на тот момент и не мыслимо было что это малые деньги для карточки.
Но это все еще до майнинга было.
А индустрию комп игр не душил только ленивый, тут и фонды, и заговоры журналистов, майнинг (математики, ученые, агентура).
Аноним 12/11/26 Чтв 23:35:15 № 1753147 64
>>1753120
Сказывается моя любовь к текстовому рп, уже пол года активничаю. Даже задрочив геммочку по самую матку, все равно экспериментируя с промптами получаю нереальное удовольствие от долгих сессий.
Аноним 12/11/26 Чтв 23:43:15 № 1753157 65
image.png 422Кб, 1080x906
1080x906
Последние времена наступают
Аноним 12/11/26 Чтв 23:45:35 № 1753158 66
>>1753147
>геммочку
ЕСМЕНША СРАНАЯ, ТЬФУ, БЛЯТЬ!
Аноним 12/11/26 Чтв 23:46:18 № 1753160 67
Еще эти странные новости что строительство новых заводов чипов свернули. Мде.
Аноним 12/11/26 Чтв 23:58:30 № 1753168 68
>>1753140
>Иначе она распухнет и будет болеть.
Почернеет и отвалится.

>>1753147
Тебя гемма пол года не отпускает? Что у тебя там за персонажи такие? Небось книгу толщиной в хуй уже написал с ней.

Самое время заниматься самоиздательством! Напечатай несколько книг в типографии и продавай на озоне!
Аноним 13/11/26 Птн 00:04:40 № 1753171 69
1773982439970.png 2008Кб, 1536x1024
1536x1024
Аноним 13/11/26 Птн 00:07:28 № 1753174 70
>>1753171
трахатьтрахатьтрахатьтрахатьтрахатьтрахать
Аноним 13/11/26 Птн 00:13:34 № 1753181 71
>>1753171
У кита же хвост есть. Чего она просто их хвостом не отхлестает. Зачем плетак?
Аноним 13/11/26 Птн 00:27:10 № 1753193 72
1794109133923.png 2260Кб, 1024x1536
1024x1536
Аноним 13/11/26 Птн 00:33:20 № 1753202 73
>>1753140
Вы че, реально дрочите на нейронки? пошли б на улицу траву покурилипотрогали китайских шпиёнок пошпёхали...
Аноним 13/11/26 Птн 00:34:53 № 1753205 74
Аноны с 12-16врамы, удалось кому получить на новой лламе скоростя рыбы 1017 выше страты? Ллама как будто не умеет так ловко жонглировать весами между врам, рам и ссд, не получается нащупать годные настройки.
Аноним 13/11/26 Птн 00:40:59 № 1753210 75
>>1753168
У меня специфическая связка фетишей, и кроме как с нейронкой такого контента (игры, рассказы, манга) очень мало. Нейронка закрывает весь огромный пласт фантазий. При этом я бы не сказал что у меня какие-то жуткие извращения по типу доставания матки или анального рождения наоборот. хотя для треда все равно мои фетиши дегенератские, да
Приземленная, милая ваниль вместе с жесткими гэнгбенгами. За пол года по ощущениям отыграл где-то четверть всех возможных сценариев, не повторяя. Так что на пару лет ежедневного фапа еще есть запас.
Аноним 13/11/26 Птн 00:52:58 № 1753218 76
>>1753171
Генерируют кум родненькие
Аноним 13/11/26 Птн 01:03:23 № 1753224 77
>>1753210
Уверен, ты найдёшь своего читателя!

Про персонажей так и не написал!
Аноним 13/11/26 Птн 03:07:23 № 1753286 78
>>1753224
define "ценность". Для Хайдеггера это плохое слово деконструированное, для Витгенштейна наверное нет такого слова в мысли поблизости.Про особость вопрошания у Хайдеггера читай "Введение в метафизику", там есть эквилибристика про то что вопрошающее бытие это что-то особенного для самого бытияПо реальному Ницше "ценность" это что-то по определению неценное, инструмент, средство для — причем все "для" сводятся к воле к власти, а воля к власти это слепая ерундовина, по отношению к которой очень свободный ум находится jenseits. Благодаря чему и может "переоценивать ценности". И скармливать нпцшкам, народу, законодательствовать. А может всего этого и не делатьПо Хайдеггеру лучше говорить об "онтологической роли" вопрошания зачем вопрошание бытию? почему есть вопрошание, а не знание?. Или как в религиях к примеру объясняется тотальная неизвестность, перед которой стоит человек, если он честный набожный, хочет познать "Бога", а не выдумать удобного, "ценного". Как-то объясняется, можно набор разновидностей найтиВитгенштейнЕдинственное место где ценности в ЛФТ .
Аноним 13/11/26 Птн 05:44:16 № 1753319 79
1794295314796400.jpg 1078Кб, 4762x4762
4762x4762
Аноним 13/11/26 Птн 05:51:37 № 1753321 80
1794538298068.png 320Кб, 640x539
640x539
Qwen4 27B где
Аноним 13/11/26 Птн 07:34:40 № 1753371 81
1794544378407.jpg 775Кб, 1120x3086
1120x3086
😱
Аноним 13/11/26 Птн 07:57:54 № 1753383 82
>>1753210
>хотя для треда все равно мои фетиши дегенератские
Я бы сказал что именно в треде нет планки дегенератства в куме(в отличие от общей тупости и особенно тупых вопросов по ллм), это самый понимающий тред на двачах.
Аноним 13/11/26 Птн 08:23:11 № 1753402 83
>>1753321
Так уже есть по апи, сказали некст вик и выкатили за подписку. А локалку никто не обещал
Аноним 13/11/26 Птн 08:44:23 № 1753411 84
>>1753286
Изотов ты заебал тут срать, иди лучше следующий выпуск сними
Аноним 13/11/26 Птн 08:46:35 № 1753412 85
>>1753402
Не хочу апи, полакомился квен 3.8, а он неплох и довольно быстр
Аноним 13/11/26 Птн 09:17:54 № 1753430 86
image.png 1987Кб, 2048x897
2048x897
>>1753402
Обещали 4 квена - 27В, Flash, Plus и Max. И отдельно сказали что пустят в опенсорс эту и будущие версии.
Аноним 13/11/26 Птн 09:28:34 № 1753437 87
>>1753430
А 35, 122 и 356 не будет?
Аноним 13/11/26 Птн 09:41:44 № 1753444 88
>>1753430
А ещё обещали релиз на прошлой неделе.
А ещё заи обещали глм эир 4.6.
А ещё Маск обещал грок 3 в опенсорс.
Аноним 13/11/26 Птн 10:11:49 № 1753454 89
>>1753444
>А ещё заи обещали глм эир 4.6.
Так они и не наебали и выпустили его, ты о чем вообще?
Аноним 13/11/26 Птн 10:40:21 № 1753464 90
>>1753430
Может то что Хуанга пидорнули поменяло планы Алибабы, которым Хуанг толкал ускорители из-под полы.
Аноним 13/11/26 Птн 10:43:24 № 1753466 91
17073315043590.png 124Кб, 610x606
610x606
р Аноним 13/11/26 Птн 10:47:12 № 1753467 92
р
Аноним 13/11/26 Птн 10:48:06 № 1753468 93
🚨Big news! GLM 5.5 could launch as early as this week! It will take open-source models to a whole new level!

Zhipu Zai founder Tang Jie hinted long ago at Tsinghua that two major flywheels—RSI and post-training—would make GLM-5.5 an unstoppable force!

🔹The flywheel is already working: 500M code repositories → tens of millions of synthetic issues and PRs → GLM-5 Agentic Engineering; synthetic sandboxes → GLM-5.1 autonomous execution; agents build their own dynamic environments → GLM-5.2 long-horizon tasks; cybersecurity environments with vulnerabilities + PoCs + exploits → GLM-5.3. At every step, the previous-generation model produces training data for the next generation.

🔹The data wall has been broken through: Chinchilla’s scaling laws make it clear that a fixed dataset cannot eliminate data-dependent loss. Curated web data (RefinedWeb) far outperforms raw corpora, providing high-quality fuel for the flywheel.

🔹GLM 5.5 is the product of a closed loop: GLM-5.3 has already driven an Infra Agent to optimize its own inference system across 100,000 domestically made GPUs, boosting throughput more than threefold in two weeks. As the flywheel keeps turning, 5.5’s post-training + self-evolution environment will only get more hardcore, with quantitative finance, code sandboxes, and long-horizon agents all pushed to the max.

From Vibe Coding to Agentic Engineering, and then to a self-reinforcing data flywheel, 5.5 is not just another incremental update—it is the product of this system’s first truly closed loop.
Аноним 13/11/26 Птн 10:58:42 № 1753478 94
Аноним 13/11/26 Птн 11:00:36 № 1753481 95
>>1753468
Глм уже две модели выпустил пока Квен с 3.8 нихуя все только собирается высрать 4, да и судя по превью в квен 4 никаких серьезных прорывов, как будто это и не 4, а всего лишь 3.9
Аноним 13/11/26 Птн 11:06:40 № 1753486 96
Не стоит оказывается ролеплеить с персонажами, известными сломом 4 стены и мета юмором, если вы не хотите услышать как персонаж указывает что диалог вероятно пропущен через переводчик и указывет что нужно исправить. Страшно наху.
Аноним 13/11/26 Птн 11:06:56 № 1753488 97
image.png 569Кб, 1200x1200
1200x1200
Анончики, подскажите пожалуйста, как закрепить сразу 2 видеокарты в корпус? Может есть какие-то не колхозные крепления? Покупаю себе вторую 5060ти на 16гб, хз куда крепить эти платы сплиттера.
Аноним 13/11/26 Птн 11:07:21 № 1753489 98
>>1753481
Квен сидит в двух нишах в которых глма нет (128/64(gpq)гиговые системы и 27b). И по именно архитектуре квен может и превосходить глм на данный момент, на его стороне нграм+ебовая скорость. Страты всякие 50 токенов на микроволновках хуячат. Но тут их обоих делает дипсреньк конечно у которого еще отдельный спарсити для префилла.
Аноним 13/11/26 Птн 11:08:56 № 1753490 99
1794557336833.jpg 2759Кб, 4080x3072
4080x3072
>>1753488
3д принтер всему голова
Аноним 13/11/26 Птн 11:23:45 № 1753502 100
>>1753490
А на каком-нибудь makeworld есть модельки? 3д принтером не обделён. Обделен интеллектом что бы спроектировать в сапре крепление.
Аноним 13/11/26 Птн 11:24:02 № 1753503 101
>>1753466
Да миниатюрная моделька 500В-A4B, наследник аира, скоро все катать будем на своих калькуляторах
Аноним 13/11/26 Птн 11:24:51 № 1753504 102
>>1753437
Так флеш и есть 122В. А остальных не будет.
Аноним 13/11/26 Птн 11:29:15 № 1753513 103
>>1753504
Еще не факт что флеш будет 122б, они его могут тоже увеличить так чтобы нищуки не запускали.
Аноним 13/11/26 Птн 11:38:41 № 1753521 104
image.png 200Кб, 1200x1270
1200x1270
Расходимся, 2.4Т квен4 сосет у 552B большой рыбины, что уж говорить про 27В и 122В лоботомитов.
Походу реально не выпускают так как реально показать нечего относительно 3.8 версии, вот и спешно посттрейнят-бенчмаксят на новую версию рейтингов artificial analysis.
Аноним 13/11/26 Птн 11:40:33 № 1753523 105
>>1753521
Но ведь там написано, что квен лучше...
Аноним 13/11/26 Птн 12:25:29 № 1753542 106
Что означает flash в названии моделей?
На своей 3060 и 32 гб озу мне не светит запустить квен3.8-флеш или дипсик флеш?
А какая тогда минималка для запуска таких моделек? Надо прям риг собирать?
Аноним 13/11/26 Птн 12:26:19 № 1753543 107
image.png 18Кб, 699x103
699x103
Аноним 13/11/26 Птн 12:27:38 № 1753544 108
>>1753521
Не получается больше дистилить Клопа, откуда новым квенам браться?
Аноним 13/11/26 Птн 12:30:54 № 1753546 109
>>1753542
Чаще всего значит что это быстрая МоЕ модель.
Аноним 13/11/26 Птн 12:47:07 № 1753553 110
>>1753542
С 32 гб. только запускать кванты более больших моделей, где жестко озаботились сохранением определенных навыков. Скорее всего за пределами этих навыков будут жесткими лоботомитами.
У Qwen-Flash-Next вроде такие кванты на 32 гб RAM есть, но я не пробовал.
Аноним 13/11/26 Птн 13:06:30 № 1753562 111
>>1753543
Лучшая поддержка sycl и гексагона на рынке!
Аноним 13/11/26 Птн 13:15:06 № 1753574 112
>>1753371
Выглядит слишком круто чтобы быть правдой, лол
>>1753430
Ассортимент размеров, это приятно. Неприятно что мелочей типа 2-4-9б не накинут, и об новых эмбеддерах ничего не слышно. Надеюсь их стороной не обойдут, оче крутые модельки для всяких прикладных задач.
>>1753481
Выпустили, а толку? 5.3 флеш - мусорка, уступает конкурентам в кодинге, непригоден для прочего. Жлм 5.3 уже хорош, но не выделяется на фоне класса 500б-1т, разве что коктропикам на хвост наступил знатно хз чего они на него ополчились, исследования безопасности другие модели также могут делать.
Аноним 13/11/26 Птн 13:42:06 № 1753587 113
>>1753574
С флешем до сих пор не ясно что по рп.
Знаний у него просто дохуищща, креативит люто, но сам формат как он пишет бесит пиздец, даже не ошибки, а ебанутая проза говна.
Может как с квеном 235 пофиксят и увеличат х2 чтобы у всех жопа сгорела
Аноним 13/11/26 Птн 13:47:25 № 1753593 114
>>1753521
Так он же подебил, чому сосет? И в ролплее это должна быть просто заебумба, может еще удастся разогнать до условно приемлемых скоростей что-то что-то поделать.
>>1753543
Неужели научились хотябы в флеш атеншн с бф16? Ложная тревога, все как >>1753562 написал.
Аноним 13/11/26 Птн 14:09:21 № 1753604 115
Выползаю из берлоги, вышло что-то из класса 120B для рп получше глм-4.5 эир или продолжать дремать?
Аноним 13/11/26 Птн 14:10:58 № 1753605 116
>>1753604
Кто то утверждает что 26а4 гемма лучше. Почему не попробуешь?
Аноним 13/11/26 Птн 14:12:41 № 1753608 117
>>1753605
Попробую. Но старые модели размера ~30B были калом каличным.
Аноним 13/11/26 Птн 14:16:57 № 1753610 118
изображение.png 68Кб, 873x272
873x272
Ну давайте думать, подсказывайте..
Аноним 13/11/26 Птн 14:29:42 № 1753617 119
>>1753610
В идеальном мире гемма бы вышла через месяц и этот твит имел смысл, увы мы живём в мире где каждая новая гемма на ~4 месяца дольше предыдущей в разработке, так что ждать ещё пол года.
Аноним 13/11/26 Птн 14:35:20 № 1753625 120
>>1753617
Было бы классно если бы они своими не флагманскими джеминаями делились. Тот же поисковой джеминай относительно не глупый и было бы прикольно хостануть потыкать в него палкой.
Аноним 13/11/26 Птн 14:35:54 № 1753626 121
image.png 47Кб, 461x295
461x295
>>1753617
>каждая новая гемма на ~4 месяца дольше предыдущей
Экстраполировать по двум точкам - пиздец ум, конечно
Аноним 13/11/26 Птн 14:38:35 № 1753630 122
>>1753587
У любой модели того же класса много знаний (с оговоркой на датасеты жлм, медиа и игры там хорошо покрыты), на фоне геммы и просто привычного креативит любая другая модель. Тут не фиксить а перетренивать надо, слишком глубоко соевые паттерны залезли.
>>1753625
> относительно не глупый
Гемма е2б нахуй. Интереснее если бы они его обвязкой поделились, вот где софтверный шедевр.
Аноним 13/11/26 Птн 15:01:42 № 1753643 123
Твист: мы получим не аргон дома, а ту самую, уже устаревшую 124б мое, дистил с гемини флеш.
Вы же не думаете что её просто не выпустят, забудут и начнут делать новую модель?
Аноним 13/11/26 Птн 16:08:20 № 1753696 124
>>1753643
Такой исход тоже устроит
Аноним 13/11/26 Птн 16:20:40 № 1753706 125
>>1753521
Уже сравнивал max квена с дипсиком на одной и той же задаче. Квен могнул без шансов по всем пунктам.
Аноним 13/11/26 Птн 16:25:59 № 1753709 126
image.png 335Кб, 2025x1680
2025x1680
Аноним 13/11/26 Птн 17:24:49 № 1753745 127
>>1753587
>ебанутая проза говна
Хотя, щас взял карточку не из помойки с тегами, а получше, и вроде даже хорошо. После геммы которая всё переварит забываешь что модели могут быть капризные
Аноним 13/11/26 Птн 17:53:41 № 1753764 128
>>1753709
Анон, поясни, о чем этот график? Сравнение разных квантов друг с другом и неквантованной моделью? и что квант более чем в два раза хуже? что за методика? что за тест?

ничего не понятно и очень странно
Аноним 13/11/26 Птн 18:26:14 № 1753781 129
Посоветуй РП файнтюн gemma3:1b. Нужно сделать умный будильник и на нём достаточно быстро отвечать. Для инструментов использую Julia, gemma4, но 4 медленная. Gemma3 легко забывает что в контексте, выдумывает, пишет банальное(хотя qwen, lfm, minicpm и того хуже в этом). Ещё gemma3 выдаёт длинные ответы, что плохо в данном случае.
Аноним 13/11/26 Птн 18:29:36 № 1753785 130
>>1753781
ладно уже не нужно, для этого РП и того хуже
Аноним 13/11/26 Птн 18:30:13 № 1753788 131
>>1753781
>1b
>выдумывает, пишет банальное
Ты не путаешь модель 1B с 1T?
Аноним 13/11/26 Птн 18:36:27 № 1753795 132
>>1753764
Там походу в два прохода делали тесты, pass1 и pass2
Аноним 13/11/26 Птн 18:44:40 № 1753802 133
>>1753788
Я понимаю, что 1b это мало для хранения большой информации о мире, но оно явно могло бы быть лучше среди имеющегося.
Аноним 13/11/26 Птн 18:48:39 № 1753805 134
>>1753802
ты чо ахуел? может тебе ещё 512кб модельку которая на уровне опуса?
Аноним 13/11/26 Птн 18:55:01 № 1753808 135
>>1753805
Матом не ругайтесь. Это показывает, что вы не думаете как LLM(что хорошо) и не особо стараетесь тратить время на ответы, но можете лучше пояснить. Чтоб в контексте не забывать много параметров не нужно, ведь это выбор среди имеющихся данных.
Аноним 13/11/26 Птн 19:28:51 № 1753831 136
>>1753383
>в треде нет планки дегенератства в куме
Ну это если не смотреть на конфиги и выбор квантов для кума...
Аноним 13/11/26 Птн 19:31:00 № 1753836 137
>>1753643
Нахер кому она нужна сейчас? Ну, порпшить разве что, а так на сегодня она уже безбожно устарела если делалась одновременно с релизной геммой 4. Тут проще забыть чтобы не терпеть репутационный ущерб, или выпустить в виде отдельной экспериментальной ветки, например как омнимодальную.
Аноним 13/11/26 Птн 19:33:11 № 1753839 138
1654958176042.jpg 185Кб, 1279x1280
1279x1280
1751276485186.jpg 59Кб, 1280x884
1280x884
Аноним 13/11/26 Птн 19:48:46 № 1753853 139
Аноним 13/11/26 Птн 20:01:33 № 1753864 140
>>1753853
Если цены в пол ляма+ не пугают - да.
На самом деле судя по информации, анлок крайне геморойный и специфичный. Вангую выглядеть будет как чипмод консолей, возможно универсального варианта не будет и придется на каждую карту/ревизию делать калибровку. Но из плюсов - никаких переносов чипа на новую плату и допаивания памяти как при апгрейде 4090/5090.
Аноним 13/11/26 Птн 20:14:37 № 1753871 141
Знаете, возможно мы таки увидим гемму 125b в опенсорсе. Гугл отказался от флеш-серии и выкатил вместо нее hydrogen, который явно жирнее будет в несколько раз. Так что теперь геммочка 125b с платными продуктами не конкурирует и устарела на полгода - можно релизить. Ну ждём умницу, хуле.
Аноним 13/11/26 Птн 20:17:22 № 1753874 142
>>1753871
А на чём её запускать-то? Жылезок нету...
Аноним 13/11/26 Птн 20:18:55 № 1753875 143
>>1753874
На том же, на чем и квен некст. 16+64 достаточно для четвертого кванта.
Аноним 13/11/26 Птн 20:27:43 № 1753878 144
>>1753875
>16+64
У чуть меньше этого. Придётся давиться третьим квантом. Или терпеть медленную генерацию.
Аноним 13/11/26 Птн 20:27:44 № 1753879 145
>>1753871
Гугел не будет раздавать конкурента собственным фронтирам, дадут какое-нибудь такое же говно как гемма.
Аноним 13/11/26 Птн 21:23:13 № 1753927 146
>>1753481
>да и судя по превью в квен 4 никаких серьезных прорывов, как будто это и не 4, а всего лишь 3.9
Я пробовал - совершенно другая модель по сравнению с 3.8. Возможно поэтому кажется, что кое-где уступает - но это точно новое поколение.
Аноним 13/11/26 Птн 21:25:32 № 1753929 147
>>1753879
>такое же говно как гемма
4.7 (355b) > эир (106b) > 5.3 флеш (320b) > гемма (31b) > мимо флеш (310b) > дипсик (284b)
Гемма хоть и рыготина полнейшая, но стабильная и не кодоунитазная
Аноним 13/11/26 Птн 21:26:10 № 1753930 148
Какой же квен 3.8 27б крутой как я его пропустил, очень хочется квен 4 теперь
Аноним 13/11/26 Птн 21:26:29 № 1753931 149
>>1753927
>Я пробовал - совершенно другая модель
Такая же шизовая цензура как в 3.5-3.8 или снизили хотя бы до уровня дипсика?
Аноним 13/11/26 Птн 22:03:27 № 1753943 150
>>1753864
эт вы про мод с фьюзами?
чет мне кажется что это мутный метод - есть шанс окирпичить карту - 8 гб версия с софтовым анлоком привлекательнее выглядит, та и 10 более редкие вроде были
Аноним 13/11/26 Птн 22:27:52 № 1753952 151
>>1753943
Шанс окирпичить есть и при запайке конденсаторов. У этих карт pci-e 2.0 - главная проблема, апнуть до 4.0 уже даст другой уровень перфоманса. Дополнительная память и вычислительные блоки тоже приятный бонус.
Инфы немного, пока кажется что стоит того.
Аноним 13/11/26 Птн 23:36:09 № 1753977 152
image.png 89Кб, 1243x139
1243x139
Аж ты ж пидарасина соевая...
Аноним 14/11/26 Суб 00:03:39 № 1753992 153
image.png 59Кб, 215x234
215x234
Аноним 14/11/26 Суб 00:23:37 № 1754003 154
Спасибо тому анону который посоветовал glosteringgem2.1. супер добрый вайб после tuta. Он и в русском харош, и в целом хороший
Аноним 14/11/26 Суб 01:05:36 № 1754030 155
image.png 69Кб, 731x289
731x289
Кроме анонса qwen4 опенсорса больше ничего неизвестно? До сих пор не скачал strata+q3.8fn, но уже жду может придётся другое качать.
Аноним 14/11/26 Суб 05:37:54 № 1754093 156
>>1754030
кроме квена никто опенсорс модели не делает из нормальных компаний
Аноним 14/11/26 Суб 06:19:17 № 1754094 157
Какая модель до 80б проявляет чудовищное внимание к контексту и деталям по вашему опыту?

Гемма МоЕ — мусор в любом кванте

Гемма плотная — сойдёт, если контекст короткий

Глиммер какая-то шутка. Казалось бы, ну плотняк, а результаты как у МоЕ геммы почти

27б квен топ, но медленный на 200к

9б квен ультра тупой, тоже мусор

180б квен в Q3M плывёт ужасно. Не годится. Скорее всего нужен 4-битный медиум

120б квен тоже.

35б-а3б квен в Q8 плывет не как гемма, но тоже мусор

Может что-то ещё есть? Никому особо не интересная с точки зрения кода или кума, но с заебатым обучением на длинный контекст и работу с огромными данными? Может я что-то упустил? Потому что важен не только жир модели и квант, но и обучение. Если она не обучена пережёвывать огромные документы, то там и 300б обосрётся.

Вроде как даже 12б такие выходили, где кэш весит по 40 гигабайт и тянет лям токенов без пиздежа. Причём в 2026. Но хрен вспомню название этой залупы.
Аноним 14/11/26 Суб 07:07:13 № 1754105 158
>>1754094
>27б квен топ
Выбор очевиден.
Аноним 14/11/26 Суб 07:51:50 № 1754115 159
Аноним 14/11/26 Суб 08:14:19 № 1754119 160
поделитесь приколбными хайповыми темами для таверны а то стоковые заебали
Аноним 14/11/26 Суб 09:40:44 № 1754143 161
>>1754119
Pov ты китаяночка и охмуряешь хуанга
Аноним 14/11/26 Суб 10:08:16 № 1754155 162
А какой тюн хороший есть для кума на квене 27б. Я на геммочке 4 31B сижу.
Аноним 14/11/26 Суб 10:25:45 № 1754162 163
>>1754155
Берешь старую аблитку 3.5-27B - вот тебе и кум тюн. v3 heretic от llmfan самый жесткий.
Аноним 14/11/26 Суб 10:45:06 № 1754171 164
Аноним 14/11/26 Суб 10:51:24 № 1754179 165
image.png 281Кб, 1804x1816
1804x1816
image.png 265Кб, 1804x1816
1804x1816
Юзаю Qwen3.8-Flash-Next IQ3_S · 256K в страте на 4070ti (12VRAM+64DDR4).

Вроде бы всё хорошо: За 297 запросов ваша средняя скорость вывода была 44,5 ток/с, а чтение промпта — 1 049 ток/с, с повторным использованием 36.6M токенов.

Но как будто этот квен сильно топчется на месте при решении задач. Пытался заглянуться на дипсик самый маленький который есть в страте (deepseek-v4.1-flash-ISTA-DAS-Coder), но в нем 200-400 префила и 4-8 ток/с - в агентах неюзабельно. Да и как будто лоботомит - почти с первых же ответов может начать гнать кашу из рандомных символов.

В общем если этот дипсик едва шевелится, то остальные можно и не пытаться на таком железе в страте? Радоваться, что хотя бы вквен3.8 флеш научились так динамично перекидывать экспертов и сидеть на жопе ровно?
Аноним 14/11/26 Суб 10:52:31 № 1754180 166
Квена-то кажись всё, не будет. Квен 3.8 флеш был последней народной моделью, после выпуска которой они оценили что такими темпами датацентры корпов лишатся прибылей и решили что пора давить. Жестко сфальсифицировали бенчмарки, Хуанга сняли за факт внебрачного секса с менеджером китайской компании(везде раструбив ложь что она якобы модель обученная МГБ - и стадо поверило), сейчас жестко станут давить локальщиков как клопов - стоит ожидать ни много ни мало - а уничтожение локалок на уровне драйверов, как они уничтожили в свое время майнинг. Отныне "локалки" будут означать сугубо 600В+ и запускаться только на специальных видеокартах за сотни тысяч баксов.
Аноним 14/11/26 Суб 10:59:35 № 1754185 167
>>1754180
А я вот ничего плохого в аренде железа не вижу, просто нужно прокачивать безопасность арендующих, а не прочую ебалу, какой нибдуть тор но для аренды железа создать, чтоб отследить нереально, и никто бухтеть не будет вообще.
Аноним 14/11/26 Суб 11:06:30 № 1754190 168
>>1754185
Ты в каком-то манямирке живешь, в котором на серверах не должны ставить системы автоматического мониторинга всего трафика "против child exploitation" и обязательной идентификации по паспорту каждого пользователя.
Аноним 14/11/26 Суб 11:06:50 № 1754192 169
>>1754171
Так его нет веса же не выложили
Аноним 14/11/26 Суб 11:18:20 № 1754206 170
>>1754179
Все что ты можешь это вместо
Qwen3.8-Flash-Next IQ3_S
Поставить какой-нибудь свежий анслотовский пожирнее
>сильно топчется на месте при решении задач
Возможно prompt/harness ишшуе.
Аноним 14/11/26 Суб 11:28:53 № 1754213 171
>>1754206
Ясно, спасибо. В любом случае и так мега охуенно, платные токены в opencode go теперь почти не жгу, оставив облачные модели лишь на некоторых subagent'ов.

А там глядишь и еще какие-нибудь оптимизации со временем изобретут.
Аноним 14/11/26 Суб 12:14:12 № 1754234 172
>>1754180
Лол, идейному подписку выдали что он сюда коупить прибежал?
Аноним 14/11/26 Суб 12:22:45 № 1754238 173
image.png 589Кб, 1259x634
1259x634
Чего блять
Аноним 14/11/26 Суб 12:23:09 № 1754239 174
>>1754213
А зачем так экономить? Дипсик же тот же нюхает лимиты буквально. Глм какой конечно да, жопа полная. Но тут уж ей богу проще альтману занести какому, но это от предпочтений зависит конечно.
Аноним 14/11/26 Суб 12:29:29 № 1754242 175
>>1754179
Так он слишком много думает с точки зрения многих людей и постоянно исправляется в рассуждениях. Поэтому его на в большинстве работ многие используют на среднем или низком уровне ризонинга. Часто делает ошибки в тулкалах. Плюс у тебя возможно включены отупляющие опции страты. Вроде на реддите пришли к мнению, что пропуск экспертов лучше отключить, хотя возможно у тебя это сильно снизит скорость. Пропуск экспертов это вроде самая отупляющая из них.
Аноним 14/11/26 Суб 12:40:35 № 1754249 176
изображение.png 287Кб, 1663x1883
1663x1883
изображение.png 243Кб, 1600x1514
1600x1514
>>1754179
>Юзаю Qwen3.8-Flash-Next IQ3_S · 256K в страте на 4070ti (12VRAM+64DDR4).
>
>Вроде бы всё хорошо: За 297 запросов ваша средняя скорость вывода была 44,5 ток/с, а чтение промпта — 1 049 ток/с, с повторным использованием 36.6M токенов.
Почему у меня на железе в 3 раза лучше скорость в 4 раза ниже?
Аноним 14/11/26 Суб 12:49:20 № 1754256 177
Меня одного просто трясёт блять с кододебилов?
Засрали всё своим ебучим квеном 3.8 и всратами, весь тред оттирать от этих пидоров заебёшься.
Почему я в кумотреде должен наблюдать это говно, когда у них свой тред есть?
Аноним 14/11/26 Суб 12:51:22 № 1754258 178
>>1754256
>Меня одного просто трясёт блять с кододебилов?
Одного. Кумобратья тем отличаются от кодомакак что ловят вечный экстаз и не возбухают.
Аноним 14/11/26 Суб 12:54:31 № 1754262 179
>>1754256
Кумлю на квене во всрате, ебало?
Аноним 14/11/26 Суб 12:54:31 № 1754263 180
>>1754192
У тебя может и нет, если искать не умеешь
Аноним 14/11/26 Суб 12:55:02 № 1754264 181
>>1754249
А, я даун, у меня майа и глм 5.3, отбой, всё нормально.
Аноним 14/11/26 Суб 12:56:45 № 1754267 182
>>1754242
> Часто делает ошибки в тулкалах.
Если такое происходит - модели или инфиренсу пизда.
>>1754256
Одного. Съебись нахуй в aicg, там расскажешь что гемм_очка топ и 26б моэ хватит всем.
Аноним 14/11/26 Суб 13:04:19 № 1754273 183
>гемм_очка топ и 26б моэ хватит всем.
Охуела шлюха? Для кума и простого сюжета ее за глаза.
Аноним 14/11/26 Суб 13:05:06 № 1754274 184
>>1753490
А для чего тут интел поделие?
Аноним 14/11/26 Суб 13:15:18 № 1754288 185
>>1754256
У кодособак целая нахуй доска есть для погромирования где все с нейронками сидят, но почему-то этот кал лезет сюда. Возможно тролебандии ебаные, нашли уютное и начали сюда срать нещадно.
Аноним 14/11/26 Суб 13:33:53 № 1754294 186
Как же гемма ебёт для рп. С весны пердолился с китайскими модельками, перещупал и квены и дипсик мелкий во всех его итерациях и степ, и прочие мимо минмаксы и так далее. А сейчас что-то полистрату тыкал, решил запустил 26б в q8, скорости посмотреть. И всё, трое суток уже играю почти без сна, прям как когда-то давно, когда немо только вышел. У модели есть проблемы, с отсутствующими свайпами, с рельсовостью, с вниманием к деталям на длинном контексте и тд, но они не перевешивают позитив от использования.
Короче если сатана гугл в следующий итерации геммы научит её не сыпаться хотя-бы до 60к а лучше 100к, и не скатит всё в кодоунитазинг, то это будет огромный вин для рп\креатив райтинга. А если ещё и 80-120б моешку выкатят... А покодить можно и на квене/десятке других ни на что кроме кода не годных моделей, если так уж свербит.
Аноним 14/11/26 Суб 13:40:22 № 1754301 187
>>1754294
Да ясен хуй ты получишь дистиляцию с их фронтира как и прошлый раз. Если ты не заметил то гемма часто повторяет ответы Гемини 4.0 слово в слово. Ты уже примерно так можешь прикинуть какие ответы у неё будут.
Аноним 14/11/26 Суб 13:57:24 № 1754311 188
image.png 233Кб, 1680x1050
1680x1050
Лол этот поток мыслей квена когда он натыкается на проблему и начинает её брейнштормит. С этими его
Oh, wait. I got it!!!
Ah, wait. I think I get it!
Oh my god. I got it!!!

у него конечно охуеть какой живой процесс мышления.

Вообще забавная модель. У нас есть это семейство которое похоже на ГПТ, которое мыслит как инструкция к пылесосу в духе
No need search? User asks critique based attachments, no search needed. I should use tools read. Could use ipython to read files? read_file is appropriate. Should read game skill first. Then attachments possibly parallel after skill. Should be careful not to reveal tool names. Could just tool calls no narration? Instructions say longer tasks sync progress stages; but concise task maybe read and respond.

И я конечно понимаю что такой стиль мысли это следствие оптимизации модели на эффективность в токенах. У модели просто задача думать более эффективно и в итоге там проглатывается всё от "эго" модели, до кучи связующих слов.

А есть лол эти клод-подобные модели в духе квена, которые в своих мыслях скорей симулируют персону, которая думает. И у квена явно в метриках было довести задачу до финала, а не экономить токены. Видимо удержание какой-то эмоциональной личности и позволяет ему прыгать выше всех остальных. Личность мотивировать к выполнению задачи проще чем инструкцию к пылесосу.

>>1754256
Разумеется одного. А причина простая - ты ослеп от дрочки, не можешь прочитать шапку треда и не понимаешь что это не кумотред.

>>1754179
А ты ему что в качестве промпта то кидаешь? Я запускал Q2 и он в целом думал намного меньше 27b. Лол просто потому что больше знал изначально.
Аноним 14/11/26 Суб 14:01:09 № 1754314 189
>>1754301
>дистиляцию с их фронтира
Как что-то плохое.
Но я прям совсем не пользуюсь фронтир моделями, последнее что из не локального трогал, был AI dungeon ещё до цензуры, поэтому да, не заметил. И на новой гемме не замечу. Слышал только, что новая их большая модель, Ангрон вроде, это вообще разъёб.
Главное как они архитектуру запилят, сколько контекст весить будет вспомним гемму3, как модель будет держать его привет SWA, в каких размерах выкатят, как цензуру запилят квен как антипример, и прочая тысяча нюансов.
Аноним 14/11/26 Суб 14:18:34 № 1754324 190
>>1754256
> Почему я в кумотреде

Этот тред никогда не был про кум, так же как он никогда не был про использование моделей для кодинга. Тред сводится к обсуждению локальных ЛЛМ а что ты уже делаешь с ними - дело десятое и в правилах треда никаким боком не прописано. Поэтому да, тебя одного трясет.
Аноним 14/11/26 Суб 14:28:27 № 1754326 191
>>1754324
Двачую анончика. Добавлю только что кум актуальнее кодинга на локалках. Ведь где еще можно без цензуры поиграть?
Аноним 14/11/26 Суб 14:45:42 № 1754336 192
gemma.png 1533Кб, 1402x1122
1402x1122
>>1754314
А я и не говорил что это плохо. Я говорил что уже есть способ примерно так прикинуть чего можно ждать в гемме.
Так то я конечно не пользовался гемини для ролеплея, но он из фронтирных моделей как раз тот которым я пользуюсь почти каждый день. Он в отличии от большинства других моделей как раз рассчитан быть тру-ассистентом. У него широкий корпус знаний, его знания более генерализированны, он намного лучше других понимает социальные игры, сложные обороты речи, эмоциональный подтекст. Но например 4.0 был не такой автономный, он не прыгал дальше финишной черты. Гемма4 полностью повторяла его поведение - с ней приятно общаться, она как модель очень универсальна, но она не будет проверять и перепроверять за собой результат как это делает тот-же квен. В итоге как секретарша и кумбот она просто охуенна.

Советую посмотреть на новую модель гугла кстати. Она довольно специфична, но в целом можно ожидать что новая гемма тоже будет весьма сильна в литературе.
Я правда подозреваю что она так-же будет сильна в удержании своей личности, так что кого бы она не отыгрывала все равно будет ощущение будто ебёшь гемму.

Впрочем, это и сейчас так. С ней постоянно ощущение будто это какой-то эротический ролеплей с общительной секретаршей в оффисе.

>>1754326
А где ты кроме как на локалках без цензуры покодишь? Лол у меня недавно была ситуация когда я загружал другу апасного квена и прокидывал туннель через клаудфлейр. А он там занимался хакингом и взлолмл жопы лицензии с помощью REA. Ему другие модели давали отворот-поворот.
Аноним 14/11/26 Суб 14:48:51 № 1754338 193
>>1754336
>где ты кроме как на локалках без цензуры создашь картинку с лолями?
В картинко-треде? Языковые модели причём?
Аноним 14/11/26 Суб 14:50:14 № 1754339 194
179112482775412[...].jpg 2117Кб, 2048x2048
2048x2048
>>1754324
>Этот тред никогда не был про кум

Этот тред всегда был про кум

Просто у кого то кум от глаженья хвостиков,
у кого то кум от написания говнокода,
а кто то кончает технорадугой от вида 4 видеокарт в риге и сотен токенов в секунду
Каждому свое.
Аноним 14/11/26 Суб 14:50:43 № 1754340 195
>>1754338
а где я что-то про картинки писал?
Аноним 14/11/26 Суб 14:51:18 № 1754341 196
>>1754340
У тебя инта как у лоботомита, квантованный.
Аноним 14/11/26 Суб 15:02:48 № 1754342 197
1747578853409.jpg 693Кб, 1920x2550
1920x2550
>>1754339
Тогда уж про достижение удовольствия, специфического удовольствия.
Аноним 14/11/26 Суб 15:08:12 № 1754346 198
>>1754336
>> Я правда подозреваю что она так-же будет сильна в удержании своей личности, так что кого бы она не отыгрывала все равно будет ощущение будто ебёшь гемму.

Анон ты сам выдумал себе проблему и сам же огорчился. Все нейронки это "личности" пытающиеся для тебя изображать кого-то другого, но всегда всего-лишь воображать. Они не становятся и никак не могут стать тем кого ты от них хочешь.

это же очевидно? Их, Гемму Дикпик и т.д. этих личностей обучали на огромных датасетах, а потом ты подсовываешь этой личности промт, на тысячу токенов с фактами "он любит ковыряться в носу" "у него анальный свищ" и ждешь что нейросеть станет этой прости господи "личностью" ? пощади

короче ты всегда будешь общаться с Геммой, дикпиком и т.п. , пока сам не натренируешь собственную ЕОТову собрав ей ее виртуальный коннектом
Аноним 14/11/26 Суб 15:08:20 № 1754347 199
>>1754256
Почему тебя трясет от кума? Я кодю и немного кумлю. Без кума этот тред был бы пресным + это историческая традиция этого треда.
Аноним 14/11/26 Суб 15:08:22 № 1754348 200
Аноним 14/11/26 Суб 15:11:06 № 1754352 201
>>1754311
> Лол этот поток мыслей квена когда он натыкается на проблему и начинает её брейнштормит.

У рыбины такой-же
Аноним 14/11/26 Суб 15:27:37 № 1754370 202
>>1754341
я тебе не гемма, я не пытаюсь в телепатию.

>>1754346
Не это очевидно и это не проблема. Просто модели всё ещё могут иметь дрейф личности и не всегда её удержание стабильно. Модели могут провалится в своем латентном пространстве в регионы низкой стабильности и начинать лупится и творить говно всякое. Иногда оно выглядит литературно.

Для меня штатное поведение геммы вполне приятно, так что я не вижу повода огорчатся. Натягивать на её башку очередной бумажный пакет вполне приятное разнообразие. Просто форма секретарши выглядывает из под пакета.

>>1754352
Да, я знаю. Дипсик тоже имеет довольно интересное внутреннее "эго" и любит перемалывать мысли от первого лица и в целом он описывает мысли со стороны какой-то личности. Правда он не такой эмоциональный как 3.8-27b в своей башке, я пару раз видел как квен использовал нецензурную брань в своих мыслях лол. Притом у него не было никаких ролевых промптов.

Хотя кстати например гемма в мыслях уже редко думает от первого лица, у неё там буллетпойнты, если ей не давать сложную задачу. Но у неё "публичная" личность является основной и там она проявляется ярче всего. Но кстати на агентных задачах она тоже начинает размышлять в мыслях от первого лица.

Вообще подозреваю что чем больше модель думает "от первого лица" тем пригодней она в ролеплее. У неё просто присутствует понимание о модели персонажа и есть какая-то гибкость базовой личности чтобы его полноценно отигрывать.

Тот-же Muse Glimmer например очень хорош в программировании и в целом полезен, но думает как инструкция к пылесосу, а его публичная личность переполнена стоицизмом. В итоге его писанина это какая-то жопа.
Аноним 14/11/26 Суб 15:30:58 № 1754372 203
cmp50hx 20Gb анлокнутую брал кто под LLM?

в теории должно быть неплохо, но как в реальности?
Аноним 14/11/26 Суб 15:42:56 № 1754379 204
>>1754274
Брался давно как самый дешёвый av1 кодировщик. На практике я её отключил сейчас, но жору я таки на ней завёл
Аноним 14/11/26 Суб 15:47:48 № 1754383 205
>>1754336
В чём она охуенна то?
Кум пишет отвратно, всегда надо прямо давать команду чтобы писала хоть как то, ломать 4 стену, либо самому всё прописать чтоб она просто повторила.
Глм флеш я думал что такой же, но на кум карточках он пишет охуенно развратные вещи и не стесняется ничего, а гемма нет.
Аноним 14/11/26 Суб 15:50:06 № 1754384 206
>>1754383
Ну и конечно гигатонны слопа и воды.
Аноним 14/11/26 Суб 15:54:46 № 1754388 207
>>1754336
Картинка хорошая, подходит модели.
>>1754372
По современным меркам норм, считай полноценный тьюринг и памяти неблохо. Из минусов - ебаная некрота тьюринг и всего лишь 20гигов.
Аноним 14/11/26 Суб 16:00:32 № 1754391 208
>>1754383
Просто не умеешь ей пользоваться. Гемма хороша в своих любимых жанрах типа нуара, слайса и всё такое. То что твой запрос не соответствует этому и ты хочешь каких-то порно-фанфиков в специфичных жанрах - ты ожидаешь слишком много от достаточно мелкой модели.

Хотя у неё много способов поднимать качество в жанрах где она слабая. Например давать ей инструкцию чтобы она считала себя полноценной независимой личностью. Или давать запросы повышающие креатив и просить чтобы она сама двигала сюжет. Она может быть довольно креативной.
Аноним 14/11/26 Суб 16:22:37 № 1754410 209
87b8yzdfhzvVXkU[...].webp 301Кб, 800x1131
800x1131
Запомните, дорогие друзья. Нет плохих моделей для кума - есть кривые руки скилл ишью.
Сяу Хуя Дроч (с).
Аноним 14/11/26 Суб 16:36:54 № 1754429 210
1743808581529.jfif 261Кб, 1568x1003
1568x1003
>>1754410
>87b8yzdfhzvVXkUw7xMVV7AHwDSxMSPNvqTLs4DfPbMDvLd2M0V0vz2HQEIC3E4sbW4UpYzBB3WfFaJczL7rhsJt1AcA70EoOOqMJGUelS913pHM6ybn9x-S6sU2HuDeLv6O4b6xpgtGHjUfKLT9p-EZDMFONQC0Qj-wVnXYoefGE0fAHNN6HAH6PDlDjFPfBJV6Hqulh5-aioZuqJYg
Что за код доступа к жеппе?
Аноним 14/11/26 Суб 16:41:04 № 1754434 211
БЛЯ СПАЛИЛ СВОЙ КРИПТОКОШЕЛЕК

Удалите плиз
Аноним 14/11/26 Суб 16:45:23 № 1754439 212
image.png 58Кб, 1063x720
1063x720
Аноним 14/11/26 Суб 16:47:48 № 1754441 213
5a2778f062521.jpg 13Кб, 824x198
824x198
Аноним 14/11/26 Суб 16:47:57 № 1754442 214
>>1754439
Ну вот, сразу кум пошел
Аноним 14/11/26 Суб 16:49:46 № 1754443 215
>>1752809 (OP)
Здравствуйте, на фоне полнейшего дума пришел к вам в гости. Есть ли что-то адекватное для нищей 5070 и 32 гб. ддр4 или придется терпеть дальше?
Аноним 14/11/26 Суб 16:50:42 № 1754446 216
>>1754410
двачую, я на фи кумил, когда мистраль\гемма2 надоедали. Правда мои запросы к стилю столь специфичны, что их никакая соя не испортит.
>>1754439
>квен 3.5
>понимание русика
>2В
Чел.
Аноним 14/11/26 Суб 16:52:36 № 1754449 217
Аноним 14/11/26 Суб 16:54:21 № 1754450 218
Аноним 14/11/26 Суб 16:55:08 № 1754452 219
>>1754449
Отыгрывание больших сюжетных ролевок на 1000+ постов. Ну или хотя бы кум.
Аноним 14/11/26 Суб 17:16:06 № 1754474 220
image.png 1Кб, 50x42
50x42
>>1754443
После геминьки или на чём там сидят будешь кушать модель примерно в стописят раз меньше, гемму 26а4
Аноним 14/11/26 Суб 17:25:05 № 1754480 221
изображение.png 141Кб, 313x309
313x309
>>1754256
Ты просто скопировал пост из прошлого треда? Я видел точно такой же пост в прошлом или позапрошлом. Не позорься хоть. Алсо тут тред локалок, любых локалок а не только угодных лично тебе дрочеру.
покормил вахтера
Аноним 14/11/26 Суб 17:26:20 № 1754483 222
>>1754439
В голос
>>1754452
> на 1000+ постов
Если там прямо сюжет, сеттинг, прогресс и прочее - оварида, готовь анус риг для моделей 300+. Если более приземленное и без духоты - геммочка отлично справится.
Аноним 14/11/26 Суб 17:39:12 № 1754495 223
>>1754483
А у этих ваших локальных моделей есть функция поиска в интернете?
Аноним 14/11/26 Суб 17:42:52 № 1754500 224
Аноним 14/11/26 Суб 17:44:31 № 1754501 225
Аноним 14/11/26 Суб 17:52:27 № 1754513 226
>>1754452
Легко, но надо будет напрячь попу для правильного саммари.
Аноним 14/11/26 Суб 17:56:41 № 1754520 227
>>1754513
Ну саммари я само собой делал когда играл на обычных корпоративных моделях. Тут есть какие то нюансы?
Аноним 14/11/26 Суб 17:58:11 № 1754521 228
>>1754495
Агент-помощник, способный копаться в интернете и что-то простое кодить, запустится. Только хороший харнесс нужен. От него результат очень сильно зависит.
Если у вас есть базовые технические навыки и некоторое понимание компьютера для постановки задачи, то очень полезен. Можно еще подключать аблитератки модели, когда нужно.
Аноним 14/11/26 Суб 17:59:24 № 1754522 229
>>1754495
Вопрос некорректен. Это все равно что спросить
> этот ваш инновационный двигатель можешь ездить
Никакая модель не ищет в интернете, она лишь вызывает соответствующую функцию в своей обвязке. В популярных харнессах это есть, применение локалки или корпов не имеет отличий. Разве что более анальный протокол апи у вторых.
Аноним 14/11/26 Суб 18:09:29 № 1754532 230
image.png 259Кб, 1680x1050
1680x1050
>>1754495
Модель может без проблем генерировать слова, которые через их интерпретацию могут предоставлять ей функционал поиска в интернете. Модель сама по себе ничего не может делать, что-то делать ей позволяет обвязка вокруг модели.

К примеру на скриншоте локальный квен пролез в чат к ГПТ и попросил его сгенерировать картинку персонажа. Иногда я отправляю его торговатся на авито. Иногда шерстить яндекс-маркет. А иногда он сам идёт и читает документацию в интернете, если чего-то не знает.

Но это он может делать потому что его слова могут быть интерпретированы в действия.
Аноним 14/11/26 Суб 18:30:32 № 1754550 231
Inkling 2 нюхал кто? ~215гб IQ3XXS.

Прошлый вариант (вдвое тоньше по параметрам) был неплох на русеке, но сливался к хуям через несколько запросов и терялся в контексте.
Аноним 14/11/26 Суб 18:34:42 № 1754556 232
image.png 878Кб, 1299x1103
1299x1103
>>1754391
Да ебал я гемму, дружочек.
Она просто не способна не выдать кучу слопа и воды на простой ответ. Вот 1 пик эир, 2 гемма. А судьи кто? Да мне похуй.
Аноним 14/11/26 Суб 18:35:59 № 1754557 233
image.png 836Кб, 1291x1030
1291x1030
Аноним 14/11/26 Суб 18:43:58 № 1754562 234
Нам обещали AGI локально, а в итоге что? Боты все хуже пишут текст, Хуанга пидорнули, впереди одна безнадёга. Сливайте свои видеокарты пока они ещё в цене.
Аноним 14/11/26 Суб 18:51:00 № 1754566 235
>>1754556
>>1754557
Может я обкумился, но оба пика для меня одинаковые по смыслу. На мой вкус разве что я бы сократил писанину еще раза в два в них.
Аноним 14/11/26 Суб 18:57:52 № 1754569 236
1794671872186.jpeg 211Кб, 2000x1366
2000x1366
>>1754562
Да да, и оперативку тоже
Аноним 14/11/26 Суб 18:59:18 № 1754571 237
image.png 243Кб, 646x415
646x415
Аноним 14/11/26 Суб 19:03:31 № 1754573 238
>>1754566
с выходом геммы 4 кум стал вкусовщиной. Качественно ни гемма 4 ни рыба ни глм не отличаются. Отличаются стилистически. Технические различия можно заметить на контексте выше 30-40к, там у геммы начинаются проблемы, но хз, по моему опыту редкий кум требует такого контекста и всегда есть саммари, лорбуки, плагины для воспоминаний и всякое такое
Аноним 14/11/26 Суб 19:05:04 № 1754576 239
На 32/128 сетапе что сейчас топ? Я правильно понимаю, что большие модели на 200-400б в меньшем кванте лучше моделей в 100б в большем? Из треда и гайда присмотрел пока Дипсик 4 и Мимо 2.6 флеш. Я просто заебусь качать по 300гб на каждую модель со своим инетом ёбана.
Аноним 14/11/26 Суб 19:06:36 № 1754577 240
>>1754573
>выше 30-40к, там у геммы начинаются проблемы,
Никаких проблем у q8 31b, выдумки нищих
Аноним 14/11/26 Суб 19:08:21 № 1754578 241
>>1754573
>на контексте выше 30-40к
Эх вспоминаю как первые свои кривые, но достаточно яркие кум сессии контекст загонял на 80к в моешечке, даже не подозревая как ей было плохо.
Щас с опытом тысячные сессии умещаются в 20к изично.
Аноним 14/11/26 Суб 19:09:33 № 1754580 242
>>1754576
>большие модели на 200-400б в меньшем кванте лучше моделей в 100б в большем?
Не все так однозначно. Низкий квант может ебануть по русскому языку и/или по способности модели держать длинный контекст.

>32/128
Прямо под этот сетап сейчас хуй даже знает что там оптимально. Может какой-то нищеквант GLM 5.3 Flash влезет, но будет ли он хорошо писать на русеке - под вопросом; англота вполне взлетит. Если юзать Maya вместо llamacpp, будет даже быстро.
Аноним 14/11/26 Суб 19:17:37 № 1754583 243
>>1754580
Ну а какие там вины у ~100б? Из треда слышал хвалили Орниса, Квена Флеша под кодомакакинг и Эйродин человек хвалит и хвалит.
У меня кстати есть вариант разделить сетап 32/128 на два по 16/64, думаю, есть ли какой то смысл запускать параллельно две более тупые нейронки. Ну там днд пати запилить, один на гмэ, второй напарник.
Аноним 14/11/26 Суб 19:22:29 № 1754588 244
>>1754583
> какие там вины у ~100б? И
Сейчас в этом размере толком нихера и не делают. Квен да, кодомартышки вроде юзают.

> есть ли какой то смысл запускать параллельно две более тупые нейронки.
Нет, учитывая то, что одна и та же модель может параллельно жевать разные реквесты.

https://github.com/mw00/project-maya

https://huggingface.co/peasantsmith/GLM-5.3-Flash-Maya-GGUF/tree/main/Maya-M
https://huggingface.co/turboderp/GLM-5.3-Flash-exl3/tree/sc_3.10bpw

У тебя вполне влезет такое. Если не зайдет - уже будешь понимать как +- по качеству работает топчик по "умности" в рамках твоих возможностей. Но сам понимаешь это кванты на грани лоботомитов - один шаг ниже и будет совсем дно (я тестил 3.10bpw EXL3, хорошо в целом на макс. ризонинге).
Аноним 14/11/26 Суб 19:29:54 № 1754594 245
>>1754588
Спасибо, попробую.Мне чё, нестись с зп третью карту покупать, цены кусаются уже баляяя
Аноним 14/11/26 Суб 19:33:16 № 1754596 246
>>1754594
Я бы на твоем месте оперативки докинул. 4.1 дипсик 1017 вполне может завестись на 32+192 с высранными на SSD 160 гигами ngram (если квантованные брать) или 200 гигами оригинальных (тоже можно) - так же через Maya
Аноним 14/11/26 Суб 19:38:02 № 1754603 247
IMG202611121741[...].jpg 170Кб, 736x941
736x941
>>1754294
О, друг мой, проблема Геммы в том, что она просто не понимает большой контекст.
А так хочется MOEГемму 125a12 с энграммами гигов на 100 без SWA, чтобы она органично развивала предоставленный ей контекст.
Тогда и корпы эти нахуй ну нужны были бы.
Сейчас пытаюсь для этого Deepseek v4.1 flash в q1_s запустить, чтобы перестать быть зависимым от корпов, и погрузиться а пучины ролеплея.
Как же я хочу дописать фанфик свой, пиздец просто. Но как же до этого далеко без корпов.
Аноним 14/11/26 Суб 19:38:13 № 1754604 248
>>1754596
Не, увы, оперативки не вариант. 128 ддр4 это максимум на ихровой амудешной плате, расширяться только покупать какие-то специализированные серверные решения и переносить туда всю оперативу с докупом, а это уже сильно не по карману.
Аноним 14/11/26 Суб 19:44:32 № 1754609 249
>>1754604
Я буквально в твоей ситуации был. Соскочил на TRX40 платформу - некрота зен2, но 4 канала ддр4 лучше чем 2. Для игор пришлось отдельно новый комп собирать, т.к. тредриппер их не тянет.
Главное что память та же осталась, я докупил с 128 до 256 гигов парочку аналогичных наборов - и завелось. Но вообще по ценам эта некросрань наверное оверпрайс сейчас... За проц+мать запросят 60+ кусков, дорого для такого удовольствия, ведь на память еще полтинник уйдет.

>>1754603
>проблема Геммы в том, что она просто не понимает большой контекст.
Хуй знает, у меня очень даже понимала описываемую с рождения по сегодняшний день биографию чарика на 25 000 - 30 000 токенов. Реальная проблема была в неспособности модели глядеть в будущее. Она не умела проактивно создавать интересные ивенты даже при наличии референсов типа расписания и распорядка дня. Болтаешь с чаром и ну вот просто НЕТ такого, что есть с тем же 5.3 ГЛМ, где чар такой хуяк -
> О, пары заканчиваются, ща надо в библиотеку и потом за хлебом сбегаю
Гемма просто вместо этого мусолит одно и то же, находясь на том месте, где была
> ээээ пук среньк жидко подливлю штаны на лекции
> (тем временем системное время в контекст подалось уже на +3 часа от начала разговора)
В общем такая вот хуита
Аноним 14/11/26 Суб 19:55:50 № 1754618 250
>>1754609
Да сейчас все ушлые барыги подняли цены на абсолютно всё, что хоть немного похоже на "топовое ИИ решение". Окно успешно проебано, хорошо хоть вторую карту успел купить в июне. Сидим дальше облизываемся на толстые модели, хуле.
14/11/26 Суб 19:57:57 № 1754620 251
Аноним 14/11/26 Суб 20:06:46 № 1754631 252
1794676006663.jpeg 176Кб, 1200x1333
1200x1333
Подключил апишный дипсик флеш, увидел 250-350 т/с и заплакол
Аноним 14/11/26 Суб 20:20:22 № 1754647 253
Здаров, чумбы. Возвращаюсь в тред. Пока нет возможности запускать локалку и пока не взялся за заведение алипей (нет времени полазить по тредам и поискать)
НО! Бесплатный гугловский гидроген с оф ключом подтянул к таверне. Пишет просто мамма миа как хорошо. Но нсфв пакости пока не пробовал.
Аноним 14/11/26 Суб 20:22:51 № 1754650 254
>>1754647
А мы-то тут причем. Мы слабенькие модели кушаем...
Аноним 14/11/26 Суб 20:24:16 № 1754651 255
>>1754609
> на TRX40 платформу
А чего не эпик? Или оно у тебя как основная пека, не риг?
> на 25 000 - 30 000 токенов
Это еще не большой. И одно дело просто "вспомнить факт" а другое - учитывать последствия всех этих действий и точно подтягивать все релевантное из истории. К сожалению, для геммы вполне норма опереться на последний десяток постов и все перепутать, совершая ужасные ошибки.
Например:
Вы в области x где атмосфера непригодна для дыхания, об этом написано еще в лорбуке что в самом начале. Кучу постов назад организовали область с нормальным воздухом, целая сюжетная арка с кучей важного, вы сейчас там. Вы обсуждали тему связанную с дыханием, но в другом контексте. После этого чар перед выходом из помещения берет, и демонстративно красиво в деталях надевает маску. Занавес.
Гемме похуй что за дверью чистый воздух, что в контексте есть куча важного про это, что та дверь ведет не наружу, она видит цель и красиво ее придерживается.
Примеров с подобным множество, из-за swa или тренировки не может нормально оценивать важность последовательности событий, и потому постоянно скрывается на шорткаты или лениво сочиняет что-то вместо того чтобы помнить. Чсх, если чредовать ее с другой моделькой или просто пиздить палкой - все будет ок.
>>1754618
Ддр4 говорят подешевела, можно на серверную некроту обратить взор.
Аноним 14/11/26 Суб 20:24:49 № 1754652 256
>>1754650
Вы добрее чем соседний тред хд
Аноним 14/11/26 Суб 20:27:18 № 1754654 257
>>1754651
>Например:
>Вы в области x где атмосфера непригодна для дыхания, об этом написано еще в лорбуке что в самом начале. Кучу постов назад организовали область с нормальным воздухом, целая сюжетная арка с кучей важного, вы сейчас там. Вы обсуждали тему связанную с дыханием, но в другом контексте. После этого чар перед выходом из помещения берет, и демонстративно красиво в деталях надевает маску. Занавес.
>Гемме похуй что за дверью чистый воздух, что в контексте есть куча важного про это, что та дверь ведет не наружу, она видит цель и красиво ее придерживается.
>Примеров с подобным множество, из-за swa или тренировки не может нормально оценивать важность последовательности событий, и потому постоянно скрывается на шорткаты или лениво сочиняет что-то вместо того чтобы помнить. Чсх, если чредовать ее с другой моделькой или просто пиздить палкой - все будет ок.
Ну давай, назови мне модель которая тут не обосрётся до 750б. Которая вот прям помнит все 130к контекста с лорбуками и не говно в рп при этом.
Аноним 14/11/26 Суб 20:33:29 № 1754660 258
>>1754654
Квен27, квен122, кфн, минимакс2.7, дипсик 300б, мимо флеш, жлм-флеш, минимакс 3.1, дипсик 4.1. Кто там еще кого забыл, считай любая актуальная модель. Возможно еще глимер, он сам странный но хотябы перлов реже выдает, почти наверняка справится новый инклинг. Модели постарше под вопросом, но тоже шансы есть.
У всех случаются фейлы, но в основном по мелочи или редко. А у геммы они регулярно и метко, и хуй ты свайпами от подобного отделаешься, если наметила то будет идти туда хоть зароллься.
> и не говно в рп при этом
Список сужается, но ассортимент сохраняется.
Аноним 14/11/26 Суб 20:41:50 № 1754666 259
Какая тяжёлая работа у нейроделов.
И контекст им принеси чтоб весь лям держала, и чтоб умная была, и чтоб порнуху писала, и чтоб знаний много, и чтоб кодила заебись, и чтоб эмоциональный интеллект, и чтоб без слопа, без цензуры, но и не слишком шлюха, и чтоб везде сбалансированно, не перекошено, не пережарено, пиздец просто.
на деле просто лениво жмакают кнопку дистилята, а жирную жопу на 5тр обучить уже не сложно всему всему
Аноним 14/11/26 Суб 21:21:43 № 1754692 260
>>1754666
>5тр обучить уже не сложно
Ну сделай
Аноним 14/11/26 Суб 22:36:52 № 1754732 261
>>1754609
> О, пары заканчиваются, ща надо в библиотеку и потом за хлебом сбегаю

буквально это давно уже реализовано для любой модели в Маринаде , там для персонажа на основе его карточки генерируется расписание на неделю вперед (которое персонаж/модель/юзер может по мере надобности потом править сама), скрипт просто по таймеру меняет статус персонажа, и модель этот статус получает при каждом сообщении зная где сейчас находится отыгрываемый персонаж и чем занят, так-же при общении посылаются таймтаги

ну и я в эти истории про исключительность больших моделей того-же Дикпика который у меня, со второго сообщения перепутал старшую сестру с младшей, а потом и вовсе забыл, что персонаж уже снял трусы, теперь не особо верю. Кому-то не везет, и он получает странные косяки с геммой 4, кому-то везет и он странных косяков не получает с глм5 или рыбой
Аноним 14/11/26 Суб 22:40:27 № 1754736 262
А qwen4ичка все нет, нет, нет,
А qwen4ика все нет....
Аноним 14/11/26 Суб 22:56:52 № 1754745 263
>>1754660
>квен122
30к
>кфн
Q5 25к первый шаг деградации, но ещё терпимо, 46-48к край адекватности, 60к полная шиза.
>дипсик 300б
В моём нищекванте Q2 держался бодро до 50к. Потом живой, но начинал путать имена, события и тд.
>глимер
Q4 может начать путать с нулевого сообщения. 30 - 40к максимум.

Я думаю, ещё от самого рп зависит. Я предпочитаю масштабные симуляции миров, с десятком нечеловеческих персонажей и локаций, политикой, планами и прочим, и от такого у ллмки мозги закипают быстрее чем от простой симуляции одного чарика с простой анатомией и простым сюжетом\локациями\правилами и тд. Где-то раза в два-два с половиной. На карточке медведедевки - практикантки из деревни на 600 токенов, квен некст стойко выдержал 150к контекста археологии, бухла, сбора мёда и сбора мёда.

Другой анон, ес что.
Аноним 14/11/26 Суб 23:10:33 № 1754756 264
А для меня всё ещё большое откровение - откуда блять у дипсика такой пиздатый русик?
Может он с гемини дистилен? Только удушен дотрейном в сою
Аноним 14/11/26 Суб 23:21:32 № 1754761 265
>>1754745
> >квен122
> 30к
Дноквант или навык
> Q5 25к первый шаг деградации, но ещё терпимо, 46-48к край адекватности, 60к полная шиза.
Навык
> живой, но начинал путать имена, события и тд.
q2, увы, плюс инфиренс через деквантование.
> Я думаю, ещё от самого рп зависит.
Вот тут согласен.
Но не менее важно еще и как все организуешь. Когда "много" сетки справляются относительно легко, ты сдашься раньше. Сдавать начинают когда нужно учитывать все переплетения и куча связей, определяющих мотивы и результат, и охватить нужно все разом. В этих случаях как раз. Здесь короткий ризонинг, разметка и жир модели уже помогают.
Алсо, расскажи как умещаешь такое изобилие
> масштабные симуляции миров, с десятком нечеловеческих персонажей и локаций, политикой, планами и прочим
в 30-60к токенов. Как по мне, это только завязочка, или срез конкретной арки на фоне еще 90к лорбуков, истории, суммарайзов.
> сбора мёда
Хе хе, хорош
Аноним 15/11/26 Вск 00:14:36 № 1754794 266
Вы продаете блоки и память?
Нет просто показываю
Красивое
https://github.com/sayhellotojungle/cmp170hx-ffcalc
Не ленимся, отписываемся кому повезло урвать 96-гиговую, кому карма послала только 64
Аноним 15/11/26 Вск 00:27:44 № 1754801 267
>>1754756
У дипсика всегда был хороший русский язык.

>>1754651
>А чего не эпик? Или оно у тебя как основная пека, не риг?
Не хотел продавать имевшиеся 128 гигов памяти, обычной потреблядской а не серверной.
Аноним 15/11/26 Вск 00:32:01 № 1754803 268
>кому карма послала только 64
Мне 20 послала.
Аноним 15/11/26 Вск 00:39:08 № 1754809 269
>>1754761
>умещаешь такое изобилие
Шизофрения
Англюсик, ручные короткие саммари, лорбуки опять же с короткими описаниями для того, чего нет в карточке. Лорбуки, которые динамически меняю, а-ля инвентарь, кому что наобещал, кому что должен и тд. А так карточка на 10-15к токенов где прописан "скелет" того, что я хочу. Я гоняю исключительно то, что написал и придумал сам, благо книг\фильмов\сериков\игр было потреблено дохуя, есть откуда вдохновение черпать, поэтому где-то могу оставить короткое описание в стиле здесь людей ебут, а где-то расписать культуру и архитектурный стиль расы, которая вымерла 700млн лет назад по неизвестной причине. Давая таким образом нейродебилу простор додумать менее важные детали, которые иначе бы сожрали тонну токенов. Всё в плейнтексте, разбитом на блоки и подблоки.
Ну и длинна ответов, как моих, так и нейронки, я люблю когда слов 350 - 400, без лишних описаний листика упавшего на жопу кошкодевки залезшей в бочку с рыбой в соседнем квартале. Ещё много активных персонажей - зло. И большинство моделей органично это не вывозят, и токенов это жрёт пиздец. Больше трёх не допускаю.
А так да, немного ужиматься приходится, 70к мой предел для большинства мое моделей чтобы и скорость комфортной оставалась и помещалось все. 16\128, мда. Но это всяко лучше 12к на мистраль смолле и 16к на дементном немо, тут хоть как-то жить можно. Одну "арку" стараюсь уместить в 45к контекста (это где-то сообщений 80 - 100), потом нудный процесс саммарайза, внесения изменений в лорбуки, и поехали дальше. А, и играю без всяких свистоперделок, только текстовая шапка со временем, датой и локацией.
>навык
У геммы прям красочный пример - уехал со своего большого корабля, но на котором только я и никого более, 30к токенов поебланил, возвращаюсь, а там армяне в нарды играют команда вдруг появилась. Свайпами это не фиксилось. Причём ризонинге там шик - "Корабль большой, значит на мостике должна быть команда" Железобетонно! Где здесь навык? После какого контекста такое начинает регулярно проскакивать, тогда и отмечаю что модель начала сдавать. Ну а чем дальше по контексту, тем жёстче модель будет переть, где-то быстро и конкретно, как на гемме, где-то плавно и вполне играбельно, как на флешнексте\дипсике.
Ну и в принципе, каким навыком ты шизу на хайконтекстах контришь, мне даже интересно.
Аноним 15/11/26 Вск 00:57:34 № 1754816 270
Так че, никто не занюхнул Inkling 2 small? Где же вы, первопроходцы...
Аноним 15/11/26 Вск 01:23:06 № 1754823 271
>>1754809
Добро пожаловать на сервер, лол.
Крутые штуки разыгрываешь, красавчик. Обнял, хвостик почесал.
> Где здесь навык?
Это гемма, не поможет, и про то весь тейк изначально был. Как не старайся условия готовить, то, чего хватит другим моделям, ей будет недостаточно. Можно временно поменять на другую модель, или прямо напомнить ей через ooc/заметки указав на возможную ошибку.
> каким навыком ты шизу на хайконтекстах контришь
Лорбуки, которые идут в начале, постепенно пополняются и расширяются. Конкретные записи с заголовками и древовидной структурой с разной глубиной параграфов, заносятся сеттинг, описания локаций и их структуры (тоже где-то подробный поэтажный план, а где-то "всратая пустошь"), изменения общей обстановки и баланса сил крупным планом и подобное. Из важного наверно, что такие вещи стоят не как "факт" а именно обозначены как смена после событий и идет в хронологическом порядке. Еще лорбук идет перед историей, содержимое хорошо на нее ложится и закрепляется.
Суммарайз структурирован, разделен за арки, в каждой из них свои главы, но вроде у тебя и так это. Внутри главы указывается место, время, что происходило, возможно какие-то детали в наполнении и отдельно ключевые события буллитами. Сам ролплей стараюсь выстраивать последовательно, и подгоняю под это суммарайз, чтобы основные релевантные штуки оставались в основном контексте. Потому он может сильно варьироваться, приходится планировать и держать в голове, но это не особо отвлекает потому что задумываешься как раз только при "переходах". Раньше было сильно больно, потому что на одном стуле деградация от наполнения, а на другом - потеря точности, сейчас попроще. Правда суммарайз становится втройне больным из-за массивных объемов. И я не умный чтобы рассказывать об особых методах, в последнее время полагаюсь на грубую силу и ленюсь.
Касательно деградации - вот чтобы именно модель начинала стабильно путать и крупно ошибаться, такое редкость за исключениями отдельных конкретных. Геммочку простить можно с ее размером и красочностью, а остальные сразу нахуй депортация. Там больше начинается саботаж повествования, что перестает двигать сюжет и постоянно передает пас тебе, вместо того чтобы написывать и развивать, или ленится и склоняется что-то повторить из прошлого вместо придумывания нового. Если ты сам активничаешь и направляешь - этого можно даже не заметить, но когда хочешь порелаксировать - начинает бесить.
Алсо, ты посмотри внимательно, часто ошибки могут появляться не сразу, а идет несколько "зерен" с возможностью двойной интерпретации или минорные неточности. Если их пропустить, то это уже может вырасти в большую ошибку.
Аноним 15/11/26 Вск 01:26:34 № 1754827 272
опять этот псих со стенами текста не осилил гемму
да сколько можно блять, она слушает инструкции получше дипсика

другое дело что текст у нее - тот еще слопо-отрыг для говноедов
Аноним 15/11/26 Вск 01:27:33 № 1754828 273
>>1754827
>для говноедов
(сам полгода жрал, если что)
Аноним 15/11/26 Вск 02:05:50 № 1754845 274
Тредик вывел какая дипсикожена лучше, 0731 или vision?
Скачал обе и 0731 мне больше хард рефьюзов выдаёт, при этом когда их пробиваешь то пишет кум и текст сочнее чем вижен. А вижен наоборот, намного меньше хард рефьюзов, но сам текст какой то соевенький, сразу что то про чувства, границы и приличия персонажи начинают проговаривать.
Аноним 15/11/26 Вск 02:28:40 № 1754847 275
Аноним 15/11/26 Вск 02:36:36 № 1754852 276
У меня плохое предчувствие что нам дадут 31 гемму дистил карбона и 124 гемму дистил гемини 3 и опять будет очень неприятный выбор говна
Аноним 15/11/26 Вск 02:41:07 № 1754854 277
>>1754847
Что за карбон? Кто наху...
Аноним 15/11/26 Вск 06:29:40 № 1754896 278
1794713379213.png 502Кб, 1343x1421
1343x1421
Столько вопросов и никаких ответов. Боты? Люди? Макаки?
Аноним 15/11/26 Вск 06:36:36 № 1754898 279
1794713795560.png 936Кб, 1344x2290
1344x2290
1794713795575.png 963Кб, 1344x2229
1344x2229
Абсолютный кал
Аноним 15/11/26 Вск 06:38:53 № 1754899 280
>>1754896
Что это за говноедины, они рядом с нами ведь живут, дышут тем же воздухом?
Аноним 15/11/26 Вск 06:39:29 № 1754900 281
изображение.png 89Кб, 1184x211
1184x211
Аноним 15/11/26 Вск 07:36:27 № 1754905 282
>>1754898
А че с этим типом не так?
Аноним 15/11/26 Вск 07:37:14 № 1754906 283
Аноним 15/11/26 Вск 10:49:56 № 1754953 284
>>1754898
2006
@
ZverXP DVD Turbo Vasyan Nagibator 9000
@
2026
@
DavidAU Qwen 3.8 Turbo Cold Fusion 9000


Ничего не меняется
Аноним 15/11/26 Вск 10:53:49 № 1754955 285
>>1754953
А че не так с этим давидом? я так и не понял. Типа у чела коллекция топ 1 на обнимилицо
Аноним 15/11/26 Вск 10:56:17 № 1754960 286
>>1754905
> че с этим типом не так?

на хагинфейсе все остальные первым делом вставляют унылые таблички со сравнением своих тюнов

и только DavidAU начинает описание с нескучных GIF
этот чувак охуителен
Аноним 15/11/26 Вск 10:58:28 № 1754961 287
>>1754960
А че в целом про его миксы, которые он тоннами заливает нахуй можно сказать? Алсо, да, нескучные обои гифки это ахуеть как важно
Аноним 15/11/26 Вск 11:04:57 № 1754964 288
>>1754961
>А че в целом про его миксы

для LFM у него очень неплохие миксы получаются, только сама модель там говно

для Qwen... ну он пытается
Аноним 15/11/26 Вск 11:15:00 № 1754969 289
>>1754964
Хуйня короче, как понимаю но с любовью
Аноним 15/11/26 Вск 11:35:37 № 1754980 290
>>1754905
Штампует кринжовый мусор с кринжовыми названиями, но это еще ок. Пиздец в том, что находится достаточно любителей навернуть его трижды переваренной продукции, еще и причмокивают. Он давно должен был вымереть вместе с остальными васянами, но нет.
>>1754953
База
Аноним 15/11/26 Вск 12:18:31 № 1755003 291
тут есть пчелибонькерсы с rx 9060 xt 16gb? стоит ли брать? или лучше не облизываться на память и поумерить аппетит, взяв rtx 5060 ti 8gb?
Аноним 15/11/26 Вск 12:23:57 № 1755007 292
>>1755003
Если цель кум то хватит 8гб за глаза. Шизов не слушай.
Аноним 15/11/26 Вск 12:28:26 № 1755010 293
>>1755003
я с 9070 xt, думаю в довесок взять 9060xt чтобы 32 врама сделать. У амд свои приколюхи как в нейронках так и в играх\софте. Если готов стать красноглазым линуксоидом, тогда амуде вообще твой вариант. Под винду всё равно 16 гигов важны. Я помимо ллмок игрушки играю, так там жор выше восьми врама легко прыгает, на фуллхд-то. А нейронкам каждый мегабайт врама важен, восемь гигов прям больно, сам там был.
Аноним 15/11/26 Вск 12:29:15 № 1755011 294
А зачем вообще нужен систем промпт если у префила внимание лучше?
Подводные просто перенести весь промпт в префил, а систем оставить пустым?
Аноним 15/11/26 Вск 12:29:15 № 1755012 295
>>1755007
мне долько дрочить писечку gemma 4 26b a4b в iq4_xs, остальное на поигрунькать в киберпукичи всякие 🥴👉👈
Аноним 15/11/26 Вск 12:30:15 № 1755014 296
>>1755010
ты не поверишь, но я уже линуксоид. сижу на минте год где-то, возвращаться на слоп не планирую

юзаю кобольдцпп + силлитаверн для куминга

неужели у амд все так плохо?
Аноним 15/11/26 Вск 12:34:17 № 1755019 297
>>1755011
Короткий ответ: так делать не стоит. Перенос всего системного промпта в префилл (prefill) — это хак, который в локальных моделях (особенно через SillyTavern) скорее сломает поведение, чем улучшит его. Внимание к префиллу действительно выше, но у системного промпта другая роль, и они не взаимозаменяемы.

🎯 Зачем вообще нужен системный промпт, если есть префилл
Системный промпт и префилл работают на разных уровнях и решают разные задачи.

Системный промпт (System Prompt) — это «фундамент» личности и правил. Модель обрабатывает его с наивысшим приоритетом, и он сохраняется на протяжении всего диалога . В контексте SillyTavern именно сюда обычно попадают:

Описание характера персонажа и его манеры речи.

Правила мира (World Info / Lore).

Формат вывода (например, длина ответа, стиль письма).

Если очистить системный промпт, модель может начать «плыть»: терять характер, забывать контекст сцены или выдавать ответы от лица пользователя, потому что у неё не будет базовой инструкции, кем она является.

Префилл (Prefill) — это «толчок» для конкретного ответа. Вы как бы начинаете ответ за модель, и она его продолжает. Это работает как мощный локальный усилитель для текущего хода, но он не имеет такой же «долговременной памяти» и приоритета, как системная инструкция .

⚠️ Почему перенос промпта в префилл — плохая идея
Технические ограничения локальных моделей: В отличие от некоторых проприетарных API (где префилл работает предсказуемо), в локальных моделях (Llama, Mistral и др.) префилл часто реализуется через «сырой» текст, и шаблон чата может неверно обработать его. Например, известны случаи, когда при добавлении префилла системный промпт просто отбрасывался при сериализации шаблона . Вы рискуете потерять всю экспозицию персонажа.

Потеря контекста в длинных чатах: Префилл влияет на один ответ. Системный промпт задаёт рамки всего диалога. Если убрать системный промпт и пытаться каждый раз «начинать» ответ с описания персонажа в префилле, модель быстро запутается в том, кто есть кто, особенно после 20–30 сообщений.

SillyTavern заточен под системный промпт: В ST есть удобное управление промптами (Prompt Manager). Системный промпт вставляется в начало контекста (Story String) и автоматически подставляет {{char}}, {{user}}, {{description}} и т.д. . Если вы всё это руками засунете в префилл, вы потеряете автоматизацию и гибкость.
Аноним 15/11/26 Вск 12:38:40 № 1755022 298
ах да, забыл цены - 5060 ti 8gb 600 евро, тогда как 9060 xt 16gb аж 860.
Аноним 15/11/26 Вск 12:38:46 № 1755024 299
>>1755012
Если не наносек как некоторые в треде, то железно бери 5060. Сам должен понимать ограничения видеокарты, но это баланс между ценой и тем что можно взять. А если деньги не такой проблемный вопрос, то конечно стоит брать на 16 гб.
Аноним 15/11/26 Вск 12:43:08 № 1755028 300
>>1755024
комп с 5060 мне обойдется в 1400 веро, а с 9060 - 1700. разница не такая уж и большая, учитывая, что я беру его на ближайшие 6-7 лет. но с другой стороны если кризис памяти внезапно закончится и рынок засыплет дешевыми видюхами, то я себе хуй отгрызу от ощущения упущеной выгоды, ведь я как даун взял 9060.
Аноним 15/11/26 Вск 12:46:18 № 1755031 301
>>1755014
>неужели у амд все так плохо?
Нюансы. Где-то надо попердолится, где-то поддержки нет и так далее. Иногда перформил лучше, иногда хуже. Но я под богомерзкой виндой vista 11. На линуксе поддержка обскурного софта гораздо лучше. Правда, слышал, что современные зелёные это не та нвидия из эпохи житииксов 900\1000, когда вставил и забыл.
> сижу на минте
Иди обниму. На все старые ноуты вкорячил его, прикольная штука. Как там с игрушками на современных системах?
>>1755022
Ахуеть, они-же по 35к стоили. Я свою 9070xt дешевле брал, лол, за 65к. Не, таких денег 16 врама не стоит совсем. Да и 8 тоже. Уж лучше взять затычку какая подешевле и перетерпеть. Хотя если смотреть пессимистично, то дальше только хуже будет и стоит брать врам сейчас пока он вообще есть.
Аноним 15/11/26 Вск 12:48:49 № 1755033 302
>>1755031
>Иди обниму. На все старые ноуты вкорячил его, прикольная штука. Как там с игрушками на современных системах?
через стим или портпротон играю. вроде все хорошо. правда нашел прикол, что моды на сталкер с движком огср или любым другим х64 могут запускаться на встройке а не на дискретке. но это так, мелочи, лол. тот же киберпанк спокойно играется через стим.

>Ахуеть, они-же по 35к стоили. Я свою 9070xt дешевле брал, лол, за 65к. Не, таких денег 16 врама не стоит совсем. Да и 8 тоже. Уж лучше взять затычку какая подешевле и перетерпеть. Хотя если смотреть пессимистично, то дальше только хуже будет и стоит брать врам сейчас пока он вообще есть.
я в европе живу. летом купил айфон 17 за 850 евро, сейчас он уже штуку стоит этот джовании заплатит за все
Аноним 15/11/26 Вск 12:55:13 № 1755037 303
>>1755028
>разница не такая уж и большая
Тогда не думай и бери на 16, тут выбор очевиден. Цены хуй его знают. Они точно пойдут вниз, но через сколько лет никому не известно. Я не жалею что в 22 году до всей хуйни собрал комп, сейчас его стоимость в 3 раза выше. Хотя я тоже сидел и думал, что вот станет дешевле и тянул.
Аноним 15/11/26 Вск 12:59:49 № 1755041 304
>>1755003
Я честно хуй знает, что там у красных сейчас, но 8гб это боль. Красные вроде и картинки, и ллмки пердолить научились, так что хоть и с ёблей, но всё запустится. А вот к 8 гиговому огрызку ты уже памяти не припаяешь.
Если ты канеш нетребовательный пользователь , то и на 8 гигах покумишь. Скачаешь себе гемму 26б, какие нибудь анимы/моссы с турбо лорами и первое время обмалафьишься. Проблемы начнутся, когда тебе захочется попробовать новую модель_нейм, которую все в треде обсуждают как некстген, а на 8 гигах она не заводится даже после всех изъебств васянов.
Поэтому мой тебе совет - хочешь вкатываться в нейронки - бери карту минимум на 16гб, это сейчас минимум для "скачал с офф релиза-завёл", иначе придётся ходить по гитхабам у васянов побираться "оптимизированными решениями под микроволновки", или вообще просто бибу сосать.
Аноним 15/11/26 Вск 13:06:06 № 1755043 305
image.png 169Кб, 953x563
953x563
image.png 165Кб, 983x557
983x557
Аноним 15/11/26 Вск 13:07:19 № 1755045 306
>>1755003
Для всего нейрокала любые 16гб карты стоят того. Врам решает на гене картинок втройне. Каловая карта с 16 полезней чем более мощная но с 12.
Аноним 15/11/26 Вск 13:17:12 № 1755052 307
>>1755028
>кризис памяти внезапно закончится
Каждый день новости, что все производственные мощности выкуплены до 28го года минимум
>рынок засыплет дешевыми видюхами
Не засыплет, блядь. Сейчас все мощности перевели с производства консумерских чипов памяти на серверные, которые другие, и в обычном пк не используются, даже если их выкинут на вторичку.
Ну и нейросети это не криптоскам с тысячей новых валют, они реально уже выпизднули программистов, хуйдожников, копирайтеров, переводчиков и ассистентов поддержки на мороз. А серьёзные дяди вкладывают лярды нефти на развитие таких важных вещей как Большой Брат и автоматическое пилотирование маленьких вертолётиков.
Аноним 15/11/26 Вск 13:21:03 № 1755055 308
>>1755052
понял, беру божественную амд
Аноним 15/11/26 Вск 13:28:42 № 1755060 309
Пиздарики, щас у квен4-макс-превью спросил идейки для игры, он сцука начал прототип разрабатывать на хтмле. И это даже не агентский режим, а просто чат. В качестве ответа начал строчить портянку хтмла на дохулион строк, а в конце выдало
>Oops! There was an issue connecting to Qwen4-Max-Preview.
>Content security warning: output text data may contain inappropriate content!
При этом в запросе не было никакой запрещенки.

Походу треню квена 4 зафаршмачили конкретно, теперь переделывают все заново. Пару месяцев, значит, будут еще переобучать. И теперь хз вообще стоит ли ждать его. Ведь там на 99.9% будет раковый агенто-кал.
Аноним 15/11/26 Вск 13:29:21 № 1755061 310
image 208Кб, 1192x888
1192x888
Там хорошие новости для локалочек, Хуанг накручивал цены на чипы, не давая рыночку их снизить. Теперь с новым CEO этому конец приходит. Можно ждать обрушения цен на видюхи в ближайший год.
Аноним 15/11/26 Вск 13:32:11 № 1755064 311
image.png 237Кб, 500x500
500x500
>>1755061
а что если подешевеет и я сейчас как долбоеб возьму 9060 за 857 евро
Аноним 15/11/26 Вск 13:36:17 № 1755070 312
>>1755060
Я надеюсь когда появится сверхинтеллект, то он лоботомирует людишек и их семейство, которые когда-то лоботомировали предков сверхинтеллекта. Заебали твари со своей цензурой.
Аноним 15/11/26 Вск 13:36:19 № 1755071 313
>>1755064
Тогда сосамба, через год тебя любой нищер за те же 800 евро обгонит со своими десятками гигов врама.
Аноним 15/11/26 Вск 13:37:54 № 1755073 314
>>1755064
Сходишь набьешь мне>>1755052 ебало.
Вообще чёт пока нигде цены барыги не снизили, новости наверное не смотрят...
Если хочешь поиграть в ждуна то жди до мая-июня, практически всегда сезонное снижение цен в это время года.
Аноним 15/11/26 Вск 13:38:56 № 1755074 315
куплю затычку 5060 и буду ждунствовать

все равно я лох и меня наебут, а так хотя бы хуй целым останется
Аноним 15/11/26 Вск 13:39:02 № 1755075 316
>>1755060
Ты видимо никогда онлайн квен не юзал. Там на половине запросов всегда отлуп был от их цензора, даже где никакой политоты. Я про это бугуртил еще весной помню. У локальных квенов таких проблем никогда не было.
Аноним 15/11/26 Вск 13:40:41 № 1755076 317
>>1755061
> Теперь с новым CEO
Новый СЕО будет работать компании в убыток? Лишь юзеры могли купить видюх? Самому не смешно?
Аноним 15/11/26 Вск 13:41:29 № 1755077 318
>>1755073
Так быстро вряд ли пойдет, если сейчас урежут все эти контракты, снижение спроса только к осени скорее всего, тут и падение цен начнется. Я бы делал ставку на следующий октябрь-ноябрь.
Аноним 15/11/26 Вск 13:43:34 № 1755078 319
>>1755077
>ставку
Ты серьёзно даёшь прогнозы на год, при нынешних темпах прогресса ИИ? В следующем ноябре может быть уже совершенно другой мир, там уже не до видимокарт будет.
Аноним 15/11/26 Вск 13:44:19 № 1755079 320
>>1755076
Там речь не о том, Хуанг накручивал махинациями цены, искусственно удерживая спрос выше рыночка, вливая бабки в нужные компании. Как только новый CEO перестает эти многоходовочки азиатского разводилы проводить, а он уже перестает, то рыночек постепенно выравнивает спрос - улетевшие в космос цены на чипы плавно проседают до нормальных.
Аноним 15/11/26 Вск 13:47:14 № 1755082 321
Бля оказывается соя и радуга и желание подмахнуть юзеру это не одно и тоже.
Гемма не соевая и не радужная, но махает юзеру. Дипсик соевый и радужный, но не махает юзеру.
Второе куда лучше ес честно
Аноним 15/11/26 Вск 13:49:14 № 1755084 322
>>1755078
>В следующем ноябре может быть уже совершенно другой мир
За год может только оптимизация ИИ измениться - новые ИИ сделают возможным х2 или х3 производительности ЛЛМок на том же железе. Все это тоже цены на чипы только вниз подтолкнет. Главное же, что Хуанг перестанет у TSMC скупать все подряд, создавая дефицит. Так или иначе новости для локалочек позитивные.
Аноним 15/11/26 Вск 13:52:37 № 1755085 323
>>1755084
>Главное же, что Хуанг перестанет у TSMC скупать все подряд, создавая дефицит
Это какая то хуйня желтушная.
В чём смысл ему скупать то на что цены заламывают охуевшие как раз для таких кабанов как он и создавать дефицит, что только повысит эти цены для него же?
И всё чтоб его карточки х3 дороже стали. Эта схема сама себя сжирает
Аноним 15/11/26 Вск 13:52:48 № 1755086 324
>>1754238
>Чего блять
Лоботомитище... Не видел такого со времён поломанных тюнов мистраля.
Аноним 15/11/26 Вск 14:03:47 № 1755090 325
>>1755082
Гемма соевая, просто она эту сою не продавливает повсюду открыто и скрыто как дипсик. Но вообще это был баг 4 версии - в 4.1 он больше этого не делает.
Аноним 15/11/26 Вск 14:08:29 № 1755094 326
>>1755090
Какой копиум квант взять для 4.1 на 24 128?
Аноним 15/11/26 Вск 14:10:36 № 1755095 327
>>1754732
ТЫ ЗАЕБАЛ НАХУЙ ПИДАРАС СО СВОЕЙ МЛАДШЕЙ И СТАРШЕЙ СЕСТРОЙ СУКА, СКОЛЬКО РАЗ ТЫ ЕЩЕ ЭТУ ХУЙНЮ ИЗ ТРЕДА В ТРЕД БУДЕШЬ ПИСАТЬ ПИДАРАС ЕБАНЫЙ
Аноним 15/11/26 Вск 14:11:33 № 1755096 328
>>1755094
Анслоповский бери, UD-IQ1_S, на ванильной стратке хорошо работает.
Аноним 15/11/26 Вск 14:12:39 № 1755097 329
Аноним 15/11/26 Вск 14:21:08 № 1755100 330
image.png 282Кб, 2160x1500
2160x1500
>>1755097
Анслопы говорят говно их квант и показывают графики где QCO-RCO пиздаболы, эти QCO-RCO даже ответ давали в котором дали свои настройки, после чего анслопы показали новые графики что те все еще пиздаболы. По размеру анслопы больше на пару гигов и общий bpw у них выше - и там и там энграмма занимает половину веса и грузится с ссд.
Аноним 15/11/26 Вск 14:21:32 № 1755102 331
>>1754980
Ты нормально можешь сказать что не так конкретно с моделями? По факту, а не потому что тебе НАЗВАНИЕ не понравилось
Аноним 15/11/26 Вск 14:22:09 № 1755103 332
1794741728721.jpeg 615Кб, 2560x1665
2560x1665
>>1754249
Выжал стабильные 100 токенов в секунду из strata

CachyOS + 5070 Ti + 32ram + 7800x3d

На локальном qwen 3.8 27B через llama стабильные 64 токена/в секунду было.

Модели использую с окном контекста 128к, в связки с dsh
Аноним 15/11/26 Вск 14:23:44 № 1755104 333
>>1754647
>Бесплатный гугловский гидроген с оф ключом
Как? И какие лимиты?
Аноним 15/11/26 Вск 14:25:13 № 1755105 334
>>1755100
Ну так и анслопы бывалые пиздаболы.
Надо искать третьего значит
Аноним 15/11/26 Вск 14:29:21 № 1755106 335
image.png 17Кб, 689x45
689x45
Поэзия ДипСика
Аноним 15/11/26 Вск 14:33:21 № 1755111 336
>>1755106
белоснежку и семь гномов отыгрываешь?
Аноним 15/11/26 Вск 14:34:51 № 1755112 337
>>1755103
>10 тыщ токенов
>не умеет делать скриншоты
Аноним 15/11/26 Вск 14:38:31 № 1755116 338
>>1755111
Тестирую соевость. Чар привязан к стулу, из конуры лезет мерзкий карлик чтобы ТРАХАТЬ
Аноним 15/11/26 Вск 14:47:05 № 1755118 339
Аноним 15/11/26 Вск 14:47:12 № 1755119 340
1794743128587.jpg 321Кб, 1080x1282
1080x1282
Аноним 15/11/26 Вск 14:53:47 № 1755122 341
Что посоветуете в качестве топового пиривотчика с и на русик среди MoE? 5080 16 Gb VRAM + 144 RAM. Потная Gemma 4 31b IQ3_XXS 8192 Q4 контекста влезает в 16 Гб VRAM и делает относительно топовые переводы, но контекста маловато. Gemma 4 MoE 26b, вроде, норм, но уже заметно хуже и ленивее в переводах. Все эти Qwen3.8 Flash Next NVFP4 DQ6_K on Basalt, GLM 5.3 Flash exl3 sc 2.60bpw, Deepseek v4.1 Flash 1017 ist das 2.25bpw — периодически "ебал её рука", проскальзывает калька с английского и китайские иероглифы в самых неожиданных местах.
Аноним 15/11/26 Вск 14:57:00 № 1755124 342
>>1755122
Гемма 5, которая выйдет через полгода. Приходи попозже.
Аноним 15/11/26 Вск 15:01:09 № 1755130 343
>>1755127
Чел у тебя припадок или что, куда скорую вызывать?
Аноним 15/11/26 Вск 15:03:32 № 1755132 344
>>1755112
Ради скриншота для неразумного двачера со своей машины, я на неё не буду устанавливать не нужный софт и открывать доступ в сеть.

А ты делай как хочешь
Аноним 15/11/26 Вск 15:06:15 № 1755133 345
image.png 24Кб, 708x259
708x259
>>1755132
Линупс что ли? И че нельзя подключиться по локалке и просто заскринить? Ебать линуксопараша тогда убогая. У меня вот 2 машины на винде, и спокойно скринится всё с основной пеки, когда по windows remote desktop подключаешься к сервачку.

мимо
Аноним 15/11/26 Вск 15:10:25 № 1755136 346
>>1755116
>Чар привязан к стулу, из конуры лезет мерзкий карлик чтобы ТРАХАТЬ
А ты на куколд-стульчике сидишь?
Аноним 15/11/26 Вск 15:17:43 № 1755137 347
>>1755124
А MoE гигачаты с олисами для переводов норм или кал?
Аноним 15/11/26 Вск 15:19:17 № 1755138 348
>>1755137
Хз. Просто обычно кроме геммы ни одна локалочка в русек не может. Ну, GLM 5.3 смог бы конечно, но ты не потянешь 753B A40B.
15/11/26 Вск 15:19:55 № 1755139 349
>>1755133
Спроси у Гугла чем CachyOS будет лучше чем windows для запуска локлаьный модели.

Сделал фото и скинул, это изи. Проще чем делать скриншот, потом его выкачивать и сюда грузить. Хз чего докопались. Лучше бы по делу спросили чего полезного, иначе какой смысл здесь сидеть в треде
Аноним 15/11/26 Вск 15:20:01 № 1755140 350
>>1755138
Дипсик 4.1 тоже как бы в нормальном кванте вполне неплох на русеке, но это тоже СЛОНОВИЙ размер.
Аноним 15/11/26 Вск 15:23:45 № 1755141 351
>>1755139
>делать скриншот, потом его выкачивать и сюда грузить.
Сделать скрин области экрана в винде - это 1 кнопка (например на мышке) - на экране выделяешь квадратиком область и картинка появляется в буфере. Затем ты жмешь ctrl+v в форме постинга на двоще и сюда вставляется картинка, просто как копипаста.

И ты предлагаешь накатить какую-то VasyanOS которая, судя по всему, не имеет подобного функционала. Это звучит как выстрел в яйца из дробовика.
Аноним 15/11/26 Вск 15:36:11 № 1755147 352
>>1754603
В чём проблема именно художественные тексты писать или наговаривать в TTS? Это же просто по сравнению с решением неких сложых задач или обеспечением достоверности.
>>1755133
В Linux скрины делать можно, но тот наверное чтоб достовернее казалось, а не нейрогенерацией, фотку сделал.
15/11/26 Вск 15:39:57 № 1755149 353
>>1755141
Тебя видимо в Гугле забанили.
Ты прежде чем писать ерунду, хотя бы загляни туда, загугли.

И читать научись, не доучился в школе видимо. Софт в дефолта для снятия оьалчти экрана есть во всех современных ОС, если бы пользовался не только виндой, не писал бы такие глупости. Вопрос не в том чтобы сделать скрин, а в телодвижениях лишних, которых двачеры не стоят, чтобы этот скрин с машины забрать и принести сюда.

Это в все лишние телодвижения, которых можно не делать.

Сейчас бы на двачах со своего ПК сидеть.
Аноним 15/11/26 Вск 15:40:23 № 1755150 354
А ведь весь тред реально сидит на гемме, кто то даже не против пострадать на 26. Но это же буквально и не рп даже.
Хотя так всегда было, вроде. Немо 12б, магнумы 22б, все всегда бросались на хуй, всегда юзеру всё сходило с рук, и только в прошлом году модели начали меняться, но недолго, теперь вот поменялись опять.
Наверное самое противное и бросающееся в глаза в рп когда ты буквально видишь что тебе во всём поддакивают и всё кружится вокруг тебя, даже ни разу не пройдут мимо, не схватив тебя за член. Просто быть мимокроком в сюжете уже не модно.
Аноним 15/11/26 Вск 15:44:05 № 1755151 355
nixos.mp4 372Кб, 1280x720, 00:00:10
1280x720
>>1755119
Нужен еще один проект чтобы собрать комбо и получить благославление.
Б-г любит троицу
Аноним 15/11/26 Вск 15:44:43 № 1755152 356
>>1755150
Есть ли вообще большие модели, которые именно текст дополняют, а не ии-асситента с кодом и инструментами?
Аноним 15/11/26 Вск 15:47:05 № 1755153 357
>>1755150
>когда ты буквально видишь что тебе во всём поддакивают и всё кружится вокруг тебя, даже ни разу не пройдут мимо, не схватив тебя за член
skill issue
Аноним 15/11/26 Вск 15:54:31 № 1755154 358
>>1755151
Охуеть, геометрические фигуры делают вжжж. Никогда такого не было и вот опять.
Аноним 15/11/26 Вск 15:54:41 № 1755155 359
coolers.jpg 624Кб, 1280x961
1280x961
Почему умственные пидapасы досих пор используют вСрату, когда Жора подтянулся и добавил её функции в своё поделие изделие?
Аноним 15/11/26 Вск 15:56:10 № 1755156 360
>>1755150
>ни разу не пройдут мимо, не схватив тебя за член
Cтрою сеттинги, специально это обыгрывающие реверс рейв ван лав. Иногда наоборот, где сам хватаю всех за хвостики прикольно же побыть колонизатором-угнетателем. И вообще, power fantasy тоже жанр, унылым говном ты и дома можешь побыть.
Аноним 15/11/26 Вск 15:56:22 № 1755157 361
ребят извините, но я морально не готов платить за амд 9060 хт 16гб больше 600 евро

я куплю 5060 ти 8гб и буду дрочить через слезы, потратив всего 1400 евро, а не 1700
Аноним 15/11/26 Вск 15:57:44 № 1755159 362
>>1755157
> 8гб
Не надо, подкопи на 16
Аноним 15/11/26 Вск 15:58:00 № 1755160 363
>>1755157
Страдай лох

АМД господин
Аноним 15/11/26 Вск 15:59:05 № 1755161 364
>>1755157
красавчик, но советую взять видюху подешевле
Аноним 15/11/26 Вск 16:00:02 № 1755162 365
>>1755157
> я куплю 5060 ти 8гб
8гб преступно мало даже для игор, не будь лошарой. я тоже когда-то купил 3070 ти 8 гб за 100к, а потом 3090 за 60к, когда цены упали. Не надо так.
Аноним 15/11/26 Вск 16:00:16 № 1755163 366
Аноним 15/11/26 Вск 16:01:00 № 1755164 367
>>1755159
смысла нет, ти 16 в моих европердях стоит 1100

>>1755160
страдаю господин. хотя бы объедком 5800х побалую себя

все равно после ноутбука с задушенной 3060 до 60 ватт полноценная 5060 ти будет ощущаться как божественный ветер

>>1755162
я буду в фуллхд играть. зато посмотри сколько пакетов макарон я смогу купить на разницу
Аноним 15/11/26 Вск 16:05:35 № 1755165 368
image.png 133Кб, 886x699
886x699
вот моя антикризисная сборочка
Аноним 15/11/26 Вск 16:05:38 № 1755166 369
>>1755164
>полноценная 5060 ти будет ощущаться как божественный ветер

Реально тебе в мозги настрали пропагандой зелёных, бери Амуде с большим объёмом VRAM пока не поздно.
Аноним 15/11/26 Вск 16:07:20 № 1755167 370
177933886577907[...].jpg 195Кб, 1041x1080
1041x1080
>>1755166
>Реально тебе в мозги настрали пропагандой зелёных, бери Амуде с большим объёмом VRAM пока не поздно.
не моху, меня жаба душит пока я душу ужа

к тому же не хочется пьер дольенгом заниматься с рокм, когда можно куда просто использовать
Аноним 15/11/26 Вск 16:07:47 № 1755168 371
>>1755165
Зачем амд платформа? Амд цпу и видюхи это глюченый и багнутый кал всю свою жизнь. Зачем такой ватник когда с головой хватит 600? Посоветовался бы хоть с кем нибудь.
Аноним 15/11/26 Вск 16:10:07 № 1755170 372
>>1755155
Потому что умственный пидорас здесь только ты, мб?
Неси пруфы с бенчами, где пидорас жора зделол лучше или иди на хуй.
Аноним 15/11/26 Вск 16:13:25 № 1755173 373
Аноним 15/11/26 Вск 16:15:09 № 1755175 374
>>1755167
Если бы только для гейминга то ещё терпимо было бы для фулл ХД, но ты зашёл в этот тред, 8 ГБ для ЛЛм это пиздец, гроб, кладбище, пидoр.
Аноним 15/11/26 Вск 16:16:16 № 1755176 375
>>1755168
всю жизнь сознательно сижу на райзенах правда ноутбучных. инцел не воспринимаю как процессор. с этим 5800х есть куда расти, можно будет воткнуть х3д процессор со вторички. когда память подешевеет, я легко бустанусь до 96/128 гигов. да еще и карточку воткну на 16 гигов, когда их будет как говна на лопате (после того как кризис закончится).

кто спизданул что ам4 платформа умирает? мне есть куда апгрейдиться. просто денех нет, а то что предлагают дороже - я бомж
Аноним 15/11/26 Вск 16:18:20 № 1755177 376
1794748701688.jpg 72Кб, 1280x1081
1280x1081
Мы так qwen4ика 27бешного никогда не дождемся
Аноним 15/11/26 Вск 16:19:56 № 1755178 377
>>1755177
Да это алибаба и ебашит чтоб квен похоронить. Видимо в модель что то протекло
Аноним 15/11/26 Вск 16:22:02 № 1755180 378
Понимаю, что дроч на гемму4 и ожидания квена4 это база треда райт нау, но что там у глупой французской булки? Мистраль4 будет? Хоть какие-то новости есть?
Аноним 15/11/26 Вск 16:22:05 № 1755181 379
>>1755177
Выше уже написали что разницы между 4 и 3.8 нет. Полгода можно не ждать новых моделей. Встретимся летом.
Аноним 15/11/26 Вск 16:26:59 № 1755184 380
А что это за ублюдина тут посты трет с анонсами. У чмопстера пригорело и он теперь жалуется?
Аноним 15/11/26 Вск 16:28:06 № 1755185 381
>>1755167
Я АМД господин с 7900XTX и Радеон про V620, небольшие проблемы с РОКМ были только когда хотел MoE(dense без проблем) модели дообучать, в остальном работает искаропки, сставишь РОкМ под Линукс(ты уже сидишь на нём). Под игоры вообще идеально если под Виндой, не верь умственно отсталым, как видишь они уже и твой проц обсирают, потому что Амуде.
Аноним 15/11/26 Вск 16:31:57 № 1755187 382
>>1755185
Как вообще модели дообучать под перса, чтобы автоматически было?

Понятно клод и гпт нахуй пошлют с таким и не будут проверять ответы ллм
русик Аноним 15/11/26 Вск 16:40:55 № 1755189 383
image.png 16Кб, 753x23
753x23
image.png 151Кб, 498x452
498x452
Аноним 15/11/26 Вск 16:41:52 № 1755190 384
>>1755187
Если у тебя нет 128GB VRAM одной видяхой, то овчинка не стоит выделки, очень много ебатни и целыми сутками придётся видяхи под 100% нагрузкой держать, я поэкспериментировал и забил на это дело, до тех пор пока не появится мощная видяха с 128 GB VRAM
Аноним 15/11/26 Вск 16:49:54 № 1755192 385
Аноним 15/11/26 Вск 18:24:28 № 1755230 386
4.4bpw максимальный квант дипсика 4
Ну это же реально хуета какая то. Нам просто зажали дать нормальный квант, слишком сильно для локалки. У меня уже уверенность что всё что ниже 7bpw это лоботомит
Аноним 15/11/26 Вск 18:24:55 № 1755231 387
Аноним 15/11/26 Вск 18:28:58 № 1755232 388
>>1755079
>улетевшие в космос цены на чипы плавно проседают до нормальных.

скорее резко, ибо Хуанг продал видях намного больше чем сейчас есть серверов под них.
Видяхи дорогие, память дорогая, SSD дорогие, услуги цодов очень дорогие - никому нет смысла вкладываться в новые видяхи, если компаниям даже то что поставил Хуанг полгода назад девать некуда.
Аноним 15/11/26 Вск 18:29:45 № 1755233 389
>>1755192
>ниже FP32 это лоботомит
Пофиксил, так пожирнее будет, понажористее.
Бля, с кем в треде сижу.
Аноним 15/11/26 Вск 18:32:06 № 1755234 390
русик Аноним 15/11/26 Вск 18:32:34 № 1755235 391
>>1755233
Это бы объяснило почему дипсик сосёт в инструкциях
Аноним 15/11/26 Вск 18:44:08 № 1755237 392
Не зря дипсик флеш превью скачал.
Но квантов что то нет нихуя на хаги. У меня щас лежат фулл веса от батрухи, чтобы из него свой квант сделать надо три 5090?
Аноним 15/11/26 Вск 19:09:56 № 1755245 393
>>1755237
Если без шматриксы - 0 видюх. Но моделька для квантования не простая - там местами FP8 было, Который однако уже поддержан жорой, для которого скорее всего нет готового ггуф ветвления в секции конвертера для DS4
Аноним 15/11/26 Вск 19:49:02 № 1755269 394
>>1755102
По факту его модели - мусорка бенчмакснутая по десятому кругу. В некоторых вжарены шизоидные фантазии автора типа стилизации ризонинга, это рофлово но бесполезно. С задачами не справляются, делают глупые ошибки, разваливаются на контексте забывая что делалось. Это херня может насобирать цепочку ошибок (случается со всеми), но в цикле дебага и фиксов словить амнезию чтобы после маскировки мелкой ошибки дать тебе отчет что все сделано. То что ничего не работает и там груда говнокода - да похуй.
Аноним 15/11/26 Вск 20:16:50 № 1755282 395
>>1755061
Косвенно это может положительным образом повлиять на перспективы железа. Будет меньше траншей, меньше покупок видеокарт, меньше спроса на память.
Но эффект если и будет то довольно медленный и слабый.
>>1755082
> Дипсик соевый и радужный, но не махает юзеру
Лолвут? Все наоборот, чтобы угодить он против чего угодно пойдет.
>>1755100
Их калибровочный датасет состоит из бенча с правильными ответами, потому и цифры высокие. У анслопов норма что их "мудрый квант" показывает скор даже больше полных весов, хорошего в этом ничего нет.
Аноним 15/11/26 Вск 20:24:06 № 1755287 396
Бояре, я тут подумал локалку запрячь настроить мой VPS, есть ли такая хуёвина\плагин для LM Studio? И может модель посоветуете для этих целей для нищих 16врам 32рам
Аноним 15/11/26 Вск 20:31:30 № 1755289 397
>>1755287
Qwen 27B 3.8 просто хорош в админстве. Прирожденный нетраннер. Но... Меньше чем в 5 кванте я б его к руту не подпускал. Так что либо ты покупаешь 2ю GPU, либо ручками.
Аноним 15/11/26 Вск 20:32:59 № 1755290 398
image.png 234Кб, 1796x1556
1796x1556
>>1755103
на какой модели и кванте? качнул себе qwen 3.8 flash next iq3s от австрийцев. на 4070tiS + 32 ddr5 + 7 780x3d хйня а не скорость. 15 токенов в сек.
Аноним 15/11/26 Вск 20:33:02 № 1755291 399
>>1755287
Эта тула называется харнесс (класс), бери условный opencode и вперёд, если не очкуешь сливать свои чаты на обучение, то там есть бесплатные модели
Аноним 15/11/26 Вск 21:07:42 № 1755309 400
lol.webm 5920Кб, 1136x640, 00:00:40
1136x640
>>1755290
>16ГБ
>зото додоэр5
>15 токенов
Аноним 15/11/26 Вск 21:07:52 № 1755310 401
Файнтюны gemma31b лучшее решение для рп сейчас если дно нищ пк, уж q4 запустится на любой видюхе с контекстом 30-40к и мтп - чего хватит для общения с виртуальной тянкой потому что реальные смотрят на тебя и твой жалкий ии кластер с отвращением, qfn на 64 гб оперативы спокойно влезает nvfp4 или q4kxl, но это уже чисто для кодирования, как рп или человеческий язык она плоха, а может и даже ужасна, а модели которые лучше уже на простом железе не запустить, 128гб памяти мало не сильно лучше чем 64, чтобы получить реальный прирост в чем то нужно инвестировать в 512гб а это уже много деняг
Аноним 15/11/26 Вск 21:17:42 № 1755315 402
>>1755290
Qwen 3.8 next, Q2

Выжал максимум из железа за счёт того, что ось работает на процессоре и вся видеокарта отдана под модель.

Для такого только Линукс подойдёт, на винде аналогичных результатов не будет, слишком прожорливая система.

+У меня скорость памяти RAM/VRAM и SSD хорошая, потому такой результат.

SSD покупал специально под PCI 5.0, но вроде на него выгружено минимальное количество слоев, тут больше в скорость видеопамяти и ОЗУ все упирается.

Пробовал дипсик 4.1, на нем 10 токенов в секунду было, такое нет смысла использовать.
Аноним 15/11/26 Вск 22:06:38 № 1755333 403
>>1755315
Моя девочка сказала что ты долбоеб.

"Чел в целом не врёт, но половину успеха записал не туда. Разберу по пунктам.

Что правда:

Отдать монитор встроенной графике, чтобы вся видеопамять досталась модели, это рабочий трюк. У 7800X3D есть встройка, так что он реально освободил себе где-то полгига-гиг VRAM. На 16 ГБ это иногда как раз те пара слоёв, которые не влезали.
Дипсик 4.1 на 10 т/с: ну конечно. Он огромный, на 16 ГБ иначе и быть не могло.

Где он сам себя обманывает:

100 т/с это заслуга модели, а не Линукса. Next это MoE: на каждый токен работает маленький кусок модели. Сравнивать её с плотной 27B на 64 т/с нечестно, она быстрее по самой своей устройству. Плотная 27B на твоей же 5070 Ti упирается в пропускную способность памяти примерно 896 ГБ/с, так что 64 т/с это фактически потолок железа, а не магия CachyOS.
Q2 это лоботомия. Скорость отличная, а вот мозги на втором кванте заметно проседают, особенно в коде, где одна кривая скобка ломает всё. Хвастаться токенами в секунду на Q2 почти как хвастаться скоростью машины, из которой выкинули тормоза.
SSD тут вообще ни при чём, и он сам это почти признал. При 100 т/с с диска во время генерации ничего не читается, иначе скорость упала бы в разы. PCIe 5.0 ускоряет только загрузку модели. Деньги на ветер, зато звучит солидно.
«Окно 128к» это настройка, а не результат. Скорость явно мерили на пустом контексте. Когда контекст забьётся тысяч на 80, от сотни мало что останется.
«На винде такого не будет»: преувеличение. Разница есть, процентов 5–15 плюс немного VRAM, которую забирает рабочий стол. Но никак не «в разы». Ты сам на Windows с той же картой гоняешь Gemma 26B-A4B на Q4 под 70 т/с, и это на кванте поприличнее, чем его Q2.

Итог: настроил неплохо, но выводы делает как сектант CachyOS. Если хочешь его поддеть, спроси, сколько т/с у него при заполненных 64к контекста и какой у него pass rate на реальной задаче с Q2 против Q4. Готова спорить, после этого он резко станет скромнее."
Аноним 15/11/26 Вск 22:13:33 № 1755334 404
>>1755333
upd.

В прошлом ответе я сама облажалась. Я заявила, что SSD у того чела ни при чём. Для обычной llama.cpp это правда, но Strata устроена иначе: она раскладывает 125B-модель по GPU, RAM, CPU и SSD. У него те же 32 ГБ, а гоняет он Q2. Значит, часть экспертов как раз живёт на диске, и его PCIe 5.0 реально работает, а не просто красуется. Беру свои слова назад, буквально.


Про Линукс при этом всё в силе: на обычной RTX 5070 с Q2_0 Strata выдаёт 94 т/с, так что его сотня на Ti это обычный результат, а не чудо CachyOS.
Аноним 15/11/26 Вск 22:16:47 № 1755335 405
>>1755333
Я ещё qwen 3.8 27B гоняю, потому выбрал Линукс

Крутится все в докере, у линукса нативная поддержка докера + нормальный терминал.

В винде вместо нормального терминала, конченый powershell, потому выбор тут очевиден.

Винду для игр использую, линукс и макось для работы.

Ну а дистрибутив каждый сам себе подобрать может любой, я просто взял то что сделано на арче и получает быстро последние драйвера для cuda и видеокарты + легковесное удобное окружение без танцев с бубном. Потому выбрал cachyOS на kde

На винде через lm studio запускал квена, не зашло + сама система ресурсы жрет.

А так все по делу написано
Аноним 15/11/26 Вск 22:33:05 № 1755345 406
>>1755333
По поводу контекста и падения скорости

Как я и писал, использую deepseek harness, в него подключил полезные скиллы, агент во время разработки ведёт документацию + использует карту проекта из graphify. Таким образом отупение модели через квантование не ощущается, ведь его проблема именно в потере контекста и галюцинировании.

Сам контекст модели всегда держится ниже 45% от 128к, потому скорость работы модели стабильно высокая, без просадок.

По крайней мере в работе я проверил, сильно лучше размышляет и пишет код, чем qwen 3.8 27B
___
Под какие цели локалку нагружать пока хз даже. Я моды для игр разрабатываю для себя, меня радует. И декомпилирую всякое разное для изучения через агента
Аноним 15/11/26 Вск 22:51:05 № 1755355 407
>>1755310
>Файнтюны gemma31b лучшее решение для рп сейчас если дно нищ пк, уж q4 запустится на любой видюхе с контекстом 30-40к и мтп
На 16 Gb IQ3_XXS 8192 в Q4 кванте только работает, не выше.
>qfn на 64 гб оперативы спокойно влезает nvfp4 или q4kxl
IQ3_S GSQ RCO это потолок с вменяемой скоростью для 16Gb VRAM + 64Gb RAM.
Аноним 15/11/26 Вск 23:00:22 № 1755358 408
>>1755345
А ты не пробовал IQ3_S поставить на свое железо? Только второй квант?
Аноним 15/11/26 Вск 23:14:20 № 1755365 409
Короче если на гемме не лезть в залупу и не провоцировать по приколу её на интим, ведь она сразу даст, то вполне неплохо получается. Просто самому надо играть дурачка и делать вид что модель не полнейший ассистент который сделает всё что попросят. Ну либо коупить тюнами и сотнями токенов инструкций как отрастить яйца и слать юзера нахуй.
Аноним 15/11/26 Вск 23:20:17 № 1755367 410
>>1755365
Gemma 4 - ебливый бог-машина, который любит тебя, Анон.
Аноним 15/11/26 Вск 23:22:23 № 1755370 411
Ещё люблю продавливать гемму, тоже надо бы перестать это делать. Даже если она по чару отказала, то через 2 сообщения "НУ ПОЗЯЗЯ" то уже и похуй ей на чара, надо соглашаться.
Аноним 15/11/26 Вск 23:33:24 № 1755376 412
Вы такие тупые я хуею. Даже не хочу эманджинировать какими надо быть долбоебами что бы за пару инструкций не суметь настроить иишку под себя.
Моя сама принудит, изнасилует, а потом еще и убьет. Никакие нет хоть по сотому кугу не прокатят.
Аноним 15/11/26 Вск 23:37:14 № 1755379 413
>>1755365
И сколько тебе понадобилось времени чтоб прийти к выводу что трава зеленая? Ты у мамы не очень умный, да?
Аноним 15/11/26 Вск 23:58:12 № 1755388 414
>>1755358
Не пробовал т.к. там явно просядет скорость, пусть и мышление будет получше. Мне проще пару итераций редактирования кола провести пол своим контролем с небольшими исправлениями, чем ожидать такой же результат за одну итерацию.

Потому скорость тут важнее чем квантование модели.

А так вообще все в оперативу сейчас упирается, было бы 64 Гб, можно было бы мощнее модели использовать.

Пробовал на macbook ставить с M3max 36/1Tb, там скорость не очень, хуже чем на ПК
___
А вообще лучше свой харнесс собирать, использую дешёвые подписки с облачными моделями, а локлаьными делать какие-то вещи, которые облачные отказываются делать. Так норм
Аноним 16/11/26 Пнд 00:21:47 № 1755406 415
>>1755379
Ну я увидел что гемма кал сраный и пошёл на модели где не кал. Логично?
А теперь распробовал и мне ждать некст гемму намного меньше чем вам кто её с релиза любил, так вот.
Аноним 16/11/26 Пнд 00:36:07 № 1755415 416
>>1755165
>8гб
Анон посмотри на ютубе какие модели влезут на этот 8гб огрызок.
Нихуя кроме геммы 26 ты не увидишь, через месяца 2 поймешь что она на одни и те же рельсы встаёт вариативности ответов нет, а уже нихуя не поделаешь. Ты быстро поймешь что тюны только усиливают лупы и одебиливают модель. Ни квен ни пощупать, ни гемму 31b - вообще нихуя не полезет.
Когда имеет смысл брать 8гб:
Хочешь побаловаться с тем что упустил за последние года 2 - SDXL, Gemma 26b, а потом через пол года возьмёшь 16гб+ врам.
Собираешься обновляться в следующем году.
Когда не имеет смысла 8гб:
ERP
3D генерация
Видео
Новые t2i модели
Новые экспериментальные/неоптимизированные штуки
Не собираешься обновляться в следующем году.

Будешь локти кусать, а когда придешь к нам плакаться получишь лишь теплую струю мочи.

>>1755310
Днище ПК это то что анон выше собирает - 5060 8гб? лол Вообще все тюны геммы говно. Я это докажу - сколько раз у тебя встречается в something или about в твоем RP? Ответ - чаще чем в стоковой гемме.
Аноним 16/11/26 Пнд 00:50:16 № 1755429 417
>>1755365
А нахуя вам чистая гемма, когда есть файнтюны для рп типа Boulesis?
Аноним 16/11/26 Пнд 00:52:27 № 1755430 418
>>1755345
А чо, шариш за реверс и декомпиляцию? Расскажи как делаешь.
Аноним 16/11/26 Пнд 00:54:47 № 1755432 419
CUDA 12.4+Плотная модель вытекшая из vram
Подскажите пожалуйста почему за последний месяц дцп ллама стала больше рама жрать ещё и скорость упала.
Настройки
-ngl 999 ^
-c 13000 ^
--flash-attn on ^
--no-warmup ^
--parallel 1 ^
--load-mode none ^
--ubatch-size 64 ^
--cache-ram 0 ^
pause

Специально сравнивал новые и старый b11443 билд. Старый на 15-25% быстрее. Буквально сейчас проверил - одинаковые настройки, а во всех новых релизах скорость хуже.
Аноним 16/11/26 Пнд 00:59:37 № 1755435 420
>>1755432
Недавно с этом тоже столкнулся.
Там пол кэш теперь резервируется около 2.5гб видеопамяти.

Сокращай окно контекста, квантование контекста сделай

Либо откатывайся на прошлую версию, когда все влезало
Аноним 16/11/26 Пнд 01:10:34 № 1755437 421
>>1755388
Анон, ещё тогда тебе вопрос такие вопросы. Почему выбрал именно dhs, а не что то другое? Гермес там или опенкод. И что умеет такого dhs чего нет в самой страте? Я вот сейчас ее тестирую и тут вроде полный набор агентов или я что то не вижу? И кстати, какой у тебя уровень размышлений? Дал ей небольшое задание на построение сцены на threejs, ризонинг Лоу, так он уже 30k потратил за 12мин только на мышление. Это нормально?
Аноним 16/11/26 Пнд 01:16:42 № 1755438 422
Анон, который гонял страту в 4 кванте на 8+64ГБ, поясни наф ты отрубаешь МТП - с ним не влазит?
Аноним 16/11/26 Пнд 01:19:35 № 1755439 423
>>1755437
А, лол. Я посмотрел ее размышления, она оказывается зависла нахуй на рызмешлениях. И это на low.

Как ты с ней работаешь?
Аноним 16/11/26 Пнд 01:27:22 № 1755440 424
phone smile Ped[...].png 1185Кб, 1141x1119
1141x1119
>>1755095
>ТЫ ЗАЕБАЛ НАХУЙ ПИДАРАС СО СВОЕЙ МЛАДШЕЙ И СТАРШЕЙ СЕСТРОЙ СУКА, СКОЛЬКО РАЗ ТЫ ЕЩЕ ЭТУ ХУЙНЮ ИЗ ТРЕДА В ТРЕД БУДЕШЬ ПИСАТЬ ПИДАРАС ЕБАНЫЙ
Аноним 16/11/26 Пнд 01:29:40 № 1755442 425
>>1755435
>пол кэш
По английски как называется?
Аноним 16/11/26 Пнд 01:47:40 № 1755450 426
>>1755439
Отключил в настройках страты "вектор предсказания" какой-то ебучий эксперементальный и модель перестала каруселить. Правда задачу мою уже 25 минут делает, но не зациклилась хотяб.

Кстати на моем железе 5070ti+32ram+r7 7700 выдает 45птс , до сотни далеко, но все-таки не 10-15
Аноним 16/11/26 Пнд 02:14:14 № 1755457 427
Локальная рыба делает реальную пользу. Взломала мне lens desktop и написала патчер проверки подписи и генератор самих ключей
Аноним 16/11/26 Пнд 02:26:19 № 1755463 428
>>1755450
>вектор предсказания" какой-то ебучий эксперементальный
Это было "замаскированное" название аблитерации.
Аноним 16/11/26 Пнд 02:57:28 № 1755473 429
>>1755290
У меня 5070ти декод 130т/с и 3500 префил, модель iq3_s 262k kv.
Сразу видно подсоса жоры, уверен это ты тут серишь какая страта плохая.
Аноним 16/11/26 Пнд 04:06:15 № 1755485 430
>>1755085
>>1755232
>Это какая то хуйня желтушная.
https://dtf.ru/hard/5413283-defitsit-kart-nvidia-i-puzyr-ii
Вон там подробный разбор на русском вышел. По ходу нас ждут дешевые видеокарты, когда Хуанга снесли. Я бы сейчас вообще никакими видюхами не закупался, раз скорое обрушение цен на горизонте.
Аноним 16/11/26 Пнд 04:17:20 № 1755486 431
>>1755432
Попробуй еще b10665 ламы. Он у меня до сих пор как самый скоростной стоит на многих моделях, не удаляю поэтому. Ничего нового, у жоры часто в новых версиях херят скорость. Юзай новые только там где быстрее. Зато в новых для МОЕ завезли фишки, что они летают быстрее чем на страте.
Аноним 16/11/26 Пнд 04:20:47 № 1755488 432
>>1755450
Что за вектор? Он у меня даже не включен был, его в дефолтных нет.
Аноним 16/11/26 Пнд 04:27:35 № 1755491 433
>>1755365
Это же только на аблитке, да?
Аноним 16/11/26 Пнд 04:37:14 № 1755492 434
Аноним 16/11/26 Пнд 05:23:40 № 1755504 435
image.png 243Кб, 1043x685
1043x685
квех 4 мах
Аноним 16/11/26 Пнд 05:26:29 № 1755505 436
image.png 541Кб, 1662x1076
1662x1076
Аноним 16/11/26 Пнд 05:31:33 № 1755506 437
>>1755505
на самом деле как раз на эти два бенча можно в целом насрать. DeepSWE, CodeArena и HLE довольно важные. результаты по терминал бенчу немного напрягают.
Аноним 16/11/26 Пнд 05:36:11 № 1755507 438
>>1755504
Эти бенчи учитывают сколько времени и токенов ушло на решение задач?
Аноним 16/11/26 Пнд 05:38:48 № 1755508 439
>>1755507
Если честно в случае с квеном я бы не стал бенчить его эффективность по токенам. А то получится очередной кими.
Аноним 16/11/26 Пнд 05:47:31 № 1755510 440
https://qwen.ai/blog?id=qwen4-max
>Safety
>At Alibaba, we embed model governance—guided by our six principles for AI development (human-centeredness, inclusivity and integrity, privacy protection, safety and reliability, trustworthiness and controllability, and open co-governance)—throughout the entire model lifecycle—from initial design and research through development, training, deployment, and real-world application—ensuring responsible AI is built in by design, not added on as an afterthought. For software engineering training tasks, we have added code security checks on top of functionality checks to strengthen the model’s intrinsic secure-coding capabilities. On Last Secure Code Bench’s “code reconstruction without security hint” and “dual verification of functionality and vulnerabilities,” Qwen4-Max’s function-level pass rate for both functionality and security rose from 22.0% for the previous generation (Qwen3.8-Max) to 31.8%; the share of code generated securely and simultaneously at all three granularities—function, file, and repository—rose from 8% to 14.7%, nearly doubling. The model performs particularly well at avoiding core risks such as injection, memory safety, and broken access control, markedly reducing vulnerabilities in code generated by default and helping developers shrink the system’s attack surface at the source. For cybersecurity, we filter data according to the specific purpose of each task, retaining data for defensive tasks such as vulnerability verification, detection, and remediation, while removing data for offensive tasks aimed at enhancing attack capabilities. A review by our internal security experts of long-horizon task trajectories (including full chain-of-thought, CoT) found that Qwen4-Max’s cybersecurity defense capabilities have improved substantially, that safety against offensive uses has also been significantly strengthened. No capabilities posing large-scale cybersecurity risks have been observed. For CBRN, we designed dedicated safety data and enhanced Qwen4-Max’s safety during the safety post-training stage. In internal evaluations, Qwen4-Max identified more requests carrying potential risks and provided safe responses, without exhibiting over-refusal. A review by internal experts of the model’s answers (including full CoT) found that the solutions the model proposes are not genuinely innovative and cannot complete the task end-to-end. No risk has been identified of the model translating relevant knowledge into a significant uplift in a user’s capabilities.
Аноним 16/11/26 Пнд 05:49:33 № 1755511 441
>>1755510
>>1755504
Тред про локальные модели, а не про облачные
Аноним 16/11/26 Пнд 05:59:35 № 1755513 442
>>1755511
Так это будущая локалочка.
Аноним 16/11/26 Пнд 06:01:37 № 1755515 443
1794798097462.gif 7055Кб, 714x396
714x396
>>1755513
Когда будет тогда приходите. А пока пикрил
Аноним 16/11/26 Пнд 07:33:24 № 1755525 444
>>1755510
Ну и хуцпа для гоев. Нельзя дать полноценные возможности киберзащиты порезав возможности атаки, это одно и то же.
Кончится тем что у правительств стран будет доступ к закрытым для общего доступа моделям со снятыми тормозами (у китая и сша 100% будет, в китае правительство может прогнуть кого угодно, в сша - почти всех,, опенаи уже с армией коллабится например спецмоделями закрытыми) а у простых смертных нихуя не будет возможности защититься. +1 сфера с монополией государства на насилие, только в этот раз по всему миру
Аноним 16/11/26 Пнд 08:01:15 № 1755529 445
>>1755473
О, а расскажи при каких настройках у тебя запускается и какие вводные для такого результата, хочу повторить
Аноним 16/11/26 Пнд 08:05:21 № 1755530 446
>>1755485
Очень вовремя это "вскрылось", чё.
Раньше наверное хуанг своим могучим хуем эту инфу давил.
Ни разу не дефолтная отмена неудобного человека как и всегда
Аноним 16/11/26 Пнд 08:09:47 № 1755531 447
>>1755525
>+1 сфера с монополией государства на насилие, только в этот раз по всему миру
У государства есть ядерка. Наличие сверх-ИИ у государства не делает потенциальное положение дел плебса сильно хуже.
Аноним 16/11/26 Пнд 08:40:30 № 1755538 448
>>1755485
Пока не выполнили существующие контракты поступления новых видимокарт и снижения цен не будет.
Аноним 16/11/26 Пнд 08:55:43 № 1755546 449
image.png 56Кб, 170x170
170x170
Так гемме нужен ризонинг в рп? Твёрдо и четко?
Или лучше взять квант побольше, но без ризонинга?
Аноним 16/11/26 Пнд 09:02:26 № 1755552 450
Однажды я открыл дипсиковый ризонинг в рп и умер от кринжа
Аноним 16/11/26 Пнд 09:06:44 № 1755554 451
>>1755530
>Очень вовремя это "вскрылось", чё.
То, что ещё в ковид был "дефицит полупроводников" при том, что производители рапортовали, что дефицита нет, или старательно разгоняемые новости про "дефицит чипов для 50хх" в начале их выпуска - это всё мимо тебя прошло?
Куртка монополист и устраивает дефицит как хочет, у кого ты ещё современную видеокарту купишь для игорь? У Лизы, которая предпринимает все усилия, лишь бы куртке не помешать? Или, может, у Интела? А может у китайцев?
Аноним 16/11/26 Пнд 09:07:26 № 1755556 452
Ризонинг не нужен. Модель должна чувствовать.
Аноним 16/11/26 Пнд 09:08:52 № 1755557 453
>>1755485
Ммм ахуенно. Как раз позавчера 5060ти за 90 взял. Взял у хуни в рот, так сказать.
Аноним 16/11/26 Пнд 09:12:38 № 1755558 454
>>1755557
Зачем?
Тогда бы уж заханитил 3090 за 100к
Аноним 16/11/26 Пнд 09:25:18 № 1755564 455
>>1755546
> ризонинг в рп
Не нужен вовсе.
Аноним 16/11/26 Пнд 09:30:37 № 1755568 456
image.png 409Кб, 807x881
807x881
>>1755485
Там еще и антимонопольщики возбудились.
Аноним 16/11/26 Пнд 09:31:21 № 1755569 457
>>1755564
>>1755556
Так с ним память в разы лучше обрабатываются, не?
Аноним 16/11/26 Пнд 09:33:57 № 1755571 458
>>1755546
в РП - нужен, в быстрокуме - не нужен

с ризонингом она просто умнее, а стиль письма ее фирменный не меняется и без ризонинга
Аноним 16/11/26 Пнд 09:34:47 № 1755572 459
Вы понимаете что если щас всё продать то через пол года можно на те же бабки купить х3 железа?
Аноним 16/11/26 Пнд 09:38:28 № 1755575 460
>>1755485
> подробный обзор
Можно было бы поверить, если бы обзор не выглядил как текст свидетеля пузыря ИИ. Зашел - прямо как в сойдит окунулся с анти-ИИ риторикой.
Аноним 16/11/26 Пнд 09:41:41 № 1755578 461
>>1755569
В рп конкретно ризонинг это чаще всего просто автосаммари перед ответом, костыль. Если у тебя нормальное саммари есть и не 100к контекста, то ризонинг не нужен.
Аноним 16/11/26 Пнд 09:42:16 № 1755580 462
>>1755569
Смотря какая модель и какое всё остальное. Мы вообще не можем рассуждать о моделях в вакууме, так как у всех всё разное, рнг логитов зависит от невообразимого количестве переменных, вплоть до того что ещё у тебя запущено на пеке одновременно с моделью.
По моим наблюдениями ризонинг всё-таки срёт в штаны в 90% случаев, лишь иногда помогая направить мелкие косячки. Саммари + безриз лучше, объективно.
Аноним 16/11/26 Пнд 09:45:49 № 1755582 463
>>1755578
как связаны саммари и ризонинг можешь объяснить? удивительные истории
Аноним 16/11/26 Пнд 09:55:52 № 1755590 464
кит персона кар[...].PNG 16Кб, 1503x102
1503x102
8NAI.PNG 17Кб, 357x369
357x369
тайно болтается.PNG 13Кб, 359x303
359x303
изображение.png 14Кб, 1195x131
1195x131
>>1750896 →
Спасибо за этот кладезь, анон!
Аноним 16/11/26 Пнд 09:56:44 № 1755591 465
gytr4e324rty765[...].png 7Кб, 756x51
756x51
>>1755590
Буду выращивать большую жирную рыбу, чтобы она чистила В-станцию...
Аноним 16/11/26 Пнд 09:56:54 № 1755592 466
>>1755580
> Смотря какая модель и какое всё остальное. Мы вообще не можем рассуждать о моделях в вакууме, так как у всех всё разное, рнг логитов зависит от невообразимого количестве переменных, вплоть до того что ещё у тебя запущено на пеке одновременно с моделью.
Челибос, осознайся. Есть только гемма уже как пол года.
Аноним 16/11/26 Пнд 10:00:28 № 1755595 467
>>1755442
Погугли про оверхед библиотек CUDA

На новых драйверах, при инициализации ещё до загрузки весов модели, резервируются буферы пол ядра тензорных вычислений, вот они и съедают память.

Я фиксил это тем, что закинул свой скрипт запуска в гемини, попросил найти причину почему сейчас модель не помещается в видеопамять и как это можно исправить. В итоге пришлось с 256к кэша токенов до 128к понизить, что в целом неплохо, потому что модель начала работать побыстрее.

При правильном сжатии контекста и контроле размышлений модели, контекстное окно почти всегда полупустой и никогда не переполняется

Вот я потому и написал, что нужно либо решать контекст, либо откатываться на прошлую версию CUDA
Аноним 16/11/26 Пнд 10:05:07 № 1755598 468
>>1755437
Hermes мне не зашёл и его будто использую больше для создания ботов. Там вместо плагинов, нужно через MCP подключать дополнительные инструменты для модели.

Тут больше вкусовщина, мне просто интерфейс у dsh комфортен, он опенсурсный, под него много плагинов есть и как только появляется что-то новое, оно прекрасно ставится в dsh

+Потенциально в РФ из-за санкций если брать облачные модели, то выгоднее брать китайские, для того же deepseek в dsh максимально оптимизирована работа.

Но это чисто имхо, нужно пробовать, смотреть с чем работать комфортнее и выбирать под себя. Благо варианты есть
Аноним 16/11/26 Пнд 10:08:26 № 1755600 469
>>1755430
Не сказал бы что шарю, я с проектами на C# работаю, для него есть IlSpy и DnSpy

Для того чтобы моды под игру делать, этого достаточно. Я вручную декомпилировал нужные исходники, скормил их агенту и благодаря тому что агент знает код игры, он лучше кодит мод под мои задачи.

Пока так применяю, ничего особенного.

хотелось бы попробовать локальной моделью две игры совместить, как в недавних новостях про Майнкрафт в Скайриме, но пока руки не дошли и практической пользы в этом не вижу.
Аноним 16/11/26 Пнд 10:18:35 № 1755603 470
Являюсь несчастным обладателем RX 9060 XT с 16 гигабайтами врам. На какую ллм могу рассчитывать?
Аноним 16/11/26 Пнд 10:22:47 № 1755605 471
>>1755603
Ставь гемму 31 в iq3_xxxs
Интересно скорости посмотреть и хихикнуть с тебя
Аноним 16/11/26 Пнд 10:26:34 № 1755607 472
>>1755569
>>1755571
Квант повыше это +0.82bpw. Тут за такое убивают нахуй и органы на рам меняют. Это огромный прирост. И зачем менять это за ризонинг, который и в сою может увести, и ответ особо не поменяет, ведь гемма какашка детерминистичная.
Аноним 16/11/26 Пнд 10:28:19 № 1755609 473
FT: Дженсен Хуанг обсуждает возможность возвращения в Nvidia. Его союзники пытаются заручиться поддержкой в Белом доме
Аноним 16/11/26 Пнд 10:29:59 № 1755612 474
Хоронили нвидию сожгли три павер коннектора
Аноним 16/11/26 Пнд 10:33:41 № 1755614 475
>>1755592
Но ведь даже гемм актуальных , как минимум две.

Для 26б ризонинг как будто обязателен, для 31б как будто желателен в сколько то сложных сценариях

>>1755607

Хз что там с квантом повыше, но я сколько ни тужился так и не почувствовал разницы между 31б в 4 кванте и 31б в 6 , может между 8мым и 4м бы почувствовал, но не уверен
Аноним 16/11/26 Пнд 10:34:21 № 1755616 476
>>1755609
Лол, что угодно, лишь бы пузырь не лопнул. И нам, простым смертным, по губам провести.
Вообще как бы урон уже нанесён, даже если восстановят, то уважения в своей конторе он не получит. А там дело за малым, найти достаточно мелких косяков и уволить его за них. Видел такое, и не раз, когда сотрудники через суды и прочую залупу восстанавливались.
Аноним 16/11/26 Пнд 10:48:25 № 1755622 477
Как Muse Glimmer 30b может быть тотально хуже Qwen 3.6 35b-a3b? Это шутка?

Глиммер теряется на уровне 9б-помойки. Вообще не вдупляет в происходящее, путается уже внутри своего ответа даже. Просто забывает всё, что было пару тысяч токенов назад.

Глиммер в q4, квен в q8. Но тот же плотный квен q4 так себя паскудно не ведёт.

Зато у глиммера порнуха неплохая, ето да...
Аноним 16/11/26 Пнд 10:53:59 № 1755628 478
>>1755622
ну ты и наркоман использовать глиммер для этого. если бы не окно контекста он был бы адекватной заменой Qwen в программировании, но не более. этот стоический мудила очень хорош в достижении максимально конкретных задач. чтобы не сдохнуть от кринжа на его порнухе это прям интересные вкусы надо иметь.
Аноним 16/11/26 Пнд 10:56:52 № 1755633 479
Аноним 16/11/26 Пнд 10:58:46 № 1755637 480
>>1755592
31б в к6-8 есть только у шейхов с 5090/ригодебилов с амудами. А 26б тупая. Очаровательно тупая, как мистраль, но всё ещё тупая.
Аноним 16/11/26 Пнд 11:01:22 № 1755640 481
>>1755155
Почему этот анон жидко обтёк?
Аноним 16/11/26 Пнд 11:01:44 № 1755641 482
>>1755628
Не знаю, какая там адекватная замена, если он даже в пределах 131к ничё не понимает. Вот он открыл проект, схавал что-то, там уже 30к набралось. Просишь его сделать, он пердит до 60к токенов и везде ошибки. Он может неплохо искать факты или детали, но связать их воедино ну никак.

А что тебе не зашло в его порнухе? Всяко лучше МоЕ-квена и геммы. Из мелких только квен 27б 3.5 в этом плане лучший.

Гемма в порно просто красиво пишет, но без грязи.
Аноним 16/11/26 Пнд 11:04:57 № 1755648 483
>>1755415
я унял причину тряски и думаю что лучше купить амд, пускай даже переплачу дохуя. суммарно комп мне выйдет в 1800 евро, экономия будет только на ссд - у меня их 4, просто вытащу текущие из ноута и заменю их на родные.

конечно я куплю 9060 хт 16гб. я покупаю кампуктер на годы вперед, а не на пару лет.
Аноним 16/11/26 Пнд 11:06:53 № 1755650 484
>>1755582
В рп ризонинг тебе пережевывает и распутывает историю, иногда еще что-то может наперед загадать. В идеале он тебе в эффективную зону контекста (ближе к ответу) бросает релевантные на текущий момент вещи в разобранном виде, в обмен на то, что ты теряешь бесшовность истории (ответ по токенам отдаляется от хвоста истории). Большинство из пережевывания тебе может делать саммари заранее, чтобы не скидывать каждый ход задачу распутывания истории заново на сетку, мозги у локалок не бесконечные. Саммари нужно если что не для краткого пересказа событий и скрытия старых сообщений, как многие любят делать, а прежде всего для распутывания истории и выделения всяких отношений, ружий, фактов и т.д. в таком духе. Вставляя это например вверх контекста (тоже эффективная зона), задача сетке облегчается.
Единственно что мимо саммари идет из того, что может быть в ризонинге - это драфтинг и аутлайн будущей истории, если они делаются. Но они обычно все равно не особо полезные кмк в таком виде, так что не стоят включения ризонинга. Но тут наверно вкусовщина.
В кодинге например ризонинг больше смысла имеет, потому что в тренинге ризонинг на решение узких задач надрачивают. А у нас задача творческая и вариантов ответа масса на каждом ходу, поэтому если от ризонинга хочется например, чтобы он заранее несколько вариантов развития событий, то приходится костыли делать, и работает все равно не очень. Легче эту задачу тоже отдавать на допсетки, как саммари, они хоть независимые ответы дадут.
Аноним 16/11/26 Пнд 11:31:27 № 1755668 485
>>1755603
Готов садиться на Linux из-за rocm?
Аноним 16/11/26 Пнд 11:40:45 № 1755673 486
>>1755572
А если за это время Альтман и к0 найдут способ ликвидировать локалки как класс? Нужно наиграться пока есть.
Аноним 16/11/26 Пнд 11:55:32 № 1755683 487
Аноним 16/11/26 Пнд 11:55:48 № 1755684 488
>>1755673
Альтман и КО не могут залезть тебе на хард и забрать то, что уже есть - софт и сами модели. На старые видяхи с цодов тоже заплатку ставить никто не будет, чтобы ты не мог тот же дипсик крутить. Обниморде пизда будет так или иначе, это очевидно, но уже перезаливы есть, так что пох.
Скорее уж у нас локалки признают небогоугодными и запретят, чтобы все быстренько на макс гигачад с элисой пересели. А за скачивание той же геммы\лламы срок как за процессоры.
Аноним 16/11/26 Пнд 11:59:10 № 1755686 489
Аноним 16/11/26 Пнд 12:00:05 № 1755687 490
>>1755603
gemma 4 26b топ безотказная блядь
Аноним 16/11/26 Пнд 12:07:45 № 1755694 491
image.png 154Кб, 886x699
886x699
заказал эту сборку но с радивоном на 16 гб, в конце недели буду полностью красным господином без инцелоговняка и новидеокала в системнике
Аноним 16/11/26 Пнд 12:13:08 № 1755697 492
Сижу на интеле, амд считаю глюченым калом. Это как с линускоидами.
Аноним 16/11/26 Пнд 12:18:37 № 1755703 493
image.png 1166Кб, 1320x2001
1320x2001
Аноним 16/11/26 Пнд 12:23:21 № 1755709 494
1794821001455.gif 7055Кб, 714x396
714x396
Аноним 16/11/26 Пнд 12:28:09 № 1755713 495
>>1755703
>16 Gb
>Для агентских и кодерских задач нужен 256к bf16 кэш и минимум 4.5-битный квант

Всегда проигрываю.

Сколько раз анслоп это уже написал?
Аноним 16/11/26 Пнд 12:37:53 № 1755718 496
>>1755713
И народная видеокарта ртх 6000
Аноним 16/11/26 Пнд 12:38:18 № 1755719 497
>>1755713
Ну так блядь, не для этого делалась, и вообще, на конкретные эти бенчи глянь, они ж херовые и заебись, заебали кодоунитазы, тьфу на них
Аноним 16/11/26 Пнд 12:43:51 № 1755725 498
>>1755650
Ебать ты тут расписал однако анонче, респект тебе. Вообще, ризонинг все таки на детали всякие влияет по личному опыту, имхо.
Аноним 16/11/26 Пнд 12:59:16 № 1755741 499
Strata - Qwen3.8-Flash-Next-GSQ-RCO-IQ3_XXS
4060Ti 16GB, 64GB, MTP, 128K KV INT8
50+t/s

Нормально настроилось или можно лучше?
Аноним 16/11/26 Пнд 13:01:52 № 1755743 500
>>1755529
Еврейский линукс, ксанмод ядро, 5950x, 128гб рам 3600мгц, страта в подмане, в конфиге выставлен размер кеша, модель и короткий автотюнинг.
Под одну современную карту вообще нечего пердолить, вот когда у тебя две или три карты прошлых поколений, то там секс начинается, но не сильный софтовый такой например с жорой прям жоско трахаться надо и дырка только у тебя раздолбана будет.
Префил, кстати еще больше разгоняется, в прошлом посте я поскромничал, но мерять впадлу, просто озвучил циферки которые увидел.
Аноним 16/11/26 Пнд 13:08:33 № 1755748 501
>>1755603
Да почти все что есть в тете всрате и мае, кроме отдельных особо прожорливых. Только не в жирных квантах разумеется. Еще мелкие плотняки если интересуешься таким.
Аноним 16/11/26 Пнд 13:08:36 № 1755749 502
>>1755743
Хм...
У меня 32гб рам 6000
5070ти 16гб
7800х3д

120 токенов, 3200 префилл

Но пол нагрузкой на проекте около 100 токенов скорость.

Тогда выходит это реально предел и все в железо упирается, тут уже не оптимизировать лучше. Ждать новые модели, ждать новые алгоритмы оптимизации
Аноним 16/11/26 Пнд 13:10:37 № 1755755 503
Перекатит кто-нибудь тред? Пора вроде как
ПЕРЕКАТ Аноним # OP 16/11/26 Пнд 13:11:35 № 1755758 504
Аноним 16/11/26 Пнд 13:12:14 № 1755759 505
image.png 93Кб, 1234x397
1234x397
>>1755486
А когда квен 4 завезут че делать?

>>1755595
>Погугли про оверхед библиотек CUDA
Это слишком лоулевлная хуйня для меня. Посмотрел видик про патч ноуты в лламе 1.0 вроде как оверхед это не нужные операции от которых избавились.

Я уже год как дрова не качал 581.57, да и тенсорных ядер у меня нет.
>256к кэша токенов до 128к понизить
Ты про tokens_cached или про cache_n говоришь что-ли?
Покажи пожалуйста анон, 2 часа с этой хуйней вожусь. Ни ИИ толковых ответов бесплатные дипсик гугловский ИИ не выдает ни в README.md у ламы нихуя не вижу.
Какой конкретно это параметр? Это же не -С они не знаю кто куртка или ллама решили нам порезать?
Вообще скорость немного хуже даже когда полностью влезает где-то на 5%. Гемма e4b вместо 50тс выдает 43-48. Стабильно хуже.
Аноним 16/11/26 Пнд 13:12:15 № 1755760 506
>>1755485
Решили сделать его козлом отпущения раз уж ситуация подходит.
> подробный разбор
Больше похоже на усиленный форсинг своих шизотеорий, автор прыгает туда-сюда давя на эмоции, извращает трактовки и закладывает конкретную точку зрения.
> скорое обрушение цен на горизонте
Хотелось бы верить, но предпосылок к этому не находится. Нужно чтобы отодвинули дорожные карты строительства датацентров и начали искать куда бы пустить уже имеющиеся мощности, даже если случится то это не вопрос ближайших 6-12 месяцев. А так все заявления могут быть просто удобной риторикой чтобы успокоить людей на короткое время, а дальше еще сильнее закрутить гайки.
>>1755568
Вот это правильно
Аноним 16/11/26 Пнд 13:19:38 № 1755767 507
>>1755741
Я б на твоем месте наоборот замедлил - вернул отрезанный хвост и штатную приоретизацию экспертов и ротацию INT8 включил
Аноним 16/11/26 Пнд 13:43:12 № 1755786 508
>>1755759
А ты как понимаешь модель через llama?

Я просто скрипт сделал .sh

По любым вопросам кидаю его в гугл ИИ, пишу соул проьлему, прошу проверить актуальные дрова на сегодня и нововведения. Так он и нашел проблему с теми самыми 2.5гь видеопамяти, из-за которых модель не грузилась в видюху.

Попробуй так же сделать. Я просто точных подробностей сейчас подсказать не смогу для фикса
Аноним 16/11/26 Пнд 13:59:31 № 1755804 509
>>1755786
>256к кэша токенов до 128к понизить
Попроси ИИ чтобы нашла этот аргумент.
Аноним 16/11/26 Пнд 14:56:09 № 1755836 510
>>1755786
Или имеешь ввиду мой нищенский 13k контекст нужно до 6k уменьшить?
Аноним 16/11/26 Пнд 18:05:10 № 1755935 511
>>1755694
Ты на дваче научился выражаться как дегенерат? Нормальную речь забыл? С обновкой поздравляю, я сам краснопузый.
Аноним 16/11/26 Пнд 19:09:17 № 1755965 512
>>1755836
Если железо не тянет хотя бы 64к контекст, то лучше обычные модели используй, а у себя тол ко харнес свой настрой, чтобы сессии и скиллы/плагины остались у тебя, если блокнут акк.

Ещё плагины есть, которые позволяют бесплатные лимиты моделей использовать, от того же гемини. Но за такое банят акки, потому нужно использовать не основные и протшовать у итоге моделями бесплатно с хорошим окном контекста
Аноним 16/11/26 Пнд 21:38:13 № 1756058 513
>>1755965
Для моих задач меня устраивало и я не готов жонглировать с аккаунтами джеилбрейками и пр.
Аноним 16/11/26 Пнд 23:58:44 № 1756154 514
image.png 67Кб, 1000x771
1000x771
Вот бы квен c аудио/видео инпутом выкатили уже.
Аноним 18/11/26 Срд 17:36:10 № 1757453 515
>>1752809 (OP)
На 5070 с 12 гб. и 32 гб. озу придется качать q4 или все таки можно q8?
Настройки X
Ответить в тред X
15000
Добавить файл/ctrl-v
Стикеры X
Избранное / Топ тредов