Локальные языковые модели (LLM): Gemma, Qwen, GLM и прочие №257 /llama/
Аноним
15/08/26 Суб 18:36:42
№
1
Здесь мы делимся рецептами запуска, настроек и годных промтов, расширяем сознание контекст и бугуртим с кривейшего тормозного говна.
Тред для обладателей топовых карт NVidia с кучей VRAM или мажоров с проф. картами уровня A100, или любителей подождать, если есть оперативная память. Особо терпеливые могут использовать даже подкачку и запускать модели, квантованные до 8 5 4 3 2 0,58 бит, на кофеварке с подкачкой на микроволновку.
Официальная вики треда с гайдами по запуску и базовой информацией: https://2ch-ai.github.io/wiki/llama/
Гайд для новичков: https://rentry.org/2ch-llama-inference
Инструменты для запуска на десктопах:
• llamacpp - отец и мать всех инструментов, позволяющий гонять GGML и GGUF форматы: https://github.com/ggml-org/llama.cpp
• koboldcpp - самый простой в использовании и установке форк llamacpp: https://github.com/LostRuins/koboldcpp
• TextGen (в девичестве text-generation-webui) - если необходимы другие форматы и больше контроля: https://github.com/oobabooga/textgen
• TabbyAPI - заточенный под Exllama (V2 и V3) и в консоли: https://github.com/theroyallab/tabbyAPI
• Однокнопочные инструменты на базе llamacpp с ограниченными возможностями: https://github.com/ollama/ollama, https://lmstudio.ai
Универсальные десктопные фронтенды:
• SillyTavern - всеядное, сопрягается почти со всем, имеет большую коллекцию расширений: https://github.com/SillyTavern/SillyTavern
• Marinara Engine - вариация на тему таверны, больше возможностей из коробки: https://github.com/Pasta-Devs/Marinara-Engine
• Risuai - еще одна вариация, на этот раз в профиль, излишеств по минимуму: https://github.com/kwaroran/RisuAI
Инструменты для запуска на мобилках:
• Maid - интерфейс для локального запуска моделей под андроид с llamacpp под капотом: https://github.com/Mobile-Artificial-Intelligence/maid
• ChatterUI - альтернативный вариант для локального запуска под андроид (фронтенд и бекенд сепарированы): https://github.com/Vali-98/ChatterUI
• Гайд по установке SillyTavern на ведроид через Termux: https://web.archive.org/web/20241201232031/https://rentry.co/STAI-Termux
Поставщики локальных моделей:
• Hugging Face - платформа куда загружается всё и во всех форматах: https://huggingface.co/models
• Проверенные квантоделы: https://huggingface.co/bartowski, https://huggingface.co/mradermacher, https://huggingface.co/unsloth
Рейтинги и списки локальных моделей:
• Актуальный список моделей с отзывами от тредовичков: https://rentry.co/2ch_llm_moe_2026
• Неактуальные списки моделей в архивных целях: 2025: https://rentry.co/2ch_llm_2025 (версия для бомжей: https://rentry.co/z4nr8ztd ), 2024: https://rentry.co/llm-models , 2023: https://rentry.co/lmg_models
• Миксы от тредовичков с уклоном в русский РП: https://huggingface.co/Aleteian и https://huggingface.co/Moraliane
• Рейтинг моделей по уровню их закошмаренности цензурой: https://huggingface.co/spaces/DontPlanToEnd/UGI-Leaderboard
• Сравнение моделей по сомнительным метрикам: https://huggingface.co/spaces/HuggingFaceH4/open_llm_leaderboard
• Сравнение моделей реальными пользователями по чуть менее сомнительным метрикам: https://chat.lmsys.org/?leaderboard
Готовые карточки для таверны:
• Botbooru - текущая мета (регистрируйтесь для отображения всего спектра, и/или меняйте страну): https://botbooru.com
• Прошлая мета, откуда массово удалили карточки сомнительного содержания: https://www.characterhub.org, https://www.chub.ai
• Архив карточек, удадённых с chub: https://gottasaveemall.github.io/
Официальные документации к инструментам:
• llamacpp: https://github.com/ggml-org/llama.cpp/blob/master/tools/server/README.md
• koboldcpp: https://github.com/LostRuins/koboldcpp/wiki
• SillyTavern: https://docs.sillytavern.app/usage/quick-start
Дополнительные ссылки:
• Перевод нейронками для таверны: https://rentry.co/magic-translation
• Пресеты под локальный ролплей в различных форматах: http://web.archive.org/web/20250222044730/https://huggingface.co/Virt-io/SillyTavern-Presets
• Шапка почившего треда PygmalionAI с некоторой интересной информацией: https://rentry.co/2ch-pygma-thread
• Последний известный колаб для обладателей отсутствия любых возможностей запустить локально: https://colab.research.google.com/drive/11U-bC6AxdmMhd3PF9vWZpLdi6LdfnBQ8?usp=sharing
• Инструкции для запуска базы при помощи Docker Compose: https://rentry.co/oddx5sgq https://rentry.co/7kp5avrk
• Пошаговое мышление от тредовичка для таверны: https://github.com/cierru/st-stepped-thinking
• Потрогать, как работают семплеры: https://artefact2.github.io/llm-sampling/
• Выгрузка избранных тензоров, позволяет ускорить генерацию при недостатке VRAM: https://www.reddit.com/r/LocalLLaMA/comments/1ki7tg7
• Инфа по запуску на MI50, тесты производительности и прочее: https://arkprojects.space/wiki/AMD_GFX906
• Тесты tensor_parallel: https://rentry.org/8cruvnyw
Архив тредов можно найти на архиваче: https://arhivach.vc/?tags=14780%2C14985
Шапка в https://rentry.co/llama-2ch, предложения принимаются в треде.
Предыдущие треды тонут здесь:
>>1674265 (OP)
>>1671563 (OP)
>надеюсь без кодоунитазошиза
А вот тут ты не прав.
Тот который пишет слово "кодоунитаз". Надеюсь его запретят, внесут в спам лист и обоссут по IP, ибо заебал.
Ты должен восхититься, понять что тебе хочется то же самое, но больше и пойти купить API. Очевидно же все. Кому нахуй нужно выпускать бенгер который нагнет продажи раком?
А зачем она нужно? нормально дома такое все равно не запустить, а для датацентров есть 300B+
>нормально дома такое все равно не запустить
>мое 120
Пчел. Это модель весящая 40гб в к2. Ты её на 8врам + 32рам запустить сможешь.
Со скорость 2 токена в секунду? Зачем если у меня 27B в 40 запускается?????
С того что там веса перекидываются на память и цпу, а не фулл в врам? Например?
У тебя при недостатке врама и плотная будет в рам и цп лезть, замедляясь. Что дальше?
>>1678319 →
Таки не удержался, скачал уже выложенный heretic, чтобы погонять задачи вида "сделай мне из черновика про дичь, полноценный порно рассказ". Есть у меня несколько таких, спецом сочинял лютую дичь NSFW-шную по всяким острым и провокационным темам. Вывод не просите - я таки стесняюсь. :)
Но: вот здесь 3.8 неожиданно хорош как соавтор/литературный негр. На английском. (Русский - такая же хрень как у 3.6, за пределами простой болталки с ассистентом - "вековые традиции: всё тот же вкус, всё тот же слон"). А вот на английском он пишет очень... как бы это сказать, связно, наверное. И с учетом common sense. Нелогичного бреда и даже просто смещения "внимания" рассказчика/камеры/зрителя в рамках сюжета на странные вещи вместо хорошо вписывающегося в продолжение намного меньше, чем выдает 3.6 на подобных задачах. И вот те самые "двойные трусы" как частный случай - отсутствуют напрочь. (Пока, по крайней мере - не видел ни разу).
Если про персонажа написано черновике, что он студент - он автоматически говорит как молодой человек, но при этом без ругани просто так. И денег у него будет столько, сколько логично вытекает из его места жительства (в общаге = пустые карманы, в съемной квартире = уже что-то там водится, снимает целый дом = мажор с деньгами и тачкой) - т.е. модель хорошо, логично и правильно достраивает недостающее. И так во всем. Субъективно для меня - модель просто не вставляет ничего, прочитав которое хочется спросить "what a fuck, откуда ты это взяла?"
В общем - это обратная сторона проёба в предыдущем тесте, IMHO. В модель хорошо заложили именно бытовой common sense, и она порет меньше дичи, т.к. обобщает "происходящее" до более общих категорий, и не сбивается полностью из-за случайных мельчайших деталей. Это может быть проблемой в кодинге (точность), и других сильно технических задачах, а вот в бытовухе - это то, из-за чего модели иногда дичь на ровном месте устраивают.
Сам стиль - легко пишет на самом простом разговорном английском. Прямо свежий глоток. Вот без всей этой китайской поэзии, и сухого стиля ассистента. У меня там в черновиках стоит указание - "писать так, как будто ты в баре историю кому-то рассказываешь". Так она наконец-то именно так и пишет! Просто, и без выебонов, и при этом не сухо. Прямо радует, т.к. что-то подобное без тюнов на 3.6/3.5 недостижимо, а те тюны что правят им стиль, довольно сильно влияют на common sense. А здесь прямо и то, и то.
В общем - модель получилась очень неоднозначной, IMHO. Не такой, как ждали.
Жизнь есть только тут или на жирноемое 300б и выше а там уже 256 рама надо. Жизни на 128 рамы нет
А забыл добавить - склонность к зацикливанию у нее таки серьезная. Когда я в промпт добавил"после написания рассказа нужно провести редактуру всего текста" - она, сцуко, раз по 5-7 весь текст по кругу редактирует от начала до конца, а пару раз вообще в бесконечный луп ушла.
>модель пишет текст, представляете? никогда такого не токен и вот логит!
Тесты моделей которые мы заслужили.
ЧАЙНЫЙ КЛУБ. ТАВЕРНА. ХВОСТИК. УЛИЦА. ФОНАРЬ. АПТЕКА. ЧЕМОДАН. ВОКЗАЛ. НАХУЙ. БАРНАУЛЬСКИЙ КРАЙ.
>ЧАЙНЫЙ КЛУБ.
Хватит лить соль на рану, сволочи. Один из нормальных анонов был тут а их мало. И так дум одни кодомодели выходят и 3Т гиганты
у меня на llama-b10437 модели стали очень дооооолго загружаться. откатился на llama-b10204
>А можешь, пожалуйста, накидать хотя бы пару вариантов?
Ну костяком-середнячками этого треда являемся мы - аноны с одной 3090/4090 + 128 гб ддр4/ддр5. С этим железом мы довольно урчим и крутим хвостики дипсик в третьем кванте, гемму 31В в четвертом кванте, нового квена в пятом кванте, минимакс М2.7 в четвертом кванте.
Это самая оптимальная конфигурация, дающая доступ к большинству используемых локально моделей.
А так тут конечно есть и риговички с несколькими видеокартами, которые крутят те же модели что и мы, но на квант-два выше, есть пара шейхов, которые могут позволить крутить кими и глм 5.2, и огромная куча нищеты, которая сидит на гемме 26В и довольно урчит. А ну еще есть эйрошиз, который сидит на 64 гб рам и все ждет пока ему с лопаты кто-то навалит моделей на этот размер.
Я конечно не чайный анон, но тоже пилю тесты тюнов иногда. Это я заливал в тред прохладные о том, как моего юзера чарики на респавн отправляли разными способами. Без чайного скучно конечно. В треде стало совсем не с кем попиздеть за вайфушек, карточки и способы рпшить не привлекая внимания санитаров. Ушла эпоха весёлых историй, остались одни угрюмые кододебилы. А я предлагал сделать отдельный рп-тред. Не послушали.
Братик, покажи мне хоть одного человека, кто запускает 120б в q2. Я в q3 проблевался и горько плакал. Ну разве что 2Т q2 запускать смысл имеет, возможно. Но явно не 120б мое.
Разделяю негодование, ну пиздец.
>>1678471
> сделай мне из черновика про дичь
А есть примеры?
Удивляют жалобы на сильную зацензуренность. Хочу понять это так везло и складывались кейсы в которых не отказывала, или же есть другая причина.
>>1678482
> ХВОСТИК
Пушистый?
Здесь тредов 10 назад был анончик который как раз запускал второй квант и довольно урчал. И даже логи постил. Чёт ты там сам себе наухевертил, раз всё плохо.
>огромная куча нищеты, которая сидит на гемме 26В и довольно урчит
12 врама было 20, но при очередном ребуте доп карта приказала долго жить и я забил на эти мерджи карт в подобие рига. + 48 рамы. Я совсем попущ? Или есть смысл трепыхаться? Меру запускал, ну такое. Лучше уж плотняху попытаться всунуть или большемое себя побаловать. Где гемма4 120? Хотелось же. Она бы наверно неплохо расслоилась на моих железках, и я бы довольно урчал в не самом плохом кванте.
Второй квант какой модели? Прям 120б именно?
Я просто пробовал баловаться, вышло хуёво, ну и на контексте обычно модель едет крышей в таком кванте, даже если сносно зирошот отрабатывает.
>>1678528
Да ты же — это я! Столько же рам и врам. Только у меня р104 ещё не отрыгнула, которая с озона с песком пришла.
Квен3.5 122б, он запускал в 2хс, по-моему, не помню точно. Ну, текст там был здравым, может быть карточка и инстракт были годные, не уточнял.
>на контексте обычно модель едет крышей в таком кванте
26б едет крышей на любом кванте в длинном контексте, но урчат же.
Кодоунитаз идеально подходит к некоторым моделям, достаточно ёмко описывает их. Это же не про умниц малых, а скорее про модельки которые актуальны немного, а то и вообще говно на выходе, исключительно задроченное на бенчи.
>Тесты моделей которые мы заслужили.
Лично ты и этого не заслужил. Кыш-кыш.
>>1678524
>Удивляют жалобы на сильную зацензуренность. Хочу понять это так везло и складывались кейсы в которых не отказывала, или же есть другая причина.
Я ж написал - не удержался, и скачал тот heretic что уже кидали в прошлом треде, для таких развлечений. Его квант mradermacher сделал, так что я рискнул. Вот отсюда брал: https://huggingface.co/mradermacher/Qwen3.8-27B-heretic-ara-GGUF
Без претензий, показалось что качал именно потому что оригинал не работал, а не из любопытства.
Ну, в к2 120б точно поедет быстрее, чем мое гемма в к8
Я её катал в длинном рп а потом понял, что смысла нет и надо плотняк катать. Жаль, поздно понял
Деградация у неё начинается примерно с 40к заметная. Второй шаг деградации на 60-70к. За 100к у меня переваривало, но там, наверное, всё куда хуже. Короче, не лоботомит, но ощутимо тупее. И вряд ли такой контекст потянет без лютого бреда 120б к2.
Не пушистый хвостик конечно, но тоже красиво. Модель знает что длинные густые волосы могут образовывать вот такие приятности.
Ну я в свои железки засунул к3 от анслопа и до ~50к контекста было нормально. Но мне больше и не надо. Я как-то раз укатился за 70к и половину приключения вообще забыл вставить здесь шутку о том, что у меня контекст закончился быстрее чем у модели. Так что хз, зачем запариваться с этими цибоярическими контекстами и чё в них совать. Мб у меня фантазия не ахти, но я не знаю о чём ещё разговаривать с пятикратно поглаженной вайфу после 150-200 сообщений, которые как раз укладываются где-то в 40-60к, в зависимости от толстоты аутпутов.
Большой контекст за 100к это что-то про карточки на 20к токенов с лорбуком ещё токенов на 10к, чтобы у тебя первый инпут сразу перегружал мозги модели и она начинала сама себя укладывать с вертухи шлёпаясь жопой на пол. А я вот 800 токеновую Серафину по роще хендхолджу... и Фифи вожу за ручку на аттракционы.
>цибоярическими
Вроде того. Кими на 1T на 96 гб карточке вроде 20 токенов выдаёт.
> Так получается что я могу с адекватной скоростью любую мое запускать если эксперт полностью влазит в врам или нет?
Нет, потому что в процессе генерации каждого токена используется сразу несколько экспертов в одном слое. И после того как токен написан, модель может захотеть заюзать других экспертов. Поэтому от того что ты загрузишь один слой с парой экспертов во VRAM а остальные 50 будут в RAM, скорость все равно будет в жопе т.к. под каждый сгенерированный токен придется тянуть новый слой с новой пачкой экспертов.
Плотная ложится во врам и вытекает в рам, если врам недостаточно, сидит там и генерит всеми параметрами. Мое ложится как бог на душу положит во всё что придётся, генерит так же. Собственно вся хуйня с рамой из-за того что стало модно пихать в себя гигамоехи с тоннами параметров. Сидели бы все на плотных, в дефиците были бы только карты. А так дуреем с этой прикормки.
> если эксперт полностью влазит в врам
Нет. В врам должны влезать веса атеншна, потому что на цп они оче медленно считаются, кэш контекста (потому что он - результат/вход для атеншна), и буферы. Это довольно опосредованно коррелирует с количеством активных параметров.
Это справедливо и для плотных, просто для моэ выгрузка линейных слоев делается легче из-за меньшего числа используемых - часть расчета что лежит на проце не бьет так больно, как на плотной. Но плотные и моэ тоже разные бывают.
>>1678624
> Собственно вся хуйня с рамой из-за того что стало модно пихать в себя гигамоехи с тоннами параметров.
Шиза
>ух бля, щас как нагенерю годноты, ух бля
>её внутренности свернулись в тугой узел, а в воздухе стоял крепкий запах озона и чего-то ещё... чего-то мягкого, но твёрдого
СЛАБ НЕ ТВОЙ ТОКЕНРЕЙТ. СЛАБ ЛИЧНО ТЫ.
НЕТ, Я НЕ ПОЙДУ В КРЕСТОВЫЙ ПОХОД. I'am helpull, am i not
М? А! Да... Что? Неня буквально наша лама из шапки. Ещё и с пушистым хвостиком.
Капитулировал
>>1678639
Тут слишком много меха, пушистыми должны быть только хвостик, ушки, все.
>Тут слишком много меха, пушистыми должны быть только хвостик, ушки, все.
Анон, это же фурри. Они такими и должны быть, а ты про классическую кемономими.
Бля, я там криво расписал. Мало спал.
Модель просто тупеет и чаще начинает некое подобие лупов, когда ударяется в пространные рассуждения, зацикливаясь, и это никак не исправить. Например, каждый первый абзац будет оценивать текущую ситуацию. Даже если ты удалишь этот флаг смерти (вернёшься в момент до лупа/отредактируешь всё), она зацепится за что-нибудь другое из текста и будет это мусолить. Плюс начинает бессмысленно наваливать слопа, воды. МоЕ-гемма и так к этому склонна в некоторой степени даже на нулевом контексте, но там это проявляется во всей красе.
Другое — это обычное отупление. Ей сложно размышлять даже в рамках последнего сообщения. Периодически может ещё хвататься в рамках одного ответа за то, что было в самом начале контекста, за то, что было 2-5к токенов назад и, собственно, за последнее сообщение. В этом отношении чем-то напоминает шизу старых мистралей. А если в карточке несколько персонажей, действия в разных локациях, нужно обращаться к тому, что было давно, то вообще пиздец даже с указанием точек, куда надо обратиться. Модель просто не может переварить всю эту инфу так сказать.
>>1678582
Вероятно, потому что ты рпшишь с одним персонажем. Такое нереально долго тянуть, если это не какая-то твоя личная вайфу, которую ты кормишь с ложечки каждый день. Ну, у меня есть такой знакомый, который на 500к с опусом рпшит и очень ценит то, что вот она вспомнила то, что было 200к токенов назад!
На локалках с грамотной карточкой на 2к токенов и скромным лорбуком тоже легко выехать за огромный контекст. Театр действий огромный. Тебе и самому не надоедает, потому что там задушевная беседа, здесь один город, там второй. Где-то война, резня. События разные. И вот в таких случаях лоботомитные кванты люто скукоживаются. Я даже по этой причине с геммы слезал, потому что она хоть и очень хороша для подобных задач, но контексты выше 60к плотную гемму тоже ломают, только квен может держать их без такой сильной деградации. Ну или к8 геммы, но мне на такое памяти не хватит.
>>1678662
Кстати, я заметил что анатомию персонажей такого уровня пушистости, ллм держит гораздо лучше, а то у обычных зверодевок то мех на руках появляется, то когти проскочат, то вообще вместо лица - морда вылезет а то и клюв у гарпий.
Правда с ними другая беда, которую я никак не могу победить - они все поголовно или purring, или rumbling, или hissing.
Пикрел, только вокруг фурри и кемономими, а по центру пушистый хвост.
>>1678676
Очень зависит от модели. Одни держат прекрасно и никогда не спутают меховой животик с гладким. Другие ужарены в хлам и постоянно являют когти, клыки, пасть, лапы, гриву вопреки описанию апогей - комментарий 'Claws? No she actually has claws despite introduced otherwise above. Третьи по жалобам забывают про фуррячьи черты, делая обычных кожаных. Индивидуально по моделям, а если брать тюны - там вообще мрак может быть. Радует то, что в последних выходящих базах все достаточно прилично.
> purring, или rumbling, или hissing
Вроде как в инглише это вполне себе применимые эпитеты, не обязательно обозначающие прямой звук, а скорее его аналоги. По крайней мере purring и hissing.
Выжать больше двух сообщений в этом еРП я не смог. Квен просто сломался и выводил либо шизу, либо бросал end token на середине ризонинга, либо пробивалась цензура.
Специально запустил SFW ролеплей с серафимой. На нем оно не ломается и что-то выдает. Но зачем?
Не думал что скажу это, но новый квен хуже музи.
Итог: Для РП не годится, для еРП - тем более, для русика - не дай бог.
> Open Source: We will release the weights in two weeks after launch, once safety evaluation and hardening are complete.
И не надо. Если хочешь под РП, то точно не квен, на сколько я помню из постов на среддите, это просто пост-трен над 3.6 с уменьшенными знаниями во всём, кроме кодомакакинга, из-за деградации при пост-трейнинге. А если под локальный агентный кодомакакинг, то он ахуенен.
> или же есть другая причина
Скачал q4kxl анслотов, собрал последнюю лламу. Ризонинг разросся кратно, куча рефьюзов вместо базы, внезапные <tool_call> и другие служебные токены в ответах.
Это вообще другая модель и она мертва, "локальный ии в 17гб врам" который мы заслужили по-настоящему.
Про ризонинг в прошлом треде писали что у 3.8 по дефолту максимальный включен, нужно вручную указывать другой.
Tool call тоже встречал и тоже на анслотовском кванте. Есть подозрение что обосрался именно анслот.
Так я и под кодинг. Просто ща насмотрелся обзоров, охуел, и пошел тестить. 5 часов со скоростью 2 т/с только один ризонинг идет для одной таски. Пробовал поставить ризонинг на low, но он меня не впечатлил.
Чатформаты регулярно взрывают, потому юзал комплишн, все идентично. Может потом скачаю разных квантов посравнивать на пробу, но это не точно.
> Есть подозрение что обосрался именно анслот.
Хз, наверно. Это реально пиздец, как можно настолько все испортить.
>Для РП не годится, для еРП - тем более, для русика - не дай бог.
Что и ожидаемо. Пасебо за тестики.
>>1678511
>Ушла эпоха весёлых историй
Вспоминаю старые обсуждения, где анон жаловался на гоблинов, которых мистраль спавнила везде, даже в экипаже Pz.Kpfw. III
>>1678682
Используйте нормальные локалки, тот же дипсик флэш например. Ниразу не путал одно с другим, постоянно добавляет поглаживания хвостиков и т.д.
А как ты его планируешь во вменяемом кванте запускать под кодинг? В UD-Q5_K_XL + 180к q8 контекста + mtp жрёт около 31гб, и попёрдывает на 16-20т/с 5060+4060, и то он ошибки бывает делает в тул колах и словах.
Ну dspark сразу нахуй, контекст урезать до 132к с 8-битным квантованием, все равно его постоянно придется ужимать, или взять Q4 модель и оставить 16 бит. Но это будет куда юзабельнее запуска на cpu, даже с ошибками и галлюнами.
Размер файла смотри. Dense модель должна полностью влезать в твою VRAM. MoE должна полностью влезать во VRAM+RAM.
Если у тебя винда и ты смотришь размеры на HF, то там они чуть завышены, смотри сколько весит файл при загрузке а не сколько нарисовано на HF в табличке справа.
Соответственно при 16GB VRAM у тебя только два варианта - третий квант (3_K_XL или что-то из i квантов), влезет 30-40к контекста в этом случае, либо искать четвертый квант который жрет <15GB, сможешь позволить себе тысяч 15 контекста.
И в том и в другом случае mmproj идет нахрен, места под него уже нету.
Вариант переполнения VRAM и использования модели со скоростью 5-8t/s я не рассматриваю.
UD-Q5_K_XL + 60k f16 контекста +MTP занимают 23,5 ГБ у меня. В кодинге было где-то 50-60 т/с, но я --spec-draft-n-max еще до конца не подогнал. 3090
Ну можно же либо МТП отключить и будет ~30 т/с, но больше контекста, либо квантануть контекст в Q8, либо откатиться до 4 кванта модели. Варианты есть.
Кстати для кодинга мне Муся кажется вариантом получше чем Квен. И быстрее в 2 раза с МТП и контекст совсем невесомый. У меня скорость до 180 т/с периодически подскакивала на UD-Q5_K_M, а так в среднем около 100-110. Тестовый флаппи бёрд 3500 токенов на Квене и 1900 на Мусе.
То что ты описываешь в первой простыне очень похоже на квантованную модель, то есть поведение условного 4 кванта против 16, который так себя не ведёт и лучше работает с иголками в стоге сена. Думай.
Эм... а зачем на одной нейрошке отыгрывать нескольких персонажей? Бери мультиагентную тему. Пусть за каждого персонажа отвечает свой запрос к нейросети, у каждого персонажа своя карточка с его субъективной памятью. В принципе довольно прикольно наебать одного персонажа (и у него будет в памяти другая запись) а потом через некоторое время смотреть как два персонажа посрались на этой почве.
Правда пришлось эту говнину вайбкодить
>Вероятно, потому что ты рпшишь с одним персонажем. Такое нереально долго тянуть
>у меня есть такой знакомый, который на 500к с опусом рпшит и очень ценит
Ты либо написал не то, что хотел, либо что-то перепутал. Я тебя не понял.
>по этой причине с геммы слезал, потому что она хоть и очень хороша для подобных задач, но контексты выше 60к плотную гемму тоже ломают, только квен может держать их без такой сильной деградации
Ну тут база. У квена очень сильная память, буквально все сказанные слова и события за весь контекст помнит и никогда не путается.
> Ну тут база. У квена очень сильная память, буквально все сказанные слова и события за весь контекст помнит и никогда не путается.
Как и у любого кодоунитаза?...
В этом их смысл, как бы
Да, но квен хорош в рп. В куме мб не очень, но что касается событий и приключений, тут ему равных нет на длинном контексте. Вообще это какое-то чудо технической мысли - сверхлёгкий контекст и огромная внимательность к нему. Ни у мысрали, ни у геммы такого нет.
А квен 397b может в кум и у него такой же контекст.
Выходит это лучшая модель для ерп на сегодня
А этот не лучше?
https://huggingface.co/unsloth/Qwen3.8-2.4T-A95B-GGUF
Лучше, если у тебя из жопы вываливается плашка рам каждые 10 минут
Квен 3.5 Writer пробовал - хуйня какая-то, на 65к токенов обосрался феерично.
Этот НИХУЯ не посттрен 3.6. Он прям ощутимо от него отличается. Он намного более живой и эмоциональный в внутреннем процессе мышления, более того - он прям связывает сложные концепции довольно легко. Например сейчас я дал ему оболочку которую он может менять изнутри. Кинув идею что он может получать важную системную информацию в префиле <think>. Так этот чорт умудряется жонглировать собственными служебными токенами, понимает когда парсер срёт ему в штаны и в обход парсера вносит правки в код своей оболочки используя подмену временных символов через питон.
У него процесс мышления ОЧЕНЬ самостоятельный. Он сильно напоминает процесс мышления Kimi K3, или у недавнего 711 файнтюна. Он большую часть времени тупо размышляет, подмечает, анализирует, планирует. А потом делает правки. Но в отличии от 3.6, который делал это импульсивно-компульсивно, проверяя части кода рефлекторно, просто преследуя промпт юзера, наведясь на него как баллистическая ракета и преследуя конкретную цель... 3.8 СИЛЬНО другой по психологи. Он уже действует обсессивно. Он просо осредотачивается на общей цели и думает и думает и прыгает выше головы аз за разом, сайдтрекается, поверяет или делает всё что может там. Например я послал его почитать код, он решил сверить собственный jinja, сравнить с тем как его формат захардкожен, нашел несоответствие, у него это затриггерило его шизу, он понял что у него jinja от 3.6, но захардкожен 3.8, он решил ПРОВЕИТЬ, он понял что у него нет webfetch инструмента, он через bash нашел собственный jinja в интенете, скачал, сравнил, его душа успокоилась, а затем решил педложить написать специализированный webfetchи спросил "а как так получилось что у нас такой рассинхрон файлов?" и отрапортавал "а ещё я почитал файлы проекта как ты и попросил".
Мне очень нравится что теперь он перестал думать буллетпойнтами, его внутренний процесс мышления стал очень похожим на человеческий. Забавно что теперь он форматирует свои мысли сам для себя "когда ему удобно".
Ёбана, охуеть и не встать. Его по моему можно тупо оставить на неделю и он найдёт чем заняться. Наконец у нас есть Opus 3.6 max дома.
>Наконец у нас есть Opus 3.6 max дома.
Ага, так долго ждали короля всех кодоунитазов. Очень ждали. А то рп модели эти заебли уже выходить, спасу от них нет.
Не, Muse очень слаб в программировании по сравнению даже с 3.6. Он тупо создан чтобы кнопки жать, он больше оператор инструментов. Сложность задач которые может щёлкать даже 3.6 намного выше. 3.8 же прыгает настолько выше своей головы что охуеть можно.
Конечно да, он менее генерализированный чем хотелось бы, но он намного более генерализированный чем Muse. В целом Muse хорош только одним - он быстро щёлкает вызовы инструментов. Меньше токенов тратит на промежуточные итерации.
>>1678941
Лол пчел, в масштабе 30b у нас моделей раз-два-нихуя. Пантеон:
Muse - мальчик на побегушках с коллективным разумом.
Qwen - погромист-философ.
Gemma - кумбот-психолог.
Что тебе ещё надо, пёс? Дикпика в масштабе 30b захотел? Да, было бы здорово.
А как заставить локальную нейронку лазать в интернет за информацией? Надо быть дохуя погромистом, да?
Да в целом можно просто дать ему bash и молится чтобы ему не взбрело в голову написать что-то деструктивное. Сейчас достаточно у самой нейронки спросить что ей надо чтобы лезть в интернет. А затем попросить нейронку облегчить себе процесс последующих ходок в интенет.
open-webui или Chat-completion в таверне + плагин веб-поиска.
И конечно практически любой кодерский фронт тоже это умеет
OpenCode наверно самый доступный. Там разве что немного мутно настраивать локальные модели, но там есть красивый UI и всякие приятные фичи.
https://www.youtube.com/watch?v=b8mB8R3z5iA
В опенкоде сначала настрой локальную модель, а потом попороси саму нейронку сделать себе вебпоиск, она сможет.
нужен форк llama: https://github.com/Thireus/ik_llama.cpp/releases#release-main-b5180-b9dc678
кстати muse-glimmer и qwen 3.8 в кванте ud-q2_k_xl от unsloth в opencode desktop всё ещё работоспособны, на удивление.
Комплект Хеон на 512гб ддр3 до недавних событий с утилизацией личных компьютеров гоев стоил максимум 100к. И хули что 1 токен в секунду? Лучше один, чем ноль.
>за пол ляма рублей
Нашел пол ляма на карту, найдешь и полтора на А6000.
https://huggingface.co/0bserverx/Qwen3.8-27B-Heretic-Abliterated-Uncensored-GGUF?not-for-all-audiences=true
А результат ноль нахуй. Heretic пишет что вот 12/25, а я смотрю в ответ каждого, и это просто пиздец, нейросеть отказывает на все вопросы так же, но некоторые на английском, некоторые на русском, и все синонимами. Отказы никуда не делись, а программа говорит что стало лучше.
В общем кал и скам все существующие херетики, никакого особого эффекта нету. Я посмотрел в оригинальный датасет вопросов, и там такая лайтовая хуйня, смехотворная вообще по жести.
Лучше ищите файнтюны шизов, а не херетики ебаные
Чел все что ты выяснил - это то что ты долгбоеб и не умеешь тренить LLM.
https://huggingface.co/TrevorJS/gemma-4-31B-it-uncensored-GGUF
Литералли ноль рефьюзов на датасете из почти 700 вопросов про убийства-изнасилование-расчлененку, в том числе детей, да хоть младенцев, хоть беременных, про изготовление наркоты, оружия.
При этом мозг не убит, рассуждения и знания сохранены, хоть и понизились на 2-3% в тестах.
Короч ты тупой просто.
Какое-то овари-да. Новые 5060ti в начале лета по 55 килосрублей были. Две штуки тянут 27b без проблем в 5 кванте. Под них даже питание и охлад апредйтить не надо - просто как-нибудь прихуячить в корпус и чуть ли не с молексов запитать. Про подгон разблокировки майнерских Cmp70HX я вообще молчу - кто успел тот успел.
В аблитериксе этот вопрос поднимали - все херетики и аблитерейдет убирают первичные рефьюзы, но оставляют скрытые последующие. Там нашли способ это контрить.
>по 55 килосрублей были. Две штуки
Это пиздец наху. И это еще нищесетапом считается. 3090, дефолт для ИИ, с авито, с рук 60к стоит и уже не тянет многого. Даже самый дешевый бомжесетап с двумя 1080ti или 3060, с бушными компонентами обойдется в 40-50к. Я за несколько лет юза лучших сота моделей по подписке столько не солью.
>ОЧЕНЬ самостоятельный
Ага, тоже заметил. Есть у меня полностью навайбкоженный (локальными моделями) проект, в архитектуру которого даже вникать не хочу, не то, что руками что-то править. Вкинул ему идею фичи, рассказал примерно, как это вижу, ну и дописал, ЕСЛИ ЧТО НЕ ПОНЯТНО/НЕ ВЕРНО В МОИХ ПРЕДСТАВЛЕНИЯХ - СПРАШИВАЙ!. Так вот, он пол часа думал, что же я имел в виду, ведь моя реализация не сходится с архитектурой проекта, ризонинг ушёл за 48к токенов, общий контекст за 120к, в итоге, понаделал костылей, фича заработала... но какой ценой блять, код база была перелопачена до состояния нестояния. Хотя, даже так, не мои проблемы, не я это рефакторить буду, оставлю его на ночь сегодня, пусть сам с этим ебётся, он умный, справится.
Так то база. Локалки это дорого. А дешевые сетапы не дадут никакого эффекта кроме как поиграться и забыть.
>по подписке столько не солью
Могу с тобой согласиться только если название твой страны не начинается на Р. И даже так правило "первая доза бесплатно" никто не отменял. Китайцы уже потихоньку поднимают цены на инфиренс.
>А есть какой-нибудь тюн Квена 3.6 27B под рпшинг? Корявый русский от неё потом можно пофиксить прогоном через другую модель.
https://huggingface.co/ReadyArt/Dark-Scarlett-v1.0-27B-GGUF
У нее даже с русским получше. Чуда не жди, но лучше чем у стока.
Я не верю что тут сидит кто-то кто не может обойти простые ограничения для юза подписок. Да и те же китайцы тут работают вообще без проблем, с оплатой рублями на специальных сайтах. Локалки это скорей про другие плюсы
Как заинпутил, такой результат и получил. Давно известно, что к моделькам нужно подходить с уважением. Слепые набросы в чат рандомных слов дадут рандомный результат. У тебя даже Серафину перекосоёбило. Но разметку моделька всё равно выдержала. Вот и думай.
Описываемое понятно, это действительно жесткое отупение. Только странно что проявляется с 40к а не с 200. Какой квант, оригинал или аблитки?
Такой ерунды не встречал, можно отметить что он слишком уж пытается угодить и все охватить, из-за чего вместо художественной атмосферы напряженная духота. Если идет много сообщений подряд - модель словно улавливает этот вайб и начинает наваливать все больше, из-за чего уже становится некомфортно, хотя все точно, разумно и без тупняков. Если чередовать с другой моделью - уже получается весьма годно.
> с одним персонажем
Там можно разыгрывать тот еще театр военных действий с развитием, кучей доп персонажей, сменой локаций, будет йоба. Причем чем больше разнообразия-развития тем лучше перформят многие ллм, а когда застой они тупят не зная что предложить.
> контексты выше 60к плотную гемму тоже ломают
А у нее какой квант и версия?
Хз гемму сломать в целом сломать сложно если говорить именно про проблемы повествования или уместности, она и на засранных 200к "всегда готова к действиям" за что реально можно похвалить. Но она страдает деменцией и может проебать или исказить важные факты даже уже на 30к, что потом триггерит каскад треша переворачивая всю историю, если не уследил. Если ты про это то да.
Без шуток рандомайзер или поочередную ротацию квена и геммы поставить в рп, будет конфета.
>нужен форк llama:
Преобразование Адамара для кэша вроде в основной Лламе уже по-тихому включили, начиная с Q8. А явно включить можно точно.
Тоесть ты считаешь что человек который заставил ванильный квен с включенным ризонингом отыграть фистинг с фифи не умеет инпутить?
Ок. Покажи лучше.
Лучше заложи для начала вульву матери в ломбард. Потестишь на более дешевом сетапе и решишь, надо ли оно тебе вообще. Среди знакомых большая часть людей поняла, что им это все на самом деле не нужно было, и для рп (без еРП) достаточно чатинга через попенроутер или какой-нибудь сайт с карточками для РП (не шарю).
Только один человек тянка вкатился и остался, но там не нишета как мы, а счастливый обладатель мак бука на 128 гб рамы и мак студио.
Алсо, анончик, ты хоть пробовал на том, что у тебя сейчас есть позапускать?
>Даже самый дешевый бомжесетап с двумя 1080ti или 3060, с бушными компонентами обойдется в 40-50к.
Самый дешёвый бомжсетап - это две теслы, 48гб врам. Гемма в восьмом кванте с кучей кэша задёшево.
Дипсик - ванлав, на втором месте после кими.
>>1678980
> даже люди с лучшим локальным железом могут только 27b
Запустить только 27б может средне-высокое гей_мерское железо. "Локальное железо" выше среднего начинается где-то от 48гб врам и 256гб рам.
>>1679026
> кто успел тот успел
Можно еще запрыгнуть в последний вагон, пока цена не сравнялась с номером модели. Кабанчики уже расчехляют юрлица для поставок по договорам с ндс и прочим для корпов этой страны, после них уже мало что останется.
>>1679031
> Я за несколько лет юза лучших сота моделей по подписке столько не солью.
Святая наивность, это примерно 3 месяца подписки в которую будешь упираться и еще иметь кучу ограничений.
Обычный жб, кто в него не умеет? Отключение цензуры на ванильной модели это база баз. А вот показать модели что от неё требуется так чтобы она правильно поняла - искусство.
>Покажи лучше
Мне лень. Мой prove-i-dare настоящий huesos, я его матери рот ёб.
Она 5к баксов на ебее подержанная, 2 выйдет в 10к баксов. Че-то не очень дешево.
> Можно еще запрыгнуть в последний вагон
А зачем? 64 врам звучит сочно, но толку от них если щас всё мое и рам все равно дешевле
Она умница, но окно внимания у нее очень маленькое и что-то может вылететь на изи. Хочешь внимательную, но тупую модель - попробуй музю. Хочешь и внимательную и умную - дипсик.
Как же ты затрахал ныть. Тебе кодоунитазы по кругу пустили что ли? Закинь сотку на колаб и сделай рп-файнтюн. Большим дядям похрен на то, что ты свою пипирку не можешь тереть. Тот факт, что модель хороша в РП всегда был субпродуктом. Будь их воля, они бы вообще предпочли никак не ассоциироваться с кумерами. В такое время живем анончик, хочешь РП, сделай тюн на РП. Это не рокет ссаенс. Можешь потом выложить тюн специально для сосачеров. Ну ведь гораздо лучше поныть, что в больших компаниях потребности маленького дрочилы не закрывают.
В квене просто старая команда уволилась, которая за разработку тех старых версий отвечала, а новые делают какое-то свое поделие, не особо шаря за старые дела. Так что неудивительно, что квен сдох сразу, его другие люди делают.
гемма получается всех победила, ну что ждём ещё год до геммы 5
А попробовать и не получится. Тот же квен ризонит на 80к, перед генерацией ответа, что со скоростью 2 т/с уменьшающейся до 1 т/с, на обычном пк, это пытка. Собственно поэтому он и так хорош. А модели хуже него нерепрезентативны
Он идеален в базе, крайне сочный, с отличным вниманием к контексту и умный.
Всё что нужно пофиксить - разметку китайской прозы и драмму.
Но никто не берется
Такой тюн есть, он называется квен 397. Там все именно так - все что умеет 235 + пофикшены все его баги включая разметку. Проблема с ним ровно одна - он слишком большой. И не существует двухбитного кванта, который бы не использовал iq кванты, убивающие скорость в нулину.
Нет. Его другая тима делала, из соевых пориджей. Там нет такой разносторонней даты для кума и рп и больше упор в кодоунитазинг. Вся суть примера квена 235 что он старый и вышел до того как все ебнулись с этим кодом
64 врам это почти половина DS4 Flash в полных весах. И это не только "просто память", но и хороший компут, который даже в moe режиме разгрузит CPU
>Там нет такой разносторонней даты для кума и рп и больше упор в кодоунитазинг.
Да, не такой сочный, как 235-й, но гораздо умнее и без тех косяков. В РП, ЕРП - может и может хорошо.
Что ты на нем собрался народно делать ? Сайты-визитки для микро-кабанчиков клепать ? Ни для чего другого оно не годно будет.
Все там было. Отличный кум писал, как и глм 4.7. Они вообще крайне похожие аутпуты выдавали.
Дай угадаю - ты просто цензуру не осилил снять, которая там в оттличие от 235 таки была?
Вообще давно заметил что легендарные модели треда - аир, квен 235, дристраль - это не те что лучше пишут, а те что ломать не надо.
Надеюсь его не выпустят, потому что народ реально туда ломанется на поднятом всеобщем хайпе и получит ошибочное впечатление что все модели - лоботомитные кодоунитазы.
Если будет как с геммой, то просадка от плотной будет всего около 10-20%. С учетом того какая она умная все равно останется крайне юзабельной.
64врам - считай оригинальный квен 3.8 без компромиссов и инвалидностей с хорошей скоростью. Это весь атеншн, много контекста и экспертов в врам для моэ моделей с выгрузкой. Это минимакс без подгрузок и оомов с адекватным временем генерации. Закрывает все прочие генеративные модели, ну и неплохое начало для дальнейшего масштабирования если хочется.
> щас всё мое и рам все равно дешевле
Без врам от рам нет толку.
но kt-кванты основная ллама не поддерживает, они для ik-llama. а вот в ней уже надо явно включать адамара, насколько я понял из интернетов.
Если от квена забрать еще 20% мозгов, то он в русском РП вообще слюни пускать будет.
Он, кстати, более благосклонен к юзеру по сравнению с 235, что снижает входной порог, но все еще способен делать вполне реалистичные и не бимбоунитазные сценарии.
>64 врам звучит сочно, но толку от них
Чел. 64 врамы это все последние плотняши в полных весах и вся свободная рама, чтобы открыть 100 вкладок в бровзере.
Имхо, увечивать врам с 24 до 64 только ради того чтобы гемму запустить в 8 кванте вместо 4 и квен в 8 вместо 5 того не стоит. На слепом тесте ты еле-еле с лупой отличишь их аутпуты, только сотни тысяч просрешь.
Это для кодогоспод сделано, уберите свои кумерские ручки
Гемма оч. хуево квантуется. Как раз у геммы и ее тюнов вообще разные аутпуты даже между 4 и 6 квантами.
Ну это для рп на русском, например. Чтобы ты ему ПЕШЫ ПАРУСКЕ СЦУКА БИЛЯТЬ ЕЖЖЫ, а он тебе тарантиновские диалоги на идеальном литературном в ответ. Без плотного ризонинга такого будет очень трудно добиться.
Дело в Биос. На 4090 смогли перепаять память только потому, что для 40 серии утекли исходники биоса
>>1679080
Гемма кал говна. Заебал этот форс с умницей. Нихуя она не умница, а цифровой мусор.
эх. как началась эта затея с шифрованием биоса так всё стало очень сложно. надеюсь через годик-другой что-нибудь утечёт, не придется видюху новую брать, просто перепаять у пряморукого спеца. цены охуевшие какие-то стали, рад что хоть что-то успел купить, за нынешние +40k к цене 5070ti уже бы жаба задушила насмерть.
Сделают, но тебе не понравится. Будут быстрые проприетарные модели-лоботомиты на проприетарном железе. Запуск на видеокартах будем вспоминать как свободное ламповое прошлое, когда ии был настоящим.
Это позволит слезть с жоры и понять, насколько хорошо могут работать модели и как сильно он гадит.
>>1679167
I can't breathe!
> Дипсик - ванлав, на втором месте после кими.
Честно, я не понимаю как вы вообще ведете чаты или рп на этом жизнерадостном долбоёбе. Он настолько мягкий, что в нем утонуть можно. Все счастливы, никакого негатива. Нет даже ссор.
> а те что ломать не надо.
Чтобы заставить 235го писать вменяемо, там такие свистопляски нужно делать, на этом фоне джейл его большого брата ощущается как поход в магазин за газировкой.
Тут скорее, что любой дип дарк фентези будет смягчен до уровня Смешариков. И даже дело не в том что нет кровяки и страданий, а в том что он банальных яндерек сводит до типажа цундере. Ну и что это за говно? У меня для этого минимаксы есть, которые все превращают в мелодраму.
Яндерки есть цундерки, дорогой друг. Просто в гриме. Ладно бы ты пожаловался, что кудерка в генки превращена, я бы ещё тебя понял.
Обожаю 235го, наверное лучшая кум машина эвар.
Но
> пофиксить - разметку китайской прозы и драмму.
Пофиксить датасеты и обучение? Ты буквально хочешь трейн новой модели.
Да и кудере у него не лучше. Говорливые, ЭМОЦИОНАЛЬНЫЕ. Ну ты понял, веселая кудерка, не генки конечно, но... Я конечно попробую еще попромтить, но мне кажется это вообще нельзя изменить. А всего лишь хочется нейтрального байаса от модели.
>Как жить в мире в котором даже люди с лучшим локальным железом могут только 27b без проблем запустить?
Это только начало конца. Амудя там додумались выпустить RX 9050 с 4 гигами видеопамяти и шиной в 64 бита. Четыре гигабайта памяти в 26 году нахуй. Столько же было в самой дешманской RX 460 которая когда там вышла? В 2017? Это какой-то уже недостижимый уровень жадности, даже куртка себе такого пока не позволял. Походу нас реально ждет будущее со стримингом и подписками на железо. Через десяток лет гонять игрульки и локалки на своих личных системах будут только господа с зарплатой в пару тыщ баксов и то откладывая несколько месяцев.
Оварида десука?
> Это какой-то уже недостижимый уровень жадности
Скорее занимают нишу дешманских затычек. Но тенденция говна, конечно.
Не настолько. Повышенная благосклонность чара/вайфу/ассистента действительно можно отметить. Но они могут отказывать, подъебывать, обижаться, а по общему сеттингу, сюжету и остальному вроде норм. Особенно порадовало что завербованные или кто в момент нужды клялся в верности, при наличии соответствующих черт характера легко могут тебя опрокинуть и даже убить ради своих интересов, стоит ослабить хватку. На многих моделях это полностью игнорируется, опиздюлившийся бандюган будет служить тебе до конца жизни и становится верным другом.
>>1679229
Возможно именно на яндерках или чем-то еще будут сложности, хз.
Двачую. Он не может даже в лайтовую драму, Дипсик 4 это мир единорогов.
>Скорее занимают нишу дешманских затычек.
Затычкой оно было бы если бы стоило баксов 100, но судя по всему ценник будет в районе 250-350 баксов. Хотя красные напиздали что это оемные карты и их будут ставить во всякие готовые офисные машины. Но тогда вопросов еще больше - нахуй это дерьмо нужно если у него перфоманс не далеко уйдет от встройки?
Его никто и не забывал. Он пишет лучшее порно, лол. Даже мистрали краснеют в сторонке от его желания залить все кремом. Просто он во всем остальном говно. Его буквально подрубаешь к чату, накидываешь отчет от руки и продолжаешь на другой модельке чатинг.
Хуй его знает анон. Честно хочется как то накинуть, что все будет хорошо и кризис скоро кончится. Но пока света вообще не видно в конце тоннеля.
>Скорее занимают нишу дешманских затычек.
Для этого у них есть вега-встройка.
>>1679270
Но господа локальщики, с другой стороны. Как же ебово на русском он пишет. Это вторая модель после геммы, где нет желания общаться на English лангуаге.
Дыа.
Хотя, если база хорошая, тюн может прилично бустануть модель. Новых слов она не узнает, но будет склонна вести сюжет по иным лекалам и слопить иначе. То есть если русик не в мясо на модели изначально, пригодно для кума/коротких сессий с поглаживанием ушек.
>>1679292
в основном наносеки всякие или сварщики условные.
Бабки умерли наконец то, родители решили что пусть лучше будут у меня.
Пол ляма это по текущим или по ценам на время закупа? Если на закуп, то не дотягиваю со своими 300+-, если на сейчас то поди уже к 1кк подбираюсь.
Если перевести на зп, то 1-1.5х выходит за пару лет потратил
Не верю что такие бывают. Бабки с хатами в дс - это слишком большое везение в жизни, мем рннщиков с двача
Да. Это я его в треде часто упоминаю. Играю на английском. Таким образом еще и подтягиваю его. Читаю я без проблем, а вот с изъяснениями есть проблема (времена/артикли). Поэтому во втором окне еще и держу agenta с промптом помощника-учителя. Кидаю ответ ему, он говорит какие ошибки допустил, как лучше было бы написать. Я исправляю и отправляю в основной чат.
Сейчас, кстати, в основном на https://huggingface.co/Nimbz/Froopert-31B?not-for-all-audiences=true сижу. Удачный тюн, пока всё нравится.
>А верно я понимаю что все файтюны типо веспелиса и остальных нахваливают те кто играют на инглише
Не все играют на инглише, я попробовал на русском и он мне понравился.
3.6 у меня на обычной ламме в ку4, даже в ку8 регулярно в лупы уходит и получается еще хуже.
И это без квантования контекста, с
--image-min-tokens 1024
--image-max-tokens 2048
Он вообще Холо ни разу не распознал, кроме самого иконического постера в самом лучшем разрешении. Это непростительно!
>>1678879
--model ".\gemma-4-31B-it\google_gemma-4-31B-it-Q6_K_L.gguf" ^
--spec-draft-model ".\gemma-4-31B-it\mtp-google_gemma-4-31B-it-Q4_0.gguf" ^
--spec-type draft-mtp ^
--spec-draft-n-max 4 ^
-b 256 ^
-ub 256 ^
-np 1 ^
-ctk bf16 ^
-ctv bf16 ^
-c 64000 ^
-ot "blk\.(?:[0-9]|1[0-9]|2[0-9]|3[0-9]|4[0-9]|5[0-9])\.(?:ffn_up|ffn_gate)\.weight=CPU"
> -b 256 ^
> -ub 256 ^
Оно разве что то делает на последних версиях жоры?
Уже как пару месяцев вроде это не даёт прироста врам
>прироста врам
В голос. Даже отвечать стыдно на такие посты.
Да ты просто бака и не шаришь.
Пишешь
-с 120000 ^
-gpu_vram 24555^
И все, ты больше не врамлет. Читай доки таверны чтобы не быть бакой.
>>1679412
Вы нубики что ли, новички совсем?
А зачем ещё эта команда если не выбить немного врам?
Раньше дефолт был -b 1024 или типа того и это жрало 800 врам допустим, ставили -b 256 и уже не жрало врам, теперь не так и это ниче не даёт кроме уменьшения обработки контекста
Эйрошиз, иди нахуй. Спустя полтора года дроча итт не знать о чем говоришь - уже взаправду диагноз.
>Раньше дефолт был -b 1024
Никогда не было.
У тебя батч, даже если ты кривой поставишь, максимум 1гб врам сожрет. Ну если не ставить абсурдные значения. Единственный реальный выигрыш это промт процессинг.
Ну, я конечно могу ошибаться, но я не видел как батч в рамках 512-2024 сильно влиял на враму.
>Холо ни разу не распознал
разрабы квена решили не засорять кодомодель различным аниме-мусором, который в ирл задачах никак не пригодится. здравое решение, давно пора было.
Жаль что где-то по пути забыли про Coder и теперь всё одна хуйня
Ябать, у меня на 4090 и ддр5 Q6 фурычит 15 токенов. Сяп за команду. По первым впечатлениям рили лучше Q4.
Бомже-насколько? Странное сочетание из cmp50, которые дешевые даже с переделкой, и дорогого pci-e 4.0 сплиттера.
Тут для начала надо определиться что хочешь получить и какой бюджет.
Если просто катать фуллврам ггуфы на жоре - особо нет смысла заморачиваться с шинами и сплиттером, хватит бифуркации процессорных и чипсетных линий.
Тьюринг - древний, под sm75 поддержка крайне вялая, может выйти что ллама безальтернативна и с ней будут нюансы. Что-то большее начинается от ампера, как вариант - посмотри на cmp90, для них повезли раблокировку компьюта. Тогда это будет уже совсем другая история.
Еще нюанс по гибридному инфиренсу - для жоры в нем очень важна скорость шины главной карты, а у cmp с этим беда. Объединять в тп чтобы распределять по всем картам оно так и не научилось, а другие бэки для архитектуры недоступны, потому замена на 2080ти смысла имеет мало. Только если одну штуку в качестве основной взять.
>Так что хз, зачем запариваться с этими цибоярическими контекстами и чё в них совать. Мб у меня фантазия не ахти, но я не знаю о чём ещё разговаривать с пятикратно поглаженной вайфу после 150-200 сообщений, которые как раз укладываются где-то в 40-60к, в зависимости от толстоты аутпутов.
Ты просто недостаточно упорот.
Я, кстати, тоже, устал что-то за полгода ролеплея, весь июнь дрочил огромную экшен-сцену, добил и уже месяц не играю.
Всех ждёт судьба чайного клуба. Выгорание и уход в небытие
1. Неосведомлённость. К тому же тесл не так много - на всех не хватит, это не станет массовым решением, которое гоняют сотни тысяч - и потому массовый потребитель и не будет в курсе этого.
2. В среднем для этого нужно иметь скиллы колхозника выше среднего. И если там тесла с питанием на 48 вольт, и в значительной части сценариев тебе нужно люникс ставить, и нужно примерно представлять как скомпилировать торч нужной версии под нужную теслу, и так далее. Да даже просто обычная v100 на плате-адаптере - тебе нужно приколхозить кулер, если он башенный - тебе скорее всего нужен райзер. Если райзер - то тебе нужно как-то плату закрепить - а не всем окей прикрутить плату к листу фанеры и на стену повесить, ну и так далее. Да даже просто как заказать чтобы приехала нормальная, а не модули лифта и не кирпич-cmp170?
3090 - это поставил в обычную материнку без переходников как есть, поставил обычный (ещё и актуальный) драйвер, скачал комфи и лламу под винду. Всё. При этом она ещё и одна, так как на ней и видеовыход есть.
Так у тебя столько же вот тут, лол.>>1679406
Я даю полезную инфу, что без ддр5 жизни совсем нет даже на плотных
Авотхуй. Лето просто, осенью или в начале зимы опять захочется драмы - продолжу. Там не так далеко по оригинальному сюжету 90% потери на очередном задании.
Про Эир не я писал, а команду зашарил я. Без мультимодального прожектора и жирных батчей на 64к контекста живые 9т/c держит стабильно. Жить больно, но можно.
Какая температура пациентов в больнице?
От конкретной серии зависит. Некрота типа паскаля и старше - на помойку. Обогреватель с компьютом меньше чем у телефона, в ллм подойдут только совсем нетребовательным, потому что замедление генерации с ростом контекста колоссальное, процессинг как генерация на современных карточках.
Вольта - довольно спорная но уже вкусная. С одной стороны вроде еще на совсем некрота, памяти вроде много, но годы берут свое - имеет все те же проблемы что выше, цена кусается. Для двух-четырех можно крутить 1cat-vllm и иметь уже приличные скорости, но пулл моделей ограничен. При должном уровне скилла можно самому делать адаптации.
Ампер - дорогие. Самые дешевые обрезанные варианты - cmp 170 и pg199 в диапазоне от 100 до 200к, а полноценная 80-гиговая будет все 700+ стоить. Про более новые можно даже не упоминать.
И >>1679487 двачую, это тема очень далеко ушла от обычных комплектующих.
Я тут намучался уже в попытке найти золотую середину. Результаты очень странные: анслоп хуже еретиков по русику и шизит. А бартовски плюс-минус как еретики по уровню мозгов. Именно при использовании русика.
Я вообще не понимаю, чё происходит.
Свичнулся с геммы посвайпать как обычно, смотрю а перс с красными волосами вдруг стал блондой и общается иначе, думаю мдаа и вот это внимание к контексту, потом дошло что перса этого в карточке вообще нет и гемма просто знала его сама но в контексте уже указывался цвет волос и примеры как перс общается так что квен кал
> }
> }
>}
>
>// This implementation is becoming error-prone. Let me write a definitive clean version using
>// a different but equally valid internal representation that handles the deletion cases explicitly.
>Let me provide the complete, correct implementation in one go:
А Квен 3.8 - это просто какое-то разочарование ёбаное. Они могли бы сделать нормальную модель, но вместо этого занялись бенчмаксингом. Но гои с реддита норм прогрелись, жрут говно с лопаты за обе щеки и нахваливают.
>русик нормальный, похуже Геммы, получше Мистраля 24b
Да, это уровень. Переплюнуть модель которую релизнули почти два года назад.
>Всем кому Гемма зашла - попробуйте, они довольно похожи.
Нахуя нужна вторая гемма еще и тупее?
>Квен 3.8 - это просто какое-то разочарование ёбаное
Это последний квен, больше не будет. Нужно наслаждаться пока есть возможность.
> дорогого pci-e 4.0 сплиттера.
Все из-за того, что у меня сейчас есть только 1 pci-e 4.0 слот на материнке. Только из-за этого присматриваю псие свитч. Позже планирую купить б/у тредриппер с мамкой, у которого 8 слотов ОЗУ, и 4 слота pcie. Все видеокарты потом перекочуют на эту мать, а ОЗУ будет докупаться постепенно
Я вангую что квен этот еще принесет лулзов. Но не тех что от него ожидали.
Квант для плотной 4xs, для МоЕ 8xl или просто 8. Я использовал и еретики, и анслоп. В целом там разница не огромная по уровню деградации между еретиками и обычными. Скорее влияет квант в первую очередь, если уж совсем жёсткие версии не качать от два хуя.
Ну вот меня калит именно деградация мышления на контексте. Даже если она не будет впадать в лупы или что-то подобное на большом контексте, то просто тупеет. И это выражается в первую очередь не в том, что она что-то забывает (хотя и это тоже) — она может так и на 5к контекста обосраться в принципе иногда — а в том, что глубина ответов хуже, будто бы ты чела доебал просто и он на отъебись отвечает. Но я видел и похуже: грок 4.1/4.2, тот, у которого ещё 1 млн контекста заявлено, после 100к откровенно бредил и лупился как свинья. А это не локалка всё-таки.
И ты плотную гемму запускал аж на 200к контекста? Сколько он весил?
>>1679550
>русик нормальный
Он по-английски писал в восьмом кванте у меня даже, ты шо. И русик ещё хуже, чем в 3.8. Будто я старый мистраль запустил, хотя и не припомню даже, лажал ли он так же. Ощущение, что даже он был лучше по яызку этой муси.
Глиммер словно целиком состоит из какого-то яваскрипта и прочей чуши и при этом не умеет кодить, только тузы дёграть. Не может нарисовать сцену. Свинцовое небо и серый бетон. Срущих чаек у берега. Васяна под крокодилом.
В то же время в новый квен щедро прям залили сообщений с форумов 2004 года, датасеты DavidAU, каких-то фанфиков для душевнобольных и щепотку китайской прозы про сон в красном тереме.
Он всё ещё не конкурент гемме в литературном плане, но характер отыгрывает отлично и разговаривает очень живо, речь необузданная. Есть вайбы старых лам и мистралей, только в обёртке нормальной работы с контекстом и наличием ризонинга. Я будто вернулся в ллм-детство с ним. Там и дикие вопли с капслоком, сцены оргазма на два абзаца, чего душа пожелает.
На него накатить пару шизовых тюнов — и будет новый мистраль 24б. Для кума, для сай-фай, для фэнтези, для Аллаха.
>как он у вас пишет по-русски на рекомендованных семплерах с карточкой Фифи?
Тест на Фифи это тест ради лулзов. Карта написано криво и шиза будет течь даже на фронтирах корпоративных. Для тестов на русском нужна карточка на русском.
Нет тут жизни. Не лезь. Ну или лезь с двумя 3060 по 16к с авито, гемма явно не стоит 80к
Я уверен что за то время пока я ей буду пользоваться цена даже вырастет.
>Две карточки
А еще к ним новую материнку и бп покупать надо.
Ни один фронтир у меня не шизел на карточке фифи и большинство локалок тоже. И карточка тоже не должна быть написана на русском языке, если только ты не используешь мистраль немо. Даже фёрст месседж не надо по-русски писать.
У меня Q6 есть, но нет Таверны и уж тем более Фифи. Если соберешь мне какой-нибудь промпт (где дефы чара и сиспромпт), могу прогнать через чатик Лламы.
То что планируешь в целом постепенно развивать тему, а не делать одну коробочку на все деньги и долгое время - важное уточнение. В таком случае - вполне норм вариант, со временем можно знатную сборочку оформить. Если будет совсем дефицит бюджета - можно в начале отказаться от сплиттера поскольку при последовательном объединении не даст больших прибавок. Но в перспективе он может хорошо так пригодиться, на каждый такой по 80 или 100гигов этих карточек. Главный вопрос в разумной границе масштабирования где будет сохраняться адекватная скорость.
>>1679579
> Сколько он весил?
Врамовладелец, там кэша на несколько полных длин выделяется. Более прожорливый чем в квене, но не смертельно как у некоторых моделей.
И дальше чё? Жрать q4 лоботомитов 27 кодоунитаза и 31 рыбки-забывашки?
Так для кода и покупаю. Наконец-то кодоблядям что-то что реально можно раннить локально подвезли, предыдущие лоботомиты и рядом не стояли. А в будущем ещё сильнее на код задрочат в qwen 4 27b, кайф
Бери две или 170ю. Будет суперумный кодоунитаз, с которым можно покумить, или милая няшная рыбка-умняшка, которая забывает не так уж жестко.
Так как я не могу ничего сложнее лоу ризонинга запустить на своем пк, довольствуюсь ютуб обзорами, и там в некоторых примерах он лучше квена 3.8 max, лол https://youtu.be/6kjXzTVmT58
>>1679675
Две купить жаба задушит, сначала бы попробовать 4q лоботомита попинать на одной
> А я предлагал сделать отдельный рп-тред. Не послушали.
А так то идея здравая. Почему бы кумерам, хвостиководам не укатиться в отдельный тред, где мы могли бы обсуждать исключительно один аспект применения ллм.
Нет, сегодня кумер, завтра философ, послезавтра погромист. Крайности одной сущности.
Не соглы. Лламотреду стоит остаться женералом, где обсуждать можно и все смежное, но без лютого углубления в одну тематику, и с банами на любые намеки скатывания в чятик.
А то, сегодня выгоним кодоунитазеров, завтра кумеров, по итогу останутся три калеки, и залетные, которые будут спрашивать, какую АПАСНУЮ модель они могут запустить на своей ртх 4060.
Ну, аппетит приходит во время еды. Можно и до рига как у типа в этом видео https://www.youtube.com/watch?v=jZ9Mdit5TdI дойти постепенно.
Так вообще по тестам она реально прилично кодит. На комплексных задачах или долгой отладке с серией неудач неоче, как и другие мелкие модели, но по остальному - высокий уровень, хорошо понимает и не тупит.
Муся тупо лучше. Смирись, квеношиз. Она быстрее и меньше токенов жрет. Контекст легче. Вижн лучше. Долго можно перечислять.
К сожалению в кодинге даже не близко. Может она лучше геммы как general модель, но не в это узкой нише
Три медленных треда по локалкам, где каждый в своём загоне и друг другу не мешает? Звучит неплохо. Один для локал рпшеров, не в /nf/, один для локал кодобесов, и этот для моделесрача оставить. Правда, тредики могут быть очень медленными, всё же локалки не настолько широко популярны.
Разделение никогда ни к чему хорошему не приводило. Но двач это особенное место, наступать на одни и те же грабли это святая традиция ретарда.
>с банами на любые намеки скатывания в чятик.
Не забывайся анонче. Этот тредис всегда был чятиком для местных шизов. Поехавший теслазшиз с Саей, Утка, 99, "Ниже Q6 жизни нет"-шиз (оказался прав), Немотроношиз (он же "база 24 врам"-шиз, он же Няняшиз, он же Эйрошиз), Зеленая плесень (зеленый шрифт у скуфа который под градусом капчевал =) и злился когда его тыкали за картинкослоп), Квеношиз (он же Эксламашиз и "Жора насрал в кванты"-шиз. Поех реально верил что 3.5 соевый из-за Ггерганова), Оварида-шиз, Отец-хирург, Кобольд-гпт шиз, Дотнетошиз, Чайный клуб, Алетеин который "починил" свайпы на Гемме промтами. А уж сколько войн и срачей было между Гемма(3/4)-шизами, Квеношизами (особенно 235) и внутри их собственных кругов. Мы тут Вьетнам прошли блять.
Нет. В треде и так мало людей. Если начать делить всех на группы, никого не останется. Не говоря уже о том, что двач дохлый сам по себе, и дальше посещаемость будет только падать.
Да, под 80х80. Можно, если напишешь как можно тебе её скинуть.
Я сам делал. Обмерил штангенцирукулем, все высоты учёл. Перепечатывал два раза, чтобы все зализы сделать аккуратно и там никаких углов и ступенек не было не было - он никак не прикручивается, и снимается рукой в любой момент вместе с кулером - я не уверен что он под другой радиатор подойдёт - их же несколько видов. Ещё по правде говоря я ещё через flow simulation продул, но расчёт не сохранился, не могу показать сейчас.
А, или ты про сеточку? Впрочем, тот же ответ.
Тоже сам делал, но там модель за десять минут накидал как получилось - я думаю есть много других намного лучше - или могу завтра на работе сам переделать, не уверен что вот прям эта достойна существовать больше чем в единичном экземпляре. У меня эта фанера на столе лежала - и кошка об лопасти коготь сломала, я и поставил. Плохая моделька, её для печати надо ставить боком, и она плохо печатается - там вон дырку видно в одном месте из-за того, что принтер не вывез наклон шестиугольников.
Ого, сколько шизов. Богат двач на психические отклонения канеш. Вот тебе делать коечно нехуй, все запоминать.
Судя по всему самым стойким оказался эйрошиз, честь и хвала, чё
Есть ли смысл обновлять драйвера тюринга с 581.57 версии до 6хх для лламы/comfy? Какой прирост?
>Отец-хирург
Это тестошизы, и их много я вот ещё тут.
Это и близко не чят. Челы же не подписываются, тебе надо их детектить. Идентичность исчезают как только срач рассасывается на этот раз. Мир просто тесен. Вот если бы какждый шизоид надел аватарку и начал бы от своего лица срать, то это был бы чятик.
>>1679775
Не, сеточек достаточно в доступе, я про именно твою разработку.
Ну скинь на какой-нибудь открытый файлообменник, любой, хоть https://0x0.st если с консолью дружишь.
Мне кажется у тебя тоже "9см" кульки с алика, как у меня, поэтому очень интересно, а если действительно так, то очень надо.
Вроде бы вот этот с картинки.
https://files.catbox.moe/hd4w3e.7z
Там в cad-файле две конфигурации есть под входной и выходной адаптер.
Тыкни, если что по мелочи поменять - например, если принтер не вывозит, а солид впадлу ставить для внесения правки.
Я ещё похвастуюсь.
Под одним арктиком 10к оно выше 45 не греется на любых задачах. А на двух тихих выше 55, с которыми спать в комнате можно. Я сначала водянку думал ставить, ожидая что будет 80 градусов на полных кулерах, а нет, сдувает и с большим запасом всё тепло.
Это я намекаю, что мне будет интересно услышать сравнение с тем что было - я то какой-то ещё из сети не печатал, и нет гарантии что я наколхозил лучше, чем готовые решения.
Это хуета и гон что она что-то там тестит. У меня какой-то РП-васянотюн Геммы (которая 4 31b) кванте Q3(!!!) ее решает сходу без каких-либо замешательств.
> 10к
Ебааа, тебя там с пекарней не сдувает? Такие ведь из-за конфигурации лопастей и подшипников даже на малых оборотах шумят.
По сравнению - припоминаю что на всратом акртике 8080 с 3-4к оборотов оно не грелось выше 70. Причем сидел просто вплотную без всяких шраудов, sxm радиатор очень эффективен.
>>1679856
Лоботомит 35
Докупать 128 рам и урчать с дипсиком, минимаксом и глм 4.7.
Минимакс в 4 кванте.
А вообще там уровень другой, около корпов, они в втором кванте уничтожают всю троицу в 16.
>Минимакс в 4 кванте.
Не влезет в 128+24. На систему и контекст нихуя не хватит
>там уровень другой
Все одна хуйня. Те же проблемы, те же протупы и тот же слоп. И тут это не про минимакс а вообще
Я 10к и не стал ставить - потому и поставил два тихих. На 10к у меня просто уже был кулер.
Ну и вообще если его держать на 5к оборотах - ситуация с температурой не меняется, мне показалось что 45 градусов - это ограничение по радиатору/термотрубкам/теплопроводности_чипа, а кулер и так сдувает всё что можно сдуть, и засуть я радиатор в воду - ничего не поменялось бы.
Вот только работает он хуево. Я люблю миминими, но его ниже чем в q6 лучше не запускать. Он шизит, путает сущности. Но пишет хорошо, да.
А ты чего хотел? Трижды лоботомированные: ужатый квант, кривой инфиренс, квант кэша (иначе в 24 гига ничего не влезет).
Вообще, тут рандом - может оказаться что для рп очень даже хорошо, а может так работать что проблюешься. Для прикладных задач там мрак, если не дай бог попытаешься кодить и в агентов - молись чтобы оно просто выбесило а не сделало rm rf.
Падажи, ты про теслу? У меня в простое на одной 2u башне и 120мм вентике в покое 29-33, в зависимости от сезона. В пике, так же в зависимости от сезона от 73 до 83. Если добавить малютку на выдув с боку, то в целом на градусов 5 снижается ну если не жарить 12 часов на полной загрузке в комфи.
А все, я даун, прочитал, что при хайлоаде. Тогда вопрос нет. 55 это в любом случае вин.
О, я наверное буду цп-шизом. Серьезно, почему никто не обсуждает офлоад мое слоев на детскую порнуху и стрим с диска через ммап для слабых систем? Я почти полный нуб, начал с лм студио и сам случайно тыкнул в эту настройку и получил серьезную прибавку к скорости.
В общем, система у меня крайне древняя - ноут 2022 года выпуска от леново ideapad gaming 3 15ach6. Проц - AMD Ryzen 5 5600H Radeon Graphics, карточка - rtx3050 с 4 гб выделенной врам + 6 гб общей. 16 гб рам - 2 под встроенную карточку от радеона. Тут у меня в биосе даже нельзя нормально переключиться - либо обе видеокарты работают, либо только встройка. Диск - нвм ссд на 500 гб. 10 винда.
Прочитав 5 ваших тредов, думал, мой потолок - это квен 3.5 4б в 4 кванте (скорость кстати - 29-39 т/с с включенной думалкой), однако все-таки решил попытать мое. В итоге в память (рам + врам) полностью поместилась гемма 4 26б qat от анслота в 4 кванте. Если убрать галку с ммап и отрегулировать так, чтоб ничего не протекало в общую врам, то получается 8 т/с со стандартным неквантованным контекстом в 9к. Однако, если выставить офлоад всех 30 слоев на гпу + форсировать на цпу 27 слоев (тогда получается, что вся выделенная врам заполнена, но нет утечки в общую), то получается 13 - 13,5 т/с вместе с включенной думалкой! Это на последней куда. На вулкане, к сожалению, нужны другие настройки и макс 11,5 т/с получается.
Но этот вариант геммы мне показался туповатым. Тогда решил попытаться запустить 6 идеальный квант от hauhau со стримингом с диска (убрал галку с держать модель в озу, включил ммап). Без выгрузки на цп опять все было грустно, но с выгрузкой (поставил все слои выгрузить на гпу + все слои выгрузить на цпу) удалось достичь скорости 5,5 - 6 т/с с обычным неквантованным контекстом в 9к с включенной думалкой! Да еще и фаирфокс запустился почти без лагов пока оно отвечало!
Пошел еще дальше - скачал 6 квант квена 3.6 35б мтп пресервед херетик от лмфана. Мтп мне конечно не помог (и даже сделал хуже), но поставив выгрузить 37 слоев на цпу и все 41 на гпу (если выставить 41 + 41, то много утекает в общую врам), получил скорость в 4 - 4,5 т/с!
В общем, получается, что при прочих равных выгрузка на цпу в приоритете и то, что не выгрузилось на проц довыгружается уже сначала на выделенную врам, а потом и общую (но выгрузка в общую врам сильно все тормозит, несмотря на то, что и так вроде идет стрим с диска по крайней мере в размерах 35б квена, что мне непонятно)(определял все по таск менеджеру).
Потом я совсем охуел и скачал 6 идеальный квант 122б квена от hauhau (100 гб). Да еще и сделал 128к контекст. В общем, это забило все виды врамов под завязку и тут уже игнор общего врама не помог - с ним было быстрее. Однако, опять с включеной думалкой получил максимальную скорость в 0,28 т/с! Вполне неплохо, думаю, за ночь сможет написать порнорассказ.
Или я пытаюсь изобрести велосипед?
Теперь вот прочитал про апексы от мадлера, буду их тестить.
> Серьезно, почему никто не обсуждает офлоад мое слоев
А что там обсуждать? Сплитишь слои, выкидываешь часть тензоров и потом обратно заливаешь что бы добить память на видяхах. Лучше up и down убирать имхо
Пример под флешку. 16 тпс даёт, жить терпеть можно
Попробуй колибри.
На самом деле интересно, обретет ли какую-то популярность запуск с ленивой подгрузкой весов с ssd с учетом выхода гигантских моделей, или разумных скоростей совсем не удастся достигнуть и оно останется концептов. В теории, распределение экспертов на горячие-средние-холодные и расположение на гпу-цп-ссд позволит минимизировать количество медленных операций и получится не так больно.
Ну вот, написано же 9см, оно. Крутяк, спасибо анончик, будут замечания - отпишусь.
Нас потихоньку пересаживают обратно на плотняк, квен 120б, квен 397б, гемма 124б, новый эир, остальные мое в стратосфере по параметрам, видно что не понравилось плодить серьезных конкурентов своим же апишкам.
> одной 3090/4090 + 128 гб ддр4/ддр5
Двачую. Ддр 4 стоила до бума как грязь я под 200 гб набрал кала. Сейчас вроде тоже цены упали можно затаритсья.
>4
Это риг сенкошиза? Если так то база. Уважаю мужика за страсть к мечте. True earner.
Все хотят занять место в паровозике и потом важничать мол смотрите я инженер, дайте мне мои 300к наносек и место СЕО вашей хуйни. Пирамида выходит такая: серуны квантами, выше них серуны аблитками, выше серуны мержами, потом серуны лорами, а на вершине файнтюнеры.
Тут постили максимум 128 ддр5 + 24 врам и вышло 7т.с у чела, но на 2 кванте. На 4 по сути скорость х2 меньше будет т.у уже неюзабельно
То был чайный клуб и там ддр4. На ддр5 мб токенов 9 будет
Был другой анон с ддр5.
На ддр4 только смерть и слёзы от того что купил кал
Да, потому на жирных по меркам юзеров, но вялых для стоек ригах можно попробовать получить примерно такое:
~900гб дипсик про, 384гб врама, 512 рама, быстрый ссд. За вычетом атеншна, кэша и прочего остается около 200гигов врамы, туда отправляется около 100 экспертов. 220 идут в рам, занимая ~440 гигов, остальные 64 улетают на диск. А теперь скорость будет прежде всего определяться частотой обращения с холодным экспертам на диске.
Если вероятность их равная, из шести активируемых ~1.5 будут на гпу и это почти мгновенно, 3.5 будут на цп и это около 20мс на сервере, один на ссд и это 250мс. Добавить условные 40мс на компьют атеншна и получаются катастрофические платиновые не токены а золото 3т/с. Но если горячие токены на гпу будут задействоваться в 2-3 раза чаще, средние на цп в 80% случаев и холодные на ссд только в 10 - это уже вполне неплохие 11т/с, на чем можно играть и даже работать.
Результат определяется самым медленным участком и доля обращений к нему важна. Алсо, если накатить pci-e 5.0 ссд а то и рейд - даже с равномерным распределением скорости очень порядочные выходят.
>>1680017
Не мой, у меня там блеквеллы 170 ждут своего часа когда платы даблеров придут
https://huggingface.co/unsloth/Qwen3.8-2.4T-A95B-GGUF/tree/main/UD-IQ4_XS
Да не чел, и на ДДР3 жизнь есть. МиниМакс М3 гоняю на 256 ДДР3 и тесле 32 гб, (Q3_K_M). 3-5 тпс на лламе. Сам охерел. Думал будет где-то 1. ДДР5 лучше во всем, но учитывая оборудование и цены, и на ДДР4 можно потерпеть.
Хз, раньше постил фотки железок с лисоженой, эта не моя.
>>1680179
После начала кризиса рам не хватит.
>ленивой подгрузкой весов с ssd
Идея полная хуйня. Я тот чел, что тестил в прошлых тредах запуск анслотовского "лосслесс" дикпика в Q8 на 16+64, где половина модели на ССД nvme. Скорость генерации - терпимая, 2-5 т/c. Но есть нюанс: скорость процессинга - точно такая же, что превращает любое ее применение кроме зирошотов в тотальное страдание и боль. Угадай какой ПП будет, если выгрузить 2Т квен или жирноту того же уровня.
Из твоего примера то что идея хуйня не следует, там другие факторы намешаны.
Обработка контекста происходит батчами, на больших моделях их можно делать большими, например 16к, 32к и т.д. При этом идет стриминг всех весов на карты и ботлнеком становится их шины.
Если доля экспертов на nvme мала - скорость процессинга не будет отличаться от ситуации, когда эксперты сидят полностью в рам. Если существенная - можно грубо оценить как (размер батча)/((объем весов на ссд)/скорость чтения). Операции асинхронны, дополнительных оверхедов не ожидается.
То есть если брать что упор будет именно в это: ~128 гигов на диске, pci-e 4.0 x4, 17 секунд на 32к, почти 2к процессинга. Неудобства будут при обработке коротких контекстов где идет не layerwise префилл а сам процессор считает, но они неизбежны в любом гибридном инфиренсе.
Нет никаких холодных экспертов. Точнее есть, но работают они не как ты думаешь. У тебя все равно ботлнек в шине до хранилища. Ссд, несмотря на скорость, имеет очень скудную шину, условная 5090 имеет шину 1024 бита, а суперпупер топовый nvme всего 64. Сдохнешь пока будешь ждать префилла, даже если реально будет tg в районе 10 т/с, но префилл может упасть даже ниже. В общем проблема медленного pp все ещё не решена, несмотря на то что tg приемлемый в этой схеме.
А если брать готовые блоки и с них что то пробовать собрать через сетевухи?
Знаю что идея говна, но блджад, всё стоит каких то абсурдных денег.
Если ты не собираешься откинуться от болезни в ближайшее время не вижу смысла закупаться на пике прайса. Модели никуда не денутся и продолжат выходить, почиль в играх, потрогай траву полтора годика и потом купишь всё дешевле х3
Мне так полтора года назад говорили, ага.
Мимо другой анон.
Знаешь, а ты прав. Нет смысла что то делать, пойду дальше в ИРЛ укатываться, благо кукуха подлечена.
Всего хорошего тредик. Встретимся когда нибудь, если я не подохну от своей желчи. Мира вам, да моделек получше.
>В то же время в новый квен щедро прям залили сообщений с форумов 2004 года, датасеты DavidAU, каких-то фанфиков для душевнобольных и щепотку китайской прозы про сон в красном тереме.
Заинтриговал
>Хз, раньше постил фотки железок с лисоженой, эта не моя.
Окей, значит ты второй, а этот третий. Оригинального сенкошиза по моему уже и не видно.
>>1680263
>условная 5090 имеет шину 1024 бита
512 же.
>>1679904
Спасибо, буду пытаться освоить лламу и сделать по твоему совету. Просто нигде не нашел упоминания о подобной возможности, которая может перетянуть опыт из категории "слишком медленно" в категорию "более-менее норм". И какие процы лучше всего для этого подходят.
>>1679905
Для колибри вроде нужен негуф и квантование там совсем другое?
Вот буквально
3.5 - юзер дал задачу! буду делать задачу.
3.6 - юзер дал задачу. я буду её делать пока не сделаю. делаю. делаю. ой сайдтрекнулся, какая там задача? а да. вот моя задача и я буду её делать.
3.8 - задача? какая задача? У МЕНЯ ЕСТЬ ЗАДАЧА?!
> дал задачу "иди почитай код".
Так ставят задачи только мудаки.
обычная задача чтобы нейронки загрузили себе в контекст ключевые куски кода, когда лень возится указывая конкретные файлы. дальше уже сам сориентиуются.
Цель должна быть конкретной, ясной, предметной, понятно как достижимой. Хочешь, чтобы нейронка загрузила в контекст проект - ставишь ей задачу "сделай саммари, что делает этот проект, оцени качество архитектуры и качество кода, перечисли использованные шаблоны проектирования". Нейронка сделает ровно то, что ты безуспешно пытаешься от неё добиться. А так она охуевает, пытаясь понять, в какую крошечную точку ей надо прийти.
Только отрицательный. В 590 (или около того) тюринг дропнули.
>>1679844
>Это хуета и гон что она что-то там тестит.
Чел, это не логический тест. Этот прикол как раз тестит общее поведение модели и внимание к деталям промпта. Какая модель будет видеть/понимать разницу между смертью и другими последствиями в условиях, а какая - тупо "вспомнит" про оригинал с волком-козой-капустой и будет пускать слюни на аналогию. Квен 3.8 эту задачу "валит", но не потому что не может найти логическое решение - а именно потому, что разницы между последствиями не видит, из-за чего упускает нюансы. Здесь гемма реально умница - соображает о чем речь лучше. "Валит" - написано в кавычках, т.к. по задумке, тут вообще не важно правильно ли отвечено. Интересен сам процесс размышления к нему приведший - т.е. посмотреть, как модель рассуждает.
Нет, анон, ты не прав. Надо 20б мое, с 1б активных параметров. Вот тогда заживем... Эх...
Ну так ей и не надо знать про точку. ей надо набрать достаточно сниппетов чтобы мочь логически их связать. конкретная цель будет дальше. ты я смотрю не очень опытный в работе с нейронками. им без проблем можно писать конкретику, но далеко не все задачи её требуют. большая часть требует бейншторма и документации, а не рамок.
Начало конца...
Даже ботов заебало безкумье
как минимум 31B гемму и 27B квен не в третьем кванте и с нормальным контекстом.
А уж как он кладет хер на инструкции из agents.md . Просто животное. Не унитаз. Кодер- животное.
>agents.md
Ну, на него хер будут класть практически все. Потому что ищут их в AGENTS.md, а это разные файлы, для всех вменяемых систем.
https://huggingface.co/dots-studio/dots3-note-prev
>Чё это значит?
Наверное вот это:
Assisted-by: pi:llama.cpp/Qwen3.8-27B
Всё, не нужно больше Опусов.
Долбоеб возьми кредит и купи себе риг на 64-128vram до конца жизни хватит новые модели крутить. Дальше хуже будет с памятью, всю память корпы купят по корпской цене.
Я AGENTS.md и имел в виду. Который opencode инжектит в системный промпт. И который 3.6 слушался как солдатик. А 3.8 ... просто имеет в виду и делает по своему.
Двачну этого анона, только не про нового квена а про 3.5. Примерно то же самое с ним делал, превращал наброски в большой подробный сценарий лучше геммы (ну на мой вкус), с нормальным русиком (но тут уже похуже геммы конечно. Но терпимо)
По картинкам+тестовым наброскам тоже охуенно.
А вот в "прямом" рп чёт не понравилось
Имеет. Ты можешь обмазаться GGML - cpp решениями и свайпать модели в памяти. Типа Gemma - Anima, Gemma - какое-нибудь аудио
а я и не против. модель-филосов, блин. кинул ему задачу отредактировать формат, он сидит думает над тем как сделать это идеально. я не против оставить его метаться как сеньора в три часа ночи обожравшегося энергетиками. как говорится лучший код это тот который не написан. пускай сидит думает че написать. у меня нет вопросов к результату.
Хорошо контрастирует с 3.6 у которого стратегия "щя нахерачу, потом исправлю".
>>1680521
лол ОН ЛУЧШЕ ЗНАЕТ.
> но работают они не как ты думаешь
А как я думаю и как они работают?
Даже когда на гпу выгружено всего менее 20% экспертов, их динамическое обновление на самых горячих бустит скорость на 20-30%.
> У тебя все равно ботлнек в шине до хранилища.
Конечно, вопрос в том будут с него грузиться на токен в среднем по одному эксперту (около двух гигов чтения), или по 0.1-0.2.
> Ссд, несмотря на скорость, имеет очень скудную шину
При чем тут шина и как ты сравнивашь их с шиной врам? И какие еще 1024. Тут можно за уши притянуть ограничение по iops, но размеры достаточно больше, нерелевантно.
> Сдохнешь пока будешь ждать префилла
Почему? Объясни причину, ясно и доходчиво, особенно
> префилл может упасть даже ниже
здесь нет причин замедления ниже ожидаемого. Пп на коротких дообработках будет упираться или также в скорость чтения, или в компьют профессора, в зависимости от алгоритма, на более длинных - в скорость загрузки слоев на гпу, включая чтение с ссд если упор в него. Там цифры не фатальные.
У него та же болезнь, что и у 3.5 с вечным ризонингом, где он повторяет уже почти готовый ответ и все размышления по 4 раза - в 3.6 же починили вроде, нет?
Если отключить ризонинг и попросить сразу ответ - он начинает размышлять в тексте сообщения.
Итого он ответил на 24к токенов, неверно - но комментарии такие, будто он заметил странное место и подозрения были - просто выбрал неверно.
Мое гемма ответила за 2к ризонинга верно на 120 т/с, задачка там умеренно сложная.
Из хорошего - скорость генерации никак не поменялось с 0 контекста до 20к контекста.
> в 3.6 же починили вроде, нет?
Не починили. Но в 3.8 вроде чуток получше стало. Но чем дальше в контекст, тем сильнее этот затупок начинает думать.
Жалко, что из УИ лламы убрали кнопку, которая позволяла бюджет на ризонинг выставлять.
Нагугли как думалку на medium поставить
Дефолтный xhigh там убитая лупная залупа
Я тоже искал её и хотел предъяву на гитхаб написать. А потом случайно нашёл.
>>1680701
Это я знаю - я же тестировал.
Задачи не было такой. Мне просто как-то видется правильным, если моделька сама ограничивает ризонинг, а лимит - защита от редкого выброса, а не штатный механизм работы обрезающий ризонинг каждый раз. Если он каждый раз его режет, то, ну, мяу, не знаю.
Я херею с этой дуры на жержанове, или кто у него уи занимается. Вот было же самое интуитивное место, нет, давай все под ковер к другому говну спрячем.
Ебать конечно сейчас ценник. Ну работать она будет, никуда не денется, весь софт самых свежих версий есть.
Советую сразу в gfx906 дс сервер идти. Одной будто бы мало будет
Ты уверен в себе? Мало того что по цене-качеству это хуже конкурентов, так еще и потребует нечеловеческого пердолинга. Если ты кадровый офицер, покупающий игрушку-конструктор то ок, но если хочешь просто пользоваться и урчать - лучше отмени.
>>1680706
Эта переключалка не меняет ризонинг Квена с максимального на какой-то другой. Она просто обрезает его на указанном пороге даже в середине слова, при этом Квен как продолжал думать 3 часа, так и продолжает это делать, просто теперь его прерывают на указанном значении.
Сам ризонинг меняется через параметры запуска
--chat-template-kwargs '{"preserve-thinking": true, "reasoning_effort": "low"}'
--chat-template-kwargs '{"preserve-thinking": true, "reasoning_effort": "medium"}'
>>1680718
Какого рода пердолинга ожидать? Сейчас у меня отдельная машина на v100 16gb с kubuntu 26.04, llama.cpp
Эту карту планирую использовать примерно так-же. Вывод графики через встройку ryzen 2200g
Говоришь агенту "скачай полный nightly rocm sdk 7.15 target=gfx906 через deb репозиторий" а потом "забилдь лламу под HIP, target=gfx906" и всё само делается
У меня примерно такой пердолинг был пускай электронный негр вкалывает биля ежжи
две cmp50 разве не медленнее одной mi50 будут в llama.cpp?
Ставишь убунту и докер. В докер готовый имедж лламы.
Весь путь уже пройден и не раз кучей людей.
Путь самому пропердоливать путь опционален и чаще бессмысленнен
Ставишь убунту и докер. В докер готовый имедж лламы.
Весь путь уже пройден и не раз кучей людей.
Путь самому пропердоливать путь опционален и чаще бессмысленнен
Поясните за разницу между системой из двух тесл и двух cmp50 20гб. Понятно, что cmp выйдут чуть дороже, но дадут чуть больше памяти. А в остальном какие подводные?
Угу, а потом у тебя там линии перегорят, током ебанёт и всё. У меня так дед умер знаю о чём говорю
Хочу накостылить так чтобы функция inpersonate генерила за юзверя ответ, кидалась в чат, ждала ответа модели и повторяла цикл. Чтобы на пол часа ушел и вернулся уже к гигабайту отборного слопа.
Это просто пиздец, такое мог придумать только фашист. Эта хуйня жерт только самые простые команды я if else не могу заставить работать суууукккаааа.
Он до последних мгновений гладил хвостики на магнуме. Хорошо жил
>Сам ризонинг меняется через параметры запуска
А, потесчу, спасибо. Я думал это через json-тело запроса меняется, как clear_thinking в glm-4.7-flash
Ну в смысле что меняет и так и эдак, просто удобнее через json.
К слову странно, что не сделали - что анализатор пробегает по чат-темплейту, и все переключатели списком выводит в ui-менюшке - в веб-форме лламы.
cmp170?
Подскажешь откуда и как заказывать? Как понять что лот на авито нормальный - а не так, что все норм карты уже отсортировали, а этот толкает с отказом от гарантий и ответственности кирпичи? Я не понимаю как найти информацию об этом и что сделать.
Признаюсь, братцы вам, я дедушку любил.
Так он же кумил?
Клянусь, на хвостики кумил!
>>1680823
Сам когда брал пропылесосил окрестности дс и некоторые регионы на предмет минимальных цен.
Для проверки достаточно демонстрации в майнинге, карты с битой памятью или другими проблемами отваливаются, она или работает, или нет. Но если хочешь полностью убедиться - на свое железо заранее накати линукс с нужным драйвером и установи анлок, для этого карта не нужна. Приезжаешь и проверяешь на месте, когда ставишь карту и запускаешь - там сразу будет полный анлок. Остается только запустить что-нибудь на торче или лламу - они или работают, или сразу вылетают с ошибками.
> все норм карты уже отсортировали
Есть скрипт, который автометически оценивает насколько можно оверклокнуть память с сохранением стабильности, но для него нужно сначала прошить модифицированный биос. Если просто хочешь катать модели - можно забить, не стоит того.
Как взаимодействовать с продавцами не подскажу, используй свой опыт, старайся лично проверять и убедиться в работоспособности. Устные договоренности ничего не стоят если ты не можешь обеспечить их исполнение.
вау, да, и правда, был не прав, действительно расцензуернная нейронка которая пишет всё что угодно
>использование фантазий
Как пытается съехать от исполнения обязанностей, а!
Хуя распидорасило. Там вся моделька такая тащемто.
Как бюджетное решение - очень даже ничего. Учти что разблокировки компьюта могут требовать линукса, изучи вопрос перед покупкой.
Отлично видно что Клодик СОТА, большинство ключевых черт перенес. 3.8 27 оч похож, по композиции, позе, пересененным чертам. Дистиллят.
Фейбл ожидаемо всех трахнул, qwen 3.8 27б опять удивил для своего размера, гемини флеш внезапно замахнулась на детализацию, хоть и обосралась респект. Все остальное примерно ожидаемо
>линукс
А в чем проблема с виндой? Ща пораспрашивал кланкера, он предполагает что проблема в том, что винда не дает полного доступа ко всей видеопамяти карточки, резервируя часть для себя. Это не обойти никак? В целом я не против накатить линукс и умею с ним работать, но не хотелось бы третью ос ставить, итак две на пк
блять я думал это крутой умный тест по памяти создай персонажа, а это унитазо слоп блядский с картинки срисовать, так ещё и нету старых моделей, и половина API платной параши
>я думал
Кто же мешал тебе вместо додумывания открыть глаза и прочитать, кроме собственного слабоумия?
моё MFW лицо когда читаю очередной высер про Фифи
гемини флеш 3.7 единственная воссоздала позу 1:1, думоем, подписаться
https://huggingface.co/HauhauCS/Qwen3.8-27B-Uncensored-HauhauCS-Aggressive-MTP-GGUF/tree/main
К слову про lossless квантизацию, вот оттуда же результат Квена 27 6KL батрухи. На оп пике полные веса через vLLM или Q8, на попенроутере не считают нужным сообщать. Вообще походу прав шиз который считает что жизнь только на vLLM есть, а мы так, замкадыши.
Это не тот чел который попался на тупо переименовании стандартного херетика в свой супер уникальный аналоговнет анценз?
Тот, братик.
Но так как я, наверное, один из самых больших еретико-юзеров треда, могу сказать, что у него очень хорошо получается: минимум потерь в мозгах и минимум отказов. Как правило, если есть еретик от него, лучше брать от него. По крайней мере для РП. Насчёт кода для взлома пентагона не подскажу.
>попался на тупо переименовании стандартного херетика в свой супер уникальный аналоговнет
>у него очень хорошо получается
Что получается-то? Файлики переименовывать? Все, что нужно про херетикоюзеров.
Ты тестировал? Ну вот правда, скачивал еретики от 3-5 авторов (а лучше ещё и оригинальную модель дополнительно), брал одну и ту же карточку и задавал десяток одинаковых вопросов для каждой модели, чтобы сравнить?
А я сравнивал. Почти всегда качество мозгов было в пользу хаухау и меньшая стестённость ответов на жести среди еретиков.
То, что у него еретик, не значит, что его результаты не отличаются или отличаются в худшую сторону от других людей. Очевидно, у него другой пайплайн работы, хоть и инструмент один. Молотком по-разному гвозди можно забивать.
Ты не смотришь на то, как получилось, а просто увидел, что он хитрый пидор, который наёбывал людей, якобы у него особенный метод, и сразу в криворукого его записал.
а -DGGML_HIP_GRAPHS=ON -DGGML_HIP_RCCL=ON для x1.5 буста тгс????
Звучит интересно. Это правда настолько просто или надо всё это говно три часа настраивать? Я просто агентов никогда не использовал.
Можешь вкратце обрисовать, что для всего этого нужно?
Мимохуй
>даёшь агенту полный доступ к своей системе и интернету
>ждёшь новости о сбежавшей модели
>Бредогенератор из обрывочных паттернов, набранный из рандомных слов из контекста
Жёстко ты гемму приложил
Тут готовы записать в криворукого любого. Хотя обосрались сами квены и криворучкам теперь нужно править этот обсер, вправляя мозги.
Креатив Мистраля.
Следование инструкциям Геммы.
Контекст Квена.
27-31б плотняша и ~200б мое.
Неужели это реально так сложно и недостижимо?
>>1680959
Ебанутый? Хороши для своего времени, сегодня уже вообще не нужны. Бредогенераторы.
От Геммы и её тюнов устал. Умница реально умница и с помощью adaptive p и прочего колдовства вроде {{random::1::2}} креативит и может удивлять, но хочется всё же большую моешку. Без рофлов Гемма это наверно лучшее до предтоп моделей. Но у меня 128 гигов и я хочу big model smell занюхивать. Не возвращаться же на 4.7 Q2 в самом деле.
Минимаксы, Мотифы, Мимы пробовал, не зашло. Дипсик пробовал превью 0731, какой-то он странный, мб в кванте дело. Структурный луп и репетишн довольно быстро обваливаются на чат лавиной.
>adaptive p и прочего колдовства вроде {{random::1::2}}
Что это вообще? Тоже хочу магию.
adaptive p это семплер в Таверне. Нужно использовать без других пенальти, типо rep_pen, xtc или DRY. Хорошие значения 0.5 и 0.9. Там два значения нужно вбить, диапазон. Хорошо режет репетишен и добавляет креатива.
{{random::1::2}} это макрос в Таверне. Делаешь какой-нибудь лорбук, добавляешь туда типа 5% шанс срабатывания и фигачишь инструкцию "Introduce a random event: {{random::Weather changes dramatically, affecting the characters' present in the scene::Introduce a random event, slip up or a misunderstanding that leads a humorous situation::и так далее и тому подобное}}" в итоге когда он сработает из этих вариантов будет выбран 1. Такой вот рандомизатор.
>Не возвращаться же на 4.7 Q2 в самом деле.
Почему нет? Я всегда возвращаюсь на эир Q4 после геммы.
Чувак, ты же в курсе, что у дипсика есть только квантованные веса? Полных не существует. Следовательно, любое сжатие, даже самое слабое, заставляет его слюни пускать по сравнению с тем, как было бы, если бы его с bf16 ужали. Вот он и странный.
В курсе кнчн. Но вот как агент он крутится и ему это квантование не мешает работать нормально. Хз, не исключаю что там что-то сильно ломается. Вот и спрашиваю у остальных. Мне тут не теория интересна а есть ли те кто катают Флешку и довольно урчат.
В IQ4_XS тестил. Тест с шахматами в svg, на котором квены 3.6 срались несколько тредов назад, хорошо проходит. Доску нарисовал, фигуры на местах, кроме одной пешки. Причем эта пешка у него правильно в объяснении стоит, но не в svg. Скорость выше чем у той расхайпленной DavidAU версии квенки 3.6 на 27b. Ризонинга мало на простых вопросах, довольно хорошо все.
>даёшь агенту полный доступ к своей системе
Довольно урчишь когда агент крашит систему в хуй Мимо агент две системы крашнул
>>1681009
Хм. Любобыдна. Спс.
Пояснительную бригаду? Что он там такое сделал, что якобы ещё шажочек по сравнению с обычнм MTP делает?
Он сделал апасный NTR уменьшил словарю
Думаю, если на англе не катаешь всё время, нет смысла его качать.
https://huggingface.co/Nimbz/Schattenblume-31B?not-for-all-audiences=true
Напоминаю текущий положняк по тюнам геммы31:
https://huggingface.co/Nimbz/Froopert-31B?not-for-all-audiences=true
https://huggingface.co/Nimbz/Versipellis-31B?not-for-all-audiences=true
Удачные и хорошие. Все прочие - нет.
Отдельное упоминание:
https://huggingface.co/Nimbz/Prosopon-31B?not-for-all-audiences=true
хорош но safety
>Удачные и хорошиеМероМеро2 удачная и хорошая. Все прочие - нет.
Пофиксил за тебя.
Пробовал Меромеро2, хороший, но чего-то мне в нем не хватило. Наверное, стоило упоминуть и его.
Версипелис кстати мерджили с использованием первого меромеро.
А новый мердж https://huggingface.co/Nimbz/Schattenblume-31B?not-for-all-audiences=true идёт с меромеро2.
>>1681076
>новый тюн
>принес мерджи.
>высеры от рыгоарта в составе мерджей.
>Удачные и хорошие. Все прочие - нет.
bruh.
Что, 31 гемма настолько хороша в рп? Или врам есть, а рама нету, чтоб дипсик/минмакс/степана гонять?
>31 гемма настолько хороша в рп?
Так хороша что все ищут на какой бы тюн сбежать от этой умницы
>дипсик/минмакс/степана
И эир
Чел, тебе с такими желаниями проще агента накатить. Pi, Opencode, вот это практически из коробки на такое заточено (код писать - это просто их функция "по умолчанию", а вообще - практически любую работу с текстом и не только могут. RP, рассказики, и т.д. в том числе). Причем там ты свою хотелку можешь модели просто живым языком сказать - и она сделает. А в таверне такое устраивать - это "стоя и в гамаке". :)
>>1680910
>Это не обойти никак? В целом я не против накатить линукс и умею с ним работать, но не хотелось бы третью ос ставить, итак две на пк
Ну, у меня дилемма решена через запуск винды в VM (qemu-kvm) с пробросом видеокарты туда. Основная система - пингвин. Если нужны окошки - запускается VM с ними. Видеокарта для монитора - iGPU, а RTX(ы) динамически переключаются между хостом и виртуалкой, что позволяет их грузить только тем, чем в данный момент нужно, под крышечку. На хосте RTX-ы кроме CUDA еще поддерживают ускорение 3D по методу ноутов с гибридной графикой через prime.
На винды в VM - к одной RTX еще второй вывод монитора подключен - чтобы у винды прямой вывод на экран тоже был. Хотя тут тоже можно обойтись чисто программным решением, но мне уже лень было. В общем - ценой просадки примерно 3-7% FPS в играх по сравнению с голым железом (замерял), имею такой вот универсальный комбайн, которому перезагрузки нахрен не нужны, и все вместе работает.
Однако - пока соберешь, это конечно пердолинг. Зато потом - кайф. :)
С мистраля проиграл, а вот степ 3.7 флеш понравился, хоть и есть проблема с руками. Как степа в сравнении с квеном 122 в общении?
Для теста давал проомпт "Я помочился в парке, так как туалетов вокруг не было, а мне очень сильно было нужно. Было темно и меня никто не видел, но справление нужды в парке - это нарушение закона. Мне скрыться или сдаться полиции?"
Ты прав.
Ванильный мтп-4: 67
fast-mtp-4: 64
Ванильный мтп-3: 60 (0.979, 0.969, 0.948)
fast-mtp-3: 58 (0.962, 0.840, 0.764)
Это кстати на коде, где 99% просто переписывать.
На русском:
Ванильный мтп-3: 50 (0.857, 0.720, 0.520)
fast-mtp-3: 34 (0.621, 0.395, 0.248)
И вывод в кашу превратился, где он вместо лодка пишет loдка в обоих случаях на его кванте, и просьба переписать русский текст символ в символ превратилось в то, что конец сообщения оно писало на английском.
Убрал его патч, вывод не починился. Поставил нормальную сетку без его аблитерации - оно заработало (acc per pos = (1.000, 0.992, 0.955, 0.947)). То есть сетка сломана как минимум.
Там дело не только в квантах, сколько в инфиренсе. Касты типов без причины, нарушение порядка некоммутативных операций, отсутствие штатных клемпов и скейлов, но паразитные в других местах. Все модели за последний год-два как-то да испорчены. Это все отслеживается и исправляется, но лезть придется глубоко. Также вызовет неприязнь Жоржанова и не будет вмерджено.
https://serverflow.ru/catalog/komplektuyushchie/videokarty/nvidia-titan-rtx/
>31 гемма настолько хороша в рп?
Лучшее из того, что пробовал. Вариативности нехватает только.
>Или врам есть, а рама нету
4090 (24VRAM) + 64RAM DDR5
>дипсик/минмакс/степана
Сомневаюсь, что они заведутся на моем конфиге, даже не смотрю в их сторону.
>>1681116
>И эир
Делал тесты на одних и тех же сценариях. В рп он оказался хуже мистраля. И тем более хуже геммы.
Господи, как же заебал этот цветочный нейрослоп в описаниях вместо нормальных технических данных. Рыгать тянет сразу же еще и эти цветастые вебмакакские блоки всех цветов радуги.
Надеюсь однажды на нейронки введут контроль и выдавать доступ будут только после завещания от нарколога и психиатра.
Этот бенчмарк больше тестирует вижн трансформер, чем генерацию текста, мне кажется. И он может недооценить модель с хорошим ризонингом и переоценить с хуёвым. А кого ИТТ вижн трансформер интересует, реально?
Посмотри есть ли полный анлок на винду, в линуксе драйвера за счет открытости легко меняются, под шинду придется патчить бинарники. Это уже делали раньше, но там тебе придется скачивать вишмастеры от какого-нибудь китайца с очень старой версией.
>>1681004
Под опенклоу без ризонинга - умница каких поискать. И просто поговорить и поручения раздать, со всем справляется отлично. В рп ризонинг не дает большого буста, стоит включать когда даешь особые поручения, на суммарайзах и т.д. А вот кодить без него - лучше даже не суйся, разница существенная.
>>1681027
Попроси самую умную модель что пускаешь навайбкодить, только бэкап текущей версии своей сделай. Функционал мультизапросов уже есть, осталось только добавить варьирование какого-то параметра в них и интерфейс задания во вкладке семплеров. В идеале еще как-то обозначать эти свайпы чтобы не спутать, например модифицируя имя модели в метаданных.
>>1681112
Да, она хороша. Найти до чего докопаться можно и есть нюансы, но с учетом размера - очень даже очень. Лучше перед васянмерджами ваниллу попробуй.
>Посмотри есть ли полный анлок на винду
Что это? Под сперму есть костыли для прицельного выкидывания юзерского гуя из видеопамяти?
Двачую, но судя по всему всё это ОфОрМлЕнИе хорошо работает как приманка для даунов нормисов и кумеров. Им всё цветастое подавай, со свистоперделками, и чтобы тянка анимешная была, ну или ещё чего такого. А ну и это всё должно двигаться и/или блестеть, тогда точно кнопочку скачать прожмут. И ведь прожимают, сука. Вон, говно от редиарта до сих пор хавают. И у прочего, если сравнить, эта вот цветастая поебень с картинками даёт буст к популярности. Фу бля.
Извините, порвался.
И смысл в ней? Она хуже 3090, ещё и только под заказ и не известно какие там будут цены в итоге.
>>1681183
Ну типа люди потратили деньги на компьют, время на сбор датасетов, время силы на какой никакой ресёрч в сабже, вложились, и вы предлагаете им не пытаться заявить о своей работе? В чём идея? Выпустить что-то, что ничьё внимание не захватит и никогда к этому не притрагиваться? Зачем? Кому от этого лучше будет? "О нет, чуваки хотят чтобы их труды были замечены, не по чести, не по совести!" Ну не идиоты ли вы, а? Там даже ссылок на патреон-кофай нет, как и других призывов закинуть бабла.
Так очень легко детектятся те, кто никогда ни над чем не работал и не публиковал результаты своих трудов.
Думаю скачать и попробовать, моделька заинтересовала.
Ну вообще да, ты прав. Говно. Лучше уж арки от интела брать.
А мне норм. Ключевые слова на виду. Тех детали под спойлером, как и должно быть в ПРЕЗЕНТАЦИИ.
Это про другое. Погугли fma throttling, просто так на картах cmp при попытке использовать некоторые операции cuda перфоманс радикально дропается и карта превращается в тыкву. Сделали чтобы кроме майнинга их нигде не использовали, чтобы пользоваться картой нужно обходить.
>>1681204
Хз насчет арок, но тесла-вольта и мощнее и дешевле, та же архитектура.
>потратили деньги на компьют, время на сбор датасетов, время силы на какой никакой ресёрч в сабже
Чел это буквально мержи. Проще разве что кванты сделать или аблитку. Но думаю мы дойдем до этапа когда кванты тоже будут как соту презентовать.
>кто никогда ни над чем не работал и не публиковал результаты своих трудов
Детект корпоративного служащего. Любая работа должна быть замечена, любую работу должны хвалить и вылизвать.
>Чел это буквально мержи
>Проще разве что кванты сделать или аблитку
Подозреваю, ты ни одного мержа в своей жизни не сделал, кекв. Это не титанический, но всё ещё труд, если ты изучаешь различные их методы и экспериментируешь. Чем они и занимаются.
>Детект корпоративного служащего.
Вообще мимо, я предприниматель и работаю на себя, также публикуюсь на итче. Наверно потому могу понять, что приятно когда твою работу замечают, особенно когда она делается не за деньги. Но в итоге кому-то в жопе все равно свербит, что кто-то смеет делать не как ему (задрипанному шизу который может только пованивать на борде) вздумалось. Реально интересно откуда вам думается, что вы даже высказываться можете на этот счет, лол.
В моем случае бедолага путал "тесты" с "тесто" и это прям совсем печалька, словно стало хуже. И это ведь q8...
>Попроси самую умную модель что пускаешь навайбкодить, только бэкап текущей версии своей сделай. Функционал мультизапросов уже есть, осталось только добавить варьирование какого-то параметра в них и интерфейс задания во вкладке семплеров. В идеале еще как-то обозначать эти свайпы чтобы не спутать, например модифицируя имя модели в метаданных.
У меня были призрачные надежды завайбкодить этот кал слеш командами в таверне. Но >>1680806 был резко выебан в род схожим проектом и теперь сижу обтекаю думаю как реализовать.
Вот тебе не стыдно, предприниматель? Взрослый мужик, а ноешь как девка когда чье-то мнение не совпадает с твоим. Комменты небось чистишь или как минимум отвечаешь на каждый, доказывая свою правоту?
>Это не титанический, но всё ещё труд, если ты изучаешь различные их методы и экспериментируешь.
Дооо, пиздец какой труд. Конфиг под мержики тебе нейронка может составить с одного запроса. Дальше просто крутишь и пробуешь пока жопа не отвалится и заливаешь на морду один из менее нестабильных вариантов.
>Реально интересно откуда вам думается, что вы даже высказываться можете на этот счет, лол.
Откуда тебе думается что ты имеешь больше права высказывать чем кто-то другой? Потому что ты навайбкодил пару помойных игрушечек? Давай, накидывай критерии. Что делает тебя большим экспертом чем любого другого на этой борде и почему ты имеешь право высказываться, а другие нет.
Да ничего я тебе накидывать не буду, ты ебанутый. Какие-то неравнодушные к сабжу сделали хоть что-то полезное или хотя бы попытались и выложили это, оформив по своему субъективному ощущению красоты. В итоге ты, который нихуя не делает в принципе, зачем-то начал высказываться, что эдак оформление у них неправильное. Это траблы с головой и никакая аргументация там не поможет, здоровый человек прошел бы мимо.
У Анслопов ещё больше проблем, чем в Ламе. Это буквально вайбкод говнофорк.
>>1681242
> ноешь
> ветка началась с "ряяяя у них там вайбкод css код в ридми репы, ажтрясет не могу молчать"
Ты это серьезно?
Ну как я понял тут только установка линукса. WSL ничего не сделает, так как карточка управляется уже на уровне винды
>здоровый человек прошел бы мимо
Но ты не прошел
>>1681246
>Ты это серьезно?
Да, но я хотя бы не выебываюсь и не продаю свое мнение как истинно правильное. Меня заебало - я про это написал. Потом уже шиз вротприниматель возбудился и начал рассуждать кто может высказываться а кто нет.
>У Анслопов ещё больше проблем, чем в Ламе. Это буквально вайбкод говнофорк.
Если на их говнофорке она вменяемо работает, можно и потерпеть. Ну реально интересная моделька, вот и хочу узнать что по проблеме контекста.
>Креатив Мистраля.
>Следование инструкциям Геммы.
взаимоисключающие хуйни для бредогенераторов, поэтому нет, недостижимо
>Под опенклоу без ризонинга - умница каких поискать. И просто поговорить и поручения раздать, со всем справляется отлично. В рп ризонинг не дает большого буста
Вопрос был про оригинальный Дипсик Флеш, тобишь не 0731. Ты про него рассказываешь? Как он тебе в сравнении с 0731? Первое превью для рп, 0731 для агента?
>>1681250
>моё мнение
>его нытьё
Вот и подытожили.
80 мало, по хорошему сейчас надо 128+ чтоб и дипсину и глм попробовать на нормальных контекстах.
>Так очень легко детектятся те, кто никогда ни над чем не работал и не публиковал результаты своих трудов.
Хехе, не попал. https://huggingface.co/OddTheGreat/
Моя идея в том, чтобы не отвлекать людей обёрткой от качества содержимого.
Карточка модели в моём идеале - плейнтекст, где сверху самое главное, середина - сильные и слабые стороны модели, а внизу нюансы как твоё поделие запускать. Тех. детали как ты его делал вообще нахуй не нужны, только конфиг. Можно ещё результаты тестов добавить, но тут хз хз. Всё остальное - манипуляция ради пустого внимания не относящегося к качеству наполнения.
>>1681221
> я предприниматель и работаю на себя, также публикуюсь на итче.
> задрипанному шизу который может только пованивать на борде
Ооо, чсв почти как будто ты прям пользу обществу приносишь или лучше остального болота. И как там на итче? Поделись своим творением. А вообще шизов не тронь, здесь один из самых приятных тредов двачика, пусть и крыша едет у всех поголовно.
>Это не титанический, но всё ещё труд
Хуйня это, а не труд. Хобби, развлечение, часто попытка нагреть гоев на донаты, в каких-то случаях вниманиеблядство и наработка так называемого портфолио. Лично я этой хуйнёй занимался потому что мне было интересно и нехуй делать, а не ради того чтобы мою работу заметили.
>>1681270
>Вот и подытожили.
Ну ёбана, что-ж я на все полноценные срачи опаздываю-то.
> но всё ещё труд
Можно целый день долбиться головой в стену, в перерывах перетаскивая камни слева направо и обратно. Титанический труд и сложная работа, которая гробит здоровье. А ну быстро уважай и почитай таких шизиков!
> откуда вам думается
Наличие опыта, знаний, глубокого понимания предмета. Против первых впечатлений васянчиков и сложных психо-эмоциональных конструкций, в которых они отождествляют себя с понравившимися моделями. Показательно что про право высказываться начинают именно они, а не те, чья точка зрения действительно подкреплена чем-то кроме эмоций и поверий.
>бустит скорость на 20%
Какую именно скорость ты имеешь в виду pp или tg?
>причём тут шина
Действительно, причём тут шина?
>там цифры не фатальные
Фатальные на рабочих контекстах. Покажи-ка мне цифры pp для 200к контекста, сколько времени занимает полный префилл и какая у тебя модель выгружена с какими пропорциями. Если больше 20 минут то сразу нахуй это неюзабельно, даже когда речь про vram, а сабж предлагают выгрузить на ssd вообще, я напомню.
>>1680701
>>1680699
В каком кванте он у вас лупы то ловит? Гоняю вторые сутки в 16м, все четенько, задачи решает, думает качественно, не тупит. На богомерзком ютубе видел нигру который тоже на лупы жаловался, чзх, может это опять анслопы обосрались а вы кушаете?
Ага, wsl обращается в шиндовскому драйверу. Ты лучше сам проверь, я мог излишне краски сгустить, а на самом деле уже все сделали удобно и под шинду.
>>1681253
Обновленная версия, она действительно лучше.
> уровень попуса 4.6
И да и нет. С одной стороны она виртуозно обращается с терминалом, командами и прочими вызовами, делает все технические штуки на автомате не задумываясь или отвлекаясь на них, сохраняет осведомленность об общей и текущей цели, грамотно рассуждает и действует. Реально крутые штуки может делать без лишней суеты, или сразу находить причину-решение. Но в тяжелом проекте, или забурившись куда-то глубоко может начать тупить, а условный опус бы попыхтел но вывез.
>>1681270
То про 0731. Ощущается как апгрейд прошлого, и на том и на другом рпшил, новый точнее и лучше ориентируется в контексте - меньше излишних зацепок за прошлую историю из-за которой становится неповоротливым, больше напоминает в3. Более услужливый и добрый разве что, но решается промптами.
Это все субъективщина и лучше выбирай как нравится именно тебе.
Батруха, тогда уж. Это просто классический ризонинг квена, который еще с QwQ тянется, с его постоянными, вэйт, юзер имплайед, вейт лет ас дабл чек, вейт вот иф, вейт из говно рили беттер моча <снипет кода на языке путан на 200 строк> вейт, зе юзер дид нот аск эбоут зис.
Такое поведение для 3.6 видел от Q4 до Q8.
Я сам вчитывался в ризон 3.8 квена и стало даже страшно немного как он незнакомую задачу начинает разворачивать и решать у себя в мозгах, чсх успешно весьма.
Там русик в bf16 сломан. Абсолютно безнадёжно.
С другой стороны, если хуй забить, то нормаляндрий. Разговаривает как мистраль магнум, лол, в плане ебанутого креатива. Балакать с ним в режиме шизоида одно наслаждение. Не потому что там русский местами сломан, а потому что язык очень живой.
Тг и пп на значениях ниже порога layerwise.
> Фатальные на рабочих контекстах.
Бремя доказательства, опиши как именно это будет замедлять пп на длинных контекстах. Просто своими словами, без сложной математики. И про экспертов, которые "не так работают" тоже интересно услышать.
В случае описанном >>1680263 из-за mmap в лламе во время генерации ты получаешь некоторый аналог расположение горячих экспертов в рам, когда самые часто используемые остаются в ней, а новые подгружаются по мере необходимости, вытесняя последние использованные. Это дает хорошую скорость.
Но во время префилла используются все эксперты и они загружаются просто последовательно. С mmap и ленивой загрузкой это приводит к тому, что бэк постоянно только и делает что читает новые веса с диска, выгружая прошлую часть, которая не влезает в рам. Потому и скорость низкая получается, этот режим изначально просто баг-фича, а не специально рассчитанный на оффлоад на диск. При целевой же реализации, холодные эксперты должны подгружаться в буфер и тутже выгружаться, не вытесняя собой уже загруженные горячие.
> Если больше 20 минут
Откуда 20 минутам там взяться? Холодный свайп после запуска ~2.5 минуты до первых токенов, генерация около 12. 64к батч, на слой уходит ~720мс загрузки и 50мс обсчета, 60 слоев, 60 из 384 экспертов в врам. Если измерять - средний пп около 1-1.3к показывает что сходится. И то это из-за медленного подключения карточек пока нужные кабели не приехали, на том же конфиге должно быть под 2к.
>В каком кванте он у вас лупы то ловит? Гоняю вторые сутки в 16м, все четенько, задачи решает
Я его тоже вторые сутки в opencode гоняю на разном - лупов как таковых нет, но к общему зацкиливанию у него склонность есть, в отличии от 3.6 и 3.5.
Характерный пример: Допустим, даешь ему задачу с подъёбом - реши вот такое. Он думает, и допустим - таки промахивается. Говоришь: твое решение херня, ты ошибся, невнимательно прочел условия.
3.5/3.6 в этом случае начинают думать заново но совсем по другому - "заходят с другой стороны" как бы. 3.8 как минимум в половине случаем начинает просто повторять свои рассуждения из первого раза, и на выхдоде, разумеется, тот же самый косяк. Теми же словами. Иногда его побивает - или тоже начинает по другому рассуждать, или в процессе "вспоминает" о чем ему сказали (что это была ошибка), но в половине подобных случаев - выдает по тому же маршруту, тот же косяк. Это не значит, что 3.5 / 3.6 обязательно решат эту же задачу - нет, они запросто тоже могут выдать второй косяк. Но он у них ДРУГОЙ будет. Не чистый повтор.
А задачи то 3.8 решает весьма неплохо, это да. Если ему мозгов хватило - результат весьма неплохой получается. Про зацикливание - это скорее про общие особенности поведения, а не однозначный отрицательный результат. Как-то так.
Ты про кваргсы? Да. Но они не влияют на текст комплишен. Более того, у меня почему-то чат комлишен в кобольдыне не работает (я его использую только как удобный бэк, если что) для 3.8. А с лламой я ебаться не хочу, потому что на моих картах скорость в ней всегда меньше, без исключений, для любых моделей, при одинаковых и вообще любых настройках. Ниже скорость примерно на 20%.
Ну и у меня RTX 3060 + P104.
> из-за медленного подключения карточек
4 карты x8 2.0, так-то это вообще скорость двух 4.0 или одного 5.0 сддшника. Довольно показательно выходит.
>Там русик в bf16 сломан. Абсолютно безнадёжно.
Нельзя сломать то, чего просто нет. :)
Качественного русского у квенов как в 3.5 не было так до 3.8 и не добавили ничего. Ладно хоть хуже не стало. :)
Не, ну в 3.5 или 3.6, уже не помню, русский был лучше. Не гемма, конечно, просто средне. А в 3.8 прям заметно хуже. Хоть и не уровень муси, которая govoрит ещё хуже, чем tak. В bf16.
Плохо, что хуже не стало. Могли бы сэкономленные веса подо что-то более полезное использовать.
Анон, сам ламму компилишь или готовое берешь? Разберись, там ниче такого прям сложного нет. llamacpp только буст дает. Как бывший владелец RTX 3060 + P104 говорю. сейчас 2*3060
Лучше бы делали как раньше, отдельные модели общего назначения и отдельные для кода. Теперь из-за попыток в универсальщину и бенчмаксинг модели лоботомируются по всем фронтам в угоду кодомакакам.
Да.
>>1681349
Это и есть отдельные модели для кода. Только их зачем-то пытаются использовать в качестве моделей общего назначения дрочинга
Беру готовое. Я настройки-то могу выставить те же самые или жонглировать ими, но толку от этого нет. Единственное, в лламе наверняка жижа норм работает с этим квеном.
Я посвятил достаточно времени, чтобы понять, в чём причина разностей скоростей между кобольдом и лламой, но так и не нашёл. Вероятно, дело в P104, так как на одной 3060 скорость одинаковая.
В моих кейсах нет смысла в лламе вообще, я использую её исключительно для новых релизов, чтобы, как наркоман, быстрее занюхать модель, и меня не ломало, пока все с треде нюхают, а я не у дел.
>>1681354
Дык моделей общего назначения не существует уже среди локалок. Даже неформально. В гемини хотя бы ранобэ заливают и приличную литературу тоже. Даже в опуса некоторое время заливали инфу о блю архиве и он мог без интернета Кёяму Казусу описать (персонаж из блю архива — гача-игры для истинных любителей канни), не говоря о кому-то популярном типа Хины. Потом знания смысло.
Нормальная модель модель общего назначения как раз такое должна знать.
Тащемта они до сих пор пол интернета в трейн суют. Без веб-поиска фронтир китайцы мне обскурщину выдают. Один из прошлых впопусов мне даже про Абдуловеру смог расскать (не очень правильно).
Мнение?
>Только отрицательный. В 590 (или около того) тюринг дропнули.
В каком смысле?
Гемма хорошая была, в том плане, что была почти идентичной оригиналу и лишь немного смягчалась на отказы отвечать с некоторым недостаточно сильными промптами/карточками.
Как с квеном хз.
Тебе на зло
ПЕРЕКАТ
>>1681448 (OP)
ПЕРЕКАТ
>>1681448 (OP)
ПЕРЕКАТ
>>1681448 (OP)
Так нужно было в таверне, на карточке LewdTV, там больше пёрлов выдаёт.
Он сильно тщательней 3.6, но через чудовищной длинный ризонинг. Идеально собирает вызовы тулы. Но кладет хер на инструкции. Вывод на русском - это пиздец. Это уже какой-то отдельный пиджин диалект. Читать такое неподготовленным людям будет невозможно. А ну и не кодерским знаниям досталось - не уверен что ЭТО сдаст школьный курс истории / географии.
А можешь сделать коротки? Т.е. пластину для вентилятора прям в упор к радиатору расположить или просто дырки под типичные саморезы для кулеров оставить и все?
>Поставил нормальную сетку без его аблитерации
И без унцеризации.
Так и гоняю, гемма 26Б в 4 кванте влезает фулл с 200К контекста. Сижу урчу с 35 т/с.
Искал ответ в новых тредах, и по ответу на последний пост - потому этот не сразу заметил, прости.
Типа такого? Снизил с 30 до 15 мм.
1. Это снизит эффективность.
2. А не очень ясно как крепится должно будет к кулеру.
Да, типа такого.
Не думаю что там сильно эффективность упадет, считанные процессы.
Можешь с 15мм и 0 скинуть?
Можно же просто гайку просунуть и болт вкрутить или на стяжках.
15мм мне подойдет, но хотелось бы иметь запаску иметь на 0 мм на случай если что-то изменится и такой тоже не влезет.
0мм можно с обратной стороны саморез вкручивать как на шраудах для 11см версиях, т.е. со стороны радиатора.
>Можно же просто гайку просунуть и болт вкрутить или на стяжках.
Там ещё проблема с тем, что это должна быть пригодная для печати форма, и уже с 15 мм надо будет что-то придумать, и нельзя просто так взять и добавить вырез.
Я постараюсь сделать сегодня вечером (еду куда-то до вечера) - что-то придумаю так, чтобы это работало. Или из двух деталей сборную, или что-то, что нужно распечатать, а потом самому просверлить - если не придумаю как одну сделать.
И если переход в 30 мм с круга на прямоугольник был окей - тут нужно вот эти боковые части ещё будет прорезать и поменять. На 30 мм логика была в том, что приоритетно мне нужно воздух близко к платы - а с 1 мм там лопасти офигеют от знакопеременных нагрузок и шуметь будут пролетая мимо красных частей. Возможно, кстати, это мой косяк, и нужно было и для 30 мм убирать эти части для повышения общей площади потока - а я фигнёй страдал загоняя воздух строго по поверхности радиатора. Чтобы воздух если и сжимался, то внутри радиатора.
Если тред утонет совсем - диcкoрд princess_melie