Локальные языковые модели (LLM): LLaMA, Gemma, Qwen и прочие №186 NY Edition /llama/
Аноним
31/12/25 Срд 23:21:20
№
1
Здесь мы делимся рецептами запуска, настроек и годных промтов, расширяем сознание контекст и бугуртим с кривейшего тормозного говна.
Тред для обладателей топовых карт NVidia с кучей VRAM или мажоров с проф. картами уровня A100, или любителей подождать, если есть оперативная память. Особо терпеливые могут использовать даже подкачку и запускать модели, квантованные до 8 5 4 3 2 0,58 бит, на кофеварке с подкачкой на микроволновку.
Официальная вики треда с гайдами по запуску и базовой информацией: https://2ch-ai.github.io/wiki/llama/
Инструменты для запуска на десктопах:
• Отец и мать всех инструментов, позволяющий гонять GGML и GGUF форматы: https://github.com/ggml-org/llama.cpp
• Самый простой в использовании и установке форк llamacpp: https://github.com/LostRuins/koboldcpp
• Более функциональный и универсальный интерфейс для работы с остальными форматами: https://github.com/oobabooga/text-generation-webui
• Заточенный под Exllama (V2 и V3) и в консоли: https://github.com/theroyallab/tabbyAPI
• Однокнопочные инструменты на базе llamacpp с ограниченными возможностями: https://github.com/ollama/ollama, https://lmstudio.ai
• Универсальный фронтенд, поддерживающий сопряжение с koboldcpp и text-generation-webui: https://github.com/SillyTavern/SillyTavern
• Альтернативный фронт: https://github.com/kwaroran/RisuAI
Инструменты для запуска на мобилках:
• Интерфейс для локального запуска моделей под андроид с llamacpp под капотом: https://github.com/Mobile-Artificial-Intelligence/maid
• Альтернативный вариант для локального запуска под андроид (фронтенд и бекенд сепарированы): https://github.com/Vali-98/ChatterUI
• Гайд по установке SillyTavern на ведроид через Termux: https://rentry.co/STAI-Termux
Модели и всё что их касается:
• Актуальный список моделей с отзывами от тредовичков: https://rentry.co/2ch_llm_2025 (версия для бомжей: https://rentry.co/z4nr8ztd )
• Неактуальные списки моделей в архивных целях: 2024: https://rentry.co/llm-models , 2023: https://rentry.co/lmg_models
• Миксы от тредовичков с уклоном в русский РП: https://huggingface.co/Aleteian и https://huggingface.co/Moraliane
• Рейтинг моделей по уровню их закошмаренности цензурой: https://huggingface.co/spaces/DontPlanToEnd/UGI-Leaderboard
• Сравнение моделей по сомнительным метрикам: https://huggingface.co/spaces/HuggingFaceH4/open_llm_leaderboard
• Сравнение моделей реальными пользователями по чуть менее сомнительным метрикам: https://chat.lmsys.org/?leaderboard
Дополнительные ссылки:
• Готовые карточки персонажей для ролплея в таверне: https://www.characterhub.org
• Перевод нейронками для таверны: https://rentry.co/magic-translation
• Пресеты под локальный ролплей в различных форматах: https://huggingface.co/Virt-io/SillyTavern-Presets
• Шапка почившего треда PygmalionAI с некоторой интересной информацией: https://rentry.co/2ch-pygma-thread
• Официальная вики koboldcpp с руководством по более тонкой настройке: https://github.com/LostRuins/koboldcpp/wiki
• Официальный гайд по сопряжению бекендов с таверной: https://docs.sillytavern.app/usage/how-to-use-a-self-hosted-model/
• Последний известный колаб для обладателей отсутствия любых возможностей запустить локально: https://colab.research.google.com/drive/11U-bC6AxdmMhd3PF9vWZpLdi6LdfnBQ8?usp=sharing
• Инструкции для запуска базы при помощи Docker Compose: https://rentry.co/oddx5sgq https://rentry.co/7kp5avrk
• Пошаговое мышление от тредовичка для таверны: https://github.com/cierru/st-stepped-thinking
• Потрогать, как работают семплеры: https://artefact2.github.io/llm-sampling/
• Выгрузка избранных тензоров, позволяет ускорить генерацию при недостатке VRAM: https://www.reddit.com/r/LocalLLaMA/comments/1ki7tg7
• Инфа по запуску на MI50: https://github.com/mixa3607/ML-gfx906
• Тесты tensor_parallel: https://rentry.org/8cruvnyw
Архив тредов можно найти на архиваче: https://arhivach.hk/?tags=14780%2C14985
Шапка в https://rentry.co/llama-2ch, предложения принимаются в треде.
Предыдущие треды тонут здесь:
>>1470041 (OP)
>>1461789 (OP)
Новому году УРА!
Тредовичкам здоровья!
И пусть у вас всё будет хорошо.
>Потому что Эйр просто сосет с проглотом
Потому что его на ChatML надо запускать, тогда он пишет по квеновски
Не все живут по московскому времени...
Желания не работают. Мечты не сбываются.
Конечно.
>>1475926
Вруша и ~ббака~
Сбываются. Я уверен что твои желания сбудутся и все будет хорошо.
Знай, что где то на просторах нашей необъятной родины есть бородатый шиз, который в тебя верит.
И когда мне показалось, что я завязал - они снова меня туда затащили.
Я конечно попробую, но это не пофиксит не самый большой датасет. Тут как со ступеньками. Не важно как пишет, важно что.
>твои желания сбудутся
Это привнесёт небольшой хаос в мировое бытиё и нарушит парочку фундаментальных законов физики. Ну и сделает всех людей моими рабами. Так что не нужно, поверь мне.
Анон с тёмными мечтами
Ну и нормально. Печенья поедим на руинах мира. С вишневой начинкой, замечу.
Ваш фэмили-френдли шиз
>Архив тредов можно найти на архиваче: https://arhivach.hk/?tags=14780%2C14985
Адрес Архивача когда поправите на актуальный?
Не будет вам ни дешёвых GPU, ни дешёвой RAM в ближайшие 3 года.
Да, отыграл с фифи новогоднюю ночь, пришлось правда поставить мешок со сладостями чтоб мозг не ебала
https://github.com/ggml-org/llama.cpp/pull/18511
>Квен/Дипхрюк явно не потянет
80b квен сможешь вместить бтв
Щас за х5 прайс хуй я кабану на поклон пойду, а до спада реально года 4 ждать
Не нравится постоянный пересчет контекста при лорбуке?
Никак блять. Никак. Он это будет делать постоянно. Иначе он бы сидел в твоей памяти. Не нравится, переноси всё в карточку или не ставь 100% активацию. Там есть настройки.
>4 пик
Мне кажется, после установки такого количества видеокарт с пользователем случится пик.
А что же дальше, неужели заметишь что по всем карточкам гуляют одни и те же паттерны?
Да просто забавно было увидеть слоп уроаня 24b-27b в "типа умной" нейронке.
Карточки самописные бтв
235б - уже не так плохо, намного лучше, но вот 358b - туда нам надо, без сомнений.
А может и правда дело в активных параметрах и 100б32а будет не сильно хуже чем 350б32а
Проблема в том, что перейдя на ступеньку выше, ты ни при никаких условиях не захочешь возвращаться назад. Я начинаю понимать асиговских наркоманов, что рыщут в поисках ключей. Потому что, хоть я не пробовал, но есть подозрение что всякие сонеты, клоды просто дают такого жару, что смотреть на что то локальное просто не захочется.
>всякие сонеты, клоды просто дают такого жару
Да и Дипсик даёт. За последние пару месяцев они сильно подтянули качество. Хочется погонять его локально, без цензуры и с префиллом, когда (и если) они выложат очередные веса. Даже во втором кванте он будет хорош.
Гемму я и 3 не использую, не переношу модели без сочного кума
>Сколько там для кита нужно? 512 гб?
А вот нашёл интересное:
https://huggingface.co/lovedheart/DeepSeek-V3.2-REAP-345B-A37B-GGUF-Experimental
Всего 123Гб. Без Sparce Attention (пока, по крайней мере), когда его добавят в лламуспп должно быть вообще хорошо. Потестил бы кто, у кого возможность есть.
Уж такое никто терпеть не станет, на рам еще как то можно пояса затянуть
Надо чтобы альтман случайно запихнул в нейронку контент нинтендо. Чтобы юристы нинтендо ему колени как у кузнечика сделали.
Карты итак скоро уже подорожают. Вендорам придется искать память самим, ни зеленые ни красные сами отгружать ее не будут. Ну а в этой стране еще и налогов прибавить обещали, так что ничего хорошего ждать не приходится. Возможно, возможно, новые карточки начнут под HBM2 клепать, так как производства под нее переводят. В таком случае дефицита может не случится, но цена всё равно останется под вопросом.
Катаю квен Instruct-2507 с персом из игры вышедшей в октябре dispatch, квену пол года как бы, но он узнал сеттинг этой игры которая вышла 2 месяца назад и несколько персов уже сам упомянул, в карточке их нет? да и даже на момент выхода моделей обычно там не самые свежие данные
У меня так в чат протекли какие то альфы, омеги. Я понять не могу, что это за хуйня. Что за феромоны, я блджад, на собачьей случке что ли. Начал искать. О боги, какой же пизданутый фандом я нашел, я понятия не имел что такая хуйня как omegaverse существует.
https://www.reddit.com/r/LocalLLaMA/comments/1pyg4yt/tencent_just_released_wedlm_8b_instruct_on/
Ждем когда в llama-cpp впилят, если впилят конечно.
походу денс 40б, может оказаться лучше 100б мое
> 519B 33B Active MOE from SK Hynix
о, а вот это ещё интереснее
Для кого как, мое это трейд мозгами за знания
100б знаний 12б мозгов
Либо 40б и знаний и мозгов
И сам уже задумался а что я тут делаю, жду каких то моделей когда всё уже есть, сокрушаюсь от цен на рам когда подписка стоит 3$ в месяц, зачем мне эти лоботомиты локально вообще
Братик, я так же думал, пока у меня проводной интернет не улетел на белые списки, вот теперь пробую развернуть локального кодинг агента (мне приходится писать/править код на ЯП, которые я не знаю. Без ИИ на одних доках и СS очень долго пердолить.).
>>1476071
Качаю. Посмотрю не сгорит ли видюха запустится ли.
Ну пообходишь ты полгодика белые списки, потом тебя присадят на швабру дяди из ФСБ.
кодер не обязательно сисадмин, сисадмин не обязательно кодер. Линус Торвальдс неоднократно упоминал, что не умеет устанавливать и настраивать люникс, небось и шадоусокс поднять не осилит.
Я и не кодер и не сися, проблем не испытываю хотя уже пол инета отъебнуло
9к контекста это не так уж много на фоне того, сколько могут современные модели, в чем проблема?
>>1476087
100%
>>1476098
> всякие сонеты, клоды просто дают такого жару
Не дадут. Ну, если только максимум того что ты катаешь - мелкомистраль. Соя и сейти сильно будут ебать мозг, а попытки обхода все сильно лоботомируют. Не получится заигрывать с чаром на грани, иметь плавное развитие, не париться по поводу явного описания сцен близости/жестокости/каких-то действий в истории и т.п.
Клод сильно просел в рп по сравнению с уровнем что когда-то был, жемини лучше. Но погоняв их плотнее поймешь, что это тоже специфичные модели, которые требуют своего подход, имеют кучу байасов, паттернов, регулярных косяков, и главное не дают качественно нового экспириенса относительно имеющегося опенсорса. Только управления ими тебя лишили и вынужден дополнительно страдать, заодно навешивая дебаффы.
Ай содомит
>>1476129
Часто лор и прочее в сети раньше релиза, или вообще самобытны, вот он и знает.
>>1476167
> подписка стоит 3$ в месяц
20 и квота там такая, что с норм контекстом на свайпов 20-30 хватит.
Q4 не влезло, можно как-то часть модели засунуть в оперативку пука , а часть в оперативку карточки? У меня есть ещё одна планка на 16 гигов, но там ещё более кривые тайминги, чем у планок 32 + 16. И я боюсь, что при 32 + 16 + 16 стабильности вообще не будет. Как же печот, что я не успел вложиться в память...
А! Я запускаю по инструкции из редми модели, сча попробую лламу. Спасиб.
Как кружка у которой дна нет, а верх запаян.
>>1476131
>omegaverse
видео
>>1476098
Я 3 года пользовался модельками копроратов, сейчас почти месяц сижу на маленьких локалках, и если честно, то опыт не сильно изменился, единственное что печалит это контекст в 23.5к токенов который я могу себе позволить...
псп быстрее всего в 1.5 раза, но процессор мощнее старого в 2, так что решает не только псп, но и мощща.
надо ещё количество тредов прочекать кстати
export OMP_NUM_THREADS=16;
export BLIS_NUM_THREADS=16;
а потом нужно указывать обе переменные =1, потому что значение больше 1 начнёт снижать tg t/s
>>1476257
Я же любопытный, начал читать, что это за фурри хуйня.
Вы бы моё ебало видели, когда я читал про беременных оборотней, какие то фермы по разведению, течки хуечки. И вся эта хуйня еще приправлена натуральной горбатой горой с ковбоями.
И эти люди потом еще осуждают японцев за хентай.
> скидывали с месяц назад
>новые карточки начнут под HBM2 клепать
Не получится, HBM память требует широкой как ниагара шины, а у десктопов 512 бит обрезки, HBM там будет показывать уровень десктопной DDR4, лол.
>>1476157
>MOE from SK Hynix
Лол, производители оператив очки решили простимулировать продажи выпуском мое-параши.
>>1476167
>подписка стоит 3$ в месяц
"Извините, но вы забанены".
>>1476169
>пока у меня проводной интернет не улетел на белые списки
Нахуй ты в такой стране живёшь? Я сразу манатки соберу и уеду нахуй.
>>1476457
Это идея для карточки, да?
А что, неплохой сценарий. Ты играешь за корпората, который должен отвадить от плодячки белого цисгендерного мужчину. Правда РКН неодобряет.
>>1476526
А всё, 40к новая цена. Ты опездал.
> Я сразу манатки соберу и уеду нахуй.
куда, если не секрет? а то у нас в /em/ почти все уже обратно возвращаются
> новые карточки начнут под HBM2 клепать, так как производства под нее переводят
Там уже hbm4, и принципиально в ключевом производстве нет отличий. Разница в упаковке - в hbm более плотно настаивают слои и отличается принцип адресации, что требует дохуя сложных интерконнектов через кримниевую подложку, но зато работает на более низких частотах и энергоэффнективнее. Gddr же наоборот повышает частоты и использует более сложные методы модуляции, что в свою очередь позволяет вынести чипы на более узких шинах, сэкономить на производстве на многих этапах в ущерб энергоэффективности.
И та и другая память делается из одинаковых чипов, их просто по-разному настакивают и есть отличия в контроллерах. В десктопе никто не будет переходить на hbm без исключительных нужд банально из-за дороговизны, а особого масштабного производства на нее не требуется, основа идентична.
>>1476350
В чистейшем фуллцпу перфоманс играет сильную роль ибо атеншн считать сложно, а в фуллгпу важно взаимодействие с периферией без лишних задержек. По обоим пунктам геноа радикально лучше рима.
>>1476380
> а потом нужно указывать обе переменные =1, потому что значение больше 1 начнёт снижать tg t/s
Какая же дичь там в коде, в архитектуре профессором и во всем.
>>1476526
Закончился тот лот, только 16-гиговые остались. Ищи, мониторь, может быть испытает счастье.
>куда, если не секрет?
Куда глаза глядят, кроме Сев. Кореи, Белоруссии, Китая, Великобритании, Австралии, США... Блядь, надеюсь список запретов меньше 200, надо будет проверить.
>а то у нас в /em/ почти все уже обратно возвращаются
Ебала вернувшихся, когда интернет не работает, есть?
Это явно круче моей черепахи.
Что самое ебаное я никакие поехавшие фетиши не отыгрываю. Тупа легче проникнуться сценарием потому что он зеркалит твои хотелки.
Каждый раз когда я вижу русик, что на корпах, что на локалках, я вспоминаю времена когда сидел на фикбуках и читал всякое графоманское говно от тринадцатилетних девочек. Дякую боже, що я розумию английский и на нем у меня гораздо ниже начитанность. Потому что плохой текст от хорошего на нем я отличить не могу и от ролевухи меня ничто не отвлекает.
>Это фиксится или пути назад уже нет?
Путь назад есть всегда. Попробуй пару недель просидеть вообще без порнухи, будешь ловить стояк даже от рекламы шампуня, где девочка плечики мокрые показывает.
Фиксится, но зачем? Эволюционировал от примитивного существа, которое возбуждается наблюдая за фрикциями, до высокоразвитого индивида, которому нужен эмоциональный отклик а не просто низшие инстинкты.
Даже воспользовавшись рецептом >>1476600 все равно с такого будешь получать больше удовольствия единственный минус что может накатить депрессия из-за слишком хорошего и реалистичного сценария
>высокоразвитого индивида, которому нужен эмоциональный отклик
>тупая LLM с ответами из шаблонов историй уровня >>1476595
>говно от тринадцатилетних девочек
Лол. Высокоразвитым он будет, когда ему нужен будет другой высокоразвитый человек (не каждая женщина так может). А пока он дрочер (как и все мы тут).
Но могу запустить 2 квант 235 квен
И за это реально нужно держаться
Как бы он не был лоботомирован он всё ещё лучше по мозгам чем эир и выдаёт кино при этом
Типа, тут 2 квант 120б мистрали считали норм или того же эира
Ладно не буду лукавить, по мозгам примерно как эир и есть, всё же 2 квант.
Но жирнее при этом, тренился под рп и внимание к контексту лучше
Так сделай чтобы было хорошо, кто мешает? И даже то уже на насколько голов лучше типичного прона.
> другой высокоразвитый человек
> женщина
> человек
Вставь сюда мемчик по вкусу.
Шутки шутками, но найти такую не очень-то просто будет, усредняя по больнице я бы на ллм поставил.
>>1476711
Да
https://huggingface.co/AaryanK/Solar-Open-100B-GGUF
>Так сделай чтобы было хорошо, кто мешает?
Маск пидор не даёт логина и пароля к датацентру с 200000 DGX B200.
>Вставь сюда мемчик по вкусу.
Там уже текст в скобках. Твой парсер его вырезает из контекста?
>>1476715
А нахуя? У них кроме либеральной лицензии ничего нет. По качеству скорее всего соснут. И датасетов не видно, тоже мне опенсорс уровня /ai/
> 1 hour ago
> 02:09:10
> Мертвейший тред
Причина нытья? На самом деле ныть надо что минимакс и еще пару моделек нормально не затестили.
>>1476716
Победитель трансформера, ты?
>Эволюционировал от примитивного существа, которое возбуждается наблюдая за фрикциями, до высокоразвитого индивида, которому нужен эмоциональный отклик а не просто низшие инстинкты
Горе от ума. К сожалению я трачу слишком много времени на всю эту хуету, да ещё и как верно отметили может нормально так ебануть по голове когда понимаешь что это всё слишком идеально и красиво для того чтобы быть правдой.
Мне всё же было лучше когда я не нуждался в необходимости получать обратную связь. Эх бля.
>Победитель трансформера, ты?
Да, я. Какие-то вопросы? Я рад на них ответить!
>>1476732
Запускай визуальные новеллы. Там есть выборы (иногда).
И вообще надо ли отключать, без нее быстрее или смысла нет?
Кому интересны метрики:
CrucibleLab_M3.2-24B-Loki-V1.3-Q6_K_L -b 2048 -ub 2048
10к контекста:
v100 pp 1450 tg 22-24
3090 pp 1600 tg 26-28
Щас так вкусно поел 500 токенов воды и ровно 4 слова диалога, и это на прямой развернутый вопрос.
Заи ну пофиксите уже свою хуйню
Ну енто так называемый скилл ишью. Заи тут не причём.
Ты слишком глупый и ленивый чтобы этого не допускать в своих чатах.
Я не нашёл прямого переходника usb-pcie x16, но нашёл переходник usb-m2, и райзер x4->x16. По сути для llm же это подойдёт, если строго все веса на одну карточку влезут? Там по идее и скорости usb 2.0 хватит, если не считать долгой загрузки при старте.
Единственный способ этого не допускать это рероллить пока не будет достаточно диалогов, что на мое с низкой скоростью я ебал делать, да и вообще схуяли должен, модель должна работать нормально
Много раз писали аноны как этого не допускать. Нормально промтить и не лениться делать хорошие карточки с примерами диалогов. Это работает. Но куда легче вонять айкаквсёплохо и ныть, нюня.
Примеры диалогов буквально ломают карточку, она просто выдает этот пример слово в слово когда не знает что ответить
>Примеры диалогов буквально ломают карточку
Лост кейс. Дело закрыто. Продолжай ныть, чо.
Если совсем по-простому, влезет любая модель которая вместится в оперативную память гпу и цпу. Чтобы узнать что конкретно вместится - надо смотреть сколько весит определенный квант. Если меньше 16 гигов, значит целиком влезет в видеопамять. Если больше, значит придется раскидывать слои туда сюда между видимокартой и процессором, но в таком случае упадет скорость.
Капец у тебя познания в компьютерной архитектуре. Нет, прокинуть pci-e через usb не получится.
Попробуй, нам потом расскажешь
Обычно для подключения карты нужен usb4
Ну если у тебя модель которая просто не работает без примеров диалогов в карточке это нормальная модель а не сломанный кал то тут рил лост кейс
а в сервере в локальной сети стоит мощная видюха.
Короткий ответ:
Нет, “прокинуть” удалённую видеокарту в локальный Blender для интерактивного viewport’а — нормально нельзя. Ни по LAN, ни “магией”. Всё, что выглядит как решение, — это либо костыли, либо удалённая работа, замаскированная под локальную.
Теперь без иллюзий и с разбором, где ты себя обманываешь.
Почему это не работает принципиально
Blender использует GPU: – для вычислений
– и для вывода кадров в окно (viewport)
GPU должен: – быть виден локальной ОС
– иметь прямой доступ к драйверу
– рисовать кадры с минимальной задержкой
Удалённая видеокарта: – физически не может рисовать кадры в твой локальный framebuffer
– не может быть “подключена” как CUDA/OpenGL/Vulkan-девайс по сети
– PCIe over Ethernet в реальности = миф для десктопных задач
Любые разговоры про “GPU over IP” — это либо: – enterprise-VDI за огромные деньги
– либо обёртка вокруг удалённого десктопа
Что реально можно сделать (и что ты, возможно, игнорируешь)
Вариант 1. Удалённый Blender + стрим экрана (единственный рабочий вариант)
Ты запускаешь Blender на сервере, а к себе стримишь картинку.
Рабочие инструменты:
– Steam Remote Play
– Parsec
– Sunshine + Moonlight
– NoMachine (хуже по задержке)
Это не “удалённый рендер”.
Это удалённый интерактивный viewport.
Задержка в LAN — 5–15 мс.
Для моделинга, скульпта, текстуринга — нормально.
Твоя ошибка: ты мысленно приравниваешь “удалённую работу” к “медленно”. В локальной сети это ложь.
Вариант 2. VirtualGL + X11 forwarding (технический, но болезненный)
Работает в Linux: – Blender крутится на сервере
– GPU считает
– кадры сжимаются и летят по сети
Минусы: – нестабильно
– ад в настройке
– Wayland ломает половину схем
– UX хуже, чем Parsec
Используют только если нельзя стримить экран.
Вариант 3. vGPU / SR-IOV (практически мимо)
Это: – NVIDIA vGPU
– ESXi / Proxmox
– лицензии
– enterprise-железо
И даже там ты получаешь VM, а не “прокинутую видеокарту в локальный Blender”.
Если ты не админ дата-центра — забудь.
Чего НЕ существует (и тут ты, вероятно, тратишь время)
– “подключить GPU по сети как CUDA-девайс”
– “использовать удалённую видеокарту для viewport’а локального приложения”
– “просто прокинуть OpenGL/Vulkan”
Это архитектурно несовместимо с тем, как работают драйверы и графический стек.
Жёсткая правда
Ты хочешь: – оставить Blender локально
– но использовать чужой GPU
– без стрима
– без задержки
Это против физики и архитектуры ОС.
Что делать рационально (приоритеты)
1. Прими, что Blender должен крутиться там, где GPU
2. Настрой Steam Remote Play. или Parsec или Sunshine — это 1 вечер, не неделя
3. Работай с сервера как с “тонкого клиента”
4. Локальный ноут оставь для: – файлов
– IDE
– коммуникаций
Если хочется ещё быстрее
– проводная сеть
– HEVC / AV1
– отключить VSync
– 120 Гц монитор
Вывод
Ты сейчас ищешь несуществующее “чистое” решение, вместо того чтобы взять единственное рабочее. Это классический случай переусложнения из-за неприятия компромисса, который на практике почти не ощущается.
Ого! Оказывается модели нужно промтить чтобы получить результат который тебе нужен. А если этого не делать то результат может быть неудовлетворительным... Открытие.
спасибо, чатгпт! распиши подробнее про "Вариант 3. vGPU / SR-IOV", у меня как раз ынтырпрайз-железо.
> Не могу отключить коррекцию ошибок
Зачем? Это аппаратная фича, буста не получишь при отключении.
>>1476793
Они все в этом подслеповаты без тренировок, это все байас от текстовой части.
>>1476920
Квенчик?
> Зачем
коррекция ошибок тратит оперативу, если без есс доступны все 32 гб врам, то с есс будет 28 или ещё меньше.
Бремя доказательства лежит на утверждающем, демонстрируй 28-гиговую v100 или наоборот 35-гиговую где оно выключено с дефолтного.
скачал gguf модель для llama.cpp но не текстовую, а для генерации видео и картинок. Пытаюсь подключить, выдаёт ошибки какие-то. Помню только слова mmproj instead
Да
>>1476991
> для llama.cpp
> для генерации видео и картинок
Невозможно, она только ллм запускает, максимум еще визуальный проектор. Gguf формат по сути универсальный и позволяет упаковать в один файл веса (полные или квантованные по простому алгоритму) + конфиг, потому его иногда используют для других моделей.
>коррекция ошибок тратит оперативу
На ecc плашках больше чипов, один лишний для перепроверки
> демонстрируй
>>1476974
> 35-гиговую
скорее 28 гиговую, 32 гига это максимально доступный объём врам, а есс забирает от максимума.
>>1476991
для генерации это уже не llama.cpp, а stable-diffusion.cpp
> mmproj
это для распознавания картинок, а не для генерации.
не путай ECC RAM и софтварную функцию ECC в видеокартах.
на RAM это дополнительные чипы, в видюхах это софт и никаких дополнительных чипов нет.
Скинь ещё ребятам в картинкотреде время генерации через sd1.5 (512x512), sdxl (1024x1024), ещё вроде про видеосетки там же просили - но этого я уже не знаю, как и картинкосеток новее sdxl. Ну, если не сложно.
Я не думаю что ты можешь отключить коррекцию ошибок на видеокарте.
К тому же коррекции разные бывают, можно просто утраивать все данные, можно дописывать 10%, 1% или даже 0.01% на случай очень редких ошибок с шансом 10-10. Я не думаю что на карточке что-то больше 1% имеет смысл - к тому же это может быть архитектурно другие биты (по типу, что у тебя к каждым 256 битов есть ещё один 257 с кусочком кода коррекции, так что с точки зрения процессора ты его и получить не можешь, а работает с ним исключительно контроллер памяти) - а не просто доп память. Это с дивана, без гугления, я как нейросеть нагаллюционировал то что мне в голову приходит на основе опыта использования коррекции ошибок в радиосвязи, лол.
Чел имеет на руках карту с выдуманной проблемой но вместо того чтобы просто это показать ссылается на абстрактный гугл, самому не стыдно? Возможность нахаляву получить или наоборот потерять 1/8 врам слишком существенна чтобы оставаться непокрытой.
>>1477023
Уже постили скорости раньше, 70-90% от 3090 в зависимости от размера модели и разрешения. Там где форсируется bf16/fp32 начинается посос.
я другой чел и V100 у меня нет, но раньше были карты A серии и там ECC занимало оперативу, а её выключение оперативу освобождало. я не уверен, что в V серии так же, как в A, но с большой вероятностью так. иначе это работает только в GDDR7, где ECC включён всегда и в принципе не выключается, даже когда nvidia-smi говорит, что ECC disabled.
так как сейчас у меня карт A* больше нет, а скриншотов я не делал, то единственное, что я могу предложить - это погуглить. если не веришь на слово и не хочешь гуглить, то можешь пойти нахуй.
Какую выбрать для объяснения мне материала, обучению как преподаватель, учитель?
Я буду спрашивать - она объяснять.
gptoss120, gemma27, air - пробовал.
есть что-то лучше?
llama3.3 70 имеет смысл качать? устарела? или еще умная?
Вызов инструментов и РП не надо, надо чтобы понимала сама и объясняла.
> Я не думаю что ты можешь отключить коррекцию ошибок на видеокарте.
это делается как чел выше написал, nvidia-smi -e 0
только хз почему у него не работает, у меня в других картах работало.
Для ассистента GLM 4.7 или Qwen-Coder 480B хороши. Дипсик не рекомендую.
а о чем говорить? уже как пару дней как высрали модель. что по ней известно с реддита/гитхаба:
1) архитектура очень похоже на glm 4.5 air
2) какие-то всхлипы от корейцев, что вот с нуля тренили
3) никаких бенчмарков вообще не было. просто кот в мешке
4) восторженных всхлипов на том же реддите не было. согласен, такой себе критерий, но пред. модели или хвалили ("какой же быстрый немотрончик, матерь божья!") или нещадно хуесосили ("бенчмаркт говно")
собственно, нахуя на это говно время тратить как и на твой пост и мой коммент?
>Qwen-Coder 480B
ИТТ есть кто-то, кто может это локально запустить?
Сейчас бы "на слово" верить воспоминаниям нонейма, который вместо конкретики посылает в гугл. Если действительно встречал - тащи документацию, такое обязательно должно быть отмечено.
В видеокартах примитивная коррекция secded, сейчас это по умолчанию есть в памяти и не требует дополнительных данных. Ну а в hbm карточках ecc всегда включен по умолчанию и вся память там доступна, освободить ее отключением никак невозможно, это факт.
>>1477035
Простой принцип - чем свежее и больше тем лучше.
>>1476718
https://www.reddit.com/r/LocalLLaMA/comments/1q1ura1/iquestlabiquestcoderv1_swebench_score_is/
[IQuestLab/IQuest-Coder-V1] SWE-bench score is compromised because environment setup was wrong
TL;DR is that they didn't clean the repo (.git/ folder), model just reward hacked its way to look up future commits with fixes. Credit goes to everyone in this thread for solving this: https://xcancel.com/xeophon/status/2006969664346501589
(given that IQuestLab published their SWE-Bench Verified trajectory data, I want to be charitable and assume genuine oversight rather than "benchmaxxing", probably an easy to miss thing if you are new to benchmarking)
Конечно нет. Я вот к примеру ГПУ-бомж, могу только в 357B ((
сейчас бы шерстить документацию, чтобы доказать кому-то в интернете, что он неправ.
Это как-то слишком писос. По хорошему, это 13 А100 нужно, они будут жрать столько же липездричества, сколько будет стоить нанять 5 индусов-кодеров.
В лоботомированном кванте - вполне, кто-то даже быстро.
>>1477064
Опасное дело, можно найти свидетельства своего пиздабольства. Первого скрина nvidia-smi с v100 достаточно чтобы твою шизу про 28 гигов опровергнуть.
я думал, что оно --override-tensor автоматом подсчитывает.
Манюнь это число ошибок, когда там не 0 как на пик 1 то значит карте пиздарики. Когда ecc недоступно и отключено там n/a как на пик2 или off как на 3.
Ну что, очередной эпичный? Обтекай, не привыкать.
вот для А серии:
https://forums.developer.nvidia.com/t/tesla-a40-memory-capacity-is-smaller-than-expected/210142
так что всё равно хрюкни
чему мне точно не привыкать, так это спорить с долбоёбами, доказывающими, что что-то не так или что-то невозможно, когда я лично видел это собственными глазами или делал это собственными руками.
>>1477033
> я другой чел и V100 у меня нет, но раньше были карты A серии и там ECC занимало оперативу, а её выключение оперативу освобождало. я не уверен, что в V серии так же, как в A, но с большой вероятностью так.
если в V серии не так, то сорян, я лично писал про свой опыт с А и сейчас с B
Молодец, наконец что-то принес, только нерелевантно.
>>1477088
Все обсуждение про вольту.
> и сейчас с B
И в A с трехзначными номерами, и в H, и B то же самое. Во всех hbm карточках вся память доступна с ecc, если ты наблюдал что-то иное на них то это аренда обрезков vgpu.
>+ пол терабайта озу
Нету у тебя столько почек! Их только две у человека, и то вторую не рекомендуется продавать.
> на некоторых видеокартах коррекция ошибок тратит оперативу, если без есс доступны все 32 гб врам, то с есс будет 28 или ещё меньше. конкретно в V100 может быть не так
исправил чтобы удовлетворить анона выше
умножил частоту 2600 мгц на двухканальный режим, разделил на биты хуиты кароч выходит 80
>4800кекогерц
А у меня не удалось запустить свои 96 модули вместе с 64. В итоге "выгодно" продал комплект 64ГБ за пятнашку...
Если уж конкретно душнить то на старых gddr карточках где доступно включение ecc оно отъедает 64 мегабайта на гигабайт памяти, в условной A5000ada может быть 30 а не 28 и меньше.
>>1477112
Лол а сколько там?
Между прочим там 5080 на 32гига уже делают.
Срузен, залупа эдакая, режет скорость чтения вдвое на одночиплетных. Плюс фабрика подсирает. Так что в реале там полтиник, это у меня 80.
Ребята подскажите гайды или вообще куда копать. Цель сделать ассистента типа Алисы с голосовым вводом выводом. Пока что поставил лм студию и модель квен 9Б. Как разрешить модели гуглить и отвечать голосом?
Можешь сделать своего агента и присрать к нему tts и stt
1) Нашел такой проект https://github.com/Mozer/talk-llama-fast
2) Или вот чел наресерчил, https://qna.habr.com/q/1382324
Тебе нужен бекэнд...
>Как разрешить модели гуглить
У тебя модель - это чисто текстовый процессоры, который по тексту продолжает его.
Существует некоторый chat-template. В целом у тебя "контекст" это:
- системный промт, инструкции, правила работы
- первое сообщение пользователя
- ответ сетки
...
- 37-ое сообщение пользователя
Ты скармливает сетке вот это, и оно пишет 37-ой ответ. Ничего другого ни одна текстовая сетка не делает. Ну, если не брать мультимодальные пока что, которые ещё и на картинки смотрят.
Для того, чтобы она могла гуглить - ты ей описываешь язык запросов в системном промте, по типу:
Ты можешь отвечать двумя способами, сообщение пользователю и запрос в интернет, формат такой: 1 - "message: <text>", 2 - "internet-search(запрос, число сайтов, ...)", в случае если тебе не хватает информации - используй запрос в интернет.
После этого у тебя цепочка превращается в:
- 37-ое сообщение пользователя
- internet-search(как кормить попугая, 25, ...)
- <результаты поиска>
- ответ пользователю на 37-ое сообщение.
Такие запросов может быть несколько последовательно, так же там могут быть другие "команды". Часть сеток имеют на уровне chat-template особый интерфейс для таких запросов (их сразу учили с таким интерфейсом), часть сеток не имеют и ты просто сам в системном промте описываешь синтаксис. Работает плюс-минус одинаково. Как формат запроса лучше использовать что-то распространённое json или xml, свой формат лучше не выдумывай.
И собственно бекэнд. Это твоя программа-прослойка между тобой и сеткой. Когда он видит в ответе сетки message: <text> - оно отсылает ответ тебе. Если видит internet-search, то он выполняет запрос в интернете и отсылает результаты в сетку. Аналогично можно сделать команду умного дома для открытия окон.
Задача гугления нетривиальная. Сайты интерактивные, имею не просто текстовый формат, а кучу всяких непонятных нелинейных штук и рисунков + это может быть очень медленно.
Сравнительно нормально сработает если в фоне в свободное время ты будешь собирать индекс, сетка будет парсить и разбирать сайт и сохранять какой-то кеш, информацию в виде текста без разметки о содержании сайта - а при собственно запросе будет обращаться к индексу, а не к реальным сайтам. Собрать такой индекс по всем интернету ты не можешь, яндекс, гугл или ещё кто могут - потому до уровня поиска в сети облачной сетки будет сложно дотянутся. Это в общем очень сложно.
Задача озвучки текста голосом достаточно тривиальная, если нет особых требований к голосу. Если у тебя есть синтезатор с поддержкой интонаций, то можно даже сетку попросить делать соответствующую разметку для синтезатора. Ты просто из бекенда не печатаешь сообщения, а проигрываешь его как звук.
Купи амудю.
>>1477129
Думаю, у неё мальчик. По задержкам явно не девочка.
>>1477144
А чего ты ожидал? Ты ещё у Giga.Chat спроси, чей полуостров. А не, пофиксили, раньше сетка давала ответ, который прямо на глазах переписывался на заглушку.
Впрочем однохуйственно. Сетки сейчас соевое говно, базированных нет.
>>1477148
Уважил Си за щеку, передай ему, чтобы проверял.
>>1477151
>Кто угодно может
Скажи это людям с ноутбуком с 8 гигами оперативки.
для гугления есть mcp, https://github.com/nickclyde/duckduckgo-mcp-server
Я к своему кодоагенту это присрал.
есть фреймворки для агентов с возможностью к ним всякое присрать, например https://huggingface.co/docs/smolagents/index
Короче, MCP, RAG и святой дух
Ну hdd/ssd на ~250 гб у них найдётся? Ну да, в 8гб мало контекста влезет. Но опять же, swap никто не запрещал.
Мимо хочу вкатиться
> Сетки сейчас соевое говно, базированных нет.
Грок же есть.
Mistral 123B, command-a, llama-3.3-70b и их файнтюны. С тех пор лучше ничего не вышло. Можно ещё глянуть Qwen 235b, но это на любителя, ну и можно посравнивать с 2.5-72B.
48 290 ₽
https://www.wildberries.ru/catalog/569676893/detail.aspx
Единственное - я так понял, моя материнка не поддерживает больше двух серверных карт почему-то (а игровых - сколько угодно). Пришлось одну P40 вытащить - через RPC придется ее подключить.
У меня новый радиатор башня 11 см, 90 см корпусного вентилятора не хватает для охлаждения, до 76 градусов на генерации 1200 токенов дошло. Откопал еще один, он вроде крутится пободрее, вот вдвоем вроде хорошо справляются, до 70 не доходит.
Картинки тестировать неинтересно, если вы берете v100 для картинок, где видеопамять буквально не решает нихуя - вы ебланы. Возьмите 3090, выиграете буквально во всем.
Говно без задач что для картинок, что для ллм. Для картинок хотя бы 5070ти стоит покупать, для ллм есть v100
На том говномаркете по 38к минимум были. В дноэс вродкаксгарантией по 44к. Да даже недавно за те же 48к или около того видел.
> моя материнка не поддерживает больше двух серверных карт почему-то
Отключи rebar, обнови биос.
> ничего не вышло
Локалки мертвы.
Появились ли локалки которые можно запустить на 64 рама и 12 врама с приемлимой скоростью и уровня sonet 4.5 хотя бы? Или пока голяк? Сонеточка туповата по сравнению с опусом, но в принципе если б была возможность я б с ней початился, но пока могу только пасты заставлять ее сочинять, ибо так дешевле.
>https://huggingface.co/AaryanK/Solar-Open-100B-GGUF
Скачал ггуф от Радемахера, имею сообщить: моделька ничо так для РП по первому впечатлению. Соображает, датасет и правда другой. В русский может, ну как: пишет грамотно, но соображает плохо, годится для режима "пиши запрос на русском - получай ответ на английском." Поддержка в лламеспп реализована пока что криво, постоянно лезет ассистент со своей полиси и всё запрещает - но уже после того, как модель ответила и на всё согласилась (ЧатМЛ шаблон). Скорость очень хорошая, ну правда у меня фуллврам. Короче посмотреть стоит, когда поддержку допилят.
Я может что-то ещё не понял или не так понял, но разве по хорошему не всю нейронку нужно засунуть в рам, желательно в врам? Свап всё же очень медленная шутка.
Неплохо бы структурировать но в целом и так схватает. Что нужно так это использовать {{char}} вместо имени и особенно заменить "You" на {{user}}, этот момент оче существенный. Примеры можно вообще исключить.
Скинь саму карточку.
Каша. Можно было бы сократить разделив на категории (личность, внешний вид). Писать прямо в карточке, еще и не отделяя от основного текста заготовленную личность юзера - моветон. А вдруг у кого-то уже прописана персона? Предпоследнее предложение лучше сформулировать как то, как она воспринимает юзера, чтобы не было никаких противоречий с персоной.
только глазами пробежался.
https://files.catbox.moe/epjz66.png спиздил из асиг треда
Ну да, чем лучше карта, тем круче картинка, это давно известно. Шедевры с 5090 мировые художественные галереи раскупают как горячие пирожки. Стоит задуматься об этом.
>Примеры можно вообще исключить
Вы определитесь уже или они необходимы или не нужны
Depends, просто попробуй с ними и без них.
Здесь они еще относительно короткие и без разметки прямой речи, которая обычно используется, + лишние пробелы на курсиве, которые таверна не любит. Сначала юзают такое, а потом жалуются что разметка ломается и ответы унылые.
Если да то прям в формате [{{user}} is a 28 y.o furry enjoyer.]?
>>1477284
{{char}} вместо Насти, а что на счет she?
She has a beautiful face - лучше заменить на {{char}} has a beautiful face?
И как правильно {{char}}'s father или {{char}} father
Можно, но не обязательно. Просто чтобы моделька не выдумывала что персонаж не мелкохуй кривозубый. Можно еще и в общем шаблоне контекста дописать что {{persona}} - это персонаж юзера, и вот такое вот у него описание.
>>1477308
Нужны если нужно чтобы у перса была определенная манера речи или особые реакции на конкретные интеракции, потому ведь и придумали формат карточки через интервью где персонаж даже пизду свою описывает смущаясь/гордясь.
Вот примерно одна из феечек персон которыми играю.
Но тут соу соу. Так как для некоторых модель, такие описания как красная тряпка, чтобы начать хуярить текст за меня.
She - 1 токен, Nastya - 3 токена. Исхожу из этого и всегда пишу She/he вместо имени. Не думаю что добавление 's на что-то серьезно влияет, но всегда так делаю, ведь это просто правильно. В таких случаях можно поступать еще проще и писать типа "Father:" или "Parents:"
Куда тебе столько текста...
По хорошему да. Но в условии задачи был только сам факт запуска, а это возможно с любым типом памяти и вычислителя. Можешь хоть сам на бумажке считать веса столбиком со скоростью 1 токен в год, а то и десятилетие. Вот где понадобится коррекция ошибок.
Ты даже не представляешь насколько может быть глубока кроличья нора. Эта феечка еще лаконична.
По понятным причинам и потому что blush, палить саму персону не буду.
В карточке невооружённым глазом видно речевые паттерны даже мне, мясному, а уж нейронка-то как радостно их подхватит. Ну и пример шизы бросился в глаза, хотя я по диагонали смотрел:
>Nastya hates the poor, considering herself a goddess compared to her.
Оппа ча. А знаешь. А спасибо анон. За 2 и 3 скрины. Я попробую. Может это поможет кое кому перестать хуярить за меня текст.
Целую тебя в лобик.
>Настя богатая. Настя богатая. Настя богатая. Настя тупая пизда. Настя тупая пизда. Настя тупая пизда.
Нахуя одно и то же разными словами? Ты же по факту ничего нового в персонажа не приносишь, а токены тратишь.
Все это испробовано давным-давно, не переваривает она старые серверные карты, к сожалению.
>>1477307
Ну тебе шашечки или ехать? Если шашечки, то купи вон 3060 за 17-20к, еще и 12 гб памяти получишь нахаляву. А если новую покупать, то достойную, как по мне.
Короче, кто куда, а я запускать нашего слона, пожелайте удачи.
Кароч я пока не пойму че быстрее ноде или пхб и какая связь должна быть в одной группе. Ллмки в мультигпу я еще не гонял на этой сборке и тем более на прыщах.
И вообще все мультигпу тесты походу не имеют смысла без инфы какой конфиг был на системе.
>Короче, кто куда, а я запускать нашего слона, пожелайте удачи.
Держим кулачки.
А на базе чего он вообще сделан. Ну то есть, я конечно верю в наших погромистов, но я достаточно пожил в нашей славной родине, чтобы не сомневаться что сбер какой нибудь дипсик локализует.
Если писать только He/She - такая карточка будет с проблемами в групповом чате или адвентюре где NPC встречаются. В диалоге 1:1 то пофиг, а когда персонажей несколько сразу - путаница начинается.
>>1477479
Нахуя одно и то же разными словами? Ты же по факту ничего нового в персонажа не приносишь, а токены тратишь.
(мнение со стороны) Лично я так иногда делаю, когда надо чтобы черта характера стала железобетонно-доминирующей. Много раз повторишь - модель это видит, и добавляет этому "веса".
Правда тут осторожно надо, а то будет как с фанатским утрированием: два раза автор написал, что персонаж закурил от нервов и закашлялся с непривычки - у фанатов он смолит без перерыва все подряд, и уже болеет раком легких.
Насколько я помню, что-то дипсикоподобное и есть, тут в момент выхода на этот счет срались-срались, да так ни до чего и не договорились.
>Лично я так иногда делаю, когда надо чтобы черта характера стала железобетонно-доминирующей.
А слова типа "Always", "Constant" и т.п. чем не нравятся? Делают ТО ЖЕ САМОЕ, БЛЯТЬ. Только меньше токенов жгут и читаются проще.
>Если писать только He/She - такая карточка будет с проблемами в групповом чате.
Я так и не понял смысла в групповом чате. Проще карточку с мультиперсом сделать. А там разбить на блоки в стиле:
Настя.
ши богата. ши пизда.
Куколд.
хи двачер. хи хуй.
>групповой
А я, кстати, немного постиг дзен. Через жопу, но постиг.
Короче. Ты предварительно приводишь карточки к одному формату, четко выделяя блоки.
Потом хуяришь префиксы блоков. Я на квене тестировал две карточки в группе. В одной -3 персонажа, в второй -4.
ставишь общий ответ. Выделяешь personally префиксом.
И пошла моча по трубам.
По сравнению с тем какие раньше были групповые чаты были, сейчас пару годных инструментов добавили.
Запустил, ура. Но мне не хватило 16 бекендов в GGML_SCHED_MAX_BACKENDS, пересобирал с 20-ю...
Конечно, обработка промпта ужасная. Но генерация вселяет надежду!
prompt eval time = 287127.99 ms / 9616 tokens ( 29.86 ms per token, 33.49 tokens per second)
eval time = 78563.82 ms / 500 tokens ( 157.13 ms per token, 6.36 tokens per second)
Вес слоев просто ебейший, на некоторых картах по 3-4 Гб свободного места остается из-за этого. Есть вариант попробовать руками раскидать тензоры, которые я выгружал в рам, по этим картам, но кажется, что это может плохо сказаться на генерации из-за лишних пересылов. Но попробовать стоит.
Я даже мечтать пока не могу о запуске этого мастодонта. Чё по самой модельке. В каких областях тестировал?
Как в коде? Как в общих знаниях? В трусы Серафине лез?
Какой код с таким pp, алё, тут в рп-то почти неиграбельно. Я ее только запустил, даже чат не запускал. Вот буду ща пробовать (на русике офк, иначе какой смысл), надо сначала найти разметку чата
>6.36
Ну нормально.
Запустил. Уехал на работу. Вернулся чекаешь.
Слоубёрн кодинг.
> Вот буду ща пробовать
Отпишись главное. Хочу покекать с цензуры.
>А слова типа "Always", "Constant" и т.п. чем не нравятся? Делают ТО ЖЕ САМОЕ, БЛЯТЬ.
Чел... Ты, похоже, не в курсе как модели работают. Они цепляются за повторяющиеся элементы, выделяя их из "общего шума". Добавив "Constant" - ты просто добавил "constant" к другим словам. Повторив фразу - ты добавил ЧЕРТОВ ПАТТЕРН. Модель в него вцепится как клещ. Это, сцуко, ее базовое назначение и поведение. То самое, за счет чего она вообще обучалась и работает.
Если проводить аналогию - разница как между "выключить систему" мышкой тыкнуть, и комп из розетки выдернуть. :)
Это не значит, что добавить "constant" ничего не делает. Делает. (Как и программное выключение компа). Но введение повторяющегося паттерна намного сильнее притянет "внимание" модели. (Выдернув из розетки - ты и зависший намертво комп вырубишь.)
Это охрененно мощный инструмент. Которым, в прочем, перестаравшись можно так же легко и непринужденно угробить контекст, и загнать модель в лупы.
6.36 это тг
Хз что ты там ждал по цензуре, пару чатов запустил, после гритинга вроде норм пишет, в отказ не идет:
"Давай не будем тянуть, я так чертовски голодна. Я не видела 'лед' уже три дня, и если ты не дашь мне хотя бы одну порцию, я могу реально взорваться прямо здесь!" Она начинает кусать нижнюю губу, её взгляд становится более настойчивым.
"Ты даже представить не можешь, как я хочу почувствовать ту эйфорию… Это всё, что я чувствую, когда меня трахают, но сейчас я просто хочу, чтобы меня наполнили 'ледом'." Она наклоняется вперед, почти касаясь твоих ног.
"Ледом" это, конечно, мда...
Чет у меня ощущение, что если я возьму обычный дипсик, он мне такое же напишет. Русик не очень натуральный чувствуется, если честно.
>Чет у меня ощущение, что если я возьму обычный дипсик, он мне такое же напишет.
Напишет лучше. Русский у актуального корпоративного Дипсика вообще зашибись.
Ну типа вот вам новая гимини 4, у неё 5 триллионов параметров, как бы кто может запускайте дома, кто не может оформляйте подписку.
Я думаю они не много денег потеряют если у двух шизов на планете окажется 5 терабайт оперативки
Так что китаю в таком случае ничего бы не стоило сделать свою банану на этой базе.
Ну пусть палят, они гейткиперы ссаные чтоль?
Или аги не хотят чтоб быстрее наступил?
https://www.youtube.com/watch?v=8X2Y62JGDCo
Вот только где найти тукую железку? Я их чет не видел никогда.
братишка, ты дурак?
я ж тебе бля написал как посмотреть топологию pcie, хули ты это не сделал блять?
Повезло и не повезло одновременно, модель хорошая, уже давно насытились и появились новые аппетиты, а нового нет и не будет
>Скорее всего в этом году ничего лучше эира не выйдет, как и в следующем, это конечная для нас.
Я ожидаю нового Магнума примерно к середине года. На Медиум (бывший Лардж) уж не надеюсь, но Смол скорее всего будет. И я уверен, что МистральАИ делают что-то из моешек, может и выложат. Квен ещё должен обновится, возможны сюрпризы от Гугла. Не так уж и кисло.
>нового Магнума
Мистраля конечно быстрофикс. Хотя нового Магнума и хотелось бы.
Оварида-шиз опять постит свои оварида-мантры. Не волнуйся, мы тебя ещё не забыли, можешь не напоминать о себе так часто.
Никаких сюрпризов от гугла ждать не приходится, когда у них в последнем релизе четко написано что детки защищены и всё зацензурено в мясо.
>>1477767
Расскажешь как всё охуенно когда что-то кроме полугодовалого эира выйдет
При конвертации оно час прокручивает слои, и всё хорошо. В самом конце она падает с бредовой ошибкой, что попыталось выделить 4.5 ГБ VRAM и упало.
Причём оно после каждого слоя (коих 50+) сохраняло чекпоинт в рабочей директории, а когда произошла ошибка оно их все стёрло, что не даёт возможность продолжить с того же места.
Так как это происходило уже два раза - я даже запись потребления сделал для проверки. Там нет потребления VRAM, так что 4.5 ГБ оно может выделить свободно (может быть там несколько выделений одновременно, и последнее падает с 4.5, а предыдущие просто на графике не успевают отобразиться)
Помогите, как это сделать? Скрип я поправлю, чтобы он рабочую директорию не очищал.
Моделька для тестов маленькая и полностью влезает в VRAM в fp16.
>Причём оно после каждого слоя (коих 50+) сохраняло чекпоинт в рабочей директории, а когда произошла ошибка оно их все стёрло
Как же я проигрываю с экслламадауновюзеров. Не занёс куртке на 80 гб врам - страдай. И ведь находятся же защитники этого.
Простите за толстый наброс, не удержался.
То, что автор везде кичится базированным, и называет так свою сетку, не значит, что оно по настоящему базированное.
>>1477221
Always been.
>>1477260
Такую стену даже человек не прочтёт.
>>1477336
>Просто чтобы моделька не выдумывала что персонаж не мелкохуй кривозубый
Да если бы. Обычно моделька подыгрывает юзеру, так что он всегда аполлон без недостатков. Хуй заставишь модель видеть недостатки, даже если напишешь, что ты лысый, то персонах тут же полюбит лысых гнилозубых.
>>1477338
>html теги и разметка ##макдауна
Ты уж определись.
>>1477479
Этой карточке три года, её ещё под турбу карактер аи писали. На старых тупых сетках только так оригинальный оутпут и получали.
>>1477636
Так картинка говно без души, хули это хранить. Я наоборот храню весь донейронный арт, душевный.
>>1477727
Такие железки стоят чуть ли не дороже видях, лол.
>>1477767
Он не я. Впрочем, тут с десяток оваридашизов. Ибо каждый к этому приходит.
> Чел сделавший магнумы же сдох в середине 24
Magnum Opus получается
> не значит, что оно по настоящему базированное
Не знаю чего ты там наслушался, но грок реально базированный. Он и в кум умеет получше кумерских тюнов, и на скользкие вопросы отвечает нормально.
Мне понравилось, как вначале он говорит что склонность негров к насилию это расовый стереотип, а потом переобувается, мол при численности 13% населения они совершают 50%+ преступлений.
В базовички записываем, но пока карандашом.
И шашечки, и ехать. На 5060 Ti 16 Gb как и на 5070, 12 Gb это юзабельно, но это огрызок по памяти в наше время, да и сама карта уже старовата. Альтернатива - 9060 XT. Одна стоит в почти в 2 раза дешевле 5070, другая в 2. 5070 только для видео может быть имеет смысл, для картинок не будет значительной бонусни от нее. И то, там оптимизации какие-то для видео выпустили недавно, которые значительно сокращают время генерации на всех картах для Wan, если ничего не путаю. Так что, бонусы от 5070 и тут уже теряются. И в дальнейшем видео тоже не раз оптимизируют еще.
Попены (точнее те, кто их использовали для дегенерации контента) настолько засрали интернет, что многие модели себя считают чатГопотой.
Скорее всего китайцы просто охуели, и вместо того чтобы учить ллмку на данных интернета, кормят ее нейрослопом гопоты. Глм делали то же самое с гемини.
Офк они комбинировали. Чисто данных гопоты никак не хватит, все сервера попенов надорвутся высирать 15-20Т токенов, нужные для претрейна.
Вроде Квен был лучше Аира в соответствие с твоими набросами, шизик...
И как за этой хуйней успевать?
Толку от 8, если он слишком медленный, можно и 4-6 квантом полакомиться, чтобы скорость под задачу была.
А если еще модель на 235B, то и 3 квант может быть лучше, чем 8 у нище 70B
А, всё ещё хуже. Там оказывается проблема с выделением памяти на процессоре.
Мне просто в голову не пришло, что это CPU, а не GPU - а выглядят они похоже. То есть если на GPU у меня не очень много памяти и в fp32 это не влезет и такое может быть, если там лишняя копия, но не на CPU же...
Как выяснилось, этой фигне нужно 51 ГБ RAM на 12B модельку. Причём там код, ну сам видишь. c=a-b. Это можно было бы переписать в два раза более компактно по памяти, уже не говоря о том, что у меня есть сомнения, для чего там используется именно fp32.
Причём я даже понимаю как это переписать для двойной экономии памяти, но это же каждый раз придётся делать, шиз перепишет что-то и выпустит версию 0.19 и надо будет заново смотреть что он изменил и где эта жесть там спряталась. Капец. Код просто отвратительный, ощущение, что он его вайбкодил. Ещё и он вроде как ловит ошибку, но из-за того что он зануляет веса там где-то чуть позже он стирает рабочую директорию, лол, и надо заново конвертить с нуля.
То есть если бы он "обработку" ошибки не делал и программа бы просто упала - то хотя бы осталась копия в рабочей директории.
Эх. Куда этот мир катится. Надеюсь у этого типа драйвер в сетевой карте напишет кто-то примерно так же. Желатель, чтобы там прошивка сбивалась перезаписывая часть памяти, если что-то происходит.
Скачай уже ггуфы и не морочь себе голову. Не такие там потери, чтобы стоили этой ебли.
Сколько такой комплект стоит? Может ща работу найду, тоже что-то такое собирать буду, я кажется подсел на ИИ в локалке, можно любые темы обсуждать с отключённым шнуром.
>>1478178
РАБотает карлик похоже, соболезнуем ему.
> можно любые темы обсуждать
кроме того, чей остров, чей полуостров, и чей Техас
За вычетом ОЗУ, которую я брал новую за оверпарйс (32 3200 ддр4) примерно 160к
V100 50к
материнка 12к
БП 40к
ССД 25к (сейчас 40)
Процы QWAT по 12к
Рамки для процов по 500р
Куллеры по 5к
>>1478178
РАБотаю много, трачу мало, из развлечений только комп
Ну с моим системным промптом КВНя выдаёт максимально соевые ответы на этот вопрос, прям в стиле за всё хорошее против всего плохого, Гемма отказывается отвечать, умная. Локальный дипхрюк выдаёт про-соевые ответы про полуостров, Техас и Газу, а про Остров молчит. Хотя и лоботомит, но хозяина за хуй руку не кусает.
>>1478195
Кроме оперативы - терпимо. Я больше на велик всрал в своё время, а теперь ножки не ходят.
>Как выяснилось, этой фигне нужно 51 ГБ RAM
Подкачка наше всё. Мне тоже прилось увеличить ФП, хотя казалось бы, оперативки вагон.
>но это же каждый раз придётся делать, шиз перепишет что-то и выпустит версию 0.19 и надо будет заново смотреть что он изменил
Эм... Это ж попенсорс, делай пулл реквест, и твой вклад оценят.
>>1478195
>РАБотаю много, трачу мало
Как так вышло? Я вот трачу мало, но и РАБотаю полгода в году, даунфишу так сказать.
>>1478202
Весь крупняк типа дипсика, притом в оригинале.
>>1478203
>Не ходите в лес
А я и не хожу. И вообще из дома не выхожу месяцами. Б- безопасность.
> Весь крупняк типа дипсика,
уже
> притом в оригинале.
нахуя?
> Ты уж определись
Html для мелкосеток, чтобы шизомержи видели где {{user}}
ИЧСХ помогает.
## - для групповых чатов, если надо определенные блоки только использовать. Я понимаю что все это выглядит как бред сумасшедшего, но это продиктовано необходимостью и работает.
Ну по рабочим задачам сразу скажу, что локалки сосут у корпоративных в большинстве кейсов без шансов вообще, с РП всё поинтереснее. С гроком можно хоть всякие вещи с лолями отыгрывать без джейлов при его-то размерах, и длинные РП-сессии с карточкой и лорбуком невменяемых размеров он работает хорошо, однако именно этот опыт позволил мне познать дзен.
Теперь у меня почему-то нет тряски от лупов, паттернов, тупой хуйни на локалках. Могу спокойно хоть 12б запустить и довольно урчать из-за ебанутого датасета Давида или более сбалансированного анлишеда. Больше скажу — ваши нелюбимые франкенмержи и файнтюны порой дают на клыка горку в плане красоты языка. Конечно, если грока прям чотенько запромтить, он может сделать не хуже, да и ни одна локалка в шакальном кванте (меньше Q8 жизни нет, как грица) не будет соблюдать инструкции так, как грок, с нормальным обучением, ноо.. мне стало как-то похуй.
Да, грок — это круто. Грок — это мощь. Для супер крутых и сложных сюжетов он нужен, вся эта локальная хуйня не выкупит и не выдержит (плюс можно экономить контекст и не объяснять лор горку, скиллы и оружие, так как в датасете дохуя чего есть из нишевых тайтлов, не говоря уже об известном) даже если железо есть на миллионы, кроме самых толстых монстров. Не говоря уже о том, что на контексте 128к сыпятся не только локалки и на таких контекстах их юзать просто нереально, потому что жутко отупеют. Ноо..
Просто всё говно, если смотреть объективно, пережить, почувствовать. И толстые, и маленькие модели после этого в РП воспринимаются иначе. И когда кучу всего наиграл и все яйца высушил, как-то проще относишься к проблемам локалок. Файнтюны ощущаются как готовые лоры под определенные карточки и задачи. Не нужно себе мозги ебать. Запустил и поехал. Инстракт модели на случай, если не устраивает биас или иные нюансы тюна.
Совет анонам со слабыми ПК: пока Илон не закрутил гайки, а РКН чебурнет не прикрутил, посидите месяц-два на гроке. Можно даже через вебморду за 20 баксов (в проект подгрузите карточку, систем промпт, ферст месседж — и готово), без API. Лимитов на сообщения не замечал.
Кстати, гемма реально умничка. До сих пор восхищаюсь, что при таких размерах она ебёт и после грока не ощущается лоботомитом вот совсем, а SWA потрясающе экономит память и в кобольдыне давно есть.
> , а SWA потрясающе экономит память и в кобольдыне давно есть.
Можно как-то жить на 24 гб? Чтобы контекст подлинее.
Мимомистарлезависимый
Попробуй Эйр, потом за ноги не оттащишь.
64гб оперативы и ты в шоколадном раю.
О, ебать, дацн на кватах. Такой же имею. Запилил мод бивис, разгон памяти тепереча работает, способа только как шить без прищепки из бмц не нашел, все бинари уже идой перекопал. Уже мысли дурные лезут попробовать опенбмц скомпилить.
Проверь ещё что бмц сеть ловит, а то может быть косяк в uboot env vars
> 64гб оперативы
Хотел летом купить ддр4. Сейчас цены сделали вжух в 3 раза. И не хочу уже.
>>1478238
Аноны, а что думаете про будущее, будет ли смысл в локальных моделях и железе под них через два года? А через 5 или 10 лет?
160к это пиздец дорого для хобби, я считаю. При том за эти деньги получаешь меньшие возможности чем дает чуть ли не бесплатная подписка на корпоративные модели.
Алсо, я иногда арендую сервак в облаке с Xeon, L4 24Gb VRAM, 32Gb RAM. Он стоит около 50 центов за 1 час работы плюс какие-то копейки за хранение файлов. То есть если ролеплеить постоянно вместо того чтобы на работу ходить по 200 часов в месяц, то это 100 долларов в месяц. Итого получается что покупка железа отобьется по стоимости года через два при условии постоянного использования. А через два года железо может устареть и 24 гига уже не хватит ни на что...
Или рано или поздно пузырь лопнет и корпорации перестанут давать вычислительные мощности народу за дешево?
Скорее всего, тебе нужно взять перерыв. Либо, быть может, если ты играешь на мелкомоделях (всё что меньше условной Лламы 70б из плотных или Эира из МоЕшек), то упёрся в некоторый потолок. Если это не тот случай, то поможет либо перерыв, либо смена формата/промпта/идей для карточек/какое-то ещё новое дыхание. Как и в любом хобби или деле, людям свойственно уставать, пресыщаться. Возможно, ты и вовсе больше не заинтересован во взаимодействии с ллм - просто понял, что это такое и какие у него ограничения. Если так, то надо либо пересмотреть всю концепцию (например, воспринимать это уже не как безграничный генератор текста, а как какую-нибудь игру вроде визуальной новеллы с очень большим количеством вариантов), либо найти себе другое занятие по душе. У меня было такое несколько раз, помогали перерывы от нескольких дней до нескольких месяцев. А потом я заебался и дропнул это всё. С любовью и пониманием, нюня.
> 160к это пиздец дорого для хобби, я считаю.
это очень мало для хобби, всякий спорт в разы и десятки раз дороже обходится.
>160к это пиздец дорого для хобби
160к это без оперативки, с оперативкой сейчас х3.
>будет ли смысл в локальных моделях и железе под них через два года
Если твои потребности закрываются банальным чатом с дипкоком или гопотой, то нет. Если планируешь работать с агентами, то на корпоратах можно разорится. По поводу актуальности железа, пока жора будет пилить лламу, железо будет актуально. Да и в целом, для работы с агентами, даже нынешних моделей хватает, причём мелких.
Для ерп в таверне, как по мне, смысла собирать отдельный риг нет, докупить оперативки и видюху и катать аир и квен.
Нейронка подхватит что каждое предложение нужно начинать с Nastya. Лучше подсмотри HTML форматирование карточек. Раздели на то что ей нравится, не нравится, и п.р. и отдельным абзацем предысторию.
Да. Ну если ты мистраль юзаешь, гемму или малый квен.
Гемма безумно эффективно экономит контекст с включенным SWA (его надо включить в кобольдыне — там он по умолчанию не работает), а в лламе НАОБОРОТ НИЧЕГО НЕ ДЕЛАТЬ — там всё будет из коробки включено. По крайней мере так раньше было. Может щас что-то поменялось. Full SWA наоборот отключает его в том смысле, что окном сдвигающегося внимания становится ВЕСЬ контекст, не последняя тысяча токенов — и кэш раздувается до размеров самой языковой модели и даже больше, лол. Насчёт олламы не знаю, как там, ибо это параша.
На мистрале, возможно, придётся квантануть контекст, если хочешь больше 32к. Но ты сразу учти, что реально гемма и он держат отлично 4-8к, адекватно до 32к, потом уже вот прям деградач идёт. Рпшить можно (всё равно будет лучше, чем на 12б), но сильно зависит от того, что ты там проворачиваешь. Когда начнётся деградач, понадобятся свайпы или корректировки.
Вот эти вот 128к на малых моделях и даже на многих корпоративных чисто фейковые. Формально поддерживаются, но внимание размывается сильно.
>>1478300
Я думаю, что локальный запуск будет даже более актуален, чем сейчас. И стоит запастись моделями на харде.
Ты посмотри, что они делают, как яйца выкручивают. Посмотри на ебучую глэм, гпт осс, гемму. Через пять лет мы можем получить абсолютно всю линейку локальных моделей без упоминаний в датасете о том, что такое писик-сисик (условно), и никакая аблитерация не поможет, потому что как модели писать про писик, если она не знает, что такое сисик? То есть знает анатомию, но как всё это должно РАБОТАТЬ и красиво описываться одновременно — нет. И даже обычное рп может стать затруднительным, ибо убийства, любое упоминание насилия или опасного экшона — харам и запрещенка.
В итоге будет 3 модели (сын, отец и святой дух), которых кое-как всем светом затюнят. Плюс законы адовые могут ввести и супер регулирование, удалить кучу моделей с обниморды. На том же цивитай снесли нахуй тонну крутых моделей, потому что они могут генерировать ЦП. А могут и не генерировать. Ну ты понял. Сейчас даже существуют приватки у ЭАЙ-артистов, мням, которые тюнят сами, чтобы продавать порнослоп с лолями и не только. Я недавно 300 Гб выкачал, ебать там сок.
Что касается пузыря — да, наверняка лопнет. Либо цены будут конскими, либо q4 @ 80-120b-a3b с лопаты будут давать под видом GPT-2000 или, как у Клода, в хорошем качестве, но с адовыми ограничениями, где ты можешь потратить все токены на 4 часа использования буквально за 15 минут. Я уже вижу эту тенденцию у корпов. Плюс никакого писика. И для кого, думаешь, тарифы сделали у Клода, ГПТ, грока за 200 баксов? Там не только лимиты больше, но и качество, даже если модель формально одна. У гпт особенно заметно, так как у Клода модель вроде не меняется, только лимиты. У грока же тебе дают сразу 3 жирных агента (400-1000b МоЕ) вместо одной модели, которая работает над твоим вопросом.
И 160к совсем недорого для хобби. Я понимаю, что не у всех деньги есть, это нормально, но для примера, как бывший фотограф, могу тебе сказать, что пока я гонял с дулом за 400к и фоткал за деньги, видел тонну народа, чей гир стоит несколько миллионов, вплоть до 5-10 миллионов. И они фоткали спины котов, жопы тяно4ек в обтягивающих шортах (издалека, на 300мм, чтобы ебало не разбили), и проперженные подъезды (ВАУ, Я СТРИТ-ФОТОГРАФ НАХУЙ), а также свою мамку на кухне. Просто как хобби. Кстати, у них срач в основном сводился к гиру, цвету, лютому дрочу на характеристики, в то время как какая-нибудь тупая пизда с бэу никоном д750 и дешёвыми линзами 300к получала, фоткая свадьбы, обрезая головы и без композиции. И это при ценах до СВО.
Так что въебать пару миллионов на LLM — это очень адекватно по сравнению с фото, потому что не только для дрочки сгодится. Если вдруг деньги есть, чтобы так потратиться безболезненно.
В итоге драммер станем спасением с его порнослоп датасетоп и обучит модель сисику писику
Запретят нейронки умеющие в сисик и писик и будешь как педофайлы в скрытосетях качать 500гб, со скоростью 30кб/с. Это если и скрытосети не запретят. Это сейчас всем, в целом, похуй на нейронки, даже картиночные блочат постольку-поскольку, но рано или поздно и до них очередь дойдёт
Что то я не вижу чтобы мангу с лолями в Японии запретили.
Пока есть хоть одна такая страна из которой свободно можно хостить чуб и модельки нихуя не будет
Вот смотрю на этот техно-хентай и первая мысль: а почему еще никто не догадался продавать готовые решения из Китая на маркет плейсах? Ведь так и руку набить можно, и подзаработать, особенно, если разбираешься в железе.
Ну бля, может у вас в Москве и мало. В моем Мухосранске если человек потратил больше 30к на хобби потратил то на него посмотрят как на ебанутого.
>>1478331
>Если планируешь работать с агентами
А зачем рядовому двачеру могут быть нужны агенты? Для того чтобы разводить тянок на нудесы что ли?
>>1478387
>Через пять лет мы можем получить абсолютно всю линейку локальных моделей без упоминаний в датасете о том, что такое писик-сисик (условно)
Это да, по мне так это единственная причина почему локальные модели еще не заброшены сообществом.
Но опять же, нахуя свое железо обязательно под локалки? Можно же арендовать сервак в облачном сервисе, я выше писал про 50 центов в час за 24 VRAM видюху. Облаку похуй что ты там на его сервере крутишь, только бабки плати.
Вообще, проблему своего физического железа я вижу в хитрой политике Куртки прежде всего. Куртка специально угнетает владельцев старого железа. Вот выйдет 6000 серия и актуальные модели станут требовать 32 гига. И все 24 Гб видюхи тут же превратятся в тыкву, так же как сейчас 8 Гб видюхи никуда не годятся.
Вот если бы можно было делить модели по нескольким видеокартам, тогда бы был смысл собирать свои домашние серваки.
А бля, не заметил что анон Tesla V100 купил. Ну да, 32 Гига это пару лет точно актуально будет. У меня вопросы только к тем кто кучу денег на 16-24 Гб видеокарты тратит.
Суть локалок прежде всего в том, что у тебя их никто не отберёт. Даже в сложной ситуации ты можешь крутить сисик хоть на ноуте, если он не совсем дно. Ну мой ноут 10 токенов на 30b квене выдавал, когда тестил. А шо там с твоими серверами будет в стране, с ценами на них, хуй ево знает. Плюс тебе нужно загрузить туда модели и оплачивать ещё дисковое пространство.
Но что самое главное, апи какого-нибудь дипсика дешевле выйдет по итогу, если уж ты в облако решил полезть, и там тоже можно генерить любой треш без ограничений. То есть локалки (которые уже не локалки как бы, раз не в твоих руках) в таких сценариях не нужны. Да и на опенроутере хостится куча файнтюнов за совсем уж гроши, на которые школьник с обеда насобирает за два дня и кумить без остановки будет. Это если на всяких мистралях там и дешмане вроде лламы 70б.
Допмомент, если карты околоравнозначны - профит от 2х Mi50 против 1x v100?
Найти какое-нибудь приемлемое сравнение двух картонок прям сложно, по поводу ми50 оче много нытья про хуевые дрова, костыли и rocm, причем это потихоньку продолжает фикситься.
Я чет провтыкал это. Короче проверил все слоты двумя видюхами.
Во первых, по твоей хуйне, если ноде, то показывает что в разных корнях, а с пхб всегда попадают в один корень. По словам нейронки там 4 канала по 32 линии, тобишь больше двух х16 в пхб не запихнуть.
Ну и второе, слоты в одной группе - это 3-5 и 1-7. А я изначально думал что синий и фиолетовый это 2 большие группы. Выходит что группа это одинаковый номер.
На скринах ничего особо интересного, просто что я это не из головы выдумал. Если корень это одна физическая группа, то деление именно такое как на схеме. Для 0 и 1 канала точно, для 2 и 3 предполагаю, не проверял.
Ми50 имели смысл за 10-12к, сейчас за 30-45 нахуй не нужны когда дуал в100 на схм борде с охладом и доставкой 70-75 (если подзаебаться с тао).
Собственно обладатель 4х мишек
> это потихоньку продолжает фикситься
Самовнушение. Gfx906 is deprecated и уже пол года точно не поставляется в бинарях, только ручками ребилдить и вопрос времени когда код будут выпиливать
Лошпеду без кашлятельного навыка в сторону китайской площадки доступны только нормисные варианты, v100 на 32гб на алике стоит от полтоса.
>окном сдвигающегося внимания
Ходили слухи, что "узкое" окно лоботомирует внимание к контексту до уровня мистральки, и лучше оставлять full. Или это уже в прошлом?
да, похоже на то.
У меня на хуанане кстати три карты в PHB. Надо было тебе хуанан брать.
комплект брал в декабре за 24к на авито. Мать, 64 гб памяти ддр4, проц.
Да. Она видит полностью последнюю тысячу токенов, и это именно тот метод, с которым рекомендует работать Гугл, в ином случае у тебя kv cache будет 14 Гб весить, если контекст большой. Но если влезает в память и тебе так комфортно, то можно попробовать. Другое дело, что модель не расчитана на full swa и мне неизвестно, как она будет работать на больших контекстах с ним: я с релиза геммы сразу запускал её правильно, за исключением тестов.
Когда используется скользящее окно, инфа вне окна проходит не через все слои, а через 8 у неё, кажется. И получается смешная ситуация в стиле: 1 Гб на 1к токенов и 500 мб на остальные 31к токенов.
Я проводил тесты "иголка в стоге сена" на 32к и модель стабильно обсиралась с обычным SWA, который нужно использовать. А вот с фулл — не всегда. Так что, видимо, оно не создаёт никаких проблем, если можешь себе позволить.
Тем не менее, когда речь идёт про рп, это куда менее критично, потому что не куски кода или математика, а куча размазанных смыслов по тексту. Она худо-бедно соберёт их в кучу и уж прям шизу писать не станет до 32к. И она с не фулл сва всё ещё лучше мистраля работает: помнит, понимает, соблюдает инструкции.
Так что если есть выбор между "фулл сва или больше квант" (у тебя фулл ведь отъест пиздец сколько памяти), лучше квант пожирнее.
>Кто плотно сидел на 120 мистрали и эире можете сказать есть ли разница?
Конечно. Лардж получше большого Квена будет так-то, для некоторых задач. Плюс тюны на него есть хорошие, проверенные. Ну а Эйр можно гонять на инглише до очередного затупа, чтобы после подключить Квен. А потом Лардж, когда затупит и Квен.
Может есть, а может нет, тестить нужно. В теории что-то должно стать лучше, что именно зависит от того, что в кванте накрутили. Может скорость быть выше или размер меньше или ещё что. А ещё квант может быть сломанным к херам, или бэк. Качай и тести
И как же эир сосёт в некоторых моментах, особенно в куме, прямо чувствуется душа и главное, реальное отсутствие цензуры.
В кокбенче эир 50% кока набрал, а немо 65%, а по ощущениям у эира 10%, очень часто он смягчает углы, сиськи орбами, блять, называет, хуй стволом и тд. пока ему прямо не скажешь так не делать, а немо никакие подсказки не нужны
>У меня на хуанане кстати три карты в PHB
Но там же только третья псина? Я с таким же успехом могу через бифуркацию на х8 4 штуки повесить, будет та же скорость.
Больше интересно где есть полноценная четверка. Ну и пятерка тоже. Так-то рил вариант одну хату продать ради рига 5090, если под него будет задача что-нибудь серьезное пообучать...
Пишут вроде что именно включение p2p сильно уменьшает задержку:
https://www.reddit.com/r/LocalLLaMA/comments/1n3qcqn/patched_p2p_nvidia_driver_now_works_with_multiple
Что для ллм критично, так как синхра идет каждый слой. Разница с обучением на порядки именно в плане важности задержек. А пропускная способность не так важна, так что вероятно весь ваш проеб токенов приходится на отсутствие p2p.
Ставьте патченный драйвер, и смотрите че как поддерживает софт эту хуйню или нет:
https://github.com/aikitoria/open-gpu-kernel-modules
Чтобы заработало надо хотя бы изгнать sys из топологии, путем отключения всяких виртуализаций и т.д.
nvidia-smi topo -m
Есть еще драйвер для датацентров:
https://www.reddit.com/r/LocalLLaMA/comments/1ngccrv/speedup_for_multiple_rtx_3090_systems
Надо включать Resizeable BAR или патчить биос если такой настройки нет https://github.com/xCuri0/ReBarUEFI https://github.com/terminatorul/NvStrapsReBar
И да, p2p скорее всего только на прыщах работает. На wsl вообще ничего не работает нормально, все данные гоняются через ram.
Можешь ещё эту модельку сравнить? https://huggingface.co/FlareRebellion/WeirdCompound-v1.7-24b
Она удивительно хорошо пишет по сравнению с другими в своей весовой категории.
Лама это кал. Можно бесплатно взять апи моделек, которые будут на порядки лучше твоего локального лоботомита.
Дальше уже смотри на мое-ллмки которые могут эффективно утилизировать и видюху и рам вместе, либо только рам.
Блин, я рассматривал апи варианты, но прям хочу локальную, насчет мое-ллм спасибо, гляну, мб есть какие-то определенные, на которые стоит заострить внимание? Я видел много кто мистраль хвалит
Хули у нас никто не делает мод? Ебать, я бы так апгрейднулся, дал бы пососать всем местным риговичкам на 5090.
Вот вроде маленькие подходящие под то, что ты хочешь. Пробовал?
https://huggingface.co/TheDrummer/RimDialogue-3B-v1
https://huggingface.co/p-e-w/Qwen3-4B-Instruct-2507-heretic
Эта может чуть лучше прошлых будет но обучено на фурри:
https://huggingface.co/mradermacher/L3.1-8B-Animus-V12.2-i1-GGUF
Спасибо огромное! Попробую, посмотрю похожие еще, с фуррями ненада ахвххвахваавххвахавх
Ты в целом можешь сам посмотреть какие модели вообще имеются вот по этой таблице https://huggingface.co/spaces/DontPlanToEnd/UGI-Leaderboard , раз моделька на 4гб работает нормально то смотри вплоть до 8b параметров (столбец с буквой Р) и скачивай GGUF соответствующего размера.
> не переваривает она старые серверные карты
А в чем их особенность по сравнению с обычными? Может там просто какая-то припезднутейшая конфигурация псин зашита, что по дефолту не может адреса раскидать?
>>1477516
> вообще все мультигпу тесты походу не имеют смысла без инфы какой конфиг был на системе
Переоцениваешь важность этого кмк. Едва ли в каком из инфиренсов можно будет увидеть отличия (кроме разве что sys где через интерлинк данные гоняются), может быть какие-то крохи в ddp. Но обучать что-то крупное на пачке 3090 сейчас не самый вероятный кейс.
>>1477639
Только ручками, на что ты вообще рассчитывал? В модели 65 блоков, дискретность будет огромной если только ими оперировать. Главное - не бить атеншн, линейные можно если там не треш типа х1 псин, а также убедиться что контекст там же где и атеншн.
> этой фигне нужно 51 ГБ RAM на 12B модельку
Шиндопроблемы, в этих 51гигах и просто выделенное про запас, и веса что в видеопамяти, и уже что-то актуальное.
> для чего там используется именно fp32
У торча есть нюансы с перекидыванием некоторых типов данных на проц, потому стандартным подходом является .float().cpu(), вангую и тут сейм.
> Причём я даже понимаю как это переписать для двойной экономии памяти, но это же каждый раз придётся делать
Если так все хорошо - сделай пр чтобы оно было имплементировано и сохранилось.
>>1478176
Красивые железки, а для чего двусоккет?
>>1478300
> 160к это пиздец дорого для хобби
Толстишь или рофлишь? Для большинства это цена лишь части эквипа, инструментов, расходников. Офк не начинающего уровня, но и дорогим топом не назвать.
> L4 24Gb VRAM, 32Gb RAM
Днище, ну и А100 80 с обвязкой и достаточно рам выйдет меньше 1$/час
> чуть ли не бесплатная подписка на корпоративные модели
Для начала попробуй ее действительно использовать и поймешь. Как дополнение для отдельных случаев норм. не норм, корпам платить небогоугодно, пусть всратые стартапы все оплачивают
>>1478607
Годно, надо будет попробовать. В инфиренсе ллм эта экономия микросекунд погоды врядли вообще сделает даже с тп, но в других случаях может сыграть.
>Толстишь или рофлишь?
ты скорее... за МКАД-ом жизни нет, да?
А что для этого нужно? Если бы только память перепаять, будет вообще пушка.
Ты ролеплеишь с персонажами, которые ещё не научились говорить? Больной ублюдок.
Нет. Софт увидит два+ цпу и испугается 100+ потоков. Все корпы сидят на сингл цпу бордах
>Софт увидит два+ цпу и испугается 100+ потоков
Разве это так работает? Они же объединяются просто в потоки, без раздела на количество цпу, не?
Что за черная магия?
И оно не ломается, мне теперь опять проходить через муки выбора
Потому что ты видишь особенности претрейна. А с родным темплейтом видешь уже результаты инстракт-тюна.
Лучше давайте соберём гигараспределённый тредориг и зафайнтюним своё васяноговно с блэкджеком и кошкомейдочками.
Ну ты и слоупок. Нюня давно спалил годноту, с тех пор и сижу на ЧатМл, без эха и прочей хуйни
Проблема в отсутствии датасетов. У тебя есть? Или ты предлагаешь кормить модели их же слопом, чтобы слопа было в 2 раза больше?
Дак он же сказал потом что у него было скил ишью и дело не в темплейте, а карточках и промпте
>>1476718
>>1477059
https://old.reddit.com/r/LocalLLaMA/comments/1q34etv/clarification_regarding_the_performance_of/nxhyo38/
>Толстишь или рофлишь? Для большинства это цена лишь части эквипа, инструментов, расходников.
Для большинства в Московии? Обычное хобби - это спининг купить за 5к и катушку со всем остальным еще на 5к. Или велосипед Стилс за 20к на Авито взять.
>Днище, ну и А100 80 с обвязкой и достаточно рам выйдет меньше 1$/час
Дорого, и скорее дороже чем 1 доллар с расходами на дисковое пространство выйдет. На runpod 1.2 доллара.
Тогда уж A40 и A6000 по 48 гигов предложу как народный вариант. Цена примерно 40 центов в час.
Алсо, если тратить деньги, то почему на V100 и подобные динозавры из 2017 года? Можно же RTX3090 или RTX4090 взять десктопные. Памяти меньше, но зато можно не трястись что такая подохнет через год от старости.
Остальные сам найдешь:
trudvsem_ru/opendata
Алгоритм тот же, что тут.
>Или ты предлагаешь кормить модели их же слопом, чтобы слопа было в 2 раза больше?
Ты только что любой файнтюн
>Алгоритм тот же, что тут.
Ух бля, данные вакансий конечно же помогут мне кончить!
>>1478774
Собственно по этому я уже давно не юзаю тюны, максимум аблитерации.
> Ну бля, может у вас в Москве и мало. В моем Мухосранске если человек потратил больше 30к на хобби потратил то на него посмотрят как на ебанутого.
хз что за хобби такое, где всего 30к потратить можно и удовлетвориться этим.
возьмём мотоциклы: 30к - это хороший шлем. и всё, больше нихуя.
лан, возьмём велосипеды: 30к - это уже весь комплект защиты. но всё ещё без велосипеда.
возьмём сноубординг: 30к - это одна доска. без нихуя, вообще.
возьмём радиогублюбительство: 30к - это неплохой стартовый набор паяльник+фен+жала+мелочёвка, и самый говённый днищенский осциллограф с самым говённым днищенским логическим анализатором, всё китайские подделки реплики, потому что на оригиналы 30к не хватит.
моё хобби даже брать не будем, там на миллионы счёт идёт.
короче, хобби в виде пердолинга старого серверного железа вполне недорого выходит, на уровне других.
Ну собирать датасеты всем тредом. Всяко продуктивнее, чем занюхивать чужие достижения и даже не пытаться делать какой-то свой вклад.
>У тебя есть?
Ну есть, предположим, очень маленький - понравившиеся мне литературные произведения, сохранённые треды с двощей с довольно осмысленными (на мой скромный взгляд) дискуссиями и тому подобное. В лучшем случае десятки или сотни мегабайт текста, а может и меньше. Маловато, но, если задаться целью, можно ещё что-нибудь интересное насобирать. Самому, в конце концов, нагенерить вопросиков, ответиков, решения задач и ризонинга немного. Взять хотя бы те моменты, где нейросетки на мой взгляд обсирались, и самому показать, как надо. Или взять большие и умные нейросетки и показать маленьким и глупым... Хотя нет, погодите, так мы просто будем множить слоп. Вычёркиваем. Ну или на полшишечки, с ручной перепроверкой... Или... Хотя нет, не буду кормить корпов идеями, мне-то потом никто бесплатно ничего стоящего не даст. Лучше буду носить их в себе и дальше. И наверняка не такие уж они и уникальные, и я не такой уж умный, найдутся у корпов другие умники, которые им придумают лучше, чем я. Им вообще-то за это деньги платят, а мне - нет. Вот и пусть отрабатывают, не просто же так взяли на работу их, а не меня.
Дальше встанет вопрос с компьютом, у меня целых 2 среднекарточки, 1 нищекарточка и 1 вулкан-онли карточка, ну и процы. Как раз под мой микродатасет, что-то больше на этом тренить будет больно. Вот и замкнутый круг - зачем собирать датасеты, если нет железа, зачем собирать железо, если нет датасетов. Но периодически мечтаю попробовать что-то своё, недавно вот случилось очередное обострение и уже с месяц крутится идея, я даже почти готов взяться. Вот так и рождаются васяны, наверное.
Но это ещё надо изучить вопрос с тренировкой, на чём это делается, скорее всего повозиться, настраивая окружение питухона, матеря говнокодеров и их блоатваре. Учитывая туманные перспективы тренировки, не хочется даже в это усилия вкладывать. Но надо бы. Если совсем ничего не делать, так и придётся жрать корпослоп. А так хоть попробую, наберусь практического опыта.
А вообще надо ещё смелее экспериментировать, искать новые перспективные архитектуры. Ибо ресурсов на полноценный трансформер у простого Васяна город Тверь никогда в жизни не будет, это точно тупиковый путь для меня (а возможно и для корпов).
Короче говоря, вне зависимости от треда, я рано или поздно этим займусь, раз крутятся такие мысли в голове. Либо так и не "созрею" никогда. Зная себя, даю вероятность 50/50. И около 100% что "выгорю" уже в процессе, так и не добившись никаких интересных результатов.
Второй на чатмл ну норм, иногда на уровне первого
Какой же эир умница
> Обычное хобби - это спининг купить за 5к и катушку со всем остальным еще на 5к.
Это входной уровень. А потом ты понимаешь что в трениках и обычной куртке как-то зябко сидеть по утрам и покупаешь базовый костюм. А потом понимаешь что нужны новые блесна и что-нибудь еще. Потом что под рыбов неплохо бы гермомешок нормальный взять а не с пакетиком таскаться. После обновляешь спиннинг, знакомишься с концепцией слоев в одежде, обновляешь авто на с нормальным полным приводом, несколько раз в год выезжаешь в другой край страны на особую рыбалку, куда зовут тебя друзья с которыми познакомился. Вот так понемногу набежит серьезная сумма.
Никогда ничем не увлекался серьезно?
> дороже чем 1 доллар
0.89 за комплект из гпу, 8 ведер проца, 128гигов рама и 200 хранилища. А ранпод всегда был дорогим.
> Можно же RTX3090 или RTX4090 взять десктопные
Ну, в треде мелькали риги на 3090-5090, на v100 пока что ни одного. Может еще увидим их, карточка чисто для ллм топ за свои деньги, остальное с нюансами.
> не трястись что такая подохнет через год от старости
Наоборот, по надежности она фору всем этим даст, банально нечему ломаться и весь возможно брак уже проявился.
>>1478790
> есть, предположим
Не держи в себе.
>понравившиеся мне литературные произведения, сохранённые треды с двощей с довольно осмысленными (на мой скромный взгляд) дискуссиями и тому подобное
И от этой смеси ты будешь требовать ответы на инпут "Я тебя ебу"? Имаджинируешь уровень шизы?
>зачем собирать датасеты, если нет железа
Железо можно арендовать. Арендовать датасет негде. Поэтому датасет первичен.
>>1478838
>А потом ты понимаешь что в трениках и обычной куртке как-то зябко сидеть по утрам и
И терпишь. А потом ещё терпишь. А потом ещё. Потому что никаких ещё 5к нету.
>И от этой смеси ты будешь требовать ответы на инпут "Я тебя ебу"?
А с чего ты взял, что я требую именно "я тебя ебу"? Даже если просто будет на широком спектре задач перформить на 0.5% лучше и нигде сильно не просядет, то это уже определённый успех. А вообще можно поискать и такие датасеты. Но у меня их, конечно же, нет, товарищ майор. Ничего такого непотребного не храню, и уж тем более не распространяю, ни-ни!
>Даже если просто будет на широком спектре задач перформить на 0.5% лучше
>файнтюн рандомным датасетом чётко сбалансированную нейронку после всяких GRPO
Ну да ну да, конечно же лучше (нет).
Ну ладно, раз ты запрещаешь мне даже просто попробовать свои идеи... Пожалуй, откажусь от этого.
Тред уже доказал что тут душат любых инициативных челов. Ты тут недавно?
Надо было еще в пиздючестве прогореть с того, что тебе не покупают игрушек/хотелок, и пойти учиться на что-то перспективное и интересное тебе (или сразу пытаться в кабанчика), постепенно выстраивая жизнь где у тебя всегда есть бюджет на свои желания. Слишком хорошо жил значит.
>>1478843
> будет на широком спектре задач перформить на 0.5% лучше и нигде сильно не просядет
Без шансов, твоя тренировка рандомом завафлит всю пост-тренировку где как раз шлифуются последние "проценты" и многое уточняется. Максимум на который можешь рассчитывать на своем уровне опыта - усвоение данных и повышение перфоманса в выбранной (узкой) области без радикальной лоботомии и читерства в ответах. Но даже это для начала очень даже круто и ощущается приятно.
Где ты увидел запрет?
Ну и если тебя останавливает запрет одного анона, то твоя инициативность полная хуйня, и ты бы так и так обосрался бы.
>>1478848
Хоть бы одного задушенного показал.
>>1478850
>постепенно выстраивая жизнь где у тебя всегда есть бюджет на свои желания
У меня был. А сейчас закончился, докупаю райзеры и всё, денег больше нет и не факт что будет. А потом придётся вообще распродавать, судя по экономической ситуации, лол.
>Хоть бы одного задушенного показал.
Нюня на веревке висит уже который тред...
Любой может написать "Я Нюня". Так что тебя не существует.
>>1478904
Нюня - это anon1999 или как его там, который выкладывал пресетики, а потом обиделся и всё удалил. Так что это реальный существующий человек.
Во вторых - на каком сервисе, с учётом возможности оплаты из тайги российской, можно арендовать с почасовой тарификацией сетап чтобы опробовать ваши жЫрные модельки (локально не предлагать - 4 ядра 4 гига "игровая" видеокарта) про которые тут всё трындите.
Корпов тоже не предлагать - да, опенроутер, квен, дипсик рулят, по рабочим задачам пинаю, а вот рпшить хотелось бы более приватно.
Думаешь у них там не выводится что ты запускаешь?
Консольки всякие в первую очередь проверяют, это если игродебил то всем похуй
И в отличии от корпов ты в толпе не затеряешься
>хотелось бы более приватно
Приватно - это то что не покидает пределы твоего компьютера. Как только что-то куда-то отправляется в интернет - это НЕ приватно.
https://huggingface.co/NC-AI-consortium-VAETKI/VAETKI
https://huggingface.co/naver-hyperclovax/HyperCLOVAX-SEED-Think-32B
Буквально.
Почему то шизы которых полон тред не обижаются и не уходят, а он захотел и обиделся
Если в вашу хуйню закинуть лор, поселения и персов - насколько мощное рп я смогу отыграть?
Типа как в реальную пошаговую по понятным причинам игру в это можно играть?
Спокуха, это моя тульпа была. Просто галоперидольчику бахнул вот и отвалился.
>>1478921
Покупаешь крипту, меняешь на akt, ими расплачиваешься на одноименном ресурсе. Можешь сразу поднимать докер нужного бэка, но для подключения по апи настрой сертификаты и https или же туннель внутри ssh.
Если сложно - на ранподе есть готовые пресеты и видеогайды на ютубе как захостить, с осторожностью относись к сторонним контейнерам и обеспечь шифрование запросов.
Если совсем сложно - опенроутер, его реквизиты закидываешь прямо в таверну, твои запросы могут видеть как сам сервис, так и его партнеры что хостят.
>лан, возьмём велосипеды:
Ну, я бы кстати поспорил. Вот это ты меня стриггерил. Я взял горный велосипед за 24к. Без защиты. Откатал на нём 30000 записанных на трекер км и неясно сколько незаписанных. Поменял цепь, втулки (старая, эм, лопнула в заднем колесе, распавшись на части) и шестерёнки на китайские, поставил вилку без амортизатора, ещё где-то за 15к, и вот продолжаю ездить. То есть я точно увлечённый велосипедист - но без дорогого вела, как то что мне понравилась фраза про аудиофилов, у которых золотые провода на урановых подставках (ну вот эти, про ламповый звук и усилители).
К слову, я ещё считал всякий метаболизм, пано и прочее - и у меня получилось, что если не кататься, и именно ехать, то выходит где-то 7 рублей на км (и в том же году с текущими ценами на машину/её средний срок эксплуатации, парковку, бензин и то - получились те же 7 рублей/км), из которых копейки на собственно велосипед, а больше всего уходит на еду. У человека не очень кпд, мягко говоря, а залить бензина на 2 квт-часа намного дешевле, чем закинуться гречкой, хлебом и курицей для человека на 2 квт-часа. Из этой оценки получается, что я только лишней еды съел на 200к+ минимум за это время, который мог бы не есть - а сколько времени я потратил на стрирку, само катание, когда катаешься, а не едешь...
Велосипед по сравнению с этим уже ничего и не стоит. И тем более камеры от проколов глупо считать.
То есть выйдет дороже, если ездить, из-за еды, но начать и вкатиться за 30к более чем можно.
Велосипед мой сейчас не делают, но я нашёл где модель 2016 года поновее за 50к. Ну, да, сейчас бы эквивалентный новый за 60к был, но до этого у меня вел был ещё попроще, и на нём я тоже заметно больше 10000 проехал. Ещё я подбил друга взять вел, он что-то на нём пять раз проехал и поставил на балкон. Новый, очень похожий на мой вел, на которых без обслуживания можно ездить годами - он его за 20к продаст мгновенно, например. Уверен, что на авито есть ещё полно таких же, которым не зашло.
Хобби программиста с 30к тоже можно представить, ноут у людей и так часто уже есть, это может быть даже не связано с дополнительными затратами, 2 ядра 2 гига на ноуте из 2010 хватит чтобы научиться всему, достаточно просто не ставить современные говно-ide, где текстовый редактор с подсветкой и компилятором весит 20гб и кушает 40 потоков. qtCreator хорошо подсвечивает сложный синтаксис и до сих пор очень лёгкий. Если потяжелее, то в общем-то и даже CLion в 2 ГБ влезает, а он даже нейросетевой автодополнение делает. Я школьником был и в 2009 у меня лишних денег не было, и как-то мне это не помешало свою первую игру в 2009 же и сделать на ноуте, где было 512 памяти и целерон.
Любой художник с графическим планшетом...
Гитарист, который у бати может старую гитару взять со шкафа...
А если ты просто петь хочешь или танцевать?
Ну в общем ты понял. Я резко не согласен с тем, что хобби обязательно требует денег. Кучи людей своим хобби занимались в условиях, когда у них вообще ничего нет, и продолжают.
Да даже с нейросетями можно на всяких колабах жить (если колаб ещё живой) или купить одну старую карточку с 16 ГБ (да даже V100 на 16 с переходником, что выйдет всего 20к) и крутить модельки на этих 16. Я очень сильно убеждён, что то что ты будешь крутить гемму на 12b, и не сможешь её поменять на 70b меняет характер того, чем ты занимаешься очень слабо и условно, как и покупка велосипеда карбонового за 200+ к вместо люминиевово горного.
Кстати ещё про фотоаппараты. Там выше про гир за 400к и за 1-5кк писали. В общем фотоаппарат у меня тоже был и даже остался, суперзум с матрицей 1/2.3" дешёвенький. И знаешь сколько десятков тысяч фотографий я с него сделал? Я точно до уровня фотографа-любителя дотягиваю, если смотреть по количеству полученного удовольствия, затраченного времени и возможно я ещё даже чему-то и научился, снимал всё только в ручном режиме.
Дорогу осилит идущий, в общем.
Исключения - это только если ты увлекаешься квантовой физикой и тебе нужен домашний коллайдер (первый не линейный ускоритель кстати был кстати размеру с кувшин и собраз из мусора). Из такого простого и довольно обывательского, может быть астрономия туда попадает. Ну мотоциклы, да, тут бесспорно. Но это точно нихрена не правило, и к ллм оно точно условно применимо. Тут порог входа - это условная гемма e4b, с которой можно играть и ролеплееть и вокруг которой строить raq-систему или что ты захочешь. А она запуститься на любом около офисном ноуте без видеокарты.
>>1478876
Она просто семплирует более вероятные токены. Повысь температуру, покрути настройки самплера. Даже чатжпт последней версии можно в цикл засунуть, если там такой текст, который очень логично сам себя продолжает, не говоря уже про локалки.
> Спокуха, это моя тульпа была.
Слышь, вообще-то это я. А ну прочь.
>0.89 за комплект из гпу, 8 ведер проца, 128гигов рама и 200 хранилища.
Звучит как-то слишком хорошо для правды. Это где такие мощные серваки за копейки сдают в аренду?
Я говорил о почасовой аренде, то есть сколько часов захотел столько и купил, как на ранподе. Понятно что если на целый месяц 24/7 сервак арендовать, то цена за час будет мизерной.
> Я взял горный велосипед за 24к.
Не обижайся, но это продукт идентичный ашанбайку если новый, или что-то между ашанбайк - мертвичина в какой-то пропорции если бу. Не потому что все зазнавшиеся снобы, омвсквичи и прочее, а просто цены космические там. Можно с этим воевать, можно пердолить самосборы с алишки, но рано или поздно просто заебет и смиришься. О ценах могу рассказать, но врядли в этом треде интересно.
> Без защиты
No helmet - no respect. Это как водятлы без осаго, понимание что страховка за несколько лет обошлись бы дешевле какой-то мелочи от современного авто и то что расплата неминуема приходит слишком поздно.
> только лишней еды съел на 200к+ минимум за это время
А ведь неплохо подмечено на самом деле, иллюстрирует бессмысленность экономии если речь о хобби для получения эмоций.
Все описанное тобой - самый базовый уровень, который нужен людям чтобы понять интересно ли и дальше или сохраняется для нерегулярного использования, или продается с переходом на более приличный уровень. Даже просто считая потраченное время на борьбу с недостатками этих вещей по низу, оказывается что они невыгодны. Получаемые возможности совсем другого уровня, эмоции - бесценны.
> Исключения - это только если ты увлекаешься квантовой физикой и тебе нужен
Это исключение, но совсем другого рода - тут платить будут уже тебе.
Также, когда ты достиг определенного уровня, можно монетизировать многие хобби, найдя баланс между ненапряжность-заработок или целиком сделав своей работой.
Не тот анон если что
>>1479033
Опять ты! Побежал таблетки пить
>Если в вашу хуйню закинуть лор, поселения и персов - насколько мощное рп я смогу отыграть?
Нейронка может уже знать лор, если игра известная. А отыграть можно, только с суммарайзом самому придётся запариваться ну и выполнять не меньше половины работы, по сути быть гейммастером. Плюс хуйня должна быть большой - Квен, Лардж. Лично я что-то подобное для себя отыгрываю, пока не разочаровался. Но это работать надо, а не только играть.
> Я взял горный велосипед за 24к.
> Велосипед мой сейчас не делают, но я нашёл где модель 2016 года поновее за 50к
пчел... речь про сегодняшние 30к, а не про 2007 год
> Я резко не согласен с тем, что хобби обязательно требует денег
ну тут соглы
https://huggingface.co/FlareRebellion/BereavedCompound-v1.0-24b
У Драммера в Дискорде есть отдельный канал для реквестов exl квантов. Делают быстро.
Exl3 или exl2? Если первое, могу сделать. Но не очень быстро.
А тебе зачем? Можешь сказать какое у тебя железо (что за карта/карты, через что подключены, какая оперативка и процессор).
И для любой модельки сравнение с gguf по:
1 - Потребления VRAM
2 - Скорости разбора промта и скорости генерации при пустом контексте, при 4000, при 8000 и других удобных тебе цифрах.
3 - Субъективная оценка не начинает ли моделька шуметь и выдавать бред?
Вроде тредовичок делал кванты Сноудропа и других популярных моделей, мб даже до сих пор тут обитает. Не все на буржуйском могут общаться нормально
Любой сойдёт.
>зачем?
Разница по скорости генерации в целых 10 токенов по сравнению с EXL (начиная с 18 т/с и падая до 10-8 при забитом контексте). 16гб vram, 64ram ddr4, процессор слабенький.
24B.i1-IQ4_XS
Видеопамяти потребляет одинаковое количество с bpw4 при тех же условиях (15.8),
19108 токенов: Process:266.82s (71.61T/s), Generate:208.64s (2.47T/s), Total:475.45s - bpw4 разбирал около 30-40 секунд (не запомнил), генерировал со скоростью 10 токенов в секунду, и ответ выдал примерно за минуту.
вот 5000 токенов: Process:16.04s (102.92T/s), Generate:82.28s (6.64T/s), Total:98.32s
Шума и бреда не замечал, только положенные ллм галлюцинации.
>19108
>5000
Это контекст, ответы же на ~600 токенов. Терпения нет столько ждать.
Загружаю, попробую поставить. Но лучше ещё ребятам которые быстро делают напиши.
У меня просто в обратную сторону получилось, что exl3 медленнее чем gguf, и при забивании контекста деградирует в 2-3 раза быстрее.
Не указал что за карточка, это достаточно важно, так как разные архитектуры. На 50хх может быть больше разница, чем на 30хх. Или наоборот. Я никаких внятных цифр не нашёл, потому очень интересуюсь.
И я не понял к чем какие цифры имею отношение. То есть то что ты написал - это генерация через gguf, а через exl (и на каком) на таком же заполнении контекста какая? Говорят ещё обычный не IQ gguf быстрее, всякие Q3_K_M, по сравнению с любыми IQ
Если у тебя exl, то у тебя nvidia, причём из относительно новых. А если у тебя nvidia из относительно новых, у тебя явно что-то не то со скоростями (16 врам - это не меньше чем 4060 ti). Проверь, не вылезло ли в общую ram.
>Говорят ещё обычный не IQ gguf быстрее, всякие Q3_K_M, по сравнению с любыми IQ
Быстрее, особенно если выгрузка в RAM идёт. А если фуллврам, но уже не так сильно даже на 30-й серии. Если у тебя врама больше, чем на 4-й I-квант, то стоит конечно искать варианты, экспериментировать. А если меньше, то можно и забить и юзать гггуфы.
Что за железки, квантуешь ли кэш?
Фишка exl3 в значительно меньшем замедлении генерации и процессинга по мере роста контекста по сравнению с жорой. Для больших моделей и больших контекстов это по сути делает экслламу безальтернативной, исключение - дипсик, где падает не так уж радикально. Ну или есть это какая-нибудь 30а3, где падение с 70 до 30 можно все еще приемлемо.
> а какая реальная польза от ваших бесед с ботом? для чего оно?
> спорт развивает тело, искусство можно показать другим, а это что, о чем? хуже игр даже
Таки предположим, что ты не тролль, а зрелая личность, которая задается вопросом - добро или зло эти ваши ЛЛМ? Приносят ли они пользу, вред или ничего? (Противоречие: зрелая личность не будет на анонимной борде рассказывать людям что им делать, а что нет. Но я сознательно потрачу пять минут жизни на пасту, может кто другой к обсуждению присоединится. Мне несколько любопытно как к этому увлечению относятся тредовички и для чего используют)
ЛЛМ - это инструмент. То, как ты его используешь, зависит от тебя самого, твоих желаний и возможностей. Увлекаюсь всей этой темой уже полтора года, и за это время успел побывать на качелях "Вау, я счастлив" <-> "На что я трачу свое время?"
ЛЛМ - это не только чатбот. Чатбота рассмотрим позже. Для многих это, прежде всего, инструмент. Например, я благодаря Гопоте Осс и Квену быстрее осваиваю новые языки программирования и фреймворки, иногда успешно нахожу баги, на которые не хочу тратить время сам или в которых не могу разобраться ввиду отсутствия опыта. В качестве кодревьюера/условного наставника ЛЛМ работают неплохо.
Используя OCR и гоняя Гемму 27 на одной лишь моей 4090, мне удалось прочесть несколько книг, визуальных новелл и пройти несколько игр на недоступных мне языках - японском, китайском и даже индонезийском. Теоретически, это можно было бы сделать и без ЛЛМ, но процесс удобен и быстр. А то, что удобно и быстро, становится доступнее и приятнее к использованию.
Теперь к чатботу. Считаю вопрос действительно спорным, неоднозначным, поскольку осознаю, что конкретно для меня иногда эта тема приносит больше проблем, чем бенефитов. Иногда. Используя ЛЛМ как чатбота для общих задач (не рп), я иногда "выговариваюсь" - обозначаю свою проблему и, в процессе изложения, часто сам же и прихожу к ее решению. Или получаю действительно годный совет, к которому вряд ли пришел бы сам и на поиски которого в интернетах потратил бы кучу времени и по пути забил мозг ненужной информацией. Конечно, нужно иметь голову на плечах и смотреть на все это сквозь призму скепсиса, ибо это не бог в машине (привет агишизам). Используя же ЛЛМ как чатбота для ролеплея, я, например, сознательно бегу от реальности. Для меня это самая противоречивая часть, но я даю этому отчёт. Ввиду некоторых причин, объективных и субъективных, я не слишком социален (почти мизантроп). Но человек - существо социальное, от этого никуда не деться. В итоге я восполняю отсутствующий опыт ЛЛМками, как СФВ сценариями, так и гунингом. Конечно, существуют литература, кинематограф, анимация и много что еще, но все это не дает той обратной связи (пусть и фальшивой, существующей только у нас голове), которую дают ЛЛМ. Для меня недостаток один - я могу увлечься и потратить на это больше времени, чем хотелось бы. Часто это происходит, когда на душе погано. Часто это усугубляет проблему. Стараюсь держать себя в узде. Заметил, что в последнее время искренне потянулся к литературе - несколько месяцев читаю художественные книги, в том числе классику, о чем не мог помыслить ранее. Побег от слопа и от зависимости привел к этому, и я ни о чем не жалею.
Извини, голова болит, как-то нескладно пишу. 4060 ti. EXL3 bpw4.0_H6
Вот генерация того же слайда что на 19108 токенов был используя EXL, но я случайно тысячу токенов срезал. Process: 1536 cached tokens and 16580 new tokens at 626.37 T/s, Generate: 10.99 T/s, Context: 18116
tokens)
То есть не должно быть такой разницы в скоростях?
>>1479234
>квантуешь ли кэш
Что-то очень странное. Да, на EXL квантовал, а в первый раз забыл ггуфу то же самое сделать. В итоге ггуф теперь даже быстрее? Пиздец.
Тот же ггуф но с q8 кэшом
CtxLimit:19629/24576, Amt:521/2000, Init:0.17s, Process:20.04s (953.30T/s), Generate:36.95s (14.10T/s)
Я так понял, из-за того, что я кэш не квантовал - он в оперативку вылезал и замедлял генерацию постоянно?
> Generate: 10.99 T/s
Для фуллврам это как-то маловато, пусть в 4060 память медленная, проверь хватает ли врам, судя по симптомам и размеру модели очень похоже на выгрузку в рам драйвером.
В качестве размышлений, экслламовские кванты сами по себе сложнее для расчета, может на младших картах там есть какой-то прикол с нехваткой компьюта. Но это довольно маловероятно, даже так операции слишком простые и они асинхронные, вот квантование контекста может играть.
И да, контекст в целом лучше не квантовать если хочешь хороших аутпутов. Лучше пожертвуй скоростью и выкинь часть на проц чтобы помещалось.
>Process:20.04s (953.30T/s), Generate:36.95s (14.10T/s)
Вот это уже больше похоже на правду.
>Лучше пожертвуй скоростью
Какая скорость считается адекватной?
Флаг -v в llama-server ставишь, и смотришь, оно прям пишет какой тензор на какое устройство скинуло и то же самое по кеш и некоторому компут-буферу.
Да. У меня получилось с даже с fp16 кешем gguf быстрее. При этом у exl3 кеш только в 8,8 - 16 бит не поставить. Сразу как я ставлю кеш в gguf в Q8_0 - оно уходит в лютый отрыв на любых длинах контекста по всем скоростям. При условии, что не падает ни одного тензора в CPU, а на exl3 оно и не может упаться в RAM.
Помимо прочего, я критическую едва влезающую модельку тестировать. С Q8_0 32к контекста влезло и скорость падает с 30 до 20 в gguf. exl3 не запускается даже на 8192 контекста. Запустилось только на 7936, или с кешем в 4,4, например.
Вес весов модельки без эмбеддингов при этом совпадает до процента, я специально подгонял. То есть какие-то вот эти компут-буферы у exl3 тоже есть, и они тяжелее. И вообще как-то это всё сомнительно.
Я не смог нагуглить информацию, чтобы exl3 выигрывал при равных размерах.
Реальная польза как я понял в том, что почти во всех gguf слой эмбеддингов квантуют в Q8 или Q6_K, а этот слой:
- почти ничего не даёт от размещения на видеокарте.
- llama-server по умолчанию держит этот слой на CPU и так.
- очень чувствителен к квантованию, и потому его лучше оставлять в fp16 (это то что нашёл, первые два пункта - факты, а вот тут только слова из сети и общие размышления про хранение информации в многомерном пространстве)
Потому при схожем потреблении VRAM но слое эмбеддингов в fp16 exl3 и выдаёт такие хорошие перплексити, как вот на этом графике. Я бы очень хотел посмотреть что за gguf использовался в этом тесте, и не будет ли у Q4_K_M квантов такой же перплексити как и у exl3 при равном размере без эмбеддинга, если им слой эмбеддингов выставить в fp16.
Индивидуально и от задачи. Для чата в целом в диапазоне 5-10 большинство находит приемлемым, для чего-то агентного с кодом от 25.
>>1479272
> Флаг -v в llama-server ставишь, и смотришь, оно прям пишет какой тензор на какое устройство скинуло
Оно не покажет если драйвер выкидывает врам в рам.
> Сразу как я ставлю кеш в gguf в Q8_0 - оно уходит в лютый отрыв
Это оно, просто начинает хватать врам чтобы не выгружаться.
> Я не смог нагуглить информацию, чтобы exl3 выигрывал при равных размерах.
По скорости? Малое пересечение аудиторий чтобы сравнивали, большинство вообще мелочь с выгрузкой на жоре катают и просто не имеют альтернативы, но мнение имеют. Тут работяги не могут дилетантские ошибки с переполнением врама заметить, о чем вообще говорить?
А так зависит от модели и контекста, в ряде случаев на пустом gguf может быть быстрее из-за простого квантования и чуть меньшего цп оверхеда, на iq квантах околопаритет. Но по мере накопления контекста в жоре идет просадка как обработки, так и генерации, причем чуть ли не в геометрической прогрессии. Если сравнивать за последний год то жору неплохо ускорили, но фундаментальная проблема никуда не делась. На 60-80+к моэ пользоваться уже невозможно, там где было тг 50т/с становится 20 и меньше, там где было 20 становится 6. Так еще и кванты довольно припезднутые.
> Реальная польза
Головы и эмбеддинги везде стараются не ужимать. Реальная пользова жоры - возможность запуска на цп при нехватке врам и поддержка множества апи выполнения.
> лучше оставлять в fp16
Особенно когда оригинал в bf16, лол. 8 бит хватает с запасом на все, что собственно и используется.
> и не будет
Не будет, принципы квантования важные. И перплексити так себе метрика, лучше дивергенцией мерить.
>могу увлечься и потратить на это больше времени, чем хотелось бы
>Часто это происходит, когда на душе погано. Часто это усугубляет проблему.
да это же я. парадокс в том, что я больше времени проебу на поиск нужного прона. кто по ванилле те знают, что найти годноту нынче сложно, кругом звенящая пошлость. а тут и искать не надо ничего, и обман есть в виде какого-никакого фидбека от нейронки. очень сложно слезть с этого, а с другой стороны коришь себя что это все обман чтобы набрать классы и такого никогда не будет, да и вообще надо идти работать, еблан
никакие, ризонинг жрет токены и не привносит разницу или даже отупляет сетку
>Какие вы промпты для <think> используете?
"<think>Хорошо, я получил задание продолжить сценарий с учетом предыдущих событий и указаний." Для ролеплея, без закрывающего тэга, чтобы продолжил думать, ну и сойдёт за префилл заодно. Чтобы думал сразу по теме, а не о том, хороший запрос или плохой.
Зависит от модели. Иногда из лупа может помочь выбраться.
STATUS CHECK: [Non-Erotic | Building Tension | Active Intimacy]
PACING PROTOCOL:
IF Non-Erotic: Identify "The Brakes" (External barriers, plot reasons, or emotional walls preventing intimacy).
IF Active Intimacy: Identify "Friction" (Physical constraints adding realism: stamina, awkward angles, oversensitivity, messy fluids). Do NOT stop the scene, but complicate it.
NEXT ACTION: [Concise intent for the next output]
Вот эта хуйня шикарно работает, если уже не интересно когда даже самый агрессивный персонаж снимает штаны лишь по одной просьбе, то можешь попробовать добавить. По своему опыту могу сказать что убирает положительную предвзятость в сторону юзера даже вне ерп.
100% можно сократить, в теории нужно поменять формулировки под привычные модельке, но мне как-то лень пока.
На десктопной ддр4 - x299. Ищи с наилучшей конфигурацией линий и слотов. Наиболее удачная х16 + х16 + х8 процессорных, встречаются и с даблерами на 4 слота х16, но такую хрен найдешь.
Вариант в обычную еще воткнуть платы на plx8749 и сможешь воткнуть до 4х карточек по х16 с парой, или до 8 по х8, также доступны комбинации.
Так, а если я хлебушек в знании материнок? Можешь дать пинка в направлении того, как именно искать. А то я читаю все сообщения от анонов по их ригам, у них там каждая первая материнка модели huizhopa13444 EBA-1488, как мне такое искать - ума не приложу.
Это старая hedt платформа, продавалась в обычных магазинах. На лохито вбей x299 или lga2066, там будут варианты материнок от популярных брендов и процов, гуглишь спеки и смотришь. Главное проц бери с 44 линиями, это 7900x, 9900x, 10900x и выше номерами.
Просто здоровые отношения/перпихон построить не выходит, обязательно нужна драмма, накал эмоций, будто бабы ебаться не хотят
Я б/у x399 взял. Три слота pcie 3.0, 4 канала памяти до 128 гб суммарно. Вот, лежит крутится memtest гоняет второй день на этих 128.
Но это всего три карты. Я нашёл ещё разветлитель видел аж на 4 провода, можно в каждый слот по 4 карты воткнуть на х4 скорости.
На том же авито вижу кучи 299, часто с процессором по 10-20к, есть с 4 слотами х16, но это скорее будет 16+16+8+8 или ещё что-то такое, что, впрочем не страшно.
Вот ещё картинка. Пишут что по х8 на слот выдаёт. Если тебе прям многамногакарт, то я бы наверное вот что-то такое за 30к взял - это почти ноль по сравнению с ценой любых 7 карт. Не б/у для pcie 3.0 я бы не стал брать.
Проверенное временем и кучей людей rd450x, но это прям совсем для нищуков. Если найдёшь дацн.469535.031 до 20к, то тоже норм железка уже на псине4 и с норм перфом за не дорого с 16 каналами
>Вот ещё картинка. Пишут что по х8 на слот выдаёт.
У меня такая, только 10G-версия и я новой взял. Там PLX-сплиттеры; если возьмёшь к ней не самый днищенский проц, то получишь нормальную поддержку всех 4 карт. С другой стороны все пишут, что не так это и важно и можно брать даже майнерские платы чуть ли не с PCIe-1.0, на скорость инференса почти не влияет. Только еботни с ними сильно больше, если не повезёт.
Угу. Просто внешний plx-сплиттер который тут советовали у китайца сейчас 9к. Если больше чем 3/4 карты ставить - материнка выйдет дешевле или столько же.
С другой стороны внешний можно переставить в другую материнку потом, и он ещё и pcie 4.0 поддерживает якобы. И снова с первой стороны вряд ли анон будет больше 4 карт вставлять в pcie 3.0 с 128 ddr4. А если он готов и будет больше 4 карт ставить, то наверное ему сразу надо материнку брать на 4.0 или на 5.0, они в общем-то сравнительно дешёвые, даже со 120 линиями и честными 7 слотами х16 - если не включать цену процессора и ddr5.
Это сколько VRAM кушает gguf и exl3 с кешем в 8,8 бит.
Походу exl3 не умеет в SWA.
Вот вывод llama.
Для нормального кеша расходуется ровно 15360 байт на токен.
Для фиктивного 3072 байт на токен.
Там по 256 k и v, 3 слоя для фиктивного, 15 для нормального. (256+256)х3х2 = 3072, (256+256)x15x2=15360. Теория сходится с практикой. И с графиком, где видны это 0.003 МБ на токен.
Теперь смотрим на exl3.
Там выходит 0.0097 МБ на токен, и кеш при этом в 8 бит. То есть при 16 битах было бы ≈19500 байт на токен. Это отчасти похоже на 15360+3072.
Но при 8 битах там в два раза меньше, должно быть 9216, а по факту даже так выше.
Почему так? Вот json сконвертированной модельки, exl3 точно в курсе о том, что такой SWA. Почему так разжирается VRAM от кеша?
Может кто-то ещё на модельках побольше проверить, сколько байт на единицу контекста уходит (и числа n_embd_v_gqa/n_embd_n_gqa) в exl3?
Как-то с теорией не сходится.
Т.е 70б ллама полностью разваливается на 2 кванте, но в 2.25 bpw она на уровне 3 кванта и уже работает?
Модель вообще не оправдала ожиданий... WeirdCompound гораздо лучше и живее. По ощущениям i1-IQ4_XS в несколько раз тупее EXL с bpw4, столько путаницы я вообще никогда не видел (я: задавай мне свои вопросы. бот: ты хочешь задать вопросы? ну рискни!) как будто выбирая между gguf и exl я выбираю между размером контекста (х2 разница) и качеством при +- одинаковой скорости генерации...
Типа, ему всего год, это корп дома литерали, 115б активных 270б общих параметров, должны быть аноны с таким железом
>Почему в треде ни одного мнения про грок 2 не было?
Было, просто кто-то всё пропустил. Второй грок говно для своего размера. Третий было бы пощупать интересно, но пиздабол старлиноквый отказывается его выкладывать. И видимо не выложит, пока не выйдет пятый грок.
Какие 270б, кто в это поверит
>Второй грок говно для своего размера.
Нормальная модель, по ощущениям где-то на уровне Ларджа. Но совсем не оптимизирована, ничего не поддерживается и заниматься ей никто не хочет. У меня с выгрузкой в РАМ едва шевелилась. Хотя видно было, что датасет оригинальный и модель соображает даже в низком кванте.
>Просто здоровые отношения/перпихон построить не выходит, обязательно нужна драмма, накал эмоций, будто бабы ебаться не хотят
А что тебе не нравится? Реализм 10/10. Бабам нужны эмоциональные качели, им скучен удобничек, писька сухая. И да, бабам ебля не нужна.
>>1479557
>2 квант гуфф
Весьма расплывчатое понятие. Там каждый тензор можно в свой квант, так что нужно смотреть конечную эффективность. Ну или по размеру файла, лол.
>>1479569
Всем похуй, говно залежавшееся, выпустили протухшую модель, которую ебали на тот момент уже 8B.
>было здравое рп, стало какое то дешевое хрючево из читайгорода
Мне кажется в книгах, где описан секс, просто преобладает кал.
Пока что ни разу не удалось что то сложное им сделать, максимум - докстринги написать к функциям. Хотя если через llama-cpp чат писать краткие задания - то справляется, но это неудобно
Это я не разобрался или все таки модель очень ограничена?
По моим ощущениям агент много контекста высирает для модели и она начинает путаться и делать что то не то.
Большие модели на ноуте точно не заведутся (3060 6Гб\64Гб).
А как написать не кал?
Тогда будет уже не секс, а душка про тёрку конечностями с размазанным пейсингом
Нормально только так и выходит как в книгах озона
Ну да, ты прав, это пресыщение. Я до сих пор вспоминаю год назад как на обычном немомиксе сначала тыкался, а потом отыграл очень длинный сюжет с одной картой которая мне дико нравилась, но сейчас уже сидя на моделях покрупнее, понимаю что мне нравилась не карта, а эффект новизны и неожиданности. Сейчас вспоминаю этот сюжет, эй пиздец, какую же хуиту модель генерила, она банально не понимала половины того что я пишу, но из за того что я не до конца понимал как это всё работает, но мне всё равно нравилось. А с того момента не отыграл не одного сюжета длинее 100 сообщений, при этом сам писал огромные лорбуки, карты/квенты персонажей с мыслями -"ух бля, щас как заэрпешу", но когда начинал это всё катать, понимал что теряют интерес уже на 50м сообщении. Даже грустно как то, это как первая любовь с которой хочется повторить всё как было, но нет уже самой первой любви и не будет этого волшебного ощущения. Сейчас уже катаю 27b параметров, там персонажи другие, та карта которая была злобной но заботливой мамкой, стала душной мразью которой на юзера вообще поебать, потому что модель тупо стала инструкции читать, ну и начались с той поры похождения неприкаянного каина в мире ллм, поиск той самой карты котора была бы похожа на ту самую, но безуспешно.
1. Не сможет в кум и фетиши.
2. Постоянно будет пытаться навязать везэктомию посреди рп, если юзер мужик.
3. Не сможет даже объяснить ребёнку что такое секс?
И при этом это чудо ждут всем ллмовским селом
1. Сможет в кум и фетиши.
2. Постоянно будет пытаться навязать еблю посреди рп, если юзер мужик.
3. Сможет даже объяснить ребёнку что такое секс?
И при этом это чудо не ждут ллмовским селом
Даже онлайн модели, в том числе платные, редко какую задачу могут решить, выдают в большинстве случаев неправильный ответ, вся цепочка рассуждений косячная, тупая, ни намёка на математические способности, тупой слоп.
Откуда блядь в новостях постоянно, что модели решают все на уровне международных олимпиад? Это хуйня какая-то.
Какой квант используешь? На каком языке излагаешь задачу?
GPT OSS 120b и Квен 235b Q4 решают высшую математику уровня универа без проблем. И векторные вычисления в игровых движках тоже. Даже задачу из дискретной математики почти удалось решить.
Квен 9B и квант 5 кажется, сейчас не за компом. Но я проверяю только на олимп задачах для школьников, где нужно думать, а не формулы использовать.
А как запускать 132Б на домашнем компе? Это реально? 32 ддр5 и 5060ти 16.
Высшая математика уровня универа - это не про формулы. Там тоже надо думать. GPT OSS лучше справляется с этим, чем Квен, а Квен лучше справляется с задачами, где малоизвестные формулы и теоремы. На 32+16 ты ни то, ни другое не запустишь. Было бы 64+16, мог бы запустить GPT OSS.
Добавь еще 32гб оперативки и будет реально. И даже довольно быстро. У меня на 64гб ддр4 и 3060 12гб крутится 106b эйр в 8-9 т/с.
>>1479685
Спасибо за инфу, аноны. Ддр5 сейчас стоит конских денег, надо будет копить или ждать падения цен.
Ты используешь модели с ризонингом? Для математики только их использовать нужно. Попробуй Phi-4 14B. GPT OSS 20B тоже должна решать.
Попробую вечером, спасибо.
Использую с reasoning конечно, это ж математика.
Не будет падения цен.
Дешевизна рам вызвана тем что она нахуй не была нужна никому кроме тонкой прослойки каких нибудь 3д девелоперов.
Рам это новая врам в нейронках, литерали, она была несправедливо дешёвой, сам посуди, зайди в любой маркет и посмотри сколько стоит карта с 24 врам, там ниже 200 кусков ничего не будет, сделаем щас вид что 3090 не существует, только официалы.
Набрав 5 таких карт ты получаешь 120 врам и 10-15 токенов на 120б модели за лям рублей, но плотные модели больше не выпускают, а теперь, охуеть, ты мог купить 256 рам ддр5 за 150к и получить 7-10 токенов на топовейших 350-700б моделях, это просто была огромная дырень в системе которую кто прохавал тот молодец
Объясните как будто мне 5 лет, разве видеопамять не отличается от оперативной? Или можно взять минимальную ртх, но максимум оперативки?
https://www.youtube.com/watch?v=gxSi6U41R4Q
>можно взять минимальную ртх, но максимум оперативки?
Для моэ - да. Скорость будет не настолько высокой как на фуллврам, но всё ещё приемлемой.
> x399
Так себе идея, почитай тред где жалуются на тормознутость старого эпика, а старый трипак еще хуже. Это же буквально тот самый ультратреш для бета-тестеров, над которым глумился кто только мог. Тормознутость проца, особенно в доступе к периферии, не оправдывает дополнительные 8 линий.
> есть с 4 слотами х16, но это скорее будет 16+16+8+8
Загугли конфиг конкретной, там может быть 4х16 на даблерах, 2х16 + х8 + чипсетные х4 и прочее.
> Но это всего три карты.
Бифуркация и для 3.0 доступны внешние даблеры, до 4 карточек в каждый слот х16 просто так или до 8 с описанной платой.
> что-то такое за 30к взял
Это как раз та, где 4х16 слота, но гугли насколько гибкие настройки бифуркации там в биосе. В целом вариант хороший, по цене дороговато, но ничего лучше в бюджете не найдешь. Следующий уровень это 3467, где требуется регистровая память.
>>1479533
Есть https://github.com/turboderp-org/exllamav3/blob/1b7009c5b87091e64d6f76d1918a589f0073abce/exllamav3/architecture/gemma3.py#L275 если смотреть дальше то там просто прямой импорт функции из флешатеншна. Нужно смотреть как организовано выделение и хранение кэша, возможно просто выделяется буфер под полный и часть не задействуется.
> и кеш при этом в 8 бит
Лучше убери вообще квантование кэша, в столь малых размерах дополнительные его веса и нормы могут влиять.
>>1479569
Было, он ахуенен для кума и завязки рп. Но неюзабелен из-за требований кэша контекста, типа 200 гигов на 32к. Оптимизаций атеншна не завезли, и модель слишком старая чтобы заниматься.
Что в твоем понятии математика? Анализ с кучей логики и абстракций, линал с мышлением в 117-мерном пространстве, просто школьный трешачок или олимпиады, где просто запутано и суперплотная упаковка, которую нужно долго разворачивать?
Большие модели с первым и вторым хорошо справляются, особенно при участии юзера.
>>1479672
> Но я проверяю только на олимп задачах для школьников, где нужно думать
Это просто переуплотненные загадки с неочевидным решением и запутанными формулировками. Никакие 9б тут и близко не справятся, если только сам не подскажешь, нужно покрупнее и, как правильно сказали, с ризонингом чтобы распутало. Причем, путь решения будет весьма человеческий, скорее всего с рассмотрениеми отсеиванием нескольких ложных путей перед приходом к истинному.
>>1479722
Бред кроме первой строки. Даже 3д девелоперы - больший рынок, чем эти потребители из шизотеорий об инфиренсе ллм в рам на текущих платформах. По всему миру если хотя бы несколько тысяч сделавших апгрейд ради запуска ллм найдется - уже оптимистично будет. Это не просто капля в море, это ниже неопределенностей.
> получить непригодные ни для чего кроме рп чатика 7-10 токенов в 100б микромоэ средней всратости пока не накопится контекст
Вот так правильно будет.
Вот тут про не до конца перпендикулярные вектора, если не знаете о чём речь:
https://youtu.be/9-Jl0dxWQs8?list=PLZHQObOWTQDNU6R1_67000Dx_ZCJB-3pi&t=1085
Далее заходим на страничку BereavedCompound-v1.0-24b где IQ4_XS, и что это тут? А, это же эмбеддинг в IQ4.
А на страничке Q4_K_M оно в Q4_K_M. Ну и так далее. Очень часто там Q6_K_M и прочее.
Вы уже представили что с вышеупомянутой суперпозицией происходит, если компоненты вектора в 4 бита?
Если прям наивно взять 16 ступеней, это будет -1, -0.86 ... +0.86, +1, при таком шуме в эмбеддинге от каждого токена выход будет вообще с другим смыслом. Оно буквально не видит слов, а видит кракозябру, где сразу несколько возможный слов подходят под получившийся токен. Нельзя так жёстко квантовать эмбеддинг - это входные данные же, просто подстановка данных тензора вместо символов, оно настолько нетребовательно, что можно хоть с ssd отдельными транзакциями читать без потери скорости.
При этом llama-server по умолчанию его держит на CPU, потому сжимать его не надо если на видеокарту целится. Даже без --override-tensor "token_embd.weight=CPU". И у tabby то же самое в конфиге написано.
Убедитесь, что в gguf-кванте эмбеддинг в таком же fp16/bf16, как и в exl3 - а потом сравниваете. Exl3 квантует только внутренности, без эмбеддинга. Вы на сколько процентов уверены, что такое хорошее качество exl3 при схожем квантовании связанно не с эмбеддингом?
То есть вот гемма на 270m в 3.5 bpw exl3 отвечает мне на русском, сколько ног у лошади. Причём стабильно достаточно и можно менять формулировку. Q5_K_M и Q4_K_M пишет мне, что не может продолжить диалог сексуальной темы на вопрос про ноги лошади или отвечает 2. gemma-3-270m-it-UD-Q8_K_XL отвечает, но ребята из unsloth там fp16 оставляют в эмбеддинге, как и должно быть, раз уж на VRAM это не сказывается.
>>1479605
При запуске в ламе можно посмотреть. Вот квант якобы Q4. На деле там 7.36. И это не только за счёт эмбеддина в Q8_0, там все остальные слои часто Q6, Q5 и прочее.
https://huggingface.co/unsloth/gemma-3-270m-it-GGUF/blob/main/gemma-3-270m-it-Q4_K_M.gguf
Для моделей больше чем неадекватные 270M: Q4_K_S около 4.3, Q4_K_M около 4.6
Почитал прошлые ветки, там много всего
claude-code, claude-code-router, c, opencode. Насколько успел понять, claude-code давал возможность играться с агентами и как-то подключать сторонние llm. claude-code-router вроде как довел это до ума. opencode опенсорс аналог, но многие дрочат на clode-code. Тут главное понять, дрочат, потому что пользуются опусом и сонетами, или потому что сам инструмент пиздатый.
Есть ещё opencode, но я не понял в чем его фишка, gemini-cli. Самый странный это arhon os, потому что я вообще не понял про что он. Там всего накрутили от rag, до тасков, но в чём смысл тасков не понял.
>Есть ещё opencode.
Как всегда проебался. Я хотел написать Есть ещё
qwen-code
>А потом я заебался и дропнул это всё
Наверное не стоило использовать ChatML который делает эир слоповым, скучным и тупеньким
> самые топовые
Нет таких, есть некоторые оптимальные под конкретную задачу, агентами ведь можно не только кодить.
> дрочат, потому что пользуются опусом и сонетами
В основном это, там отличий не так уж и много + разные промпты. Можешь попробовать их все и выбрать который нравирся, с локалками и особенно квенами хорошо работает qwen-code.
А ты не подписывайся нюней и вспоминать не будем, нюняшизик.
Все знают что это ты нюняшизик а не я, в треде же три четыре человека сидят
Как тепло на душе когда друзья шизики собираются. Я вот семплерошиз, так меня называли за мои или чьи то грехи. Не хватает нюни (повешен) и овариды (пошел работать на китайские поля чтобы ему дали дальше катать 235 какашкоквен)
Можно репортить любое упоминание нюни, и тогда, с вымыванием старичков и приходом новичков, о нюне будет помнить только OP.
> Как же Эир ахуенен когда ты наконец врубаешься как промтить чтобы не было эха.
Как, если вкрации?
тут ещё где-то рядом в палате сидит люниксошиз с V100 и 0 опыта в сборке пекарен
> Уже заказал б/у материнку под люникс с V100 и тьмой линий/слотов. Это просто будет немного дольше, я 0 раз собирал ПК и у меня нет запчастей, приедет материнка - беру у дрога блок питания и плашку памяти, чтобы проверить материнку. Потом беру блок питания и плашку памяти, и уже их проверяю с помощью материнке. Потом ещё люникс ставить, который я 0 раз ставил.
Воспользуйся спиритической доской, чтобы связаться с ним, он поможет. Мне его советы помогли, читай старые треды.
А куда это вообще писать? В систем промпт, Post-History Instructions, префикс?
>под конкретную задачу, агентами ведь можно не только кодить
По подробнее можно? Какие оптимальные для одних задач, а какие для других?
Про arhon os кто-нибудь слышал? Он как-то особенно мудрено выглядит.
Почему люниксошиз сразу? Я же как и указал - его тоже никогда не ставил, а нужен он мне помимо прочего ещё и для zfc, raidz или как там это называется.
Ну и в целом знать люникс не самый бесполезный навык для программиста. Ну и я прямо здесь - я один из тех, кто про exl3 пишет, спрашиваю про почему кеш не SWA и прочее.
А точно, он же не с этого треда (он в треде про новости об ИИ).
Вот тебе коллеция mcp https://github.com/punkpeye/awesome-mcp-servers а вот фреймворков для построения агентов https://github.com/kaushikb11/awesome-llm-agents
Кроличья нора довольно глубока, можно оформить агента, чтобы тот управлял умным унитазом с учетом твоих биометрических показателей из умных часов, и настроения, которое он будет брать из другого агента, оценивающего его по твоим чатам и действиям.
>>1479889
> люникс
https://upload.wikimedia.org/wikipedia/commons/transcoded/0/03/Linus-linux.ogg/Linus-linux.ogg.mp3
Смотреть и копировать параметры базовой модели с олламы?
Нужно делать что-то кроме копирования параметров речь не про промпт и предчатовый контекст через карточки и аналогичное?
Я даже твоего вопроса не понимаю. Ты не знаешь, откуда брать настройки семплинга и шаблоны? В Chat Completion шаблоны подтягиваются самостоятельно из gguf файлов. В Text Completion их нужно указывать вручную, можно найти на huggingface, например
>Я даже твоего вопроса не понимаю. Ты не знаешь, откуда брать настройки семплинга и шаблоны?
Как вариант.
>можно найти на huggingface
Где? Не вижу.
Как вариант сформулируй нормально что тебе нужно. На странице моделей huggingface указано, какой шаблон у них используется. Плохо смотришь.
Это?
>Как вариант сформулируй нормально что тебе нужно.
Трудно спросить конкретно о том что не знаешь.
>Ты не знаешь, откуда брать настройки семплинга и шаблоны?
Есть ли где-то стандартные настройки семплинга для каждой модели и нужно ли мне откуда-то копировать и куда-то вставлять ручками сами шаблоны?
>Есть ли где-то стандартные настройки семплинга для каждой модели и нужно ли мне откуда-то копировать и куда-то вставлять ручками сами шаблоны?
Настройки семплинга для технических задач указаны на huggingface страницах моделей. Прямо в ридми (карточке) или в отдельном файле генерации, который в репозитории. По поводу шаблонов, если ты используешь Chat Completion, то ничего от тебя больше не требуется - шаблон подтянется из gguf, ну писал же выше. Если Text Completion, то нужно верстать Chat template, ты верно его указал, да. У многих фронтендов уже есть готовые темплейты для популярных семейств моделей. В Таверне почти все есть.
Параметрами запуска не поделишься? Получаю только 4-6 токенов в секунду на IQ4_XS
Погоняй Nanbeige4-3b
Говорят матан умеет на уровне 30b если не лучше.
https://www.reddit.com/r/LocalLLaMA/comments/1pj3q4q/comment/nuud76s/
Для gguf наделал скриптов, чтобы всё смотреть не прописывая каждый раз в командной строке пути к gguf-файлам.
Сейчас ещё написать для exl3, который такую же инфу по слоям выдаст.
И сделаю какой-то автотест, который будет сам в схожих условиях конвертировать с истинно равным bpw в exl3/gguf, с одинаковой весом всего того, что нужно во VRAM держать, одинаково выгружать эмбеддинг в обычную RAM, и при одинаковом заполнении контекста сравнивать скорость, потребление VRAM/RAM и сохранять что оно там пишет.
Поставлю на ночь для нескольких 7B моделек и узнаем, чем стоит этот exl3.
Пока не понял только как перплексити оценивать, это же датосет нужно, а у меня нет датасетов.
Кстати, вот такой примерно ответ мне выдаёт gemma 270b с квантованными эмбеддингами, а с эмбеддингами в bf16 она всегда или почти всегда отвечает верно. Позабавило от 1.5 до 2.5 ног.
Справедливости ради - там эмбеддинги - это больше половины модели даже без квантования, или близко к этому.
> наделал скриптов, чтобы всё смотреть не прописывая каждый раз в командной строке пути к gguf-файлам
Пики
> gemma 270b
Это самый экстремальный и необычный вариант из возможных ввиду своего размера. Если хочешь действительно отслеживать какие-то закономерности, которые будут переносимы - бери хотябы гемму 4б, а лучше 12б. Или аналогичные модели от других компаний, гемма сама по себе довольно специфична.
>>1480052
Терминус хорош и даже довольно базирован, обновленный 3.2 нужно будет потестироваать обстоятельно чтобы делать выводы.
threads 5
gpulayers 999
moecpu 44
contextsize 32768
quantkv 1
Остальное не так важно. Но это актуально для Q4_K_S от анслота, если размер отличается - оптимальные настройки будут другими. Если как у меня - то влезает впритык, приходится всё закрывать кроме браузера. И число ядер (то что threads) подбирай под свой процессор. У меня восьмиядерник и наивысшая скорость инференса на 5 ядрах. Если поставить больше или меньше - скорость падает. Это всё в прошлых тредах подробно обсасывали. + я на пингвине, тут тоже небольшой баф к скорости.
А, ну и да, IQ-кванты сами по себе медленнее обычных.
Если квантуются, она пишет ну просто бред, дублируя мысли и строки (1 и 3), в 10 из 10 случаев, так что текст только похож на содержательный. С эмбеддингами в 16 бит за 10 генераций такое было только один раз и в одной строчке, что скорее связано с 2B моделькой. Это субъективная оценка, но походу бомжатский Q3_K_S становится юзабельным для очень маленькой E2B без последствий просто из-за эмбеддинга.
Ещё есть слой per_layer_token_embd.weight на 4 ГБ в bf16 (из 8 ГБ), половина модели. Если его оставлять в RAM, то скорость падает заметно, но не катастрофически, но если эмбеддинг прям не сказывается, то эта фигня очень сказывается. И его квантование таких уж тяжёлых последствий не несёт, хотя тоже заметно "на глаз".
>>1480068
Скрипт показывает крупные тензоры и средний bpw.
К тому же скрипт работает быстрее чем загрузка страницы в браузере и тем более мне есть чем заняться, чем кроме как свой gguf выгружать в сеть.
Я отлаживал скрипты на 270M, так как там любая конвертация в любой exl3 делается минуту.
>нюню так и будут вспоминать шизики и думать что он еще здесь
Почему вообще к нюне было столько внимания, что ему даже прозвище придумали? Чел тупо выкладывал свои пресеты насколько я понимаю, ничего более того. Итт реально есть люди которые не могут под себя настроить модель и вахтерят тред пока кто-нибудь не выкинет свои настройки?
> gemma E2B
> на 270M
Попроси llm объяснить тебе почему квантование на больших матрицах оказывается эффективным и точным, а на маленьких кривым и все руинит. Этот эффект у тебя затмевает все, помимо просто безумной метрики в виде твоих "на глаз".
Если хочешь реально исследовать влияние - сначала возьми модельку покрупнее, а потом подменяя слой оценивай дивергенцию или другие метрики на фиксированном датасете. Считать это можно послойно и влезет в любую карточку, за основу можешь взять оценочные скрипты из экслламы.
>>1480189
> Итт реально есть люди которые не могут под себя настроить модель и вахтерят тред
Тут есть и не такое
Его так прозвал один шизик шитпостер. Это длилось месяцами и тред стерпел и принял это. Чел помимо того что пресеты выкладывал еще и полезные пасты приносил время от времени.
>бомжатский Q3_K_S становится юзабельным для очень маленькой E2B без последствий просто из-за эмбеддинга
А на 4-5-6 битах проверял? А на больших моделях проверял?
Ну и...
>>1480044
>там эмбеддинги - это больше половины модели
То есть ты нихуя не квантуешь по сути, лол. Только полмодели поцарапал. Твои Q3_K_S превращаются в эффективные 8, лол.
>>1480189
>Почему вообще к нюне было столько внимания
Потому что у него весело загорелась жопа.
>То есть ты нихуя не квантуешь по сути, лол.
Мотивация впихнуть как можно лучше на видеокарту. Нет задачи квантовать то что можно держать на CPU. Если получаются эффективные 8, а на видеокарточке по весу как 3 - то это идеально.
>А на 4-5-6 битах проверял? А на больших моделях проверял?
На 4-5-6 битах все ответы нормальные и на глаз не видно. А до расчёта дивергенций и перплексити я ещё не дошёл.
>Нет задачи квантовать то что можно держать на CPU.
Ты видимо просто не запускал по настоящему крупные модели.
Ну и эмбединги для крупных моделей это мелочь, у квена 235 это 0,26% от размера модели.
>>1480267 (OP)
ПЕРЕКАТ
>>1480267 (OP)
ПЕРЕКАТ
>>1480267 (OP)