В этом треде обсуждаем генерацию охуительных историй и просто общение с большими языковыми моделями (LLM). Всё локально, большие дяди больше не нужны!
Здесь мы делимся рецептами запуска, настроек и годных промтов, расширяем сознание контекст и бугуртим с кривейшего тормозного говна.
Тред для обладателей топовых карт NVidia с кучей VRAM или мажоров с проф. картами уровня A100, или любителей подождать, если есть оперативная память. Особо терпеливые могут использовать даже подкачку и запускать модели, квантованные до 8 5 4 3 2 0,58 бит, на кофеварке с подкачкой на микроволновку.
Конечно, я опоздал и вы уже все знаете, ну да похуй, значит повторюсь.
Итак, llama.cpp завезли --override-tensor, который позволяет выгружать не слои, а конкретные тензоры на видеокарту.
Умельцы сразу стали подбирать различные конфигурации.
По итогу читайте реддит, но что вышло у меня:
DDR4 ботлнечит, конечно. 3060 дает 5,4 условно, 4070 дает 6. Очевидно, видеокарты не на 10% отличаются. Но, ускорение есть, оно примерно 30% (эта часть постоянная, а моешка выбрасывается на оперативу). Для всяких 4-битных квантов это 6 гигов, плюс контекст куда сунете.
Итоговый конфиг такой:
Ubuntu 24.04.2 Cuda 12.4 Tesla P40 x2 (4070 я зажал из компа вытаскивать, а 3060 не моя) Собираем llama.cpp, накидываем -ot с 4-9 тензорами на оперативе (1-3 на видяхах). UD_Q3_K_XL квант (100 гигов) помещается: 40 в видяхи (плюс контекст), 60 в оперативу (64 гига, ибо 128 я ТОЖЕ ЗАЖАЛ).
Итогово получаю 5,5 токенов генерации, что для очень толстых 3 бит 235б модели — весьма недурно.
Короче, гуглите и изучайте -ot, берите оперативу и гоняйте 30b или 235b, по возможностям.
Я остался доволен технологией (но недоволен своим железом, на DDR5, вероятно, можно было получить вдвое быструю скорость, да).
Всем добра.
Кстати, выгрузка тензоров работает не только с МоЕ.
Можно обычные модели грузить не слоями, а хитрее. В зависимости от GGUF'а толстые тензоры (квантованные в Q5 какой-нибудь) кладешь на видяху, мелкие (в Q4/Q3) кидаешь на проц. По итогу распределение модель в VRAM / модель в RAM то же самое, но работает процентов на 10-50 быстрее, на реддите у кого сколько получилось. Тоже плюшка.
Аноны, хочу отыграть рп по Властелину Колец и назрела необходимость куда-то засунуть два языка - эльфийский и родной орочье наречье. Черновик лорбука накидал, лучше в него засунуть, или в карточку?
Я видел в TikTok у @catsoupai очень реалистичные видео и фото. Кто-то знает, как генерировать такие же? Что писать, где писать и, если да, то сколько это стоит? Может, это, конечно, их собственная модель, но в любом случае круто. Странно, что я раньше ни у каких компаний не видел такого качества, или я просто плохо искал.
В этом треде обсуждаем генерацию охуительных историй и просто общение с большими языковыми моделями (LLM). Всё локально, большие дяди больше не нужны!
Здесь мы делимся рецептами запуска, настроек и годных промтов, расширяем сознание контекст и бугуртим с кривейшего тормозного говна.
Тред для обладателей топовых карт NVidia с кучей VRAM или мажоров с проф. картами уровня A100, или любителей подождать, если есть оперативная память. Особо терпеливые могут использовать даже подкачку и запускать модели, квантованные до 8 5 4 3 2 0,58 бит, на кофеварке с подкачкой на микроволновку.
>>1189001 Qwen3-30B Вроде как базарит всегда на уровне тупого негра 60 айкью, чего геммы не могут, сбиваясь в нейробредни. QAT версию я правда не нашел как для Геммы.
>>1189157 Если предполагается что чар не знает её, но она есть в контексте, то либо чар будет выбалтывать её сразу (даже на топовых по мозгам сетках типа гемини и клода у меня это случалось), либо сетка будет подстраивать рояли в кустах под бэкстори и через несколько сообщений забудет что чар незнаком с бэкстори, в конечном счёте он всё равно выболтает.
Если ты хочешь спрятать от лоботомита что-либо - спрячь это из контекста до поры до времени.
В этом треде обсуждаем генерацию охуительных историй и просто общение с большими языковыми моделями (LLM). Всё локально, большие дяди больше не нужны!
Здесь мы делимся рецептами запуска, настроек и годных промтов, расширяем сознание контекст, бугуртим с кривейшего тормозного говна и обоссываем калотарок.
Тред для обладателей топовых карт NVidia с кучей VRAM или мажоров с проф. картами уровня A100, или любителей подождать, если есть оперативная память. Особо терпеливые могут использовать даже подкачку и запускать модели, квантованные до 8 5 4 3 2 0,58 бит, на кофеварке с подкачкой на микроволновку.
Google AI Studio Candidate text empty {candidates: [ { finishReason: 'OTHER', index: 0 } ] Google AI Studio Candidate text empty {сandidates: [ { finishReason: 'OTHER', index: 0 } ] Google AI Studio Candidate text empty {сandidates: [ { finishReason: 'OTHER', index: 0 } ]
Да что блять происходит - они фильтр обновили что-ли?
На работе начальник по охране труда ебнулся на нейросетях и задумал конкурс плакатов на тему охраны труда сгенерированных нейронками. Я в душе не ебу за все это. Помогите наклепать картинок пж
Вышла версия 1.5 Allegro, по функционалу то же, что и 1.5, только в два раза быстрее. Лимит 400 кредитов в месяц (или 200 генераций по 33 секунды каждая) при условии ежедневного захода на сайт - 100 кредитов даются в месяц, и еще 10 кредитов даются ежедневно. Также можно фармить кредиты, выполняя специальные задания по оцениванию качества рандомных треков, это дает не больше 10 дополнительных кредитов в день. Для большего числа кредитов и более продвинутых фич типа инпэйнтинга или генерации с загруженного аудио нужно платить. Появилась возможность генерировать треки по 2 минуты 11 секунд, не больше 3 длинных треков (по 2 версии на каждый трек) в день на бесплатном тарифе.
Новинка, по качеству звука на уровне Суно или чуть выше. Пока БЕСПЛАТЕН и безлимитен, но халява скоро закончится. Может в русский, среднее понимание промпта, стили очень общие. Плюс в том, что скорость генерации очень высокая.
Это буквально первый проект который может генерировать песни по заданному тексту локально. Оригинальная версия генерирует 30-секундный отрывок за 5 минут на 4090. На данный момент качество музыки низкое по сравнению с Суно.
Еще сайты по генерации ИИ-музыки, в них тоже низкое качество звука и понимание промпта по сравнению с Суно, либо какие-то другие недостатки типа слишком долгого ожидания генерации или скудного набора жанров, но может кому-то зайдет, поэтому без описания:
Напомню мега-сайт для сочинения аутентичных англоязычных текстов для ИИ-музыки в стиле известных групп и артистов от Пинк Флойда до Эминема. Зайти можно только через Дискорд.
В этом треде обсуждаем генерацию охуительных историй и просто общение с большими языковыми моделями (LLM). Всё локально, большие дяди больше не нужны!
Здесь мы делимся рецептами запуска, настроек и годных промтов, расширяем сознание контекст, бугуртим с кривейшего тормозного говна и обоссываем калотарок.
Тред для обладателей топовых карт NVidia с кучей VRAM или мажоров с проф. картами уровня A100, или любителей подождать, если есть оперативная память. Особо терпеливые могут использовать даже подкачку и запускать модели, квантованные до 8 5 4 3 2 0,58 бит, на кофеварке с подкачкой на микроволновку.
>>1179083 >Анон выше кинул ссылку с джейлбрейком ломающим любые модели одним промптом. О, Немотрон новый попробовать надо, а то он никому не нужен для тюнов, а модель вроде умная.
У меня framepack пытается использовать 30 гб врам? На гитхабе есть такая проблема, но никто решения не дал. На ютубе у всех просто из коробки нормально работает на 8 гб. У меня 32 гига оперы и файл подкачки 32.