1. Wan от Alibaba
https://huggingface.co/collections/Wan-AI/wan22
VACE модели:
https://github.com/ali-vilab/VACE
https://huggingface.co/Wan-AI/Wan2.1-VACE-14B
https://huggingface.co/Wan-AI/Wan2.1-VACE-1.3B
2. LTX-2.3 - делает локальную генерацию грейт агейн. Подходят лоры от 2.0
https://huggingface.co/Lightricks/LTX-2.3
3. Hunyuan от Tencent
https://huggingface.co/tencent/HunyuanVideo-1.5
4. Ovi
https://huggingface.co/chetwinlow1/Ovi
5. Starflow
https://huggingface.co/apple/starflow
6. MAGI-1 от Sand AI
https://sand.ai/magi
https://github.com/SandAI-org/MAGI-1
7. LongCat-Video
https://github.com/meituan-longcat/LongCat-Video
https://huggingface.co/meituan-longcat/LongCat-Video
https://meituan-longcat.github.io/LongCat-Video/
8. MOVA
https://github.com/OpenMOSS/MOVA
Локальный UI
https://github.com/comfyanonymous/ComfyUI
Установка локальных моделей
Wan 2.2: https://comfyanonymous.github.io/ComfyUI_examples/wan22/
Wan 2.1: https://comfyanonymous.github.io/ComfyUI_examples/wan/
Hunyuan Video (осторожно, ссылки в туторе на предыдущую модель): https://comfyanonymous.github.io/ComfyUI_examples/hunyuan_video/
Гайд для использования Wan 2.2
https://alidocs.dingtalk.com/i/nodes/EpGBa2Lm8aZxe5myC99MelA2WgN7R35y
Альтернативные ноды ComfyUI
Hunyuan Video: https://github.com/kijai/ComfyUI-HunyuanVideoWrapper
Wan: https://github.com/kijai/ComfyUI-WanVideoWrapper
Где брать готовые LoRA
https://civitai.com/models
Обучение LoRA
https://github.com/tdrussell/diffusion-pipe
Терминология моделей
prune — удаляем ненужные веса, уменьшаем размер
distill — берем модель побольше, обучаем на ее результатах модель поменьше, итоговый размер меньше
quant — уменьшаем точность весов, уменьшаем размер
scale — квантуем чуть толще, чем обычный fp8, чтобы качество было чуть лучше, уменьшение чуть меньше, чем у обычного квантования, но качество лучше
merge — смешиваем несколько моделей или лор в одну, как краски на палитре.
lightning/fast/turbo — а вот это уже просто название конкретных лор или моделей, которые обучены генерировать видео на малом количестве шагов, они от разных авторов и называться могут как угодно, хоть sonic, хоть sapogi skorohody, главное, что они позволяют не за 20 шагов генерить, а за 2-3-4-6-8.
Предыдущий тред
>>1554318 (OP)
Есть видео персонажа на котором он двигается, но не говорит, либо говорит - просто рандомно шевелит губами и аудиодорожка которую я хочу чтобы он сказал. В LTX2.3 хороший липсинк на крупных кадрах. Идея оставить само видео практически без изменений и налепить липсинк. Если можно такое сделать поделится ктонибудь ВФ по этой теме?
Вот пошаговая инструкция, как внедрить каждую из этих технологий в твой ComfyUI для RTX 4070:
1. Реализация SageAttention
Самый важный шаг для видеомоделей (Wan 2.1/2.2).
Установка: Проще всего через расширение ComfyUI-SageAttention.
Применение: В Workflow добавь узел "SageAttention Loader". Соедини выход MODEL твоего лоадера (например, Wan2.1 Loader) со входом узла SageAttention, а его выход — дальше в сэмплер.
Что дает: Ускоряет математику внимания внутри модели на ~30-50%.
2. Реализация TeaCache
Позволяет пропускать похожие шаги генерации.
Установка: Установи расширение ComfyUI-TeaCache.
Применение: Добавь узел "TeaCache Patch". Он ставится в разрыв между моделью и сэмплером.
Настройка: Установи параметр threshold на 0.1 (почти без потерь) или 0.25 (максимальное ускорение).
Что дает: Сокращает время генерации в 1.5–2 раза за счет уменьшения реальных шагов вычислений.
3. Реализация Model Compilation (Торч-компиляция)
Требует наличия Triton и свежего PyTorch (2.4+).
Применение: Используй узел "ModelCompile" из набора ComfyUI-ExtraModels или встроенный функционал в продвинутых лоадерах.
Нюанс: Первый запуск будет идти 5–10 минут (черное окно консоли) — это нормально, идет сборка ядра под твою 4070. Последующие генерации станут ощутимо быстрее.
Важно: Работает только на Linux стабильно, на Windows требует установленного Triton для видеокарт 40-й серии.
4. Включение FP16 Accumulation (Параметры запуска)
Это настройка самого экзешника ComfyUI.
Как сделать: Отредактируй свой .bat файл (например, run_nvidia_gpu.bat).
Добавь флаг: В строке запуска допиши --fast.
Пример: .\python_embeded\python.exe -s ComfyUI\main.py --windows-standalone-build --fast
Что дает: Включает оптимизированные пути вычислений для архитектуры Ada Lovelace (RTX 40).
5. Использование GGUF (Квантование)
Чтобы модель 14B влезла в 12 ГБ VRAM без тормозов.
Установка: Установи расширение ComfyUI-GGUF.
Применение: Скачай модель Wan 2.2 в формате .gguf (ищи на HuggingFace от пользователя city96 или bartowski). Используй узел "Unet-GGUF Loader" вместо стандартного.
Выбор: Для 12 ГБ VRAM бери версию Q4_K_M или Q5_K_M.
6. Стратегия "Low-Res + RIFE" (Workflow-хак)
Вместо долгой генерации 60 кадров:
В сэмплере Wan 2.2 выстави frame_count: 16 или 32.
После генерации пропусти видео через узел "RIFE VFI" (из набора ComfyUI-Video-Helper-Suite).
Выстави multiplier: 2 или 4.
Результат: Ты генерируешь 2 секунды видео, а на выходе получаешь плавные 8 секунд за счет того, что ИИ «дорисовывает» промежуточные кадры.
С чего начнем? Могу скинуть прямую ссылку на проверенный GGUF-файл Wan 2.2 для твоей карты.
они работают вместе все?
Да, большинство этих технологий отлично работают вместе, создавая «эффект синергии», когда каждый слой оптимизации ускоряет процесс еще сильнее.
Вот как они сочетаются в одной цепочке (Workflow):
1. Идеальная связка (Рекомендуется для 4070)
GGUF + SageAttention + TeaCache: Это «золотое трио».
GGUF экономит VRAM, чтобы модель не тормозила из-за выгрузки в оперативную память.
SageAttention ускоряет математику внутри каждого шага.
TeaCache просто выкидывает лишние шаги.
Результат: Вы получаете максимально возможную скорость для Wan 2.2 на 12 ГБ памяти.
2. Что НЕ работает вместе (Конфликты)
Nunchaku + SageAttention/TeaCache: Как мы обсуждали ранее, Nunchaku — это «закрытая» экосистема. Она использует свои ядра, которые не позволяют SageAttention вклиниться в процесс.
Model Compile + SageAttention: Иногда могут конфликтовать на Windows. Если вы используете ModelCompile, SageAttention может вызвать ошибку «Triton kernels not found». Лучше выбрать что-то одно (для видеомоделей SageAttention эффективнее и проще в настройке).
3. Как это выглядит в ComfyUI (Схема подключения)
Если вы соберете всё вместе, цепочка узлов будет такой:
GGUF Loader (Загружает экономную модель).
➡️ SageAttention Loader (Патчит модель для быстрой математики).
➡️ TeaCache Patch (Патчит модель для пропуска шагов).
➡️ Sampler (Начинает генерацию).
➡️ RIFE / Upscale (Увеличивает плавность и размер уже готового видео).
Итоговый совет:
Для вашей RTX 4070 самым стабильным и быстрым набором будет:
Флаг --fast при запуске + GGUF модель + SageAttention + TeaCache.
Эта комбинация позволит вам генерировать видео Wan 2.2 в несколько раз быстрее, чем «из коробки», не вызывая при этом ошибок совместимости.
Хотите, я помогу составить правильную строку запуска (батник) со всеми нужными флагами для вашей карты?
Нет я умный. Делаешь с помощью любой картиночной edit модели голую версию тян во время ебли, и делаешь два ролика. Потом клеишь. Получаешь 100% экспириенс >>1593720 →
только без лишних лор.
Motif-Video 2B
Open-source 2B DiT, 720p at 121 frames, one checkpoint for both T2V and I2V.
83.76% on VBench Total, highest among open-source, beats Wan2.1-14B at 7x fewer parameters. Caveat: Wan2.1-14B still wins on temporal stability and fine human anatomy in blind tests.
тыкал кто? уже есть нода для комфи
https://github.com/MotifTechnologies/ComfyUI-MotifVideo2B
Это костыльно и долго, иначе б не спрашивал советов, я сам уже нашел, идиот.
Нашёл? Поделись. Иначе идиот тут ты.
И да, мой способ проще и лучше.
Ладно, я думал ты трлишь, а не заинтересован в этом вопросе, раз такие советы даешь, но реально идиот получается на костылях ходишь. Нужна всего лора на cinematic hardcut и в промптах тоже hardcut.
>по загадочным причинам
Вижу на видео как минимум две веские причины.
на моем среднем конфиге полутора-минутный видеоролик среднего качества влезает вполне
А есть рабочий v2v воркфлоу под ltx2.3 под озвучку? Поделись, пожалуйста, если не трудно
я для этой задачи тупо адаптировал тот что гуглится на реддите для LTX2 (вот отсюда брал :
hps://www.reddit.com/r/StableDiffusion/comments/1q916xs/you_can_add_audio_to_existing_videos_with_ltx2/
а тот чел видимо переделывал штатный вф (был у киджая) для дубляжа,
понятное дело я поменял все пути к моделям для LTX2.3, ну и приукрасив слегка нодами интерполяции + под себя переделал, например кабель перетащить с фиксированного фпс чтоб можно было его перенастраивать, но это мелочи, оно и без них работает предупреждаю что тот вф слегка накуреный потому что ltx нужно 24 кадра в процессе генерации, соответственно количество кадров нужно строго определенное указывать, при этом то что у тебя будет в изначальном видео и в том что тебе хочется делать можно указывать другое значение fps, если возникает ошибка vae encode значит количество кадров на вход не совпадает с тем что умеет жрать ltx, самый идеальный вариант конечно если у тебя изначально видео в 24 кадра в секунду и ты генеришь на его основе звук с новым видео 24 кадра, тогда ничего делать лишнего не нужно, будет работать сразу из под коробки,
и видео лучше хорошего качества скармливать, тогда ии будет понимать что там
Сам спросил, сам ответил. Если между Repeat Latent Batch и сэмплером вставить Rebatch Latents со значением 1, то оно латенты будет по одному передавать, а не ебанет туда всю пачку.
Я правильно понимаю что у тебя видяха с маленьким ВРАМ и ты пытаешься ускорить генерацию, помогает такое?
Можешь скрин воркфлоу скинуть?
мимо ньюфаг
Благодарю, буду изучать.
>>1601749
Идея неплохая. Интересно, насколько ускорит, если у меня 12 ГБ ВРАМ, а модели fp8/Q8 по 14-20 ГБ? Если модели полностью помещаются результат должен быть приличным.
Поделись примером воркфлоу для теста, пожалуйста.
>>1601809
Насколько я понял идею анона, это поможет при генерации пачки видео из одного воркфлоу для подборки seed'f, силы лор и подобных вещей.
На генерацию одного видео не повлияет.
Лучше будет работать, если одна часть модели (в смысле high/low) целиком или почти целиком, если только половина - эффекта не будет.
что бы я не делал какие бы промпты не писал всегда играет почти однотипная полусимфоническая ебанина, словно какая то мелодия затычка
>seed'f
seed'а
>целиком или почти целиком
помещается в видеопамять
фикс
>>1601969
У меня 16гб вирама и столько же древнего рама лол, плюс файл подсрачки на ссд. Бутылочное горлышко возникает из-за постоянной загрузки и выгрузки моделей из памяти. Если пачками обрабатывать, то на условные 5 генераций модели грузятся 1 раз вместо 5.
Пикрел просто картинка без воркфлоу.
Чет нихуя не понял, 5 генераций одного и того же? И что значит 5 генераций, это типа когда 5 раз кнопку ран нажимаешь?
За один запуск он тебе выдаст столько видосов, сколько задано в Repeat Latent Batch. Сид при этом обновляется, результаты будут разные.
А какой в этом смысл? Я же за один запуск смогу подать только 1 скажем картинку.
Генеришь несколько вариантов, выбираешь лучший. Если заморочиться, можно и разные картинки с разными промптами подавать.
Но оно же дольше будет генерить, чем если бы я генерил просто один раз? При том, что я не знаю, может с первого раза получится нормально. Тоесть этот способ просто увеличивает время генерации на ровном месте. Очень странно.
У меня 5 видео через сэмплер проходят быстрее, чем один раз модель загрузится.
Топове решение подождать лет 5 нормальных видеокарт и моделей.
Понял, благодарю, seed variation оказывается очень просто сделать)
>У меня 16гб вирама
У тебя все варианты, все кроме fp16, за раз помещаются и на одном семплере нет выгрузок/подгрузок - в этом случае должно сильно разогнать. Есть цифры?
У явно будет скромнее, надо потестить.
>>1602098
Тебе никто не мешает делать по одному ролику, пока ты подбираешь промпт, меняешь картинки и прочее.
А когда у тебя уже получается плюс-минус то, что ты хочешь - прогнать пачкой в поисках более удачного сида или еще каких-то продвинутых вещей.
Я полагаю, есть способ запустить 5 разных картинок из папки и/или 5 разных промптов из файла.
Если у тебя момент выгрузки хай-модели и загрузка лоу в видяху - бутылочное горлышко ты можешь условно сгенерить 5 вариантов видосика по такой схеме, как 2 по обычной.
>Если у тебя момент выгрузки хай-модели и загрузка лоу в видяху - бутылочное горлышко
А как это определить. Я вообще не ебу откуда они грузятся, по частям они грузятся или целиком.
Квен например 25 гиговый у меня тоже работает. Хотя видюха 12 гигов.
>>1602298
> будет скромнее, надо потестить.
Железо: 4070 12 ВРАМ, 96 ОЗУ
Размер моделей 13853MB, где-от 1,2 ГБ ВРАМ жрет в простое
Обычный запуск
100%|██████████| 2/2 [01:19<00:00, 39.76s/it] хай
100%|██████████| 2/2 [01:20<00:00, 40.24s/it] лоу
Prompt executed in 195.83 seconds
5 штук пачкой
100%|██████████| 2/2 [01:20<00:00, 40.07s/it] хай
100%|██████████| 2/2 [01:15<00:00, 37.77s/it]
100%|██████████| 2/2 [01:16<00:00, 38.31s/it]
100%|██████████| 2/2 [01:20<00:00, 40.20s/it]
100%|██████████| 2/2 [01:14<00:00, 37.47s/it]
100%|██████████| 2/2 [01:16<00:00, 38.31s/it]
100%|██████████| 2/2 [01:14<00:00, 37.33s/it]
100%|██████████| 2/2 [01:15<00:00, 37.77s/it]
100%|██████████| 2/2 [01:20<00:00, 40.07s/it] лоу
100%|██████████| 2/2 [01:15<00:00, 37.77s/it]
100%|██████████| 2/2 [01:15<00:00, 37.86s/it]
100%|██████████| 2/2 [01:14<00:00, 37.24s/it]
100%|██████████| 2/2 [01:15<00:00, 37.64s/it]
Prompt executed in 00:14:16 (856 секунд)
экономия на пачке
195.83*5 - 856 = 123,15 секунды
123,15 / 5 = 24,63 - на одном видосе, среднее
Сокращение времени, среднее 24,63 / 195.83 = 0,1257 = 12,57%
Пытался запустить Q4_K_M, но у меня GGUF отказывается полностью грузится в карту и генерирует за тоже время, что и fp8. То ли руки кривые, то ли я чего-то не понял.
>>1602301
Упрощенно, каждый шаг в ksample - проход по всем слоям модели (для примера - 100). Если в видеопамять поместилась только часть слоев (например 80), то после прохода по ним, часть слоев (20) выгрузится из видеопамяти и на их место загрузятся новые.
То есть каждый шаг эту колоду будет дрочить туда-сюда.
У анона мало ОЗУ и она медленная, поэтому загрузка-выгрузка происходит еще и в своп на диске, что максимально медленно, но его 16ГБ ВРАМ хватает на хай-модель ну и сама карта быстрая наверно, поэтому сам проход семплера достаточно быстрый. Поэтому его идея будет давай максимально большой прирост
>Квен например 25 гиговый у меня тоже работает. Хотя видюха 12 гигов.
У тебя и flux-dev на 100 гб заработает, если оперативки свопа на диске хватит) Работать правда будет очень медленно
Я что то колупался с этим и по итогу сдался посчитав это не выполнимой задачей на программном уровне. Само устройство двух ксамплеров не позволяет генерировать сначала хай потом лоу. Ведь в конечный латент, который передаешь в следующий сегмент генерации, уже должен содержать генерации от хай и лоу, иначе никакой конситсентности не получится.
>>1602358 А, понял ты писал про генерацию одного и того же ролика, тогда да - будет работать, но вот в последовательных видео - увы.
Что по генерации маняме? Оно менее ресурсозатратно для ВРАМ?
>последовательных видео
Точно не будет, только "независимые" видео ролики для черрипика.
Я уже предлагал варианты использования выше:
- перебор сидов;
- подбор силы лоры;
- перебор вариантов первого кадра;
- перебор промптов;
- вариации озвучки.
>>1602461
По качеству в среднем хуже, почти все модели хуже работают с аниме. Разницу по ВРАМ как-то не ощутил
В чем не прав? Минусы интересно есть еще какие то?
Везде примерно одна и та же фоновая унылая духовая музыка даже на всех видеопримерах с civitai где люди пробуют анимацию делать в этой модели, нормальная музыка отсутствует как сущность. Даже если накидать весов типа на такой то секунде играет мощный бит, он будет играть почти не слышно.
Предполагаю что разработчики так сделали намеренно чтобы не нарваться на туеву хучу копирайтов, особенно от японцев или диснея.
Тут видимо придётся или лор ждать кто сообразит музыку с анимацией скрестить или просто на своём аудио генерить уже через S+I2V вф стандартный
[p.s. с не анимационными роликами такого у модели поведения нет, модель может клепать вполне годное музло и с вокалом и без
800X600 - 23 секунды на шаг. Больше я не делаю только апскейл. Карта 4070s
имхо чтобы его избегать нужно в бОльшом разрешении генерить желательно вообще в самом максимальное которое тянет система и референс не во всратом качестве пихать
Юзаю Serverless Endpoint чтобы постоянно не платить за аренду карточки и у меня вопрос.
На ранподе есть шаблоны готовые. В этой репе есть и сама модель и API для нее и все ноды с вф предустановленные. Кароче кайф, но тут проблема в том что менять что-то в самом репозитории проблематично.
Я могу через нетворк вольюм поменять некоторые небольшие файлы, просто в баш скрипте перед стартом воркера заменить их, и это занимает секунды времени при старте.
Но проблема щас заключается в том, что я не могу прихуярить туда SVI, так как тех нод что предустановленны в репозитории - недостаточно. KJnodes там есть, но он старой версии, без SVI, а качать их перед стартом воркера - это очень долго и сильно повысит стоимость каждой генерации
Кто знает, что если я сделаю форк этой репы, а потом соберу ее сам, не будет ли ебучий ранпод скачивать для каждого воркера мой репозиторий всегда? А это десятки если не сотни ГБ из-за моделей и декодеров.
Репозиторий на пикриле же закеширован внутри ранпода, поэтому он его грузит быстро. Если будет, то есть ли у кого решение этой проблемы?
Протестировал за последние два месяца всё что можно, наиболее оптимальный вариант пока выглядит всё тот же локальный svi ван, а это долго ужасно рандомно, нет встроенного звука, но с ним хоть что то приличное можно сочинить если как следует поебаться. LTX2.3 не обучен 2d аниме, только картунсы, все текущие лоры на аниме 98% делают кал, нр можно потрахаться сделать неплохо для этого надо наверное часов эдак 40 посидеть. Тут надежда только на то напихают ли аниме в следующую версию модели или найдется боярин с бабками натренирующий жирный топовый файнтюн (ну типа как Lodestone с хромой).
онлайн Клинг неплох, знает много аниме (если например написать сгенери в стиле Призрака в Доспехах) но частенько косячит в стиле примерно на уровне ltx, хоть и не добавляет сильно CGI-щины, но она в нём увы присутствует, + ещё он неебаться дорогой и цензурный, если б цензуры не было и подписка была адекватная то можт на нём бы и сидел, по аниме он примерно как и Грок, этот тут уже его сравнивали, жаль что оно там хентайщину за пейволом держит, если ещё не снесли. Грок примерно как ван иногда может а то и веселее, только вот пользоваться им ну такое.
Гугловый вео в нормальное аниме вообще хуйню какую то делает (обычные мульты в целом ок), мне кажется видеомодели не их тема, остальные модели от гугла в целом прекрасные (живу с жемини и локальной гемме годами, иногда слегка изменяя с квеном).
сэмпл с клинга если что, не локалка. ну и вановский старый.
И правильно понимаю, что среди онлайн инструментов сейчас топовый для аниме это Seedance? Но я так понимаю, это что-то очень дорогое?
Меня интересует как он делает порно и работает относительно самой жесткой цензуру, без базы, остальное ерунда.
>а не вылезать как слайд шоу
Ускорь отдельно в видеоредакторе.
Вот показываю наглядно что не так, хотя мне стыдно такое постить.
Ты пытаешься все за раз сделать. Склей три видео в одно и все получится.
Первое у тебя есть >>1603387 .
Во втором сделай ласт фрейм без жидкостей, чтобы модель нормально анатомию сгенерировала.
А в третьем используй ласт фрейм который хотел.
Я так и делаю отдельно, последний фрейм с фапчей. Причем заметил на крайне низком разрешеении происходит как надо
Что ты так и делаешь? Тебе же сказали первый ролик i2v ебля, второй ролик на ласт фрейм - вытащенный писюн, 3 ролик ласт фрейм - конча на всю спину. Направление движения и источник кончи надо описать в промпте. Еще желательно добавить физ параметры что конча жидкая/густая fluid в общем.
Это не работает, "Лицевое" тоже, он по-еврейски рендерится, ну лан похуер.
А че ты 5 секунд клеешь долбодятел совсем седня ЛТХ тебе 20 секунд даст с той же скоростью и одним видосом тут уже можно плучается минутное видео на корыте(почти) делать локально если еще склеивать епта.
>Это не работает
https://civitai.red/models/2447875/ltx23-10eros?modelVersionId=2892069
Лтх это мертворожденный кал. Модель - ошибка. Она непригодна вообще кроме мультиков и анимации какой нибудь для детей
>>1603785
Раз воркфлоу даешь подглядеть, то даже критиковать не хочется недочеты, малаца, все вылетает. А где вообще лоры взял?
с виду он сильно лучше для нсфв, чем все остальные модели. Судя по первым тестам. Эта модель хотя бы лучше анатомию понимает без всяких лор. Не идеально конечно, но лучше. Только промпт лучше через Грок генерить или другие бесцензурные ллм.
Да тут проблемы в основном что исходного материала мало и лень возиться было, по быстрому в квене наклепал недостающи кадров. Иметь хорошие старт и энд фреймы - считай пол дела сделано. Можно было бы момент с кончёй распилить на 2 отрезка по 41 кадру и лучше бы все получилось. Ну и еще какую нибудь лору на аниме поверх наложить не помешало бы, но у меня таких нет так как аниме не генерю.
Лоры на civit брал.
https://huggingface.co/SulphurAI/Sulphur-2-base
Киньте рабочий воркфлоу для fp8, а то у меня артефакты полезли.
А как ты нарезал чтоб без стыков? Обычно 1 фрейм как бы контрасней, а последний щатемняется немного. Это в комфи самом можно?
Я поставил значение 2 которое снизу вот идет. Я ожидал, что будет выполняться то, что подключено в 2. Не пойму, что нетак.
Каким воркфлоу пользуешься для таких нейроситей NSWF чтобы без протекшен файла был. А то у меня только с ним, а те что без него не работают со звуком. Мне надо чтобы были ItV и TtV, и voice+ItV и TtV желательно.
Для ЛТХ использую отсюда basic вариант https://huggingface.co/RuneXX/LTX-2.3-Workflows/tree/main. Там много и других ВФ и они все для ЛТХ, но под разные задачи
Ну у тебя весь стык что ты анимедаун, а если без этой хуйни смотреть то ЛТХ даже неплох. И я уже много по нему воркфлоу моделий и прочего в тырнетах видел, которые при том неплохо склеивают разные видосы в однин делая более длинные ролик, довольно качественно и без проебов, даже звук голосов не проебуется.
Мысли?
кванты давай, как я тебе 25 гигов в народную картонку умещу
там же лора есть. переранкуй под себя
кста кто-то eros лору уже запилил в разных размерах
https://huggingface.co/maximsobolev275/LTX-10Eros-LoRA-r768
> переранкуй под себя
в смысле экстрактировать лору? для этого же рама надо вагон, 50 на вычитаемое и 50 на вычитатель
Да какие мысли. Слишком эта нейросеть заставляет любой промт ебаться вместо того что ине нужно, как какая-то спец лорас выкрученным влиянием по сути. А мне допустим не интересны классические вещи типо обычного секса в виде попака на лицо и ебли. Что-то инное цензурное запостить особенно кроме порно тяжело
Зато быстро, как мне надо. К слову я олд и на наклейки с жвачек мог подрочить, а вам фпсов мало.
что ни пробую, она категорически отказывается.
У кого до 5-8GB vram советую вообще сдриснуть с треда, генерация видео не для вас
Задай сам себе вопрос в чём это должно визуально выражаться, если сможешь сам ответить, то сформулируй это в виде промпта для нейронки и поопробуй, если ты сам не знаешь чего хочешь, то какого хуя ты хочешь от нейронки? Облако зелёного дыма можно и в видеоредакторе наложить, если нужно чтобы анус расширился то так и пиши
По хорошему, цифры из этого поста должны быть 20-24 гг. Да и то энтри левл.
Понял, имел ввиду тебе это важно или лишь бы любая напердела на лицо?
Ты же в курсе, что видео-модель нахуй не надо в видеопамять умещать? Тока контекст имеет значение, замедление не критическое (а иногда отсутствует).
Я боюсь за этот тред.
да я хз, я полтора года назад только картинки делал, получается можно без квантов скачать и всё норм будет?
Использую их стандартный вф без изменений с теми же моделями.
Голосовой vae из их safetensor'а выдаёт просто кривой шум. Стандартный LTX 2.3 audio vae звук генерит но уж слишком какой то адский, кринж с рассинхроном, криками и левыми спецэффектами.
Может какой то волшебный параметр подкрутить в вф?
По поводу видео в целом норм, выходит неплохо, уменьшается количество лор которые нужно подрубать. Пока не успел как следует оценить, вожусь третий день с ней. Слегка спорная штука, время генерации по сравнению с LTX 2.3 намного больше из за метода генерировать видос как ic референс для картинки, в итоге нивелируется один из главных плюсов LTX 2.3 - быстрая генерация.
Если оперативы хватает — то да. Или файл подкачки увеличивать.
Кванты помогают чисто оперативу сэкономить, чтобы ssd-диск файлом подкачки не мучать.
У меня 128 оперы, я bf16 гоняю. Добирается до 72-92 по ситуации.
Я вчера попробовал разобрать на составляющие сульфур.
В итоге, аудио вае и видео вае пошли нахер, а вот проектор мне показался КАААПЕЛЬКУ лучше оригинала. Саму модель я в итоге гружу из полной модели, а аудио вае и видео вае гружу оригинальные.
Итого 46 гигов мэйн модель, 2 гига сульфур проектор (может его тоже можно грузить из мэйн модели, не ебу, ну и качество совсем чуть-чуть лучше, и то могло показаться), вае старенькие, гемма аблитаретед (херетик говно какое-то).
Звук не асинхронится, вроде бы, все норм, качество анимации выше, цензура ниже, качестве генерации мультипликации и аниме — лучше (оригинал все в 3D хуярил реализм ебать).
Сульфур мне понравился.
Эрос выдал какое-то говно, я его и дропнул.
Но это так, один вечер покатал, тезноры подрочил, могу быть не прав.
По ощущениям, анимация приблизилась к Ван, на самом деле.
Но артефакты присутствуют.
Весь отзыв о дистилл модели, конечно, а не дев.
>I am only affiliated as an i2v tester and consultant. This is my personal merge of the actual data and it uses different training steps and layer scaling to create a consistent flexible I2V focused version. Future versions (v2+) will be actually fine tuned by me personally aimed at filling in gaps and weak concepts.
Пробовал только first to last frame. А есть примеры вф, где модель считывает несколько референсов в начале, или же промежуточный кадр, помимо первого и последнего?
WAN 2.2 разумеется.
а если вытечет в подкачку случится замедление х10-20 или не? в принципе у меня есть ненужный ссд на псие
Там же несколько моделей. ЛТХ отдельно работает, ваешки отдельно, гемма отдельно. В оперативе хранятся все, для быстрого свапа. Поэтому и получается 70 гигов, но во время инференса одной модели — требуется меньше, конечно. Но для LTX-2.3 bf16 46 гигов все еще надо, поэтому иметь 48-64 гига желательно.
Поэтому, владельцы 32 гигов предпочитают fp8 или gguf-кванты. Меньше весят — не замедляется из-за файла подкачки.
А лишний диск — база. Нынче это дешевле оперативки…
про артефакты чел который эросом занимается целый дисклеймер написал, и один хер ответ в стиле типа пробуйте крутить параметры в вф, ну такое себе
про косяки с vae и звуком вообще нигде не могу найти в чём причина, на реддите тишина, а проблема явно присутствует не только у меня, мне в ltx 2.3 как ни странно больше звук волнует к слегка покоцанной картинке я привык, да и картинку при случае можно и в ване нарулить, а вот звук такого уровня хуй где нарулишь, в итоге вернулся пока на ltx-2.3-22b-distilled-1.1 который довольно стабилен по сравнению с этими новыми тюнами
Не знаю что у тебя там со звуком. У меня всё нормально. Но так как я нищий 12+16 то юзаю лору ерос, а не модель. Сравнивал с дефолт лткс, небо и земля по nsfw.
та же хуйня, вроде грузится но черный экран. через vрn работает нормально. при отключении vрn процесс закачки можно продолжить и всё скачается на полной скорости. хз что это.
>>1607676
это мелочь) главное богатые возможности. да и натренировать можно лору на домашнем железе. у меня пока с фоток персоны отлично тренится, схожесть просто вау. а видео ещё не пробовал, мне кажется комп уже не потянет.
вроде в 2020 были какие-то хтонические GAN-генерации, когда всё на видео превращалось в насекомых\кошек\собак\пенисы. может это тоже идёт в зачёт, кек.
у меня раньше были восторги, я каждый день в ней сидел, сейчас восторг совсем поутих, модель очень капризная если начинается генерация того чему она изначально не обучалась (подключаемые лоры иногда это вообще отдельный кринж), сложные сцены с несколькими персонажами чаще всего будут выдавать полный бади хоррор или слабое следование промпту, а простые сцены в стиле 'он пялит бабу в доггистайл' мне не интересны,
я как ы ты сперва погрохал ван, но вот через месяца два снова вернул ван :D
лтх очень хорош в производстве каких нибудь синематик роликов и музыкальных клипов где нет nsfw или аниме, на всё остальное, что в ване делается как два пальца нужно тратить уйму времени и нервов
Интересно сколько ван без лор занимает с 3 сажей и прочими оптимизонами
Да уж. Казалось бы простая вещь, но заставить киношного монстра сесть бабе на лицо как на второй фотке, только спереди, типа в рот трахает, не могу второй день.
Дальше груди не садится либо покрывает целой тушей.
А еще с reverse\upside-down facefuck проблемы.
Тяжко поставить в один кадр персонажей, с которыми нет оригинальных общих кадров. Иногда получается похоже, выцепляя промежуточные и прогоняя снова первый-последний, но в основном глухо.
>всё остальное, что в ване делается как два пальца
прям на одном ване без лор? и не колбасит? есть nsfw чекпоинты нормальные какие-то?
>10 гиг
Это что получается, я на своей сраной 5090 могу обучать в fp8 и получить вменяемый результат?
лол, на 32 гигах, конечно. и еще место останется для генерации в процессе обучения, чтобы поглядеть прогресс.
в общем на fp8 быстрее и точнее даже несмотря на то что в видеопамять не влезает. nf4 это не про скорость и качество, а для тех у кого с оперативкой беда. вот бы поддержку аппаратного nvfp4 завезли
А можешь скинуть чем и как трейнить? Я просто в своё время только SD 1.5 трейнил, лол.
по идее через LTX 2.3 должно нормально быть если оперативы вагон, я по полторы минуты генерил на своём конфиге но так как с транзистами камеры беда иногда, теперь предпочитаю нарезать музыку затем кусками по 40 сек генерить и уже потом монтировать в давинчи, да это не 1 проход но контроля над секциями больше в разы, никогда не видел чтобы весь ролик целиком и полностью от А до Я сгенерировался за 1 проход без косяков, везде что то да вылезало.
видел есть вроде воркфлоу с лупами где можно стыковать чуть ли не до бесконечности, но он вроде только для i2v/t2v а не для si2v
https://github.com/AkaneTendo25/musubi-tuner/tree/ltx-2
скинь файлы из папки docs языковой модели и она нормально пошагово распишет что как сделать. я таким образом всё установил и настроил. гораздо легче чем самому читать простыни английского текста.
Попробую на досуге. Правда сейчас понял, что датасетов тонет, ну да ладно. Меня просто удивляет сама возможность трейнить это на моём конфиге, пусть и в fp8.
Проблемы с upside-down, в датасете подавляющее большинство прямостоящих людей.
>поставить в один кадр персонажей, с которыми нет оригинальных общих кадров
Ну это с лорами реализуемо, а без них я хз как, особенно когда не просто рандом чел, а монстр.
Спасибо! Жаль что ничего нового еще не вышло.
Я нашел похожую тему на реддите, буду разбираться
https://www.reddit.com/r/StableDiffusion/comments/1qj2v6y/fulllength_music_video_using_ltx2_i2v_zit/
О, это вы вовремя, я чуть не начал качать дистилированую модель.
Кстати, прошло много времени с тех пор как я тыкал лтх2,3. А там какой то 1.1 вариант вышел еще. Есть ли разница?
>Ну это с лорами реализуемо, а без них я хз как, особенно когда не просто рандом чел, а монстр.
Таки остается играть с промтами и параметрами пока не получится нечто похожее на оригинал, ага
Кто то писал что типа есть и мол вау какой классный апдейт, сектанты видимо ) я лично разницы не увидел
Вдруг кто знает, сразу ссылкой.
Feast (2005)
>>1608236
В общем я немного покурил вопрос. 1.1 фиксит некоторые баги
А именно - ltx-2.3-spatial-upscaler-x2-1.1.safetensors фиксит баг когда в конце видео остаются артефакты, я как раз с этим столкнулся. так что обновлять имеет смысл
Ага! Жаль этой пока так и не удалось пришельца на лицо посадить, такой кадр пропадает
как запускается этот энхансер?
очевидно что как ллм, просто переписывает промпт
This model contains a prompt enhancer. The easiest way to get started with the prompt enhancer is by using it on lmstudio. The way to accomplish this is by going to your model folder inside lmstudio, then opening it up in your file explorer. Create a folder named "Sulphur", then a folder inside that called "promptenhancer". Inside that folder, place the gguf file and the mmproj file. Once you've done that, you should be able to load the prompt enhancer in lmstudio. There is no system prompt for it, just send the text (and an image) you'd like to be enhanced.
на странице сульфура написано
The easiest way to get started with the prompt enhancer is by using it on lmstudio. The way to accomplish this is by going to your model folder inside lmstudio, then opening it up in your file explorer. Create a folder named "Sulphur", then a folder inside that called "promptenhancer". Inside that folder, place the gguf file and the mmproj file. Once you've done that, you should be able to load the prompt enhancer in lmstudio. There is no system prompt for it, just send the text (and an image) you'd like to be enhanced.
Беру для нейронок, чтобы было больше памяти.
Но смущает, что на бумаге разница не такая большая, а где-то даже просер.
Нежели за 7 лет чистый прирост всего 25% за ту же цену, остальное оптимизация и фейковые кадры?
Остальные не рассматриваю, потому что не устраивает размер, потребление питания и разъём.
Если разницы никакой нет, то остановлюсь на облачных вариантах.
конечно имеет смысл, 16гб врам всегда нужны + у блаквеллов оптимизации есть как раз под нейронки. тот же nvfp4 (хотя он поддерживается через жопу)
>>1608846
а в комфи? я попробовал всякие ноды для квена и для геммы. не получилось
я тупой походу, пацаны, нужно более понятное объяснение.
лмстудио единственный вариант?
>>1608865
у 5060 ти куда ядер вдвое больше и встроенная поддержка fp4 вычислений что позволяет больше уместить чем кажется
Это всё выдуманные числа. Написано что 5070 Ti производительнее на 20%, а по факту оказалось что ФПС в играх вырос в 2 с небольшим раза.
лмстудио самый простой вариант. Закинул оба файла в папку с моделями лмстудио, выбрал модель и готово. Никакого пердолинга в комфи. Максимум, что надо, так повысить температуру справа в насройках до 0.7 (а то она по умолчанию 0,1) например и все.
И с ними, и без них. Вот такие замеры получились.
понял, спасибо. а лмстудио с комфи одновременно память могут между собой поделить или надо будет вмешаться ?
19 fps на максималках спустя 5 лет - ну такое
Похоже уперлись в физический предел.
Даже грустно как-то.
Ну это в разрешении 4к с лучами, 5 лет назад такое вывезти вообще ничего не могло, на RTX 3090 в 4к со всеми лучами было 7 фпс, так что не вешай нос Симон, всё ещё впереди.
3090 с таймкодом https://youtu.be/iKrN_COCvQk?si=3qVs_Y1_qEq9i1rf&t=673
Ну а сейчас есть 5090, а это ещё х2 ФПС относительно 5070 Ti, в итоге топ видеокарта стала производительнее в 6 раз.
нет, надо либо руками выгружать, либо использовать ноду которая будет грузить llama.cpp а потом прибивать после выполнения промпта.
На 5090 ещё есть х6 фреймген. Шутки шутками, но 45 фпс -> 250 фпс сейчас выглядят хорошо, артефакты чтоб увидеть надо с лупой сидеть и вращаться как юла.
на скрине пиздеж. 5060 ti в трассировке лучей и ИИ задачах быстрее где-то в 5 раз будет. с 12 гиговой 4070 ti перешел на 5070 ti и не жалею, всё гораздо шустрее ворочаться стало. есть nvfp4 модели, заточенные под 50xx серию, они при почти таком же качестве картинки дают дополнительное x2 ускорение генерации. ну и эти видюхи саморазгоняются даже сильнее чем в официальных спецификациях. например у меня на бумаге турбо-буст до 2450 мгц, 44 тфлопс производительность чистой cuda. на деле - больше.
Комфи там вообще не причем, это GGUF модель, что ты мозги ебешь.
Я купил автомобиль, но как не греб веслом — она не летит.
Если ты прям хочешь встроить в воркфлоу бесшовно и без API — то я не знаю.
llama.cpp запускает эти файлы. ЛМСтудио — обертка над ней, довольно удобная.
Я просто на втором компьютере запускаю llama.cpp с этой моделью, и кидаю картинки с описаниями туда, он мне выдает промпт.
Это Qwen3.5-9B если что.
Вот тут: https://huggingface.co/FusionCow/sulphur_prompt_enhancer_model есть fp8 модель, например.
Успехов.
>>1608865
>>1608885
Вы оба ебанутые по этому сайту мерять, когда есть https://www.techpowerup.com/gpu-specs/geforce-rtx-4070.c3924
4070 ti = 5070, 5070 ti мощнее на 20%
А что там у обычной 4070 я хз.
Но 5060 ti точно стоит брать, 16 гигов к тому же, мастхэв.
Еще и 42к стоит на вб.
>>1608897
Надо будет, но в лмстудио может быть автовыгрузка, я хз, типа обработал запрос — и модель автоматом вылетела через пару секунд, а послал новый запрос — заново загрузилась.
Но все равно такое себе, наверное.
>>1608956
> есть nvfp4 модели
Ну, говно, кстати, флюксы пальцы путают, лтх с лорами замедляется, вроде бы и да, а вроде и нет.
Нужны модели, нативно обученные в fp4, вот там огнище будет.
> 2450
Уже 4070 ti брала 3000 МГц, а 5070 ti у меня в SFF — всего лишь 2600-2800.
>Нужны модели, нативно обученные в fp4
официальные nvfp4 от black forest это пережатые чтоль?
>Уже 4070 ti брала 3000 МГц
чето не припомню. вроде только если подкрутить в афтербернере. 5070 ti 2850 держит стабильно без крутилок, если подвигать ползунки, можно и 3200 получить, дальше лезть не стал. андервольт лучше зашёл, с уменьшением tdp до ~200 ватт.
Ну, там же есть клейн bf16, вряд ли они fp4 с нуля обучали.
Но могу быть не прав.
А 200 ватт — база.
>вряд ли они fp4 с нуля обучали
попробовал bf16 пережать в fp4, примерно такое же качество получил, походу пережали всё таки
Сгенерите пж что-нибудь по этой фразе:
Я видел такое, что вам, людям, и не снилось. Атакующие корабли, пылающие над Орионом; Лучи Си, разрезающие мрак у ворот Тангейзера. Все эти мгновения затеряются во времени, как... слёзы в дожде... Пришло время умирать.
я думаю тому парню кто выше спрашивал можно не париться отдельным бэкендом под ллм. в некоторых вф , например видел такие для ltx 2.3 с промпт энхансерами и релеем сразу картинка идёт в qwenVL ноду она небольшая загружается и выгружается моментально и тут же на лету дополняет промпт, тем что она определила на картинке
p.s легкий крик души во вложении
А почему не в своп? Его ровно для этого и придумали, а видеопамять придумали для другого. А то ведь будешь потом придумывать ещё один костыль, чтобы CUDA в OOM не падала, вместо того, чтобы сделать нормально.
поменяй VAE Decode (Tiled) на пространственновременной декодер
https://www.reddit.com/r/StableDiffusion/comments/1qztn3y/optimal_settings_for_vae_decode_tiled_for_ltx2/
Фразы мало. Надо хотябы стиль и сцену добавить.
Хотя, вот что получилось, слегка расширив на лтх2.3
Кстати, генерил на 3050 8Гб + 64Гб ДДР4
где теперь без соры генерить видосы?
предложите годный сервис
даже платный через какой нить плати сру
локально не предлагать у меня нет инвидии
5090 хватает в целом, но я серьезно посмотриваю в сторону закупки нескольких v100x32gb чисто под нейрослоп-задачи