LTX 2.3 — Lipdub LoRA + Voice Clone

Загрузите driving-видео и задайте нужные реплики, чтобы сгенерировать lipdub вашего видео с помощью LTX 2.3. Затем рабочий процесс клонирует озвучку обратно в голос исходного персонажа через Chatterbox. Это полностью open source рабочий процесс для замены речи вашего персонажа в driving-видео.

Input

Describe the person and the scene, and write the new line in quotes after 'saying:'.

A clip of one person talking, with its audio. Their face and voice are reused.

First-pass height; the output is twice this (544 → 1088).

Default: 544

First-pass width; the output is twice this (960 → 1920).

Default: 960

Advanced settings

What to avoid.

Leave empty for a new result each run. Enter a number to repeat one.

Output
00:00
Example

Попробовать пример

Об этом рабочем процессе

Этот Рабочий процесс собирает полный open-source пайплайн lip-dub на базе LTX 2.3 и конвертации голоса Chatterbox. Вы даёте «ведущее» видео с говорящим человеком и текст реплики, которую он должен произнести. LoadVideo загружает клип, а GetVideoComponents извлекает кадры, FPS и оригинальное аудио. Введённый текст проходит из промпта PrimitiveStringMultiline через RegexReplace для очистки пунктуации и пробелов, затем попадает в ноду LTX 2.3 Lipdub (пользовательская нода с ID 1e1eaad5-a949-4d3e-9a68-694e64a936a0). Эта нода применяет Lipdub-файнтюн LoRA к LTX 2.3, чтобы перетаймить формы рта под ваш текст, сохраняя идентичность персонажа, движения головы и контекст сцены.

Для аудио тот же текст управляет временной дубляжной дорожкой, которая затем передаётся в FL_ChatterboxVC. Используя оригинальное аудио видео (из GetVideoComponents) как голосовой референс, Chatterbox VC переозвучивает дубляж так, чтобы он совпадал с тембром и вокальными особенностями говорящего. В конце CreateVideo собирает отредактированные кадры и клонированное аудио с исходным FPS, а SaveVideo записывает финальный lip-sync рендер. Обратите внимание на правило размеров из MarkdownNote: задавайте ширину × высоту входа как половину от желаемого финального размера (например, 960×544 на входе даёт ~1920×1088 на выходе).

Вопросы и ответы