LTX 2.3 - Lipdub LoRA + Clone de Voz

Envie um vídeo de referência e digite o diálogo desejado para gerar um lipdub do seu vídeo usando LTX 2.3. O fluxo então clona o áudio dublado de volta para a voz original do personagem usando Chatterbox. É um fluxo totalmente open source para alterar a fala do seu personagem a partir de um vídeo de referência.

Input

Describe the person and the scene, and write the new line in quotes after 'saying:'.

A clip of one person talking, with its audio. Their face and voice are reused.

First-pass height; the output is twice this (544 → 1088).

Default: 544

First-pass width; the output is twice this (960 → 1920).

Default: 960

Advanced settings

What to avoid.

Leave empty for a new result each run. Enter a number to repeat one.

Output
00:00
Example

Experimente um exemplo

Sobre este fluxo de trabalho

Este fluxo constrói um pipeline completo e open source de lipdub usando LTX 2.3 e conversão de voz Chatterbox. Você fornece um vídeo "driving" de uma pessoa falando, além do diálogo que deseja que ela diga. LoadVideo importa seu clipe, e GetVideoComponents extrai quadros, FPS e o áudio original. O texto digitado passa de um prompt PrimitiveStringMultiline por RegexReplace para limpar pontuação e espaçamento, depois para o nó LTX 2.3 Lipdub (ID 1e1eaad5-a949-4d3e-9a68-694e64a936a0). Esse nó aplica um Lipdub LoRA finetune ao LTX 2.3 para sincronizar a boca ao seu roteiro mantendo identidade, movimento da cabeça e contexto da cena.

Para o áudio, o mesmo texto gera uma faixa dublada temporária que é enviada ao FL_ChatterboxVC. Usando o áudio original do vídeo (de GetVideoComponents) como referência de voz, o Chatterbox VC re-vozeia a dublagem para combinar com o timbre e características vocais do falante. Por fim, CreateVideo monta os quadros editados e o áudio clonado na mesma taxa de FPS, e SaveVideo salva o lipdub final. Atenção à regra de dimensão do MarkdownNote: defina largura × altura de entrada para metade do tamanho final desejado (exemplo: 960×544 de entrada gera ~1920×1088 de saída).

Perguntas e respostas