LTX 2.3 - Lipdub LoRA + Clonación de Voz

Sube un vídeo de conducción y escribe el diálogo deseado para generar un lipdub de tu vídeo usando LTX 2.3. Luego, el flujo de trabajo clona el audio doblado de vuelta a la voz del personaje original usando Chatterbox. Es un flujo de trabajo totalmente de código abierto para cambiar el habla de tu personaje a partir de un vídeo de conducción.

Input

Describe the person and the scene, and write the new line in quotes after 'saying:'.

A clip of one person talking, with its audio. Their face and voice are reused.

First-pass height; the output is twice this (544 → 1088).

Default: 544

First-pass width; the output is twice this (960 → 1920).

Default: 960

Advanced settings

What to avoid.

Leave empty for a new result each run. Enter a number to repeat one.

Output
00:00
Example

Probar un ejemplo

Acerca de este flujo de trabajo

Este flujo de trabajo construye un pipeline completo y open-source de lip-dub alrededor de LTX 2.3 y la conversión de voz Chatterbox. Proporcionas un video “conductor” de una persona hablando, más el diálogo que quieres que diga. LoadVideo ingiere tu clip y GetVideoComponents extrae fotogramas, FPS y el audio original. Tu diálogo escrito pasa desde un prompt en PrimitiveStringMultiline por RegexReplace para limpiar puntuación y espacios, y luego entra al nodo LTX 2.3 Lipdub (el nodo personalizado con ID 1e1eaad5-a949-4d3e-9a68-694e64a936a0). Ese nodo aplica un finetune Lipdub LoRA a LTX 2.3 para reajustar en el tiempo las formas de la boca según tu guion, preservando la identidad del sujeto, el movimiento de la cabeza y el contexto de la escena.

En audio, el mismo diálogo genera una pista temporal de doblaje que luego se pasa a FL_ChatterboxVC. Usando el audio del video original (de GetVideoComponents) como referencia de voz, Chatterbox VC reinterpreta el doblaje para que coincida con el timbre y los rasgos vocales del hablante. Por último, CreateVideo ensambla los fotogramas editados y el audio clonado al FPS de origen, y SaveVideo escribe el render final con sincronía labial. Ten en cuenta la regla de dimensiones del MarkdownNote: configura el ancho × alto de entrada a la mitad del tamaño final deseado (por ejemplo, 960×544 de entrada da ~1920×1088 de salida).

Preguntas y respuestas