LTX 2.3 - Lipdub LoRA + Clone de Voz
Envie um vídeo de referência e digite o diálogo desejado para gerar um lipdub do seu vídeo usando LTX 2.3. O fluxo então clona o áudio dublado de volta para a voz original do personagem usando Chatterbox. É um fluxo totalmente open source para alterar a fala do seu personagem a partir de um vídeo de referência.
Dentro do workflow
Uma prévia somente leitura do modelo de origem. Abra-o no Cloud para explorar os nós e fazer alterações.
Loading the graph
Open full-size workflow previewChame este modelo pelo seu código
A solicitação abaixo usa o mesmo grafo e as mesmas configurações preparadas no Playground. Cada envio pode iniciar uma execução paga; não tente novamente automaticamente um envio cujo resultado seja desconhecido.
What you need
- Runs on
- Comfy Cloud
- Chave
- COMFY_API_KEY
- Seus arquivos
- Enviados pelo código a partir de suas URLs
Requer um plano pago do Cloud e créditos.
# Python 3.10+: pip install comfy-sdk==0.4.0
import os
from comfy_sdk import Comfy
api_key = os.environ.get("COMFY_API_KEY", "").strip()
if not api_key: raise RuntimeError("Set COMFY_API_KEY")
os.environ.setdefault("COMFY_BASE_URL", "https://cloud.comfy.org")
client = Comfy(api_key=api_key)
workflow = client.workflows.from_json({
"5046": {
"class_type": "SaveVideo",
"inputs": {
"filename_prefix": "output_ltx",
"format": "auto",
"format.codec": "auto",
"video": [
"5049:4849",
0
]
},
"_meta": {
"title": "Save Video"
}
},
"5047": {
"class_type": "LoadVideo",
"inputs": {
"file": "UPLOADED_video_FILENAME"
},
"_meta": {
"title": "Load Video"
}
},
"5048": {
"class_type": "PrimitiveStringMultiline",
"inputs": {
"value": "A lean East Asian man in his late forties with swept-back black hair touched with silver at the temples stands on a rainy shopping street, rimless sunglasses pushed up on his head, wearing a loose grey overshirt over a blue button-down shirt. He holds a small silver flip phone at chest height, looks straight into the camera with a dry, amused half smile and raised eyebrows, and speaks in a calm, low, slightly amused voice in English, saying: \"Found it in a drawer last night. Twenty years old, and it still rings.\" Pedestrians with clear umbrellas pass softly out of focus behind him, wet pavement reflects the shop lights, steady camera, natural head and hand movement."
},
"_meta": {
"title": "Prompt"
}
},
"5050": {
"class_type": "GetVideoComponents",
"inputs": {
"video": [
"5047",
0
]
},
"_meta": {
"title": "Get Video Components"
}
},
"5051": {
"class_type": "RegexReplace",
"inputs": {
"case_insensitive": True,
"count": 0,
"dotall": False,
"multiline": False,
"regex_pattern": "{DIALOGUE}",
"replace": [
"5052",
0
],
"string": [
"5048",
0
]
},
"_meta": {
"title": "Create Prompt"
}
},
"5052": {
"class_type": "PrimitiveStringMultiline",
"inputs": {
"value": "Lipdub workflow is now live on Comfy Hub."
},
"_meta": {
"title": "Dialogue"
}
},
"5053": {
"class_type": "CreateVideo",
"inputs": {
"audio": [
"5055",
0
],
"bit_depth": "auto",
"codec": "none",
"color_space": "sRGB",
"fps": [
"5050",
2
],
"images": [
"5049:4995",
0
]
},
"_meta": {
"title": "Create Video"
}
},
"5054": {
"class_type": "SaveVideo",
"inputs": {
"filename_prefix": "output_ltx_chatterbox",
"format": "auto",
"format.codec": "auto",
"video": [
"5053",
0
]
},
"_meta": {
"title": "Save Video"
}
},
"5055": {
"class_type": "FL_ChatterboxVC",
"inputs": {
"input_audio": [
"5049:4848",
0
],
"keep_model_loaded": True,
"seed": 12345,
"target_voice": [
"5050",
1
],
"use_cpu": False
},
"_meta": {
"title": "FL Chatterbox VC"
}
},
"5049:1241": {
"class_type": "LTXVConditioning",
"inputs": {
"frame_rate": [
"5049:5010",
2
],
"negative": [
"5049:2612",
0
],
"positive": [
"5049:2483",
0
]
},
"_meta": {
"title": "LTXVConditioning"
}
},
"5049:2483": {
"class_type": "CLIPTextEncode",
"inputs": {
"clip": [
"5049:4982",
0
],
"text": [
"5051",
0
]
},
"_meta": {
"title": "CLIP Text Encode (Positive Prompt)"
}
},
"5049:2612": {
"class_type": "CLIPTextEncode",
"inputs": {
"clip": [
"5049:4982",
0
],
"text": "pc game, console game, video game, cartoon, childish, ugly"
},
"_meta": {
"title": "CLIP Text Encode (Negative Prompt)"
}
},
"5049:3059": {
"class_type": "EmptyLTXVLatentVideo",
"inputs": {
"batch_size": 1,
"height": [
"5049:5023",
2
],
"length": [
"5049:5025",
1
],
"width": [
"5049:5023",
1
]
},
"_meta": {
"title": "Empty LTXV Latent Video"
}
},
"5049:3980": {
"class_type": "LTXVEmptyLatentAudio",
"inputs": {
"audio_vae": [
"5049:4010",
0
],
"batch_size": 1,
"frame_rate": [
"5049:5000",
0
],
"frames_number": [
"5049:5025",
1
]
},
"_meta": {
"title": "Empty LTXV Latent Audio"
}
},
"5049:4010": {
"class_type": "LTXVAudioVAELoader",
"inputs": {
"ckpt_name": "ltx-2.3-22b-dev.safetensors"
},
"_meta": {
"title": "Load LTXV Audio VAE"
}
},
"5049:4528": {
"class_type": "LTXVConcatAVLatent",
"inputs": {
"audio_latent": [
"5049:3980",
0
],
"video_latent": [
"5049:5004",
2
]
},
"_meta": {
"title": "Concat AV Latent"
}
},
"5049:4828": {
"class_type": "CFGGuider",
"inputs": {
"cfg": 1,
"model": [
"5049:5102",
0
],
"negative": [
"5049:5006",
1
],
"positive": [
"5049:5006",
0
]
},
"_meta": {
"title": "CFG Guider"
}
},
"5049:4829": {
"class_type": "SamplerCustomAdvanced",
"inputs": {
"guider": [
"5049:4828",
0
],
"latent_image": [
"5049:4528",
0
],
"noise": [
"5049:4832",
0
],
"sampler": [
"5049:4831",
0
],
"sigmas": [
"5049:4984",
0
]
},
"_meta": {
"title": "SamplerCustomAdvanced"
}
},
"5049:4831": {
"class_type": "KSamplerSelect",
"inputs": {
"sampler_name": "euler"
},
"_meta": {
"title": "KSamplerSelect"
}
},
"5049:4832": {
"class_type": "RandomNoise",
"inputs": {
"noise_seed": 1
},
"_meta": {
"title": "RandomNoise"
}
},
"5049:4845": {
"class_type": "LTXVSeparateAVLatent",
"inputs": {
"av_latent": [
"5049:4829",
0
]
},
"_meta": {
"title": "Separate AV Latent"
}
},
"5049:4848": {
"class_type": "LTXVAudioVAEDecode",
"inputs": {
"audio_vae": [
"5049:4010",
0
],
"samples": [
"5049:4973",
1
]
},
"_meta": {
"title": "LTXV Audio VAE Decode"
}
},
"5049:4849": {
"class_type": "CreateVideo",
"inputs": {
"audio": [
"5049:4848",
0
],
"bit_depth": "auto",
"codec": "none",
"color_space": "sRGB",
"fps": [
"5049:5010",
2
],
"images": [
"5049:4995",
0
]
},
"_meta": {
"title": "Create Video"
}
},
"5049:4964": {
"class_type": "CFGGuider",
"inputs": {
"cfg": 1,
"model": [
"5049:5102",
0
],
"negative": [
"5049:5014",
1
],
"positive": [
"5049:5014",
0
]
},
"_meta": {
"title": "CFG Guider"
}
},
"5049:4967": {
"class_type": "RandomNoise",
"inputs": {
"noise_seed": 222
},
"_meta": {
"title": "RandomNoise"
}
},
"5049:4969": {
"class_type": "LTXVConcatAVLatent",
"inputs": {
"audio_latent": [
"5049:5013",
2
],
"video_latent": [
"5049:5014",
2
]
},
"_meta": {
"title": "Concat AV Latent"
}
},
"5049:4971": {
"class_type": "SamplerCustomAdvanced",
"inputs": {
"guider": [
"5049:4964",
0
],
"latent_image": [
"5049:4969",
0
],
"noise": [
"5049:4967",
0
],
"sampler": [
"5049:4976",
0
],
"sigmas": [
"5049:4985",
0
]
},
"_meta": {
"title": "SamplerCustomAdvanced"
}
},
"5049:4973": {
"class_type": "LTXVSeparateAVLatent",
"inputs": {
"av_latent": [
"5049:4971",
0
]
},
"_meta": {
"title": "Separate AV Latent"
}
},
"5049:4974": {
"class_type": "LatentUpscaleModelLoader",
"inputs": {
"model_name": "ltx-2.3-spatial-upscaler-x2-1.1.safetensors"
},
"_meta": {
"title": "Load Latent Upscale Model"
}
},
"5049:4975": {
"class_type": "LTXVLatentUpsampler",
"inputs": {
"samples": [
"5049:5011",
2
],
"upscale_model": [
"5049:4974",
0
],
"vae": [
"5049:5017",
2
]
},
"_meta": {
"title": "LTXVLatentUpsampler"
}
},
"5049:4976": {
"class_type": "KSamplerSelect",
"inputs": {
"sampler_name": "euler"
},
"_meta": {
"title": "KSamplerSelect"
}
},
"5049:4982": {
"class_type": "LTXAVTextEncoderLoader",
"inputs": {
"ckpt_name": "ltx-2.3-22b-dev.safetensors",
"device": "default",
"text_encoder": "gemma_3_12B_it_fp4_mixed.safetensors"
},
"_meta": {
"title": "Load LTXV Audio Text Encoder"
}
},
"5049:4984": {
"class_type": "ManualSigmas",
"inputs": {
"sigmas": "1.0, 0.99375, 0.9875, 0.98125, 0.975, 0.909375, 0.725, 0.421875, 0.0"
},
"_meta": {
"title": "ManualSigmas"
}
},
"5049:4985": {
"class_type": "ManualSigmas",
"inputs": {
"sigmas": "0.909375, 0.725, 0.421875, 0.0"
},
"_meta": {
"title": "ManualSigmas"
}
},
"5049:4995": {
"class_type": "LTXVTiledVAEDecode",
"inputs": {
"horizontal_tiles": 2,
"last_frame_fix": False,
"latents": [
"5049:5015",
2
],
"overlap": 6,
"vae": [
"5049:5017",
2
],
"vertical_tiles": 2,
"working_device": "auto",
"working_dtype": "auto"
},
"_meta": {
"title": "🅛🅣🅧 LTXV Tiled VAE Decode"
}
},
"5049:5000": {
"class_type": "LTXFloatToInt",
"inputs": {
"a": [
"5049:5010",
2
]
},
"_meta": {
"title": "🅛🅣🅧 Float To Int"
}
},
"5049:5003": {
"class_type": "ResizeImageMaskNode",
"inputs": {
"input": [
"5049:5010",
0
],
"resize_type": "scale dimensions",
"resize_type.crop": "disabled",
"resize_type.height": [
"5049:5101",
1
],
"resize_type.width": [
"5049:5100",
1
],
"scale_method": "area"
},
"_meta": {
"title": "Resize Image/Mask (s2 size)"
}
},
"5049:5004": {
"class_type": "LTXAddVideoICLoRAGuide",
"inputs": {
"crop": "disabled",
"frame_idx": 0,
"image": [
"5049:5009",
0
],
"latent": [
"5049:3059",
0
],
"latent_downscale_factor": 1,
"negative": [
"5049:1241",
1
],
"positive": [
"5049:1241",
0
],
"strength": 1,
"tile_frames": 97,
"tile_overlap": 64,
"tile_size": 256,
"use_streaming": False,
"use_tiled_encode": True,
"vae": [
"5049:5017",
2
]
},
"_meta": {
"title": "🅛🅣🅧 Add Video IC-LoRA Guide"
}
},
"5049:5005": {
"class_type": "LTXVAudioVAEEncode",
"inputs": {
"audio": [
"5049:5010",
1
],
"audio_vae": [
"5049:4010",
0
]
},
"_meta": {
"title": "LTXV Audio VAE Encode"
}
},
"5049:5006": {
"class_type": "LTXVSetAudioRefTokens",
"inputs": {
"audio_latent": [
"5049:5005",
0
],
"negative": [
"5049:5004",
1
],
"positive": [
"5049:5004",
0
]
},
"_meta": {
"title": "🅛🅣🅧 Set Audio Ref Tokens"
}
},
"5049:5009": {
"class_type": "ResizeImageMaskNode",
"inputs": {
"input": [
"5049:5010",
0
],
"resize_type": "scale dimensions",
"resize_type.crop": "disabled",
"resize_type.height": 544,
"resize_type.width": 960,
"scale_method": "area"
},
"_meta": {
"title": "Resize Image/Mask (s1 size)"
}
},
"5049:5010": {
"class_type": "GetVideoComponents",
"inputs": {
"video": [
"5047",
0
]
},
"_meta": {
"title": "Get Video Components"
}
},
"5049:5011": {
"class_type": "LTXVCropGuides",
"inputs": {
"latent": [
"5049:4845",
0
],
"negative": [
"5049:5004",
1
],
"positive": [
"5049:5004",
0
]
},
"_meta": {
"title": "LTXVCropGuides"
}
},
"5049:5013": {
"class_type": "LTXVSetAudioRefTokens",
"inputs": {
"audio_latent": [
"5049:4845",
1
],
"negative": [
"5049:5011",
1
],
"positive": [
"5049:5011",
0
]
},
"_meta": {
"title": "🅛🅣🅧 Set Audio Ref Tokens"
}
},
"5049:5014": {
"class_type": "LTXAddVideoICLoRAGuide",
"inputs": {
"crop": "disabled",
"frame_idx": 0,
"image": [
"5049:5003",
0
],
"latent": [
"5049:4975",
0
],
"latent_downscale_factor": 1,
"negative": [
"5049:5013",
1
],
"positive": [
"5049:5013",
0
],
"strength": 1,
"tile_frames": 97,
"tile_overlap": 64,
"tile_size": 256,
"use_streaming": False,
"use_tiled_encode": True,
"vae": [
"5049:5017",
2
]
},
"_meta": {
"title": "🅛🅣🅧 Add Video IC-LoRA Guide"
}
},
"5049:5015": {
"class_type": "LTXVCropGuides",
"inputs": {
"latent": [
"5049:4973",
0
],
"negative": [
"5049:5014",
1
],
"positive": [
"5049:5014",
0
]
},
"_meta": {
"title": "LTXVCropGuides"
}
},
"5049:5017": {
"class_type": "CheckpointLoaderSimple",
"inputs": {
"ckpt_name": "ltx-2.3-22b-dev.safetensors"
},
"_meta": {
"title": "Load Checkpoint"
}
},
"5049:5018": {
"class_type": "LoraLoaderModelOnly",
"inputs": {
"lora_name": "ltx-2.3-22b-distilled-lora-384-1.1.safetensors",
"model": [
"5049:5017",
0
],
"strength_model": 0.5
},
"_meta": {
"title": "Load LoRA"
}
},
"5049:5023": {
"class_type": "GetImageSizeAndCount",
"inputs": {
"image": [
"5049:5009",
0
]
},
"_meta": {
"title": "Get Image Size & Count"
}
},
"5049:5025": {
"class_type": "ComfyMathExpression",
"inputs": {
"expression": "(int((a - 1) / 8)) * 8 + 1",
"values.a": [
"5049:5023",
3
]
},
"_meta": {
"title": "Math Expression"
}
},
"5049:5091": {
"class_type": "ResizeImageMaskNode",
"inputs": {
"resize_type": "scale dimensions",
"resize_type.crop": "center",
"resize_type.height": 960,
"resize_type.width": 544,
"scale_method": "area"
},
"_meta": {
"title": "Resize Image/Mask"
}
},
"5049:5096": {
"class_type": "EmptyLTXVLatentVideo",
"inputs": {
"batch_size": 1,
"height": 544,
"length": 121,
"width": 960
},
"_meta": {
"title": "Empty LTXV Latent Video"
}
},
"5049:5100": {
"class_type": "ComfyMathExpression",
"inputs": {
"expression": "a * 2",
"values.a": [
"5049:5023",
1
]
},
"_meta": {
"title": "Upscaled Width"
}
},
"5049:5101": {
"class_type": "ComfyMathExpression",
"inputs": {
"expression": "a * 2",
"values.a": [
"5049:5023",
2
]
},
"_meta": {
"title": "Upscaled Height"
}
},
"5049:5102": {
"class_type": "LoraLoaderModelOnly",
"inputs": {
"lora_name": "ltx-2.3-22b-ic-lora-lipdub-0.9.safetensors",
"model": [
"5049:5018",
0
],
"strength_model": 1
},
"_meta": {
"title": "Load LoRA"
}
}
})
workflow.set_input("5047", "file", client.assets.from_url("https://comfy.org/catalog-media/8ec5c8bc-e1b1-4b48-8f57-cf50721ff00c/4d895a2f-b562-4898-8318-e65cdacbe834"))
# run() also passes api_key to the partner nodes in this workflow.
job = client.run(workflow, api_key=api_key)
for output in job.get_outputs("5054"):
output.to_file(output.name)
for output in job.get_outputs("5046"):
output.to_file(output.name)Experimente um exemplo
Sobre este fluxo de trabalho
Este fluxo constrói um pipeline completo e open source de lipdub usando LTX 2.3 e conversão de voz Chatterbox. Você fornece um vídeo "driving" de uma pessoa falando, além do diálogo que deseja que ela diga. LoadVideo importa seu clipe, e GetVideoComponents extrai quadros, FPS e o áudio original. O texto digitado passa de um prompt PrimitiveStringMultiline por RegexReplace para limpar pontuação e espaçamento, depois para o nó LTX 2.3 Lipdub (ID 1e1eaad5-a949-4d3e-9a68-694e64a936a0). Esse nó aplica um Lipdub LoRA finetune ao LTX 2.3 para sincronizar a boca ao seu roteiro mantendo identidade, movimento da cabeça e contexto da cena.
Para o áudio, o mesmo texto gera uma faixa dublada temporária que é enviada ao FL_ChatterboxVC. Usando o áudio original do vídeo (de GetVideoComponents) como referência de voz, o Chatterbox VC re-vozeia a dublagem para combinar com o timbre e características vocais do falante. Por fim, CreateVideo monta os quadros editados e o áudio clonado na mesma taxa de FPS, e SaveVideo salva o lipdub final. Atenção à regra de dimensão do MarkdownNote: defina largura × altura de entrada para metade do tamanho final desejado (exemplo: 960×544 de entrada gera ~1920×1088 de saída).
Perguntas e respostas
Este fluxo espera largura × altura de entrada igual à metade do tamanho de saída desejado, conforme indicado no MarkdownNote. Por exemplo, 960×544 de entrada gera cerca de 1920×1088 de saída. Defina metade da resolução alvo ao configurar as entradas.
O FL_ChatterboxVC usa o áudio original do vídeo (de GetVideoComponents) como referência de voz. Ele converte o áudio dublado gerado para combinar com o timbre e estilo do falante, de modo que os lábios acompanham seu roteiro, mas a voz ainda soa como a pessoa na tela.
Comece pelo texto: adicione ou remova pequenas pausas com pontuação (vírgulas/pontos), mantenha frases concisas e evite períodos longos. Certifique-se de que o FPS do CreateVideo corresponda ao do vídeo original. Imagens frontais e claras com lábios visíveis também melhoram o alinhamento.
Use clipes curtos a médios com iluminação estável e boca nítida. Para referência do Chatterbox, fala limpa (pouca música/ruído) ajuda na conversão. Se o áudio original for ruidoso, use um trecho limpo ou aplique redução de ruído antes.
Workflows relacionados
- Seedance 2.5
Change a video’s background
- LTX-2.3
Remove an object from a video
- LTX-2.3
Expand a video’s frame
- SSCAIL-2
Replace a character in a video
- SSeedVR2
Upscale a video
- LTX-2.3
Restore archival footage
- Nó parceiro
AI on the Lot 2026_LTX-2.3_IC LoRA (Union Control)
- Wan2.2, Z-Image-Turbo
AIrt MAchIne
- SSAM3, Wan2.1 VACE
Alterar Qualquer Objeto
- Topaz
Ampliar vídeo: Topaz Starlight Precise 2.5
- NNó parceiro
Beeble SwitchX: Edição de Vídeo
- BRIA
Bria: Remover Fundo de Vídeo