LTX 2.3 - Lipdub LoRA + Ses Klonlama
Sürüş videonu yükle ve istenen diyaloğu istem olarak ver; LTX 2.3 kullanarak videon için bir lipdub oluştur. Ardından İş Akışı, dublajlı sesini Chatterbox ile tekrar orijinal karakterin sesine klonlar. Sürüş videosundan karakterinin konuşmasını değiştirmek için tamamen açık kaynak bir İş Akışı’dır.
İş akışının içinde
Kaynak şablonun salt okunur önizlemesi. Düğümleri incelemek ve değişiklik yapmak için Cloud'da açın.
Loading the graph
Open full-size workflow previewBu iş akışındaki dosyalar
- Çıktı
- Video
- Yazar
- Rob
Bu modeli kodunuzdan çağırın
Aşağıdaki istek, Playground ile aynı hazırlanmış grafiği ve ayarları kullanır. Her gönderim ücretli bir çalıştırma başlatabilir; sonucu bilinmeyen bir gönderimi otomatik olarak yeniden denemeyin.
What you need
- Runs on
- Comfy Cloud
- Anahtar
- COMFY_API_KEY
- Dosyalarınız
- Kod tarafından URL'lerinden yüklenir
Ücretli bir Cloud planı ve kredi gerektirir.
# Python 3.10+: pip install comfy-sdk==0.4.0
import os
from comfy_sdk import Comfy
api_key = os.environ.get("COMFY_API_KEY", "").strip()
if not api_key: raise RuntimeError("Set COMFY_API_KEY")
os.environ.setdefault("COMFY_BASE_URL", "https://cloud.comfy.org")
client = Comfy(api_key=api_key)
workflow = client.workflows.from_json({
"5046": {
"class_type": "SaveVideo",
"inputs": {
"filename_prefix": "output_ltx",
"format": "auto",
"format.codec": "auto",
"video": [
"5049:4849",
0
]
},
"_meta": {
"title": "Save Video"
}
},
"5047": {
"class_type": "LoadVideo",
"inputs": {
"file": "UPLOADED_video_FILENAME"
},
"_meta": {
"title": "Load Video"
}
},
"5048": {
"class_type": "PrimitiveStringMultiline",
"inputs": {
"value": "A lean East Asian man in his late forties with swept-back black hair touched with silver at the temples stands on a rainy shopping street, rimless sunglasses pushed up on his head, wearing a loose grey overshirt over a blue button-down shirt. He holds a small silver flip phone at chest height, looks straight into the camera with a dry, amused half smile and raised eyebrows, and speaks in a calm, low, slightly amused voice in English, saying: \"Found it in a drawer last night. Twenty years old, and it still rings.\" Pedestrians with clear umbrellas pass softly out of focus behind him, wet pavement reflects the shop lights, steady camera, natural head and hand movement."
},
"_meta": {
"title": "Prompt"
}
},
"5050": {
"class_type": "GetVideoComponents",
"inputs": {
"video": [
"5047",
0
]
},
"_meta": {
"title": "Get Video Components"
}
},
"5051": {
"class_type": "RegexReplace",
"inputs": {
"case_insensitive": True,
"count": 0,
"dotall": False,
"multiline": False,
"regex_pattern": "{DIALOGUE}",
"replace": [
"5052",
0
],
"string": [
"5048",
0
]
},
"_meta": {
"title": "Create Prompt"
}
},
"5052": {
"class_type": "PrimitiveStringMultiline",
"inputs": {
"value": "Lipdub workflow is now live on Comfy Hub."
},
"_meta": {
"title": "Dialogue"
}
},
"5053": {
"class_type": "CreateVideo",
"inputs": {
"audio": [
"5055",
0
],
"bit_depth": "auto",
"codec": "none",
"color_space": "sRGB",
"fps": [
"5050",
2
],
"images": [
"5049:4995",
0
]
},
"_meta": {
"title": "Create Video"
}
},
"5054": {
"class_type": "SaveVideo",
"inputs": {
"filename_prefix": "output_ltx_chatterbox",
"format": "auto",
"format.codec": "auto",
"video": [
"5053",
0
]
},
"_meta": {
"title": "Save Video"
}
},
"5055": {
"class_type": "FL_ChatterboxVC",
"inputs": {
"input_audio": [
"5049:4848",
0
],
"keep_model_loaded": True,
"seed": 12345,
"target_voice": [
"5050",
1
],
"use_cpu": False
},
"_meta": {
"title": "FL Chatterbox VC"
}
},
"5049:1241": {
"class_type": "LTXVConditioning",
"inputs": {
"frame_rate": [
"5049:5010",
2
],
"negative": [
"5049:2612",
0
],
"positive": [
"5049:2483",
0
]
},
"_meta": {
"title": "LTXVConditioning"
}
},
"5049:2483": {
"class_type": "CLIPTextEncode",
"inputs": {
"clip": [
"5049:4982",
0
],
"text": [
"5051",
0
]
},
"_meta": {
"title": "CLIP Text Encode (Positive Prompt)"
}
},
"5049:2612": {
"class_type": "CLIPTextEncode",
"inputs": {
"clip": [
"5049:4982",
0
],
"text": "pc game, console game, video game, cartoon, childish, ugly"
},
"_meta": {
"title": "CLIP Text Encode (Negative Prompt)"
}
},
"5049:3059": {
"class_type": "EmptyLTXVLatentVideo",
"inputs": {
"batch_size": 1,
"height": [
"5049:5023",
2
],
"length": [
"5049:5025",
1
],
"width": [
"5049:5023",
1
]
},
"_meta": {
"title": "Empty LTXV Latent Video"
}
},
"5049:3980": {
"class_type": "LTXVEmptyLatentAudio",
"inputs": {
"audio_vae": [
"5049:4010",
0
],
"batch_size": 1,
"frame_rate": [
"5049:5000",
0
],
"frames_number": [
"5049:5025",
1
]
},
"_meta": {
"title": "Empty LTXV Latent Audio"
}
},
"5049:4010": {
"class_type": "LTXVAudioVAELoader",
"inputs": {
"ckpt_name": "ltx-2.3-22b-dev.safetensors"
},
"_meta": {
"title": "Load LTXV Audio VAE"
}
},
"5049:4528": {
"class_type": "LTXVConcatAVLatent",
"inputs": {
"audio_latent": [
"5049:3980",
0
],
"video_latent": [
"5049:5004",
2
]
},
"_meta": {
"title": "Concat AV Latent"
}
},
"5049:4828": {
"class_type": "CFGGuider",
"inputs": {
"cfg": 1,
"model": [
"5049:5102",
0
],
"negative": [
"5049:5006",
1
],
"positive": [
"5049:5006",
0
]
},
"_meta": {
"title": "CFG Guider"
}
},
"5049:4829": {
"class_type": "SamplerCustomAdvanced",
"inputs": {
"guider": [
"5049:4828",
0
],
"latent_image": [
"5049:4528",
0
],
"noise": [
"5049:4832",
0
],
"sampler": [
"5049:4831",
0
],
"sigmas": [
"5049:4984",
0
]
},
"_meta": {
"title": "SamplerCustomAdvanced"
}
},
"5049:4831": {
"class_type": "KSamplerSelect",
"inputs": {
"sampler_name": "euler"
},
"_meta": {
"title": "KSamplerSelect"
}
},
"5049:4832": {
"class_type": "RandomNoise",
"inputs": {
"noise_seed": 1
},
"_meta": {
"title": "RandomNoise"
}
},
"5049:4845": {
"class_type": "LTXVSeparateAVLatent",
"inputs": {
"av_latent": [
"5049:4829",
0
]
},
"_meta": {
"title": "Separate AV Latent"
}
},
"5049:4848": {
"class_type": "LTXVAudioVAEDecode",
"inputs": {
"audio_vae": [
"5049:4010",
0
],
"samples": [
"5049:4973",
1
]
},
"_meta": {
"title": "LTXV Audio VAE Decode"
}
},
"5049:4849": {
"class_type": "CreateVideo",
"inputs": {
"audio": [
"5049:4848",
0
],
"bit_depth": "auto",
"codec": "none",
"color_space": "sRGB",
"fps": [
"5049:5010",
2
],
"images": [
"5049:4995",
0
]
},
"_meta": {
"title": "Create Video"
}
},
"5049:4964": {
"class_type": "CFGGuider",
"inputs": {
"cfg": 1,
"model": [
"5049:5102",
0
],
"negative": [
"5049:5014",
1
],
"positive": [
"5049:5014",
0
]
},
"_meta": {
"title": "CFG Guider"
}
},
"5049:4967": {
"class_type": "RandomNoise",
"inputs": {
"noise_seed": 222
},
"_meta": {
"title": "RandomNoise"
}
},
"5049:4969": {
"class_type": "LTXVConcatAVLatent",
"inputs": {
"audio_latent": [
"5049:5013",
2
],
"video_latent": [
"5049:5014",
2
]
},
"_meta": {
"title": "Concat AV Latent"
}
},
"5049:4971": {
"class_type": "SamplerCustomAdvanced",
"inputs": {
"guider": [
"5049:4964",
0
],
"latent_image": [
"5049:4969",
0
],
"noise": [
"5049:4967",
0
],
"sampler": [
"5049:4976",
0
],
"sigmas": [
"5049:4985",
0
]
},
"_meta": {
"title": "SamplerCustomAdvanced"
}
},
"5049:4973": {
"class_type": "LTXVSeparateAVLatent",
"inputs": {
"av_latent": [
"5049:4971",
0
]
},
"_meta": {
"title": "Separate AV Latent"
}
},
"5049:4974": {
"class_type": "LatentUpscaleModelLoader",
"inputs": {
"model_name": "ltx-2.3-spatial-upscaler-x2-1.1.safetensors"
},
"_meta": {
"title": "Load Latent Upscale Model"
}
},
"5049:4975": {
"class_type": "LTXVLatentUpsampler",
"inputs": {
"samples": [
"5049:5011",
2
],
"upscale_model": [
"5049:4974",
0
],
"vae": [
"5049:5017",
2
]
},
"_meta": {
"title": "LTXVLatentUpsampler"
}
},
"5049:4976": {
"class_type": "KSamplerSelect",
"inputs": {
"sampler_name": "euler"
},
"_meta": {
"title": "KSamplerSelect"
}
},
"5049:4982": {
"class_type": "LTXAVTextEncoderLoader",
"inputs": {
"ckpt_name": "ltx-2.3-22b-dev.safetensors",
"device": "default",
"text_encoder": "gemma_3_12B_it_fp4_mixed.safetensors"
},
"_meta": {
"title": "Load LTXV Audio Text Encoder"
}
},
"5049:4984": {
"class_type": "ManualSigmas",
"inputs": {
"sigmas": "1.0, 0.99375, 0.9875, 0.98125, 0.975, 0.909375, 0.725, 0.421875, 0.0"
},
"_meta": {
"title": "ManualSigmas"
}
},
"5049:4985": {
"class_type": "ManualSigmas",
"inputs": {
"sigmas": "0.909375, 0.725, 0.421875, 0.0"
},
"_meta": {
"title": "ManualSigmas"
}
},
"5049:4995": {
"class_type": "LTXVTiledVAEDecode",
"inputs": {
"horizontal_tiles": 2,
"last_frame_fix": False,
"latents": [
"5049:5015",
2
],
"overlap": 6,
"vae": [
"5049:5017",
2
],
"vertical_tiles": 2,
"working_device": "auto",
"working_dtype": "auto"
},
"_meta": {
"title": "🅛🅣🅧 LTXV Tiled VAE Decode"
}
},
"5049:5000": {
"class_type": "LTXFloatToInt",
"inputs": {
"a": [
"5049:5010",
2
]
},
"_meta": {
"title": "🅛🅣🅧 Float To Int"
}
},
"5049:5003": {
"class_type": "ResizeImageMaskNode",
"inputs": {
"input": [
"5049:5010",
0
],
"resize_type": "scale dimensions",
"resize_type.crop": "disabled",
"resize_type.height": [
"5049:5101",
1
],
"resize_type.width": [
"5049:5100",
1
],
"scale_method": "area"
},
"_meta": {
"title": "Resize Image/Mask (s2 size)"
}
},
"5049:5004": {
"class_type": "LTXAddVideoICLoRAGuide",
"inputs": {
"crop": "disabled",
"frame_idx": 0,
"image": [
"5049:5009",
0
],
"latent": [
"5049:3059",
0
],
"latent_downscale_factor": 1,
"negative": [
"5049:1241",
1
],
"positive": [
"5049:1241",
0
],
"strength": 1,
"tile_frames": 97,
"tile_overlap": 64,
"tile_size": 256,
"use_streaming": False,
"use_tiled_encode": True,
"vae": [
"5049:5017",
2
]
},
"_meta": {
"title": "🅛🅣🅧 Add Video IC-LoRA Guide"
}
},
"5049:5005": {
"class_type": "LTXVAudioVAEEncode",
"inputs": {
"audio": [
"5049:5010",
1
],
"audio_vae": [
"5049:4010",
0
]
},
"_meta": {
"title": "LTXV Audio VAE Encode"
}
},
"5049:5006": {
"class_type": "LTXVSetAudioRefTokens",
"inputs": {
"audio_latent": [
"5049:5005",
0
],
"negative": [
"5049:5004",
1
],
"positive": [
"5049:5004",
0
]
},
"_meta": {
"title": "🅛🅣🅧 Set Audio Ref Tokens"
}
},
"5049:5009": {
"class_type": "ResizeImageMaskNode",
"inputs": {
"input": [
"5049:5010",
0
],
"resize_type": "scale dimensions",
"resize_type.crop": "disabled",
"resize_type.height": 544,
"resize_type.width": 960,
"scale_method": "area"
},
"_meta": {
"title": "Resize Image/Mask (s1 size)"
}
},
"5049:5010": {
"class_type": "GetVideoComponents",
"inputs": {
"video": [
"5047",
0
]
},
"_meta": {
"title": "Get Video Components"
}
},
"5049:5011": {
"class_type": "LTXVCropGuides",
"inputs": {
"latent": [
"5049:4845",
0
],
"negative": [
"5049:5004",
1
],
"positive": [
"5049:5004",
0
]
},
"_meta": {
"title": "LTXVCropGuides"
}
},
"5049:5013": {
"class_type": "LTXVSetAudioRefTokens",
"inputs": {
"audio_latent": [
"5049:4845",
1
],
"negative": [
"5049:5011",
1
],
"positive": [
"5049:5011",
0
]
},
"_meta": {
"title": "🅛🅣🅧 Set Audio Ref Tokens"
}
},
"5049:5014": {
"class_type": "LTXAddVideoICLoRAGuide",
"inputs": {
"crop": "disabled",
"frame_idx": 0,
"image": [
"5049:5003",
0
],
"latent": [
"5049:4975",
0
],
"latent_downscale_factor": 1,
"negative": [
"5049:5013",
1
],
"positive": [
"5049:5013",
0
],
"strength": 1,
"tile_frames": 97,
"tile_overlap": 64,
"tile_size": 256,
"use_streaming": False,
"use_tiled_encode": True,
"vae": [
"5049:5017",
2
]
},
"_meta": {
"title": "🅛🅣🅧 Add Video IC-LoRA Guide"
}
},
"5049:5015": {
"class_type": "LTXVCropGuides",
"inputs": {
"latent": [
"5049:4973",
0
],
"negative": [
"5049:5014",
1
],
"positive": [
"5049:5014",
0
]
},
"_meta": {
"title": "LTXVCropGuides"
}
},
"5049:5017": {
"class_type": "CheckpointLoaderSimple",
"inputs": {
"ckpt_name": "ltx-2.3-22b-dev.safetensors"
},
"_meta": {
"title": "Load Checkpoint"
}
},
"5049:5018": {
"class_type": "LoraLoaderModelOnly",
"inputs": {
"lora_name": "ltx-2.3-22b-distilled-lora-384-1.1.safetensors",
"model": [
"5049:5017",
0
],
"strength_model": 0.5
},
"_meta": {
"title": "Load LoRA"
}
},
"5049:5023": {
"class_type": "GetImageSizeAndCount",
"inputs": {
"image": [
"5049:5009",
0
]
},
"_meta": {
"title": "Get Image Size & Count"
}
},
"5049:5025": {
"class_type": "ComfyMathExpression",
"inputs": {
"expression": "(int((a - 1) / 8)) * 8 + 1",
"values.a": [
"5049:5023",
3
]
},
"_meta": {
"title": "Math Expression"
}
},
"5049:5091": {
"class_type": "ResizeImageMaskNode",
"inputs": {
"resize_type": "scale dimensions",
"resize_type.crop": "center",
"resize_type.height": 960,
"resize_type.width": 544,
"scale_method": "area"
},
"_meta": {
"title": "Resize Image/Mask"
}
},
"5049:5096": {
"class_type": "EmptyLTXVLatentVideo",
"inputs": {
"batch_size": 1,
"height": 544,
"length": 121,
"width": 960
},
"_meta": {
"title": "Empty LTXV Latent Video"
}
},
"5049:5100": {
"class_type": "ComfyMathExpression",
"inputs": {
"expression": "a * 2",
"values.a": [
"5049:5023",
1
]
},
"_meta": {
"title": "Upscaled Width"
}
},
"5049:5101": {
"class_type": "ComfyMathExpression",
"inputs": {
"expression": "a * 2",
"values.a": [
"5049:5023",
2
]
},
"_meta": {
"title": "Upscaled Height"
}
},
"5049:5102": {
"class_type": "LoraLoaderModelOnly",
"inputs": {
"lora_name": "ltx-2.3-22b-ic-lora-lipdub-0.9.safetensors",
"model": [
"5049:5018",
0
],
"strength_model": 1
},
"_meta": {
"title": "Load LoRA"
}
}
})
workflow.set_input("5047", "file", client.assets.from_url("https://comfy.org/catalog-media/8ec5c8bc-e1b1-4b48-8f57-cf50721ff00c/4d895a2f-b562-4898-8318-e65cdacbe834"))
# run() also passes api_key to the partner nodes in this workflow.
job = client.run(workflow, api_key=api_key)
for output in job.get_outputs("5054"):
output.to_file(output.name)
for output in job.get_outputs("5046"):
output.to_file(output.name)Bir örnek deneyin
Bu iş akışı hakkında
Bu iş akışı, LTX 2.3 ve Chatterbox ses dönüştürme etrafında tam bir açık kaynak lip-dub hattı kurar. Konuşan bir kişinin "sürücü" videosunu ve söylemesini istediğiniz diyaloğu sağlarsınız. LoadVideo klibinizi alır, GetVideoComponents kareleri, FPS ve orijinal sesi çıkarır. Yazdığınız diyalog, PrimitiveStringMultiline isteminden RegexReplace ile noktalama ve boşluk temizliği yapılarak LTX 2.3 Lipdub düğümüne (özel düğüm ID: 1e1eaad5-a949-4d3e-9a68-694e64a936a0) aktarılır. Bu düğüm, LTX 2.3'e bir Lipdub LoRA ince ayarı uygulayarak ağız hareketlerini senaryonuza göre zamanlar ve öznenin kimliğini, baş hareketini ve sahne bütünlüğünü korur.
Ses için, aynı diyalog geçici bir dublaj parçası oluşturur ve bu FL_ChatterboxVC'ye aktarılır. Orijinal videonun sesi (GetVideoComponents'tan) ses referansı olarak kullanılarak, Chatterbox VC dublajı konuşmacının tınısı ve vokal özelliklerine uygun şekilde yeniden seslendirir. Son olarak, CreateVideo düzenlenmiş kareleri ve klonlanmış sesi kaynak FPS ile birleştirir, SaveVideo ise nihai lip-sync'li çıktıyı kaydeder. MarkdownNote'daki boyut kuralına dikkat edin: giriş genişliği × yüksekliği hedefinizin yarısı olmalı (örneğin, 960×544 giriş ~1920×1088 çıktı verir).
Sorular ve yanıtlar
Bu iş akışı, MarkdownNote'ta belirtildiği gibi, giriş genişliği × yüksekliğinin hedef çıktınızın yarısı olmasını bekler. Örneğin, 960×544 giriş yaklaşık 1920×1088 çıktı verir. Giriş ayarınızı hedef çözünürlüğün yarısı olarak belirleyin.
FL_ChatterboxVC, orijinal videonun sesini (GetVideoComponents'tan) ses referansı olarak kullanır. Oluşturulan dublaj sesini hedef konuşmacının tınısı ve tarzına dönüştürür; böylece dudaklar senaryonuza uyar ve ses hâlâ ekrandaki kişiye benzer.
Metinle başlayın: kısa duraklamalar için noktalama (virgül/nokta) ekleyin veya çıkarın, cümleleri kısa tutun ve uzun, karmaşık ifadelerden kaçının. CreateVideo FPS'nin kaynak FPS ile eşleştiğinden emin olun. Net, önden çekilmiş ve dudakları açıkta olan görüntüler hizalamayı iyileştirir.
Ağız bölgesi net olan, sabit ışıklandırmalı kısa-orta uzunlukta klipler kullanın. Chatterbox referansı için temiz konuşma (müzik/gürültü minimum) dönüşümü kolaylaştırır. Orijinal parça gürültülüyse, referans için temiz bir bölüm kırpın veya öncesinde hafif gürültü azaltma uygulayın.
İlgili iş akışları
- Seedance 2.5
Change a video’s background
- LTX-2.3
Remove an object from a video
- LTX-2.3
Expand a video’s frame
- SSCAIL-2
Replace a character in a video
- SSeedVR2
Upscale a video
- LTX-2.3
Restore archival footage
- İş ortağı düğümü
AI on the Lot 2026_LTX-2.3_IC LoRA (Union Control)
- Wan2.2, Z-Image-Turbo
AIrt MAchIne
- İş ortağı düğümü
Arşiv Görüntüsünü Onar - LTX 2.3 Dearchive LoRA
- İİş ortağı düğümü
Beeble SwitchX: Video Düzenleme
- BRIA
Bria: Video Arka Planı Kaldır
- CCapybara
Capybara: Video Düzenleme