LTX-2.3: ID LoRA
텍스트 프롬프트, 레퍼런스 이미지 및 짧은 오디오 클립에서 동기화된 오디오가 포함된 개인 맞춤형 비디오를 생성합니다. ID-LoRA를 사용하여 단일 생성 모델에서 사람의 모양과 목소리를 적용합니다.
워크플로 내부
소스 템플릿의 읽기 전용 미리보기입니다. Cloud에서 열어 노드를 살펴보고 변경할 수 있습니다.
코드에서 이 모델 호출하기
아래 요청은 Playground와 동일하게 준비된 그래프와 설정을 사용합니다. 제출할 때마다 유료 실행이 시작될 수 있으므로 결과를 알 수 없는 제출을 자동으로 재시도하지 마세요.
What you need
- Runs on
- Comfy Cloud
- 키
- COMFY_API_KEY
- 내 파일
- 코드가 해당 URL에서 업로드
유료 Cloud 요금제와 크레딧이 필요합니다.
# Python 3.10+: pip install comfy-sdk==0.4.0
import os
from comfy_sdk import Comfy
api_key = os.environ.get("COMFY_API_KEY", "").strip()
if not api_key: raise RuntimeError("Set COMFY_API_KEY")
os.environ.setdefault("COMFY_BASE_URL", "https://cloud.comfy.org")
client = Comfy(api_key=api_key)
workflow = client.workflows.from_json({
"269": {
"class_type": "LoadImage",
"inputs": {
"image": "UPLOADED_image_FILENAME"
},
"_meta": {
"title": "Load Image"
}
},
"276": {
"class_type": "LoadAudio",
"inputs": {
"audio": "UPLOADED_audio_FILENAME"
},
"_meta": {
"title": "Load Audio"
}
},
"341": {
"class_type": "SaveVideo",
"inputs": {
"filename_prefix": "video/LTX_2.3_id_lora",
"format": "auto",
"format.codec": "auto",
"video": [
"340:312",
0
]
},
"_meta": {
"title": "Save Video"
}
},
"340:285": {
"class_type": "RandomNoise",
"inputs": {
"noise_seed": 42
},
"_meta": {
"title": "RandomNoise"
}
},
"340:286": {
"class_type": "RandomNoise",
"inputs": {
"noise_seed": 859064592499272
},
"_meta": {
"title": "RandomNoise"
}
},
"340:287": {
"class_type": "LTXVConcatAVLatent",
"inputs": {
"audio_latent": [
"340:309",
1
],
"video_latent": [
"340:296",
0
]
},
"_meta": {
"title": "Concat AV Latent"
}
},
"340:288": {
"class_type": "KSamplerSelect",
"inputs": {
"sampler_name": "euler_cfg_pp"
},
"_meta": {
"title": "KSamplerSelect"
}
},
"340:289": {
"class_type": "ManualSigmas",
"inputs": {
"sigmas": "0.85, 0.7250, 0.4219, 0.0"
},
"_meta": {
"title": "ManualSigmas"
}
},
"340:290": {
"class_type": "CFGGuider",
"inputs": {
"cfg": 1,
"model": [
"340:293",
0
],
"negative": [
"340:292",
1
],
"positive": [
"340:292",
0
]
},
"_meta": {
"title": "CFG Guider"
}
},
"340:291": {
"class_type": "SamplerCustomAdvanced",
"inputs": {
"guider": [
"340:315",
0
],
"latent_image": [
"340:326",
0
],
"noise": [
"340:286",
0
],
"sampler": [
"340:298",
0
],
"sigmas": [
"340:308",
0
]
},
"_meta": {
"title": "SamplerCustomAdvanced"
}
},
"340:292": {
"class_type": "LTXVCropGuides",
"inputs": {
"latent": [
"340:309",
0
],
"negative": [
"340:307",
1
],
"positive": [
"340:307",
0
]
},
"_meta": {
"title": "LTXVCropGuides"
}
},
"340:293": {
"class_type": "LoraLoaderModelOnly",
"inputs": {
"lora_name": "ltx-2.3-22b-distilled-lora-384.safetensors",
"model": [
"340:317",
0
],
"strength_model": 0.5
},
"_meta": {
"title": "Load LoRA"
}
},
"340:294": {
"class_type": "ResizeImagesByLongerEdge",
"inputs": {
"images": [
"340:297",
0
],
"longer_edge": 1536
},
"_meta": {
"title": "Resize Images by Longer Edge (DEPRECATED)"
}
},
"340:295": {
"class_type": "LTXVLatentUpsampler",
"inputs": {
"samples": [
"340:309",
0
],
"upscale_model": [
"340:313",
0
],
"vae": [
"340:317",
2
]
},
"_meta": {
"title": "LTXVLatentUpsampler"
}
},
"340:296": {
"class_type": "LTXVImgToVideoInplace",
"inputs": {
"bypass": False,
"image": [
"340:334",
0
],
"latent": [
"340:295",
0
],
"strength": 1,
"vae": [
"340:317",
2
]
},
"_meta": {
"title": "LTXVImgToVideoInplace"
}
},
"340:297": {
"class_type": "ResizeImageMaskNode",
"inputs": {
"input": [
"269",
0
],
"resize_type": "scale dimensions",
"resize_type.crop": "center",
"resize_type.height": [
"340:324",
0
],
"resize_type.width": [
"340:330",
0
],
"scale_method": "lanczos"
},
"_meta": {
"title": "Resize Image/Mask"
}
},
"340:298": {
"class_type": "KSamplerSelect",
"inputs": {
"sampler_name": "euler_ancestral_cfg_pp"
},
"_meta": {
"title": "KSamplerSelect"
}
},
"340:299": {
"class_type": "ComfyMathExpression",
"inputs": {
"expression": "a/2",
"values.a": [
"340:330",
0
]
},
"_meta": {
"title": "Math Expression"
}
},
"340:301": {
"class_type": "ComfyMathExpression",
"inputs": {
"expression": "a/2",
"values.a": [
"340:324",
0
]
},
"_meta": {
"title": "Math Expression"
}
},
"340:302": {
"class_type": "EmptyLTXVLatentVideo",
"inputs": {
"batch_size": 1,
"height": [
"340:301",
1
],
"length": [
"340:329",
1
],
"width": [
"340:299",
1
]
},
"_meta": {
"title": "Empty LTXV Latent Video"
}
},
"340:303": {
"class_type": "LTXVAudioVAEDecode",
"inputs": {
"audio_vae": [
"340:335",
0
],
"samples": [
"340:311",
1
]
},
"_meta": {
"title": "LTXV Audio VAE Decode"
}
},
"340:304": {
"class_type": "ComfyMathExpression",
"inputs": {
"expression": "a",
"values.a": [
"340:323",
0
]
},
"_meta": {
"title": "Math Expression"
}
},
"340:306": {
"class_type": "CLIPTextEncode",
"inputs": {
"clip": [
"340:318",
0
],
"text": [
"340:319",
0
]
},
"_meta": {
"title": "CLIP Text Encode (Prompt)"
}
},
"340:307": {
"class_type": "LTXVConditioning",
"inputs": {
"frame_rate": [
"340:304",
0
],
"negative": [
"340:349",
2
],
"positive": [
"340:349",
1
]
},
"_meta": {
"title": "LTXVConditioning"
}
},
"340:308": {
"class_type": "ManualSigmas",
"inputs": {
"sigmas": "1.0, 0.99375, 0.9875, 0.98125, 0.975, 0.909375, 0.725, 0.421875, 0.0"
},
"_meta": {
"title": "ManualSigmas"
}
},
"340:309": {
"class_type": "LTXVSeparateAVLatent",
"inputs": {
"av_latent": [
"340:291",
0
]
},
"_meta": {
"title": "Separate AV Latent"
}
},
"340:310": {
"class_type": "SamplerCustomAdvanced",
"inputs": {
"guider": [
"340:290",
0
],
"latent_image": [
"340:287",
0
],
"noise": [
"340:285",
0
],
"sampler": [
"340:288",
0
],
"sigmas": [
"340:289",
0
]
},
"_meta": {
"title": "SamplerCustomAdvanced"
}
},
"340:311": {
"class_type": "LTXVSeparateAVLatent",
"inputs": {
"av_latent": [
"340:310",
0
]
},
"_meta": {
"title": "Separate AV Latent"
}
},
"340:312": {
"class_type": "CreateVideo",
"inputs": {
"audio": [
"340:303",
0
],
"bit_depth": "auto",
"codec": "none",
"color_space": "sRGB",
"fps": [
"340:304",
0
],
"images": [
"340:316",
0
]
},
"_meta": {
"title": "Create Video"
}
},
"340:313": {
"class_type": "LatentUpscaleModelLoader",
"inputs": {
"model_name": "ltx-2.3-spatial-upscaler-x2-1.1.safetensors"
},
"_meta": {
"title": "Load Latent Upscale Model"
}
},
"340:314": {
"class_type": "CLIPTextEncode",
"inputs": {
"clip": [
"340:318",
0
],
"text": "pc game, console game, video game, cartoon, childish, ugly"
},
"_meta": {
"title": "CLIP Text Encode (Prompt)"
}
},
"340:315": {
"class_type": "CFGGuider",
"inputs": {
"cfg": 1,
"model": [
"340:349",
0
],
"negative": [
"340:307",
1
],
"positive": [
"340:307",
0
]
},
"_meta": {
"title": "CFG Guider"
}
},
"340:316": {
"class_type": "VAEDecodeTiled",
"inputs": {
"overlap": 64,
"samples": [
"340:311",
0
],
"temporal_overlap": 4,
"temporal_size": 4096,
"tile_size": 768,
"vae": [
"340:317",
2
]
},
"_meta": {
"title": "VAE Decode (Tiled)"
}
},
"340:317": {
"class_type": "CheckpointLoaderSimple",
"inputs": {
"ckpt_name": "ltx-2.3-22b-dev-fp8.safetensors"
},
"_meta": {
"title": "Load Checkpoint"
}
},
"340:318": {
"class_type": "LTXAVTextEncoderLoader",
"inputs": {
"ckpt_name": "ltx-2.3-22b-dev-fp8.safetensors",
"device": "default",
"text_encoder": "gemma_3_12B_it_fp4_mixed.safetensors"
},
"_meta": {
"title": "Load LTXV Audio Text Encoder"
}
},
"340:319": {
"class_type": "PrimitiveStringMultiline",
"inputs": {
"value": "[VISUAL]: A medium close-up of the woman with the chin-length black bob and mustard-yellow turtleneck, seated in a warm, softly lit studio with an olive and terracotta backdrop. The camera slowly pushes in toward her face. She looks straight into the lens, raises her eyebrows with a small knowing smile, speaks naturally with clear, relaxed lip movement, tilts her head slightly to one side on the last line and lets out a short, soft laugh.\n[SPEECH]: You know what? I've been thinking about it all week, and I'm finally ready to say it out loud. Let's do it. Let's actually go.\n[SOUNDS]: Warm, confident and slightly playful tone, moderate volume, close to the microphone, quiet room tone, no music."
},
"_meta": {
"title": "Prompt"
}
},
"340:323": {
"class_type": "PrimitiveInt",
"inputs": {
"value": 25
},
"_meta": {
"title": "Frame Rate"
}
},
"340:324": {
"class_type": "PrimitiveInt",
"inputs": {
"value": 720
},
"_meta": {
"title": "Height"
}
},
"340:325": {
"class_type": "LTXVImgToVideoInplace",
"inputs": {
"bypass": False,
"image": [
"340:334",
0
],
"latent": [
"340:302",
0
],
"strength": 0.7,
"vae": [
"340:317",
2
]
},
"_meta": {
"title": "LTXVImgToVideoInplace"
}
},
"340:326": {
"class_type": "LTXVConcatAVLatent",
"inputs": {
"audio_latent": [
"340:348",
0
],
"video_latent": [
"340:325",
0
]
},
"_meta": {
"title": "Concat AV Latent"
}
},
"340:329": {
"class_type": "ComfyMathExpression",
"inputs": {
"expression": "a * b + 1",
"values.a": [
"340:331",
0
],
"values.b": [
"340:323",
0
]
},
"_meta": {
"title": "Math Expression"
}
},
"340:330": {
"class_type": "PrimitiveInt",
"inputs": {
"value": 1280
},
"_meta": {
"title": "Width"
}
},
"340:331": {
"class_type": "PrimitiveFloat",
"inputs": {
"value": 10
},
"_meta": {
"title": "Duration"
}
},
"340:333": {
"class_type": "SolidMask",
"inputs": {
"height": [
"340:324",
0
],
"value": 0,
"width": [
"340:330",
0
]
},
"_meta": {
"title": "Create Solid Mask"
}
},
"340:334": {
"class_type": "LTXVPreprocess",
"inputs": {
"image": [
"340:294",
0
],
"img_compression": 18
},
"_meta": {
"title": "LTXV Preprocess"
}
},
"340:335": {
"class_type": "LTXVAudioVAELoader",
"inputs": {
"ckpt_name": "ltx-2.3-22b-dev-fp8.safetensors"
},
"_meta": {
"title": "Load LTXV Audio VAE"
}
},
"340:346": {
"class_type": "LoraLoaderModelOnly",
"inputs": {
"lora_name": "ltx-2.3-id-lora-talkvid-3k.safetensors",
"model": [
"340:293",
0
],
"strength_model": 1
},
"_meta": {
"title": "Load LoRA"
}
},
"340:348": {
"class_type": "LTXVEmptyLatentAudio",
"inputs": {
"audio_vae": [
"340:335",
0
],
"batch_size": 1,
"frame_rate": [
"340:304",
1
],
"frames_number": [
"340:329",
1
]
},
"_meta": {
"title": "Empty LTXV Latent Audio"
}
},
"340:349": {
"class_type": "LTXVReferenceAudio",
"inputs": {
"audio_vae": [
"340:335",
0
],
"end_percent": 1,
"identity_guidance_scale": 3,
"model": [
"340:346",
0
],
"negative": [
"340:314",
0
],
"positive": [
"340:306",
0
],
"reference_audio": [
"276",
0
],
"start_percent": 0
},
"_meta": {
"title": "LTXV Reference Audio (ID-LoRA)"
}
}
})
workflow.set_input("276", "audio", client.assets.from_url("https://comfy.org/catalog-media/2772b54a-6108-4ec3-a76b-773a45315b2c/29fe5499-d563-4b33-8cb1-cd6781844da9"))
workflow.set_input("269", "image", client.assets.from_url("https://comfy.org/catalog-media/92d08eb8-7bfe-46d5-8763-998fd1e87571/9333bfba-4ff2-4496-a5e1-17cb0c41f904"))
# run() also passes api_key to the partner nodes in this workflow.
job = client.run(workflow, api_key=api_key)
for output in job.get_outputs("341"):
output.to_file(output.name)예시 사용해 보기
이 워크플로 정보
이 ComfyUI 워크플로는 참조 이미지(외형), 짧은 오디오 클립(타이밍 및 보컬 스타일), 구조화된 프롬프트(장면, 대사, 사운드 맥락)라는 세 가지 입력으로 LTX-2.3을 조건화해 개인화된 립싱크 비디오 클립을 생성합니다. 핵심 로직은 서브그래프(커스텀 노드 ID 98ee9e5b-467b-40aa-a534-36033f27d0b4)에 캡슐화되어 있으며, ID-LoRA 아이덴티티 조건화를 포함해 LTX-2.3 생성을 오케스트레이션합니다. LoadImage는 얼굴/포즈 참조를 제공하고, LoadAudio 또는 RecordAudio가 음성을 제공하며, SaveVideo가 최종 비디오를 저장합니다. 캔버스의 MarkdownNote는 구조화된 프롬프트 형식 요약과 LTX-2.3 및 ID-LoRA 리소스 링크를 제공합니다.
기술적으로 ID-LoRA는 전체 파인튜닝 없이도 생성 시점에 적용되는 경량 아이덴티티 어댑터를 LTX-2.3 비디오 diffusion 과정에 주입해, 생성 인물이 참조 이미지와 일치하도록 합니다. 프롬프트는 서브그래프가 기대하는 세 개의 태그로 나뉩니다: [VISUAL](장면과 외형), [SPEECH](말할 정확한 문장), [SOUNDS](화자 스타일 및 주변 사운드 단서). 오디오는 입 모양과 타이밍을 구동하고, [SPEECH]는 더 명확한 립 아티큘레이션을 위해 음소 수준 디테일을 모델이 해석하는 데 도움을 줍니다. 결과는 제공한 대사를 말하는 피사체의 짧은 비디오로, 참조 이미지에 시각적으로 정렬되고 오디오와 시간적으로 동기화됩니다.
질문과 답변
전체 학습은 필요하지 않습니다. 워크플로는 생성 시점에 적용되는 경량 아이덴티티 어댑터로 ID-LoRA를 사용합니다. 닮은꼴을 개선하려면 고품질 참조 이미지를 제공하세요.
세 가지 태그를 사용하세요: [VISUAL]에는 장면 및 외형 세부 정보, [SPEECH]에는 말할 정확한 문장(오디오와 일치), [SOUNDS]에는 화자의 보컬 스타일과 주변 룸톤을 넣습니다. 정확한 [SPEECH] 섹션은 더 명확한 입 모양을 만드는 데 도움이 됩니다.
배경 음악이 없는 깨끗한 보이스 녹음을 사용하고, 일정한 속도로 말하며, [SPEECH] 대사가 오디오와 정확히 일치하도록 하세요. 입 주변이 잘 보이도록 정면, 충분한 조명의 참조 이미지를 선택하세요.
이 워크플로는 오디오를 기반으로 시각적 동기화를 구동합니다. 최종 비디오 파일에 오디오 트랙이 포함되는지는 사용 중인 SaveVideo 설정에 따라 달라집니다. 무음 비디오가 나오면 비디오 편집기에서 원본 오디오를 mux하거나, 서브그래프를 풀어 오디오 muxing을 통합할 수 있습니다.
관련 워크플로
- LTX-2.3
Turn an image into a video
- LTX-2.3
Add camera motion first last frame
- LTX-2.3
Remove an object from a video
- LTX-2.3
Expand a video’s frame
- LTX-2.3
Make your character talk
- LTX-2.3
Animate a scene from a reference sheet
- LTX-2.3
Restore archival footage
- LTX-2.3
Googly Eyes
- LTX-2.3
LTX 2.3 - Anime2Real
- LTX-2.3
LTX 2.3 - Cozy Felt
- LTX-2.3
LTX 2.3 - EditAnything - 프롬프트 기반 비디오 편집
- LTX-2.3
LTX-2.3 스타일 전환