AI on the Lot 2026_LTX-2.3_IC LoRA (Union Control)
The second bonus workflow for AI on the Lot 2026, made available for ComfyUI 101 workshop attendees to open and follow along if time allows. A video editing workflow using LTX 2.3 with the Union Control IC LoRA and canny control. Provide a modified frame from your video and the workflow propagates that change across the clip. For example, take a frame from a video of a shirtless boxer, edit a red shirt onto him, and the output video will show him wearing the red shirt throughout.
정보
이 워크플로는 Union Control IC LoRA 및 canny 엣지 가이드로 조정되는 LTX 2.3 기반의 레퍼런스 기반 비디오-투-비디오 편집을 수행합니다. 클립에서 편집한 단일 프레임(예: 복서에게 빨간 셔츠를 칠하기)을 제공하면, 파이프라인이 모션과 구조를 유지하면서 그 시각적 변경을 비디오의 모든 프레임으로 전파합니다. 핵심 처리는 커스텀 처리 블록(UUID: 9278a6c3-b46a-4e21-8d09-5103f85ffec6)에서 이루어지며, 이 블록은 Union Control IC LoRA와 함께 LTX 2.3 추론을 실행하고 시간에 걸쳐 엣지 및 실루엣을 일관되게 유지하기 위해 canny control을 통합합니다.
기술적으로 LoadVideo가 소스 클립을 가져와 프레임을 추론 블록으로 전달하고, 여기서 canny 엣지 맵이 구조적 프라이어로 사용되어 피사체의 포즈와 장면 레이아웃이 안정적으로 유지됩니다. LoadImage는 사용자가 수동으로 편집한 레퍼런스 프레임을 가져오며, IC LoRA가 이를 외형 가이드로 사용해 시퀀스 전체에 변경을 복제합니다. 처리 후 VHS_VideoCombine이 생성된 프레임을 다시 비디오로 합치고, SaveVideo가 최종 출력물을 디스크에 저장합니다. 이 접근은 재촬영이나 무거운 로토 작업 없이 색상 교체, 의상 수정, 로고/그래픽 업데이트처럼 목표가 명확하고 일관된 교체를 원할 때 적합합니다.
제공할 항목
- 워크플로 읽는 중
ComfyUI에서 실행됩니다. 이 워크플로는 이 페이지에서 실행할 수 없습니다. 모든 항목이 로드된 Comfy Cloud에서 열거나, 자체 ComfyUI에서 사용하려면 다운로드하세요.
Cloud에서 사용해 보기예시 사용해 보기
워크플로 내부
노드 그래프의 읽기 전용 미리보기입니다. 노드를 편집하려면 Comfy Cloud에서 열거나 다운로드하세요.
Loading the graph
Open full-size workflow preview코드에서 이 워크플로 사용하기
가능한 경우 워크플로 그래프와 입력을 기반으로 생성되며, 그렇지 않은 경우 저장된 예시가 표시됩니다. 비용이 발생할 수 있으므로 코드를 실행하기 전에 자격 증명과 엔드포인트를 검토하세요.
What you need
- Runs on
- Comfy Cloud
- 키
- COMFY_API_KEY
유료 Cloud 요금제와 크레딧이 필요합니다.
# Python 3.10+: pip install comfy-sdk==0.4.0
import os
from comfy_sdk import Comfy
api_key = os.environ.get("COMFY_API_KEY", "").strip()
if not api_key: raise RuntimeError("Set COMFY_API_KEY")
os.environ.setdefault("COMFY_BASE_URL", "https://cloud.comfy.org")
client = Comfy(api_key=api_key)
workflow = client.workflows.from_json({
"5074": {
"class_type": "SaveVideo",
"inputs": {
"filename_prefix": "output",
"format": "auto",
"format.codec": "auto",
"video": [
"5073:4849",
0
]
},
"_meta": {
"title": "Save Video"
}
},
"5075": {
"class_type": "VHS_VideoCombine",
"inputs": {
"crf": 14,
"filename_prefix": "AnimateDiff",
"format": "video/h264-mp4",
"frame_rate": 8,
"images": [
"5073:4991",
0
],
"loop_count": 0,
"pingpong": False,
"pix_fmt": "yuv420p",
"save_metadata": True,
"save_output": False,
"trim_to_audio": False
},
"_meta": {
"title": "Video Combine 🎥🅥🅗🅢"
}
},
"5076": {
"class_type": "LoadImage",
"inputs": {
"image": "ad51bba819a91ed64386b035c44b36da9d29b2cef9dc02389b96738dbfa974b8.png"
},
"_meta": {
"title": "Load Image"
}
},
"5077": {
"class_type": "LoadVideo",
"inputs": {
"file": "2660a79624272b901d33725cc770e2b16d47528608c5487c553444c6502d0358.mp4"
},
"_meta": {
"title": "Load Video"
}
},
"5073:1241": {
"class_type": "LTXVConditioning",
"inputs": {
"frame_rate": [
"5073:5000",
2
],
"negative": [
"5073:2612",
0
],
"positive": [
"5073:2483",
0
]
},
"_meta": {
"title": "LTXVConditioning"
}
},
"5073:2483": {
"class_type": "CLIPTextEncode",
"inputs": {
"clip": [
"5073:5023",
0
],
"text": "Boxer breathing hard"
},
"_meta": {
"title": "CLIP Text Encode (Positive Prompt)"
}
},
"5073:2612": {
"class_type": "CLIPTextEncode",
"inputs": {
"clip": [
"5073:5023",
0
],
"text": "pc game, console game, video game, cartoon, childish, ugly"
},
"_meta": {
"title": "CLIP Text Encode (Negative Prompt)"
}
},
"5073:3059": {
"class_type": "EmptyLTXVLatentVideo",
"inputs": {
"batch_size": 1,
"height": [
"5073:5029",
1
],
"length": [
"5073:5029",
2
],
"width": [
"5073:5029",
0
]
},
"_meta": {
"title": "Empty LTXV Latent Video"
}
},
"5073:3159": {
"class_type": "LTXVImgToVideoConditionOnly",
"inputs": {
"bypass": [
"5073:5019",
0
],
"image": [
"5073:5035",
0
],
"latent": [
"5073:3059",
0
],
"strength": 1,
"vae": [
"5073:3940",
2
]
},
"_meta": {
"title": "🅛🅣🅧 LTXV Img To Video Condition Only"
}
},
"5073:3940": {
"class_type": "CheckpointLoaderSimple",
"inputs": {
"ckpt_name": "ltx-2.3-22b-distilled-fp8.safetensors"
},
"_meta": {
"title": "Load Checkpoint"
}
},
"5073:3980": {
"class_type": "LTXVEmptyLatentAudio",
"inputs": {
"audio_vae": [
"5073:4010",
0
],
"batch_size": 1,
"frame_rate": [
"5073:5066",
0
],
"frames_number": [
"5073:5029",
2
]
},
"_meta": {
"title": "Empty LTXV Latent Audio"
}
},
"5073:4010": {
"class_type": "LTXVAudioVAELoader",
"inputs": {
"ckpt_name": "ltx-2.3-22b-distilled-fp8.safetensors"
},
"_meta": {
"title": "Load LTXV Audio VAE"
}
},
"5073:4528": {
"class_type": "LTXVConcatAVLatent",
"inputs": {
"audio_latent": [
"5073:3980",
0
],
"video_latent": [
"5073:5072",
2
]
},
"_meta": {
"title": "Concat AV Latent"
}
},
"5073:4828": {
"class_type": "CFGGuider",
"inputs": {
"cfg": 1,
"model": [
"5073:5069",
0
],
"negative": [
"5073:5072",
1
],
"positive": [
"5073:5072",
0
]
},
"_meta": {
"title": "CFG Guider"
}
},
"5073:4829": {
"class_type": "SamplerCustomAdvanced",
"inputs": {
"guider": [
"5073:4828",
0
],
"latent_image": [
"5073:4528",
0
],
"noise": [
"5073:4832",
0
],
"sampler": [
"5073:4831",
0
],
"sigmas": [
"5073:5025",
0
]
},
"_meta": {
"title": "SamplerCustomAdvanced"
}
},
"5073:4831": {
"class_type": "KSamplerSelect",
"inputs": {
"sampler_name": "euler_ancestral_cfg_pp"
},
"_meta": {
"title": "KSamplerSelect"
}
},
"5073:4832": {
"class_type": "RandomNoise",
"inputs": {
"noise_seed": 42
},
"_meta": {
"title": "RandomNoise"
}
},
"5073:4845": {
"class_type": "LTXVSeparateAVLatent",
"inputs": {
"av_latent": [
"5073:4829",
0
]
},
"_meta": {
"title": "Separate AV Latent"
}
},
"5073:4848": {
"class_type": "LTXVAudioVAEDecode",
"inputs": {
"audio_vae": [
"5073:4010",
0
],
"samples": [
"5073:4845",
1
]
},
"_meta": {
"title": "LTXV Audio VAE Decode"
}
},
"5073:4849": {
"class_type": "CreateVideo",
"inputs": {
"audio": [
"5073:4848",
0
],
"bit_depth": "auto",
"codec": "none",
"color_space": "sRGB",
"fps": [
"5073:5000",
2
],
"images": [
"5073:5065",
0
]
},
"_meta": {
"title": "Create Video"
}
},
"5073:4922": {
"class_type": "LoraLoaderModelOnly",
"inputs": {
"lora_name": "ltx-2.3-22b-distilled-lora-384-1.1.safetensors",
"model": [
"5073:3940",
0
],
"strength_model": 0.5
},
"_meta": {
"title": "Load LoRA"
}
},
"5073:4991": {
"class_type": "CannyEdgePreprocessor",
"inputs": {
"high_threshold": 200,
"image": [
"5073:5026",
0
],
"low_threshold": 92,
"resolution": 1024
},
"_meta": {
"title": "Canny Edge"
}
},
"5073:5000": {
"class_type": "GetVideoComponents",
"inputs": {
"video": [
"5077",
0
]
},
"_meta": {
"title": "Get Video Components"
}
},
"5073:5011": {
"class_type": "LTXICLoRALoaderModelOnly",
"inputs": {
"lora_name": "ltx-2-19b-ic-lora-canny-control.safetensors",
"model": [
"5073:5069",
0
],
"strength_model": 1
},
"_meta": {
"title": "🅛🅣🅧 IC-LoRA Loader Model Only"
}
},
"5073:5013": {
"class_type": "LTXVCropGuides",
"inputs": {
"latent": [
"5073:4845",
0
],
"negative": [
"5073:5072",
1
],
"positive": [
"5073:5072",
0
]
},
"_meta": {
"title": "LTXVCropGuides"
}
},
"5073:5019": {
"class_type": "PrimitiveBoolean",
"inputs": {
"value": False
},
"_meta": {
"title": "bypass_i2v"
}
},
"5073:5023": {
"class_type": "LTXAVTextEncoderLoader",
"inputs": {
"ckpt_name": "ltx-2.3-22b-distilled-fp8.safetensors",
"device": "default",
"text_encoder": "gemma_3_12B_it_fp4_mixed.safetensors"
},
"_meta": {
"title": "Load LTXV Audio Text Encoder"
}
},
"5073:5025": {
"class_type": "ManualSigmas",
"inputs": {
"sigmas": "1.0, 0.99375, 0.9875, 0.98125, 0.975, 0.909375, 0.725, 0.421875, 0.0"
},
"_meta": {
"title": "ManualSigmas"
}
},
"5073:5026": {
"class_type": "ResizeImageMaskNode",
"inputs": {
"input": [
"5073:5000",
0
],
"resize_type": "scale shorter dimension",
"resize_type.shorter_size": 544,
"scale_method": "lanczos"
},
"_meta": {
"title": "Resize Image/Mask"
}
},
"5073:5028": {
"class_type": "ResizeImageMaskNode",
"inputs": {
"input": [
"5073:4991",
0
],
"resize_type": "scale to multiple",
"resize_type.multiple": [
"5073:5034",
0
],
"scale_method": "lanczos"
},
"_meta": {
"title": "Resize Image/Mask"
}
},
"5073:5029": {
"class_type": "GetImageSize",
"inputs": {
"image": [
"5073:5028",
0
]
},
"_meta": {
"title": "Get Image Size"
}
},
"5073:5034": {
"class_type": "SimpleMath+",
"inputs": {
"a": [
"5073:5011",
1
],
"b": 0,
"value": "a*32"
},
"_meta": {
"title": "🔧 Simple Math"
}
},
"5073:5035": {
"class_type": "ResizeImageMaskNode",
"inputs": {
"input": [
"5076",
0
],
"resize_type": "scale longer dimension",
"resize_type.longer_size": 1536,
"scale_method": "lanczos"
},
"_meta": {
"title": "Resize Image/Mask"
}
},
"5073:5065": {
"class_type": "LTXVTiledVAEDecode",
"inputs": {
"horizontal_tiles": 2,
"last_frame_fix": False,
"latents": [
"5073:5013",
2
],
"overlap": 6,
"vae": [
"5073:3940",
2
],
"vertical_tiles": 2,
"working_device": "auto",
"working_dtype": "auto"
},
"_meta": {
"title": "🅛🅣🅧 LTXV Tiled VAE Decode"
}
},
"5073:5066": {
"class_type": "LTXFloatToInt",
"inputs": {
"a": [
"5073:5000",
2
]
},
"_meta": {
"title": "🅛🅣🅧 Float To Int"
}
},
"5073:5069": {
"class_type": "LoraLoaderModelOnly",
"inputs": {
"lora_name": "ltx-2.3-22b-ic-lora-union-control-ref0.5.safetensors",
"model": [
"5073:4922",
0
],
"strength_model": 1
},
"_meta": {
"title": "Load LoRA"
}
},
"5073:5070": {
"class_type": "GetICLoRAParameters",
"inputs": {
"iclora_model": [
"5073:5069",
0
]
},
"_meta": {
"title": "Get IC-LoRA Parameters"
}
},
"5073:5072": {
"class_type": "LTXVAddGuide",
"inputs": {
"frame_idx": 0,
"iclora_parameters": [
"5073:5070",
0
],
"image": [
"5073:5028",
0
],
"latent": [
"5073:3159",
0
],
"negative": [
"5073:1241",
1
],
"positive": [
"5073:1241",
0
],
"strength": 1,
"vae": [
"5073:3940",
2
]
},
"_meta": {
"title": "LTXVAddGuide"
}
}
})
# run() also passes api_key to the partner nodes in this workflow.
job = client.run(workflow, api_key=api_key)질문과 답변
No. The workflow uses LTX 2.3 plus the Union Control IC LoRA as a general-purpose conditioning method. You provide one edited frame as a reference, and the model propagates that change across the clip.
Pick a clear frame where the target area is fully visible and not heavily motion‑blurred or occluded. The more unambiguous your edit, the easier it is for the model to generalize it across the sequence.
Canny thresholds control edge sensitivity. Lower thresholds capture more fine detail (pushing stronger edits but risking overreach), while higher thresholds preserve broader structure (maintaining pose and layout but reducing how much the edit can reshape details). Adjust alongside control strength to balance fidelity and change.
That depends on your GPU memory and patience. Start with short segments at moderate resolution. If needed, split long videos into sections, process each, and reassemble downstream in your editor.