이 ComfyUI 워크플로는 참조 이미지(외형), 짧은 오디오 클립(타이밍 및 보컬 스타일), 구조화된 프롬프트(장면, 대사, 사운드 맥락)라는 세 가지 입력으로 LTX-2.3을 조건화해 개인화된 립싱크 비디오 클립을 생성합니다. 핵심 로직은 서브그래프(커스텀 노드 ID 98ee9e5b-467b-40aa-a534-36033f27d0b4)에 캡슐화되어 있으며, ID-LoRA 아이덴티티 조건화를 포함해 LTX-2.3 생성을 오케스트레이션합니다. LoadImage는 얼굴/포즈 참조를 제공하고, LoadAudio 또는 RecordAudio가 음성을 제공하며, SaveVideo가 최종 비디오를 저장합니다. 캔버스의 MarkdownNote는 구조화된 프롬프트 형식 요약과 LTX-2.3 및 ID-LoRA 리소스 링크를 제공합니다.
기술적으로 ID-LoRA는 전체 파인튜닝 없이도 생성 시점에 적용되는 경량 아이덴티티 어댑터를 LTX-2.3 비디오 diffusion 과정에 주입해, 생성 인물이 참조 이미지와 일치하도록 합니다. 프롬프트는 서브그래프가 기대하는 세 개의 태그로 나뉩니다: [VISUAL](장면과 외형), [SPEECH](말할 정확한 문장), [SOUNDS](화자 스타일 및 주변 사운드 단서). 오디오는 입 모양과 타이밍을 구동하고, [SPEECH]는 더 명확한 립 아티큘레이션을 위해 음소 수준 디테일을 모델이 해석하는 데 도움을 줍니다. 결과는 제공한 대사를 말하는 피사체의 짧은 비디오로, 참조 이미지에 시각적으로 정렬되고 오디오와 시간적으로 동기화됩니다.
API
코드에서 이 워크플로우 사용하기
모든 Comfy 워크플로우는 JSON 그래프입니다. 아래 페이로드는 이 워크플로우 그 자체로, ComfyUI에서 실행되는 것과 동일합니다 — URL에서 가져오거나, 버전 관리에 보관하거나, ComfyUI에서 불러와 노드별로 실행할 수 있습니다.
Comfy SDK로 TypeScript 또는 Python에서 실행하세요. 동일한 코드는 Comfy Cloud 또는 직접 호스팅하는 ComfyUI 모두에 적용됩니다 — 기본 URL만 다릅니다.
// Install (beta)
npm i @comfyorg/sdk
// Run "LTX-2.3: ID LoRA" (TypeScript)
import { Comfy } from "@comfyorg/sdk";
const client = new Comfy({ apiKey: "comfyui-..." });
// This workflow, exported in API format (see note below)
const wf = await client.workflows.fromFile("video_ltx2_3_id_lora_api.json");
const asset = client.assets.fromFile("input.png");
wf.setInput("269", "image", asset); // LoadImage
const job = await client.run(wf);
await job.getOutputs("341")[0].toFile("output.png"); // SaveVideoSDK는 API 형식의 워크플로우를 사용합니다: 이 워크플로우를 ComfyUI에서 열고 파일 → 워크플로우 내보내기(API)를 사용하세요.
FAQ
