이 워크플로는 LTX 2.3과 Chatterbox 음성 변환을 중심으로 완전한 오픈 소스 립덥 파이프라인을 구성합니다. 말하는 사람의 "드라이빙" 비디오와, 말하게 하고 싶은 대사를 제공하면 됩니다. LoadVideo가 클립을 입력받고, GetVideoComponents가 프레임, FPS, 원본 오디오를 추출합니다. 입력한 대사는 PrimitiveStringMultiline 프롬프트에서 RegexReplace를 거쳐 문장부호와 공백을 정리한 다음, LTX 2.3 Lipdub 노드(커스텀 노드 ID 1e1eaad5-a949-4d3e-9a68-694e64a936a0)로 들어갑니다. 이 노드는 Lipdub LoRA 파인튜닝을 LTX 2.3에 적용해, 피사체의 정체성, 머리 움직임, 장면 맥락을 유지하면서 스크립트에 맞게 입 모양 타이밍을 재조정합니다.
오디오 측면에서는 같은 대사로 임시 더빙 트랙을 만든 뒤 FL_ChatterboxVC로 전달합니다. GetVideoComponents에서 가져온 원본 비디오 오디오를 음성 레퍼런스로 사용해, Chatterbox VC가 더빙을 화자의 음색과 발성 특성에 맞게 다시 보이싱합니다. 마지막으로 CreateVideo가 편집된 프레임과 클론된 오디오를 소스 FPS로 합치고, SaveVideo가 최종 립싱크 렌더를 저장합니다. MarkdownNote의 크기 규칙에 유의하세요. 입력 너비 × 높이는 의도한 최종 크기의 절반으로 설정해야 합니다(예: 960×544 입력은 약 1920×1088 출력).
API
코드에서 이 워크플로우 사용하기
모든 Comfy 워크플로우는 JSON 그래프입니다. 아래 페이로드는 이 워크플로우 그 자체로, ComfyUI에서 실행되는 것과 동일합니다 — URL에서 가져오거나, 버전 관리에 보관하거나, ComfyUI에서 불러와 노드별로 실행할 수 있습니다.
Comfy SDK로 TypeScript 또는 Python에서 실행하세요. 동일한 코드는 Comfy Cloud 또는 직접 호스팅하는 ComfyUI 모두에 적용됩니다 — 기본 URL만 다릅니다.
// Install (beta)
npm i @comfyorg/sdk
// Run this workflow (TypeScript)
import { Comfy } from "@comfyorg/sdk";
const client = new Comfy({ apiKey: "comfyui-..." });
const wf = await client.workflows.fromFile("workflow_api.json");
const job = await client.run(wf);
await job.getOutputs("<output-node-id>")[0].toFile("output.png");SDK는 API 형식의 워크플로우를 사용합니다: 이 워크플로우를 ComfyUI에서 열고 파일 → 워크플로우 내보내기(API)를 사용하세요.
FAQ
