이 ComfyUI 워크플로는 LTX-2.3 모델을 사용해 단일 이미지와 음성 녹음을 립싱크되는 대화 비디오로 변환합니다. LoadImage로 인물 사진을 로드하고, LoadAudio로 음성을 제공하거나 RecordAudio로 라이브 캡처합니다. 두 스트림은 LTX-2.3 생성 노드(98ee9e5b-467b-40aa-a534-36033f27d0b4)로 들어가며, 인물이 오디오에 맞춰 말하는 프레임 시퀀스를 합성합니다. 결과 프레임은 SaveVideo로 MP4로 인코딩됩니다.
내부적으로 LTX-2.3은 참조 이미지에서 시각적 정체성을, 제공된 오디오에서 시간적 특징을 조건으로 사용해 입 모양과 미세한 얼굴 움직임을 시간에 따라 구동합니다. 노드는 보통 출력 해상도와 FPS 같은 설정을 제공하며, 많은 빌드에는 재현성을 위한 seed와 움직임 또는 스타일을 가이드하는 선택적 텍스트 프롬프트도 포함됩니다. 그래프의 MarkdownNote에는 빠른 팁과 공식 Lightricks 모델 저장소 링크가 포함되어 있어 필요한 가중치를 다운로드할 수 있습니다.
API
코드에서 이 워크플로우 사용하기
모든 Comfy 워크플로우는 JSON 그래프입니다. 아래 페이로드는 이 워크플로우 그 자체로, ComfyUI에서 실행되는 것과 동일합니다 — URL에서 가져오거나, 버전 관리에 보관하거나, ComfyUI에서 불러와 노드별로 실행할 수 있습니다.
Comfy SDK로 TypeScript 또는 Python에서 실행하세요. 동일한 코드는 Comfy Cloud 또는 직접 호스팅하는 ComfyUI 모두에 적용됩니다 — 기본 URL만 다릅니다.
// Install (beta)
npm i @comfyorg/sdk
// Run "LTX-2.3: 이미지 오디오를 비디오로" (TypeScript)
import { Comfy } from "@comfyorg/sdk";
const client = new Comfy({ apiKey: "comfyui-..." });
// This workflow, exported in API format (see note below)
const wf = await client.workflows.fromFile("video_ltx2_3_ia2v_api.json");
const asset = client.assets.fromFile("input.png");
wf.setInput("269", "image", asset); // LoadImage
const job = await client.run(wf);
await job.getOutputs("341")[0].toFile("output.png"); // SaveVideoSDK는 API 형식의 워크플로우를 사용합니다: 이 워크플로우를 ComfyUI에서 열고 파일 → 워크플로우 내보내기(API)를 사용하세요.
FAQ
