InfiniteTalk: 오디오 기반 전신 비디오 더빙은 단일 이미지와 하나 이상의 오디오 트랙을 립싱크된 전신 비디오로 변환하며, 원본 인물, 배경, 카메라 움직임을 그대로 유지합니다. 파이프라인의 핵심은 WanInfiniteTalkToVideo로, 로드된 Wan2.1 I2V 모델의 특징과 오디오 임베딩을 결합해 신체 및 얼굴 모션을 구동합니다. Step1 - Load Models에서는 이미지-투-비디오 합성을 위한 UNet 및 VAE(UNETLoader, VAELoader)를 준비하고, 텍스트 및 오디오 백본(CLIPLoader와 CLIPTextEncode로 카메라/무대 프롬프트, AudioEncoderLoader와 AudioEncoderEncode로 음성 특징)을 로드합니다. 시작 프레임은 LoadImage로 가져오고, MaskEditor에서 각 화자별로 마스크를 그려 모션을 각 화자에 국한시킵니다.
API
코드에서 이 워크플로우 사용하기
모든 Comfy 워크플로우는 JSON 그래프입니다. 아래 페이로드는 이 워크플로우 그 자체로, ComfyUI에서 실행되는 것과 동일합니다 — URL에서 가져오거나, 버전 관리에 보관하거나, ComfyUI에서 불러와 노드별로 실행할 수 있습니다.
Comfy SDK로 TypeScript 또는 Python에서 실행하세요. 동일한 코드는 Comfy Cloud 또는 직접 호스팅하는 ComfyUI 모두에 적용됩니다 — 기본 URL만 다릅니다.
// Install (beta)
npm i @comfyorg/sdk
// Run "InfiniteTalk: 오디오 기반 전신 비디오 더빙" (TypeScript)
import { Comfy } from "@comfyorg/sdk";
const client = new Comfy({ apiKey: "comfyui-..." });
// This workflow, exported in API format (see note below)
const wf = await client.workflows.fromFile("video_wan2_1_infinitetalk_api.json");
const asset = client.assets.fromFile("input.png");
wf.setInput("32", "image", asset); // LoadImage
const job = await client.run(wf);
await job.getOutputs("162")[0].toFile("output.png"); // SaveVideoSDK는 API 형식의 워크플로우를 사용합니다: 이 워크플로우를 ComfyUI에서 열고 파일 → 워크플로우 내보내기(API)를 사용하세요.
FAQ
