이 ComfyUI 워크플로는 정적인 캐릭터 이미지와 오디오 파일을 결합해 립싱크 비디오를 만들도록 설계되었습니다. Wan2.1 InfiniteTalk 모델의 기능을 활용해 업로드한 오디오를 분석하고, 말하는 내용에 맞는 입 움직임을 생성하여 자연스러운 립싱크 효과를 만듭니다. 프로세스는 오디오 파일을 불러와 분석 준비를 하는 'LoadAudio' 노드에서 시작합니다. 동시에 'LoadImage' 노드로 애니메이션을 적용할 캐릭터 이미지를 업로드할 수 있습니다. 워크플로는 'ComfyUI-WanVideoWrapper' 및 'audio-separation-nodes-comfyui' 같은 커스텀 노드를 활용해 오디오를 처리하고 시각 요소와 동기화합니다. 최종 출력은 'SaveVideo' 노드로 저장되는 비디오 파일이며, 캐릭터의 입 움직임이 오디오 트랙과 정확히 맞물리도록 구성됩니다.
기술적으로 이 워크플로는 고급 오디오 분석 및 비디오 생성 기법을 사용한다는 점이 강점입니다. 'audio-separation-nodes-comfyui' 노드는 오디오를 입 모양에 매핑할 수 있는 구성 요소로 분해하는 데 핵심이며, 'comfyui-kjnodes'는 이러한 움직임을 캐릭터 이미지에 자연스럽게 블렌딩하는 정교한 작업을 담당합니다. 복잡한 애니메이션 소프트웨어 없이도 애니메이션 비디오를 만들고 싶은 콘텐츠 제작자에게 특히 유용하며, 시각 미디어를 통해 스토리텔링과 몰입도를 높이는 데 쓰기 좋은 접근성 높은 도구입니다.
API
코드에서 이 워크플로우 사용하기
모든 Comfy 워크플로우는 JSON 그래프입니다. 아래 페이로드는 이 워크플로우 그 자체로, ComfyUI에서 실행되는 것과 동일합니다 — URL에서 가져오거나, 버전 관리에 보관하거나, ComfyUI에서 불러와 노드별로 실행할 수 있습니다.
Comfy SDK로 TypeScript 또는 Python에서 실행하세요. 동일한 코드는 Comfy Cloud 또는 직접 호스팅하는 ComfyUI 모두에 적용됩니다 — 기본 URL만 다릅니다.
// Install (beta)
npm i @comfyorg/sdk
// Run "오디오 기반 캐릭터 립싱크 영상" (TypeScript)
import { Comfy } from "@comfyorg/sdk";
const client = new Comfy({ apiKey: "comfyui-..." });
// This workflow, exported in API format (see note below)
const wf = await client.workflows.fromFile("templates-wan2_1_infinitetalk_music_api.json");
const asset = client.assets.fromFile("input.png");
wf.setInput("284", "image", asset); // LoadImage
const job = await client.run(wf);
await job.getOutputs("325")[0].toFile("output.png"); // SaveVideoSDK는 API 형식의 워크플로우를 사용합니다: 이 워크플로우를 ComfyUI에서 열고 파일 → 워크플로우 내보내기(API)를 사용하세요.
FAQ
