이 ComfyUI 워크플로는 Wan 2.2 Animate 비디오 diffusion 모델을 사용해 캐릭터 애니메이션과 교체를 통합 방식으로 수행하는 예시를 보여줍니다. 입력 비디오에서 모션을 추출하고 대상 피사체를 분할한 뒤, 동일한 모션을 따르는 새로운 캐릭터를 합성(또는 원본을 리스타일)합니다. 핵심 구성 요소에는 Wan2_2-Animate-14B_fp8_e4m3fn_scaled_KJ.safetensors 체크포인트를 로드하는 UNETLoader, 프레임 디코딩용 VAELoader, 포지티브/네거티브 프롬프트용 CLIPLoader 및 CLIPTextEncode, 최종 출력용 SaveVideo가 포함됩니다. 모션 큐는 comfyui_controlnet_aux의 DWPreprocessor(사람 포즈/전신 키포인트)로 생성하고, 피사체 분리는 ComfyUI-segment-anything-2의 DownloadAndLoadSAM2Model 및 Sam2Segmentation으로 수행합니다. 단일 이미지에서 정체성 또는 스타일을 고정하고 싶다면 CLIPVisionLoader + CLIPVisionEncode로 추가 참조 조건을 제공하고, LoraLoaderModelOnly로 캐릭터 LoRA를 주입할 수 있습니다.
기술적으로 워크플로는 LoadVideo를 GetVideoComponents로 연결한 뒤 배경과 피사체를 전처리합니다. Sam2Segmentation이 사용자 “초록 포인트”로 가이드된 캐릭터 마스크를 만들고, DWPreprocessor가 각 프레임에서 포즈를 추출합니다. PixelPerfectResolution은 작업 크기를 GPU에 맞추고 WanAnimateToVideo 제약(너비와 높이는 16의 배수)을 충족하도록 보장합니다. ModelSamplingSD3는 Wan UNet의 샘플러와 스케줄을 제어하며, comfyui-kjnodes 유틸리티는 최적화된 FP8 스케일 모델을 돕습니다. 결과적으로, 단일 참조 이미지, LoRA, 프롬프트를 사용해 정체성과 외형을 유도하면서도 원본 모션은 유지하는 모션 일관 교체/리스타일 파이프라인을 구성할 수 있습니다.
API
코드에서 이 워크플로우 사용하기
모든 Comfy 워크플로우는 JSON 그래프입니다. 아래 페이로드는 이 워크플로우 그 자체로, ComfyUI에서 실행되는 것과 동일합니다 — URL에서 가져오거나, 버전 관리에 보관하거나, ComfyUI에서 불러와 노드별로 실행할 수 있습니다.
Comfy SDK로 TypeScript 또는 Python에서 실행하세요. 동일한 코드는 Comfy Cloud 또는 직접 호스팅하는 ComfyUI 모두에 적용됩니다 — 기본 URL만 다릅니다.
// Install (beta)
npm i @comfyorg/sdk
// Run "Wan2.2 Animate 캐릭터 애니메이션 및 교체" (TypeScript)
import { Comfy } from "@comfyorg/sdk";
const client = new Comfy({ apiKey: "comfyui-..." });
// This workflow, exported in API format (see note below)
const wf = await client.workflows.fromFile("video_wan2_2_14B_animate_api.json");
const asset = client.assets.fromFile("input.png");
wf.setInput("10", "image", asset); // LoadImage
wf.setInput("21", "text", "The character is dancing in the room"); // CLIPTextEncode
const job = await client.run(wf);
await job.getOutputs("277")[0].toFile("output.png"); // SaveVideoSDK는 API 형식의 워크플로우를 사용합니다: 이 워크플로우를 ComfyUI에서 열고 파일 → 워크플로우 내보내기(API)를 사용하세요.
FAQ
