Wan2.1 VACE Control Video는 소스 비디오의 모션과 타이밍을 유지하면서 텍스트 프롬프트 및 참조 이미지로 스타일을 바꾸거나 캐릭터를 재구성하는 가이드형 비디오-투-비디오 워크플로입니다. UNETLoader 및 VAELoader로 Wan2.1 VACE 체크포인트(1.3B 또는 14B)를 로드하고, CLIPTextEncode로 텍스트를 인코딩하며, 간단한 이미지 전처리(기본값: Canny)에서 파생된 컨트롤 신호로 생성 조건을 구성합니다. GetVideoComponents가 입력 클립에서 프레임 및 FPS를 읽고, TrimVideoLatent가 샘플링 전에 선택한 프레임 범위 및 해상도에 맞게 잠재 데이터 시퀀스를 정렬된 상태로 유지합니다.
내부적으로 ModelSamplingSD3가 Wan2.1 VACE에 필요한 샘플러 스케줄을 구성하고, KSampler가 컨트롤 비디오, 프롬프트, 참조 이미지를 사용해 WanVaceToVideo가 조립한 비디오 잠재 데이터 시퀀스에 대해 디노이징을 수행합니다. VAEDecode가 최종 잠재 데이터를 프레임으로 되돌리고, CreateVideo가 원하는 FPS로 이를 합치며, MP4(SaveVideo) 또는 애니메이션 WebP(SaveAnimatedWEBP)로 내보낼 수 있습니다. 선택적으로 CausVid LoRA(LoraLoader)를 사용하면 매우 낮은 스텝으로 모션을 가속하거나 안정화할 수 있지만, 강도는 튜닝이 필요할 수 있습니다. 14B 모델은 더 높은 충실도(및 720p 지원)를 제공하지만 더 느리고 더 많은 VRAM을 사용하며, 1.3B 변형은 더 빠르고 480p 출력에 적합합니다.
API
코드에서 이 워크플로우 사용하기
모든 Comfy 워크플로우는 JSON 그래프입니다. 아래 페이로드는 이 워크플로우 그 자체로, ComfyUI에서 실행되는 것과 동일합니다 — URL에서 가져오거나, 버전 관리에 보관하거나, ComfyUI에서 불러와 노드별로 실행할 수 있습니다.
Comfy SDK로 TypeScript 또는 Python에서 실행하세요. 동일한 코드는 Comfy Cloud 또는 직접 호스팅하는 ComfyUI 모두에 적용됩니다 — 기본 URL만 다릅니다.
// Install (beta)
npm i @comfyorg/sdk
// Run "Wan VACE 제어 비디오" (TypeScript)
import { Comfy } from "@comfyorg/sdk";
const client = new Comfy({ apiKey: "comfyui-..." });
// This workflow, exported in API format (see note below)
const wf = await client.workflows.fromFile("video_wan_vace_14B_v2v_api.json");
const asset = client.assets.fromFile("input.png");
wf.setInput("134", "image", asset); // LoadImage
wf.setInput("6", "text", "your prompt here"); // CLIPTextEncode
const job = await client.run(wf);
await job.getOutputs("70")[0].toFile("output.png"); // SaveAnimatedWEBPSDK는 API 형식의 워크플로우를 사용합니다: 이 워크플로우를 ComfyUI에서 열고 파일 → 워크플로우 내보내기(API)를 사용하세요.
FAQ
