3.2 고급: 비디오 생성 제어
포즈 추정 및 Wan Animate로 비디오를 제어하는 방법을 알아보세요.
워크플로 내부
소스 템플릿의 읽기 전용 미리보기입니다. Cloud에서 열어 노드를 살펴보고 변경할 수 있습니다.
코드에서 이 모델 호출하기
아래 요청은 Playground와 동일하게 준비된 그래프와 설정을 사용합니다. 제출할 때마다 유료 실행이 시작될 수 있으므로 결과를 알 수 없는 제출을 자동으로 재시도하지 마세요.
What you need
- Runs on
- Comfy Cloud
- 키
- COMFY_API_KEY
- 내 파일
- 코드가 해당 URL에서 업로드
유료 Cloud 요금제와 크레딧이 필요합니다.
# Python 3.10+: pip install comfy-sdk==0.4.0
import os
from comfy_sdk import Comfy
api_key = os.environ.get("COMFY_API_KEY", "").strip()
if not api_key: raise RuntimeError("Set COMFY_API_KEY")
os.environ.setdefault("COMFY_BASE_URL", "https://cloud.comfy.org")
client = Comfy(api_key=api_key)
workflow = client.workflows.from_json({
"411": {
"class_type": "VAEDecode",
"inputs": {
"samples": [
"451:481",
0
],
"vae": [
"451:413",
0
]
},
"_meta": {
"title": "VAE Decode"
}
},
"414": {
"class_type": "CreateVideo",
"inputs": {
"audio": [
"421",
1
],
"bit_depth": "auto",
"codec": "none",
"color_space": "sRGB",
"fps": [
"421",
2
],
"images": [
"411",
0
]
},
"_meta": {
"title": "Create Video"
}
},
"415": {
"class_type": "SaveVideo",
"inputs": {
"filename_prefix": "video/ComfyUI",
"format": "auto",
"format.codec": "auto",
"video": [
"414",
0
]
},
"_meta": {
"title": "Save Video"
}
},
"420": {
"class_type": "LoadVideo",
"inputs": {
"file": "UPLOADED_video_FILENAME"
},
"_meta": {
"title": "Load Video"
}
},
"421": {
"class_type": "GetVideoComponents",
"inputs": {
"video": [
"420",
0
]
},
"_meta": {
"title": "Get Video Components"
}
},
"422": {
"class_type": "DWPreprocessor",
"inputs": {
"bbox_detector": "yolox_l.onnx",
"detect_body": "enable",
"detect_face": "enable",
"detect_hand": "enable",
"image": [
"421",
0
],
"pose_estimator": "dw-ll_ucoco_384_bs5.torchscript.pt",
"resolution": 512,
"scale_stick_for_xinsr_cn": "disable"
},
"_meta": {
"title": "DWPose Estimator"
}
},
"470": {
"class_type": "CreateVideo",
"inputs": {
"audio": [
"421",
1
],
"bit_depth": "auto",
"codec": "none",
"color_space": "sRGB",
"fps": [
"421",
2
],
"images": [
"422",
0
]
},
"_meta": {
"title": "Create Video"
}
},
"479": {
"class_type": "LoadImage",
"inputs": {
"image": "UPLOADED_image_FILENAME"
},
"_meta": {
"title": "Reference Image"
}
},
"451:399": {
"class_type": "WanAnimateToVideo",
"inputs": {
"batch_size": 1,
"clip_vision_output": [
"451:431",
0
],
"continue_motion_max_frames": 1,
"height": 720,
"length": 73,
"negative": [
"451:409",
0
],
"pose_video": [
"422",
0
],
"positive": [
"451:407",
0
],
"reference_image": [
"479",
0
],
"vae": [
"451:413",
0
],
"video_frame_offset": 0,
"width": 1280
},
"_meta": {
"title": "WanAnimateToVideo"
}
},
"451:400": {
"class_type": "KSampler",
"inputs": {
"cfg": 1,
"denoise": 1,
"latent_image": [
"451:399",
2
],
"model": [
"451:403",
0
],
"negative": [
"451:399",
1
],
"positive": [
"451:399",
0
],
"sampler_name": "euler",
"scheduler": "simple",
"seed": 166084212342096,
"steps": 6
},
"_meta": {
"title": "KSampler"
}
},
"451:403": {
"class_type": "LoraLoaderModelOnly",
"inputs": {
"lora_name": "lightx2v_I2V_14B_480p_cfg_step_distill_rank128_bf16.safetensors",
"model": [
"451:444",
0
],
"strength_model": 1
},
"_meta": {
"title": "Load LoRA"
}
},
"451:407": {
"class_type": "CLIPTextEncode",
"inputs": {
"clip": [
"451:412",
0
],
"text": "The porcelain-headed automaton in a charcoal wool vest, cream shirt, tailored trousers and black dress shoes dances alone in a vast brutalist concrete plaza at midnight. Its brass neck joints and bone-white head catch an amber rim light through drifting sea fog and light drizzle. It steps side to side, rolls its shoulders, spins and drops into a low crouch before springing up with its arms flung wide, its movements smooth yet slightly mechanical. Puddles on the wet slate-grey concrete mirror every move. Moody indigo and graphite tones, cinematic lighting, detailed fabric and porcelain textures, steady camera."
},
"_meta": {
"title": "CLIP Text Encode (Prompt)"
}
},
"451:409": {
"class_type": "CLIPTextEncode",
"inputs": {
"clip": [
"451:412",
0
],
"text": "static, blurry details, subtitles, style, artwork, painting, image, still, overall grayish tone, worst quality, low quality, JPEG compression artifacts, ugly, incomplete, extra fingers, poorly drawn hands, poorly drawn face, deformed, disfigured, malformed limbs, fused fingers, frozen frame, cluttered background, three legs, too many people in the background, walking backward."
},
"_meta": {
"title": "CLIP Text Encode (Prompt)"
}
},
"451:412": {
"class_type": "CLIPLoader",
"inputs": {
"clip_name": "umt5_xxl_fp8_e4m3fn_scaled.safetensors",
"device": "default",
"type": "wan"
},
"_meta": {
"title": "Load CLIP"
}
},
"451:413": {
"class_type": "VAELoader",
"inputs": {
"vae_name": "Wan2_1_VAE_fp32.safetensors"
},
"_meta": {
"title": "Load VAE"
}
},
"451:431": {
"class_type": "CLIPVisionEncode",
"inputs": {
"clip_vision": [
"451:445",
0
],
"crop": "center",
"image": [
"421",
0
]
},
"_meta": {
"title": "CLIP Vision Encode"
}
},
"451:444": {
"class_type": "UNETLoader",
"inputs": {
"unet_name": "Wan2_2-Animate-14B_fp8_e4m3fn_scaled_KJ.safetensors",
"weight_dtype": "default"
},
"_meta": {
"title": "Load Diffusion Model"
}
},
"451:445": {
"class_type": "CLIPVisionLoader",
"inputs": {
"clip_name": "clip_vision_h.safetensors"
},
"_meta": {
"title": "Load CLIP Vision"
}
},
"451:481": {
"class_type": "TrimVideoLatent",
"inputs": {
"samples": [
"451:400",
0
],
"trim_amount": [
"451:399",
3
]
},
"_meta": {
"title": "Trim Video Latent"
}
}
})
workflow.set_input("479", "image", client.assets.from_url("https://comfy.org/catalog-media/8a6af52a-f7ae-43fa-8811-b3aeb947cfaa/406a017b-96fc-4e71-a475-e04f9d953853"))
workflow.set_input("420", "file", client.assets.from_url("https://comfy.org/catalog-media/339f3f4a-c95c-41c1-afd6-b55cffed9192/a84db708-e387-4541-9aa6-56ea830532c3"))
# run() also passes api_key to the partner nodes in this workflow.
job = client.run(workflow, api_key=api_key)
for output in job.get_outputs("415"):
output.to_file(output.name)예시 사용해 보기
이 워크플로 정보
이 고급 ComfyUI 워크플로는 포즈 추정 기법과 Wan Animate 모델을 사용해 비디오 생성을 제어할 수 있도록 설계되었습니다. 워크플로의 핵심은 DWPose Estimator로 입력 비디오에서 포즈 정보를 추출해 ‘제어 비디오’를 만드는 것으로, 이는 새로운 비디오 콘텐츠를 생성하기 위한 청사진 역할을 합니다. 이후 이 제어 비디오는 Wan Animate 모델과 함께 사용되어 원본 영상에서 캡처된 포즈 및 움직임을 따르는 비디오를 생성합니다. 워크플로에는 잠재 표현을 디코딩하는 VAEDecode, 프레임을 비디오로 조립하는 CreateVideo, 최종 결과를 출력하는 SaveVideo 등 여러 주요 노드가 포함됩니다. 또한 comfyui_controlnet_aux 커스텀 노드를 사용해 비디오 생성 프로세스에 대한 제어를 강화하여 출력이 사용자의 의도와 더 가깝게 맞춰지도록 합니다. 이 워크플로는 특정 포즈 참조로 안내하면서 일관된 움직임과 스타일을 유지하는 비디오를 제작하려는 애니메이터 및 콘텐츠 크리에이터에게 특히 유용합니다.
질문과 답변
DWPose Estimator는 입력 비디오에서 포즈 정보를 추출해, 새로운 콘텐츠를 생성할 때 애니메이션 프로세스를 안내하는 제어 비디오를 만듭니다.
네, 어떤 비디오든 포즈 참조로 업로드할 수 있지만, 최상의 결과를 위해 원하는 움직임이 명확하게 보이는 비디오를 사용하는 것이 좋습니다.
Wan Animate는 포즈 제어 비디오와 참조 이미지를 사용해 지정된 포즈와 스타일을 따르는 새로운 비디오를 생성합니다.
참조 이미지와 포즈 비디오를 신중히 선택하고, 필요에 따라 워크플로 파라미터를 조정해 원하는 스타일과 움직임으로 미세 조정하세요.
관련 워크플로
- wan2.2 Animate
Wan Animate 2.2 캐릭터 교체 워크플로
- Wan, wan2.2 Animate
Wan2.2 Animate 캐릭터 애니메이션 및 교체
- wan2.2 Animate
Wan2.2 Animate: 자동 캐릭터 교체
- wan2.2 Animate
인플레이션 Lora 캐릭터 확장 효과 영상
- Wan Animate
Copy movement from a video
- Wan2.1 InfiniteTalk
Make your character sing
- LTX-2.3
Animate a scene from a reference sheet
- 파파트너 노드
SCAIL-2: 캐릭터 교체
- Wan
Wan3.0: Reference to Video
- 파트너 노드
빠른 아이데이션 → 스토리보드 → 애니메이션 비디오 (GPT Image 2 + Seedance 2.0)