Wan 2.1 인페인팅
Wan 2.1 인페인팅을 사용하여 시작 및 종료 프레임에서 비디오를 생성합니다.
정보
이 워크플로는 Wan 2.1의 인페인팅 기반 비디오 디퓨전을 활용해 이미지 2장을 짧고 일관된 비디오로 변환합니다. 시작 프레임과 끝 프레임을 제공하면 WanFunInpaintToVideo 노드가 두 이미지에 고정된 피사체 및 장면 디테일을 유지하면서 그 사이의 모션을 합성하도록 모델을 가이드합니다. 텍스트 프롬프트(CLIPTextEncode 사용)가 스타일 및 콘텐츠를 조정하고, 네거티브 프롬프트는 아티팩트를 억제하는 데 도움이 됩니다.
내부적으로 Step1에서 핵심 구성 요소를 로딩합니다: UNETLoader(Wan2.1 / Wan), 잠재 데이터 <-> 픽셀 공간 변환을 위한 VAELoader/VAEDecode, 텍스트 조건화를 위한 CLIPLoader. 시작/끝 프레임은 LoadImage로 불러와 CLIPVisionLoader + CLIPVisionEncode로 인코딩되어 UNet용 이미지 조건화를 생성합니다. KSampler은 ModelSamplingSD3로 올바른 시그마 스케줄을 적용해 디퓨전 과정을 구동하며, CFGZeroStar 및 SkipLayerGuidanceDiT로 가이드를 안정화합니다. Attention Booster 그룹은 UNetTemporalAttentionMultiply를 적용해 프레임 간 시간적 일관성을 강화합니다. 마지막으로 CreateVideo가 프레임을 합치고 SaveVideo가 완성된 클립을 저장합니다.
제공할 항목
- 워크플로 읽는 중
ComfyUI에서 실행됩니다. 이 워크플로는 이 페이지에서 실행할 수 없습니다. 모든 항목이 로드된 Comfy Cloud에서 열거나, 자체 ComfyUI에서 사용하려면 다운로드하세요.
Cloud에서 사용해 보기워크플로 내부
노드 그래프의 읽기 전용 미리보기입니다. 노드를 편집하려면 Comfy Cloud에서 열거나 다운로드하세요.
Loading the graph
Open full-size workflow preview이 워크플로의 파일
- 작성자
- ComfyUI
사용자 지정 노드 필요
- 워크플로 읽는 중
코드에서 이 워크플로 사용하기
가능한 경우 워크플로 그래프와 입력을 기반으로 생성되며, 그렇지 않은 경우 저장된 예시가 표시됩니다. 비용이 발생할 수 있으므로 코드를 실행하기 전에 자격 증명과 엔드포인트를 검토하세요.
What you need
- Runs on
- Comfy Cloud
- 키
- COMFY_API_KEY
유료 Cloud 요금제와 크레딧이 필요합니다.
# Python 3.10+: pip install comfy-sdk==0.4.0
import os
from comfy_sdk import Comfy
api_key = os.environ.get("COMFY_API_KEY", "").strip()
if not api_key: raise RuntimeError("Set COMFY_API_KEY")
os.environ.setdefault("COMFY_BASE_URL", "https://cloud.comfy.org")
client = Comfy(api_key=api_key)
workflow = client.workflows.from_json({
"3": {
"class_type": "KSampler",
"inputs": {
"cfg": 6,
"denoise": 1,
"latent_image": [
"76",
2
],
"model": [
"66",
0
],
"negative": [
"76",
1
],
"positive": [
"76",
0
],
"sampler_name": "uni_pc",
"scheduler": "simple",
"seed": 622093119444720,
"steps": 20
},
"_meta": {
"title": "KSampler"
}
},
"6": {
"class_type": "CLIPTextEncode",
"inputs": {
"clip": [
"38",
0
],
"text": "Fashion photography, a inflated man wearing Balenciaga clothes, fashion magazine, Balenciaga style, studio, photographer by Hugo, On-Camera Flash"
},
"_meta": {
"title": "CLIP Text Encode (Positive Prompt)"
}
},
"7": {
"class_type": "CLIPTextEncode",
"inputs": {
"clip": [
"38",
0
],
"text": "色调艳丽,过曝,静态,细节模糊不清,字幕,风格,作品,画作,画面,静止,整体发灰,最差质量,低质量,JPEG压缩残留,丑陋的,残缺的,多余的手指,画得不好的手部,画得不好的脸部,畸形的,毁容的,形态畸形的肢体,手指融合,静止不动的画面,杂乱的背景,三条腿,背景人很多,倒着走"
},
"_meta": {
"title": "CLIP Text Encode (Negative Prompt)"
}
},
"8": {
"class_type": "VAEDecode",
"inputs": {
"samples": [
"3",
0
],
"vae": [
"39",
0
]
},
"_meta": {
"title": "VAE Decode"
}
},
"37": {
"class_type": "UNETLoader",
"inputs": {
"unet_name": "wan2.1_fun_inp_1.3B_bf16.safetensors",
"weight_dtype": "default"
},
"_meta": {
"title": "Load Diffusion Model"
}
},
"38": {
"class_type": "CLIPLoader",
"inputs": {
"clip_name": "umt5_xxl_fp8_e4m3fn_scaled.safetensors",
"device": "default",
"type": "wan"
},
"_meta": {
"title": "Load CLIP"
}
},
"39": {
"class_type": "VAELoader",
"inputs": {
"vae_name": "wan_2.1_vae.safetensors"
},
"_meta": {
"title": "Load VAE"
}
},
"49": {
"class_type": "CLIPVisionLoader",
"inputs": {
"clip_name": "clip_vision_h.safetensors"
},
"_meta": {
"title": "Load CLIP Vision"
}
},
"51": {
"class_type": "CLIPVisionEncode",
"inputs": {
"clip_vision": [
"49",
0
],
"crop": "none",
"image": [
"52",
0
]
},
"_meta": {
"title": "CLIP Vision Encode"
}
},
"52": {
"class_type": "LoadImage",
"inputs": {
"image": "wan2.1_fun_inp_start_image.png"
},
"_meta": {
"title": "Start_image"
}
},
"65": {
"class_type": "SkipLayerGuidanceDiT",
"inputs": {
"double_layers": "9,10",
"end_percent": 0.8000000000000002,
"model": [
"37",
0
],
"rescaling_scale": 0,
"scale": 3,
"single_layers": "9,10",
"start_percent": 0.01
},
"_meta": {
"title": "SkipLayerGuidanceDiT"
}
},
"66": {
"class_type": "CFGZeroStar",
"inputs": {
"model": [
"68",
0
]
},
"_meta": {
"title": "CFGZeroStar"
}
},
"67": {
"class_type": "ModelSamplingSD3",
"inputs": {
"model": [
"65",
0
],
"shift": 5.000000000000001
},
"_meta": {
"title": "ModelSamplingSD3"
}
},
"68": {
"class_type": "UNetTemporalAttentionMultiply",
"inputs": {
"cross_structural": 1.2,
"cross_temporal": 1.3,
"model": [
"67",
0
],
"self_structural": 1,
"self_temporal": 1
},
"_meta": {
"title": "UNetTemporalAttentionMultiply"
}
},
"72": {
"class_type": "LoadImage",
"inputs": {
"image": "wan2.1_fun_inp_end_image.png"
},
"_meta": {
"title": "End_image"
}
},
"76": {
"class_type": "WanFunInpaintToVideo",
"inputs": {
"batch_size": 1,
"clip_vision_output": [
"51",
0
],
"end_image": [
"72",
0
],
"height": 768,
"length": 81,
"negative": [
"7",
0
],
"positive": [
"6",
0
],
"start_image": [
"52",
0
],
"vae": [
"39",
0
],
"width": 480
},
"_meta": {
"title": "WanFunInpaintToVideo"
}
},
"79": {
"class_type": "CreateVideo",
"inputs": {
"bit_depth": "auto",
"codec": "none",
"color_space": "sRGB",
"fps": 16,
"images": [
"8",
0
]
},
"_meta": {
"title": "Create Video"
}
},
"80": {
"class_type": "SaveVideo",
"inputs": {
"filename_prefix": "video/ComfyUI",
"format": "auto",
"format.codec": "auto",
"video": [
"79",
0
]
},
"_meta": {
"title": "Save Video"
}
}
})
# run() also passes api_key to the partner nodes in this workflow.
job = client.run(workflow, api_key=api_key)질문과 답변
네. 이 워크플로우는 두 앵커 이미지 사이의 모션을 합성하도록 설계되었습니다. 명확하고 조명이 좋은 시작/종료 프레임을 제공하면 최적의 결과를 얻을 수 있습니다.
스텝을 약간 늘리고, UNetTemporalAttentionMultiply를 0.1 정도 올리거나, CFG를 낮추고, 반복 시 시드를 고정하세요. 두 이미지의 해상도와 구도가 유사해야 합니다.
ModelSamplingSD3를 KSampler에 연결해 Wan 2.1에 맞는 스케줄을 유지하세요. 스텝, 시드, 가이던스 강도만 조정하고, 특별한 경우가 아니면 샘플러를 변경하지 마세요.
시작/종료 프레임의 해상도를 맞추세요. 512~768(짧은 변 기준) 정도가 디테일과 VRAM 사용의 균형에 좋습니다. 더 큰 이미지는 메모리와 렌더 시간이 늘어납니다.