HuMo 비디오 생성
오디오, 이미지 및 텍스트를 기반으로 비디오를 생성하고 캐릭터의 립싱크를 유지합니다.
정보
HuMo Video Generation 워크플로는 캐릭터의 입 모양을 오디오 입력과 동기화한 고품질 비디오를 생성하도록 설계되었습니다. 이 워크플로는 사람 중심 비디오 생성에 맞춰진 HuMo 모델을 활용합니다. 텍스트, 이미지, 오디오 등 다양한 입력 모달리티를 통합해 풍부하고 커스텀 가능한 비디오 출력을 제공합니다. 워크플로의 핵심에는 텍스트 처리를 위한 CLIPTextEncode, 참조 이미지를 위한 LoadImage, 오디오 입력을 위한 AudioEncoderEncode 같은 노드가 포함됩니다. 이는 CreateVideo 및 SaveVideo 같은 비디오 전용 노드와 결합되어 최종 출력을 생성합니다. WanHuMoImageToVideo 노드는 정적 이미지와 동적 비디오 생성을 연결하는 데 특히 중요하며, 캐릭터의 입 모양이 오디오 트랙과 정렬되도록 보장합니다. 이 워크플로는 정확한 립싱크와 시각적 커스텀이 필요한 몰입형 비디오 콘텐츠 제작에 적합합니다.
제공할 항목
- 워크플로 읽는 중
ComfyUI에서 실행됩니다. 이 워크플로는 이 페이지에서 실행할 수 없습니다. 모든 항목이 로드된 Comfy Cloud에서 열거나, 자체 ComfyUI에서 사용하려면 다운로드하세요.
Cloud에서 사용해 보기워크플로 내부
노드 그래프의 읽기 전용 미리보기입니다. 노드를 편집하려면 Comfy Cloud에서 열거나 다운로드하세요.
코드에서 이 워크플로 사용하기
가능한 경우 워크플로 그래프와 입력을 기반으로 생성되며, 그렇지 않은 경우 저장된 예시가 표시됩니다. 비용이 발생할 수 있으므로 코드를 실행하기 전에 자격 증명과 엔드포인트를 검토하세요.
What you need
- Runs on
- Comfy Cloud
- 키
- COMFY_API_KEY
유료 Cloud 요금제와 크레딧이 필요합니다.
# Python 3.10+: pip install comfy-sdk==0.4.0
import os
from comfy_sdk import Comfy
api_key = os.environ.get("COMFY_API_KEY", "").strip()
if not api_key: raise RuntimeError("Set COMFY_API_KEY")
os.environ.setdefault("COMFY_BASE_URL", "https://cloud.comfy.org")
client = Comfy(api_key=api_key)
workflow = client.workflows.from_json({
"6": {
"class_type": "CLIPTextEncode",
"inputs": {
"clip": [
"38",
0
],
"text": "A young boy in sci-fi style clothing is talking to the camera in an alien desert."
},
"_meta": {
"title": "CLIP Text Encode (Positive Prompt)"
}
},
"7": {
"class_type": "CLIPTextEncode",
"inputs": {
"clip": [
"38",
0
],
"text": "色调艳丽,过曝,静态,细节模糊不清,字幕,风格,作品,画作,画面,静止,整体发灰,最差质量,低质量,JPEG压缩残留,丑陋的,残缺的,多余的手指,画得不好的手部,画得不好的脸部,畸形的,毁容的,形态畸形的肢体,手指融合,静止不动的画面,杂乱的背景,三条腿,背景人很多,倒着走"
},
"_meta": {
"title": "CLIP Text Encode (Negative Prompt)"
}
},
"37": {
"class_type": "UNETLoader",
"inputs": {
"unet_name": "humo_17B_fp8_e4m3fn.safetensors",
"weight_dtype": "default"
},
"_meta": {
"title": "Load Diffusion Model"
}
},
"38": {
"class_type": "CLIPLoader",
"inputs": {
"clip_name": "umt5_xxl_fp8_e4m3fn_scaled.safetensors",
"device": "default",
"type": "wan"
},
"_meta": {
"title": "Load CLIP"
}
},
"39": {
"class_type": "VAELoader",
"inputs": {
"vae_name": "wan_2.1_vae.safetensors"
},
"_meta": {
"title": "Load VAE"
}
},
"48": {
"class_type": "ModelSamplingSD3",
"inputs": {
"model": [
"61",
0
],
"shift": 8
},
"_meta": {
"title": "ModelSamplingSD3"
}
},
"49": {
"class_type": "LoadImage",
"inputs": {
"image": "video_humo_reference_image.png"
},
"_meta": {
"title": "Load Image"
}
},
"56": {
"class_type": "AudioEncoderEncode",
"inputs": {
"audio": [
"58",
0
],
"audio_encoder": [
"57",
0
]
},
"_meta": {
"title": "AudioEncoderEncode"
}
},
"57": {
"class_type": "AudioEncoderLoader",
"inputs": {
"audio_encoder_name": "whisper_large_v3_fp16.safetensors"
},
"_meta": {
"title": "Load Audio Encoder"
}
},
"58": {
"class_type": "LoadAudio",
"inputs": {
"audio": "video_humo_input_audio.wav"
},
"_meta": {
"title": "Load Audio"
}
},
"59": {
"class_type": "SaveVideo",
"inputs": {
"filename_prefix": "video/ComfyUI",
"format": "auto",
"format.codec": "auto",
"video": [
"60",
0
]
},
"_meta": {
"title": "Save Video"
}
},
"60": {
"class_type": "CreateVideo",
"inputs": {
"audio": [
"58",
0
],
"bit_depth": "auto",
"codec": "none",
"color_space": "sRGB",
"fps": 25,
"images": [
"63",
0
]
},
"_meta": {
"title": "Create Video"
}
},
"61": {
"class_type": "LoraLoaderModelOnly",
"inputs": {
"lora_name": "lightx2v_I2V_14B_480p_cfg_step_distill_rank64_bf16.safetensors",
"model": [
"37",
0
],
"strength_model": 1
},
"_meta": {
"title": "Load LoRA"
}
},
"63": {
"class_type": "VAEDecode",
"inputs": {
"samples": [
"64",
0
],
"vae": [
"39",
0
]
},
"_meta": {
"title": "VAE Decode"
}
},
"64": {
"class_type": "KSampler",
"inputs": {
"cfg": 1,
"denoise": 1,
"latent_image": [
"65",
2
],
"model": [
"48",
0
],
"negative": [
"65",
1
],
"positive": [
"65",
0
],
"sampler_name": "uni_pc",
"scheduler": "simple",
"seed": 1067760026265042,
"steps": 6
},
"_meta": {
"title": "KSampler"
}
},
"65": {
"class_type": "WanHuMoImageToVideo",
"inputs": {
"audio_encoder_output": [
"56",
0
],
"batch_size": 1,
"height": 640,
"length": 97,
"negative": [
"7",
0
],
"positive": [
"6",
0
],
"ref_image": [
"49",
0
],
"vae": [
"39",
0
],
"width": 640
},
"_meta": {
"title": "WanHuMoImageToVideo"
}
}
})
# run() also passes api_key to the partner nodes in this workflow.
job = client.run(workflow, api_key=api_key)질문과 답변
네. LoadAudio 노드로 오디오 파일을 업로드하거나 RecordAudio 노드로 직접 녹음할 수 있습니다.
이 워크플로는 480P(832x480) 및 720P(1280x720) 해상도의 비디오 출력을 지원합니다.
이 워크플로는 WanHuMoImageToVideo 노드를 사용해 입 모양을 오디오 입력과 정렬하여 정확한 동기화를 보장합니다.
비디오 생성 과정을 가이드하기 위해 텍스트 프롬프트, 참조 이미지, 오디오 입력으로 커스텀할 수 있습니다.