Wan2.2-S2V 오디오 구동 비디오 생성

정적인 이미지와 오디오를 완벽한 동기화와 분 단위 생성으로 동적 비디오로 변환합니다.

Input

Speech or singing that drives the mouth. The video is about 14 s long (3 × 77 frames at 16 fps); use audio of about that length.

  • 0:00 / 0:00

A clear picture of the person; the video keeps their face and look.

Describe the person, what they are doing and the camera.

Output size in pixels.

Output size in pixels.

Advanced settings

Keep at 1 with the lightning LoRA.

Default: 1

What to avoid in the result.

Leave empty for a new result each run. Enter a number to repeat one.

4 with the built-in lightning LoRA.

Default: 4

Output
00:00
Example

예시 사용해 보기

이 워크플로 정보

이 ComfyUI 워크플로는 단일 레퍼런스 이미지와 오디오 트랙을 Wan 2.2 S2V(sound-to-video) 모델로 동기화된 비디오로 변환합니다. UNETLoader, CLIPLoader, VAELoader로 Wan 백본을 로드하고 ModelSamplingSD3로 올바른 스케줄을 설정합니다. 텍스트 프롬프트는 CLIPTextEncode로 인코딩되고, 오디오는 AudioEncoderLoader 및 AudioEncoderEncode로 처리됩니다. 이 신호들과 LoadImage의 이미지가 함께 WanSoundImageToVideo를 구동하여 오디오의 리듬과 프레이징을 따르는 모션을 합성합니다. KSampler는 스텝, CFG, 시드를 제어하며, VAEDecode는 잠재 데이터를 프레임으로 변환하고 CreateVideo가 최종 클립을 조립합니다.

프로덕션에서 실용적인 두 가지 엔지니어링 요소가 포함되어 있습니다. 첫째는 첫 프레임 안정화, 둘째는 길이 확장입니다. Fix overbaked first frame 그룹은 LatentCut과 LatentConcat으로 초기 잠재 프레임을 디코딩 전에 복제한 다음, 디코딩된 첫 프레임을 버려 0프레임에서 흔히 나타나는 VAE의 "오버베이크" 현상을 피합니다. 긴 클립의 경우 Video S2V Extend 서브그래프를 사용해 LatentCut/LatentConcat으로 세그먼트를 기본 77프레임 단위로 체인 연결할 수 있어 VRAM을 과도하게 사용하지 않고 분 단위 비디오를 만들 수 있습니다. 또한 라이트닝 경로도 지원합니다. Wan 2.2 lightning LoRA를 사용하면 4 스텝(권장 CFG ~1.0)으로 샘플링할 수 있습니다. 품질과 안정성을 우선한다면 표준 경로에서 ~20 스텝(CFG ~6.0)을 사용하세요.

질문과 답변