InfiniteTalk: 오디오 기반 전신 비디오 더빙

소스 이미지와 대상 오디오를 업로드하세요. 원래의 신원, 배경, 카메라 움직임을 유지하면서 동기화된 동작으로 전신 더빙 비디오를 생성합니다.

정보

InfiniteTalk: 오디오 기반 전신 비디오 더빙은 단일 이미지와 하나 이상의 오디오 트랙을 립싱크된 전신 비디오로 변환하며, 원본 인물, 배경, 카메라 움직임을 그대로 유지합니다. 파이프라인의 핵심은 WanInfiniteTalkToVideo로, 로드된 Wan2.1 I2V 모델의 특징과 오디오 임베딩을 결합해 신체 및 얼굴 모션을 구동합니다. Step1 - Load Models에서는 이미지-투-비디오 합성을 위한 UNet 및 VAE(UNETLoader, VAELoader)를 준비하고, 텍스트 및 오디오 백본(CLIPLoader와 CLIPTextEncode로 카메라/무대 프롬프트, AudioEncoderLoader와 AudioEncoderEncode로 음성 특징)을 로드합니다. 시작 프레임은 LoadImage로 가져오고, MaskEditor에서 각 화자별로 마스크를 그려 모션을 각 화자에 국한시킵니다.

제공할 항목

  • 워크플로 읽는 중

ComfyUI에서 실행됩니다. 이 워크플로는 이 페이지에서 실행할 수 없습니다. 모든 항목이 로드된 Comfy Cloud에서 열거나, 자체 ComfyUI에서 사용하려면 다운로드하세요.

Cloud에서 사용해 보기
출력
예시
Courtyard reunion, two speakers

질문과 답변