InfiniteTalk : Doublage vidéo corporel complet piloté par l'audio

Téléchargez une image source et un audio cible. Générez une vidéo doublée en plan large avec un mouvement synchronisé, tout en préservant l'identité originale, l'arrière-plan et le mouvement de la caméra.

À propos

InfiniteTalk : Doublage vidéo corps entier piloté par l’audio transforme une seule image et une ou plusieurs pistes audio en une vidéo corps entier synchronisée sur les lèvres, tout en préservant l'identité, l'arrière-plan et le mouvement de caméra d'origine. Le cœur du pipeline est WanInfiniteTalkToVideo, qui fusionne les caractéristiques du modèle Wan2.1 I2V chargé avec un embedding audio pour piloter les mouvements du corps et du visage. L’étape 1 - Charger les modèles prépare le UNet et le VAE (UNETLoader, VAELoader) pour la synthèse image-vers-vidéo, et charge les backbones texte et audio (CLIPLoader avec CLIPTextEncode pour les prompts caméra/scène, et AudioEncoderLoader avec AudioEncoderEncode pour les caractéristiques vocales). Vous importez l’image de départ via LoadImage, puis dessinez des masques par personnage dans le MaskEditor pour localiser le mouvement sur chaque locuteur.

Ce que vous fournissez

  • Lecture du workflow

S’exécute dans ComfyUI. Ce workflow ne peut pas s’exécuter sur cette page. Ouvrez-le dans Comfy Cloud, avec tout déjà chargé, ou téléchargez-le pour votre propre ComfyUI.

Essayer dans Cloud
Sortie
Exemple
Courtyard reunion, two speakers

Questions-réponses