InfiniteTalk : Doublage vidéo corps entier piloté par l’audio transforme une seule image et une ou plusieurs pistes audio en une vidéo corps entier synchronisée sur les lèvres, tout en préservant l'identité, l'arrière-plan et le mouvement de caméra d'origine. Le cœur du pipeline est WanInfiniteTalkToVideo, qui fusionne les caractéristiques du modèle Wan2.1 I2V chargé avec un embedding audio pour piloter les mouvements du corps et du visage. L’étape 1 - Charger les modèles prépare le UNet et le VAE (UNETLoader, VAELoader) pour la synthèse image-vers-vidéo, et charge les backbones texte et audio (CLIPLoader avec CLIPTextEncode pour les prompts caméra/scène, et AudioEncoderLoader avec AudioEncoderEncode pour les caractéristiques vocales). Vous importez l’image de départ via LoadImage, puis dessinez des masques par personnage dans le MaskEditor pour localiser le mouvement sur chaque locuteur.
API
Utiliser ce workflow depuis le code
Chaque workflow Comfy est un graphe JSON. Le contenu ci-dessous est ce workflow, exactement comme ComfyUI l’exécute — récupérez-le depuis l’URL, gardez-le dans le contrôle de version, ou chargez-le dans ComfyUI et exécutez-le nœud par nœud.
Exécutez-le depuis TypeScript ou Python avec le Comfy SDK. Le même code cible Comfy Cloud ou un ComfyUI auto-hébergé — seule l’URL de base change.
// Install (beta)
npm i @comfyorg/sdk
// Run "InfiniteTalk : Doublage vidéo corporel complet piloté par l'audio" (TypeScript)
import { Comfy } from "@comfyorg/sdk";
const client = new Comfy({ apiKey: "comfyui-..." });
// This workflow, exported in API format (see note below)
const wf = await client.workflows.fromFile("video_wan2_1_infinitetalk_api.json");
const asset = client.assets.fromFile("input.png");
wf.setInput("32", "image", asset); // LoadImage
const job = await client.run(wf);
await job.getOutputs("162")[0].toFile("output.png"); // SaveVideoLe SDK prend un workflow au format API : ouvrez ce workflow dans ComfyUI et utilisez Fichier → Exporter le workflow (API).
L’accès à l’API Comfy Cloud nécessite un forfait avec clé API.
FAQ
