Ce workflow ComfyUI est conçu pour créer une vidéo en lip sync en combinant une image statique de personnage et un fichier audio. En utilisant le modèle Wan2.1 InfiniteTalk, le workflow analyse l’audio importé pour générer des mouvements de bouche qui correspondent aux mots prononcés, créant un effet de lip sync réaliste. Le processus commence avec le nœud « LoadAudio », qui ingère le fichier audio et le prépare à l’analyse. En parallèle, le nœud « LoadImage » permet d’importer l’image du personnage à animer. Le workflow s’appuie sur des nœuds personnalisés comme « ComfyUI-WanVideoWrapper » et « audio-separation-nodes-comfyui » pour traiter l’audio et le synchroniser avec le visuel. La sortie finale est un fichier vidéo, enregistré via « SaveVideo », où les mouvements de bouche du personnage sont en phase avec la piste audio.
Techniquement, ce workflow se distingue par l’utilisation d’analyses audio avancées et de techniques de génération vidéo. Le nœud « audio-separation-nodes-comfyui » est essentiel pour décomposer l’audio en composants mappables à des formes de bouche spécifiques, tandis que « comfyui-kjnodes » gère la fusion de ces mouvements dans l’image du personnage. Ce workflow est utile pour les créateurs de contenu qui veulent produire des vidéos animées sans logiciel d’animation complexe, afin d’enrichir narration et engagement via des médias visuels.
API
Utiliser ce workflow depuis le code
Chaque workflow Comfy est un graphe JSON. Le contenu ci-dessous est ce workflow, exactement comme ComfyUI l’exécute — récupérez-le depuis l’URL, gardez-le dans le contrôle de version, ou chargez-le dans ComfyUI et exécutez-le nœud par nœud.
Exécutez-le depuis TypeScript ou Python avec le Comfy SDK. Le même code cible Comfy Cloud ou un ComfyUI auto-hébergé — seule l’URL de base change.
// Install (beta)
npm i @comfyorg/sdk
// Run "Vidéo de synchronisation labiale de personnage pilotée par l'audio" (TypeScript)
import { Comfy } from "@comfyorg/sdk";
const client = new Comfy({ apiKey: "comfyui-..." });
// This workflow, exported in API format (see note below)
const wf = await client.workflows.fromFile("templates-wan2_1_infinitetalk_music_api.json");
const asset = client.assets.fromFile("input.png");
wf.setInput("284", "image", asset); // LoadImage
const job = await client.run(wf);
await job.getOutputs("325")[0].toFile("output.png"); // SaveVideoLe SDK prend un workflow au format API : ouvrez ce workflow dans ComfyUI et utilisez Fichier → Exporter le workflow (API).
L’accès à l’API Comfy Cloud nécessite un forfait avec clé API.
FAQ
