Ce flux de travail construit une chaîne complète de lip‑dub open source autour de LTX 2.3 et de la conversion vocale Chatterbox. Vous fournissez une vidéo « driving » d’une personne qui parle, ainsi que le dialogue que vous voulez lui faire dire. LoadVideo ingère le clip, et GetVideoComponents extrait les frames, le FPS et l’audio d’origine. Votre texte passe d’un prompt PrimitiveStringMultiline à RegexReplace pour nettoyer la ponctuation et les espaces, puis vers le nœud Lipdub LTX 2.3 (le nœud personnalisé avec l’ID 1e1eaad5-a949-4d3e-9a68-694e64a936a0). Ce nœud applique un finetune Lipdub LoRA à LTX 2.3 pour recaler les mouvements de bouche sur votre script tout en conservant l’identité du sujet, les mouvements de tête et le contexte de la scène.
Côté audio, le même dialogue pilote une piste de doublage temporaire, ensuite envoyée à FL_ChatterboxVC. En utilisant l’audio de la vidéo d’origine (depuis GetVideoComponents) comme référence de voix, Chatterbox VC re-voice le doublage afin de correspondre au timbre et aux caractéristiques vocales du locuteur. Enfin, CreateVideo assemble les frames modifiées et l’audio cloné au FPS source, et SaveVideo écrit le rendu final synchronisé labialement. Notez la règle de dimension du MarkdownNote : définissez la largeur × hauteur d’entrée à la moitié de la taille finale souhaitée (par exemple, 960×544 en entrée donne ~1920×1088 en sortie).
API
Utiliser ce workflow depuis le code
Chaque workflow Comfy est un graphe JSON. Le contenu ci-dessous est ce workflow, exactement comme ComfyUI l’exécute — récupérez-le depuis l’URL, gardez-le dans le contrôle de version, ou chargez-le dans ComfyUI et exécutez-le nœud par nœud.
Exécutez-le depuis TypeScript ou Python avec le Comfy SDK. Le même code cible Comfy Cloud ou un ComfyUI auto-hébergé — seule l’URL de base change.
// Install (beta)
npm i @comfyorg/sdk
// Run this workflow (TypeScript)
import { Comfy } from "@comfyorg/sdk";
const client = new Comfy({ apiKey: "comfyui-..." });
const wf = await client.workflows.fromFile("workflow_api.json");
const job = await client.run(wf);
await job.getOutputs("<output-node-id>")[0].toFile("output.png");Le SDK prend un workflow au format API : ouvrez ce workflow dans ComfyUI et utilisez Fichier → Exporter le workflow (API).
L’accès à l’API Comfy Cloud nécessite un forfait avec clé API.
FAQ
