Ce workflow tutoriel ComfyUI transforme une image en une courte vidéo UGC synchronisée sur les lèvres avec voix clonée ou sélectionnée. Il enchaîne trois étapes : création de prompt à partir de l’image téléchargée, synthèse vocale avec ElevenLabs, et génération vidéo avec LTX‑2.3. Le groupe Create Prompt fait passer l’image de LoadImage dans GeminiNode pour générer deux textes : un script de discours prêt à jouer (avec balises d’expression) et une description de scène. RegexExtract extrait la réponse Gemini pour séparer proprement les sections « speech » et « scene » pour les nœuds suivants.
Pour l’audio, vous pouvez choisir une voix prédéfinie via ElevenLabsVoiceSelector ou cloner votre propre voix avec ElevenLabsInstantVoiceClone, puis synthétiser la narration finale dans ElevenLabsTextToSpeech et éventuellement l’enregistrer avec SaveAudioMP3. Le groupe Create Video transmet la description de scène et l’audio au nœud vidéo LTX‑2.3 (UUID : 98fb87e2-23b5-4ecb-aacc-365912414a12) pour produire une vidéo style « talking head » avec synchronisation labiale précise, prévisualisée par PreviewAny et enregistrée avec SaveVideo. Cette configuration est pratique pour l’UGC rapide, les démonstrations produit, témoignages ou posts sociaux car elle automatise l’écriture du script à partir d’une image et garantit l’alignement voix-lèvres via ElevenLabs + LTX.
API
Utiliser ce workflow depuis le code
Chaque workflow Comfy est un graphe JSON. Le contenu ci-dessous est ce workflow, exactement comme ComfyUI l’exécute — récupérez-le depuis l’URL, gardez-le dans le contrôle de version, ou chargez-le dans ComfyUI et exécutez-le nœud par nœud.
Exécutez-le depuis TypeScript ou Python avec le Comfy SDK. Le même code cible Comfy Cloud ou un ComfyUI auto-hébergé — seule l’URL de base change.
// Install (beta)
npm i @comfyorg/sdk
// Run "Générer une vidéo UGC avec clone vocal" (TypeScript)
import { Comfy } from "@comfyorg/sdk";
const client = new Comfy({ apiKey: "comfyui-..." });
// This workflow, exported in API format (see note below)
const wf = await client.workflows.fromFile("template_image_speech_to_video_api.json");
const asset = client.assets.fromFile("input.png");
wf.setInput("440", "image", asset); // LoadImage
const job = await client.run(wf);
await job.getOutputs("445")[0].toFile("output.png"); // SaveAudioMP3Le SDK prend un workflow au format API : ouvrez ce workflow dans ComfyUI et utilisez Fichier → Exporter le workflow (API).
L’accès à l’API Comfy Cloud nécessite un forfait avec clé API.
FAQ
