Ce workflow ComfyUI crée des clips vidéo personnalisés synchronisés sur les lèvres en conditionnant LTX-2.3 sur trois entrées : une image de référence (apparence), un court extrait audio (timing et style vocal) et une invite structurée (scène, texte et contexte sonore). La logique principale est encapsulée dans un sous-graphe (le nœud personnalisé avec l'ID 98ee9e5b-467b-40aa-a534-36033f27d0b4), qui orchestre la génération LTX-2.3 avec conditionnement d'identité ID-LoRA. LoadImage fournit la référence visage/pose, LoadAudio ou RecordAudio fournit votre voix, et SaveVideo enregistre la vidéo finale. Une MarkdownNote dans le canevas résume le format d'invite structurée et propose des liens vers les ressources LTX-2.3 et ID-LoRA.
Techniquement, ID-LoRA injecte un adaptateur d'identité léger dans le processus de diffusion vidéo LTX-2.3 afin que la personne générée corresponde à l'image de référence sans nécessiter un fine-tuning complet. L'invite est divisée en trois balises attendues par le sous-graphe : [VISUAL] (scène et apparence), [SPEECH] (texte exact à prononcer) et [SOUNDS] (style vocal et indices d'ambiance). L'audio pilote les mouvements de la bouche et le timing, tandis que [SPEECH] aide le modèle à résoudre les détails phonémiques pour une articulation labiale plus claire. Le résultat est une courte vidéo de votre sujet prononçant la phrase fournie, visuellement alignée sur l'image de référence et synchronisée temporellement avec l'audio.
API
Utiliser ce workflow depuis le code
Chaque workflow Comfy est un graphe JSON. Le contenu ci-dessous est ce workflow, exactement comme ComfyUI l’exécute — récupérez-le depuis l’URL, gardez-le dans le contrôle de version, ou chargez-le dans ComfyUI et exécutez-le nœud par nœud.
Exécutez-le depuis TypeScript ou Python avec le Comfy SDK. Le même code cible Comfy Cloud ou un ComfyUI auto-hébergé — seule l’URL de base change.
// Install (beta)
npm i @comfyorg/sdk
// Run "LTX-2.3 : ID LoRA" (TypeScript)
import { Comfy } from "@comfyorg/sdk";
const client = new Comfy({ apiKey: "comfyui-..." });
// This workflow, exported in API format (see note below)
const wf = await client.workflows.fromFile("video_ltx2_3_id_lora_api.json");
const asset = client.assets.fromFile("input.png");
wf.setInput("269", "image", asset); // LoadImage
const job = await client.run(wf);
await job.getOutputs("341")[0].toFile("output.png"); // SaveVideoLe SDK prend un workflow au format API : ouvrez ce workflow dans ComfyUI et utilisez Fichier → Exporter le workflow (API).
L’accès à l’API Comfy Cloud nécessite un forfait avec clé API.
FAQ
