Le workflow LTX-2 : Audio vers Vidéo est conçu pour transformer un fichier audio et une image de départ en une vidéo synchronisée. Ce processus exploite le modèle LTX-2, reconnu pour sa capacité à interpréter les signaux audio et à les traduire en contenu visuel dynamique. Le workflow commence par les nœuds 'LoadImage' et 'LoadAudio', permettant d’importer l’image et le fichier audio qui serviront de base à la génération vidéo. Ces entrées sont ensuite traitées via une série de nœuds personnalisés, dont 'comfyui-kjnodes', essentiels pour maintenir la synchronisation entre l’audio et la vidéo.
Techniquement, le workflow utilise un nœud unique identifié par l’ID '3458504c-2bd1-4267-8722-6f2478115b42', qui joue un rôle clé dans l’alignement du rythme et du tempo audio avec les transitions visuelles. Le nœud 'SaveVideo' finalise le processus en convertissant les données traitées en fichier vidéo. Ce workflow est particulièrement utile pour les créateurs souhaitant produire du contenu vidéo à partir de pistes audio, comme des clips musicaux ou des œuvres audio-visuelles. Son aspect expérimental implique que les résultats peuvent varier, offrant ainsi une opportunité d’exploration créative.
API
Utiliser ce workflow depuis le code
Chaque workflow Comfy est un graphe JSON. Le contenu ci-dessous est ce workflow, exactement comme ComfyUI l’exécute — récupérez-le depuis l’URL, gardez-le dans le contrôle de version, ou chargez-le dans ComfyUI et exécutez-le nœud par nœud.
Exécutez-le depuis TypeScript ou Python avec le Comfy SDK. Le même code cible Comfy Cloud ou un ComfyUI auto-hébergé — seule l’URL de base change.
// Install (beta)
npm i @comfyorg/sdk
// Run "LTX-2 : Audio vers vidéo" (TypeScript)
import { Comfy } from "@comfyorg/sdk";
const client = new Comfy({ apiKey: "comfyui-..." });
// This workflow, exported in API format (see note below)
const wf = await client.workflows.fromFile("video_ltx_2_audio_to_video_api.json");
const asset = client.assets.fromFile("input.png");
wf.setInput("444", "image", asset); // LoadImage
const job = await client.run(wf);
await job.getOutputs("984")[0].toFile("output.png"); // SaveVideoLe SDK prend un workflow au format API : ouvrez ce workflow dans ComfyUI et utilisez Fichier → Exporter le workflow (API).
L’accès à l’API Comfy Cloud nécessite un forfait avec clé API.
FAQ
