Ce workflow transforme une image unique en une vidéo audio‑réactive avec musique générée, en combinant la génération texte-vers-musique (ACE Step 1.5 XL Turbo) et l’animation image-vers-vidéo (LTX 2.3) enrichie par un Audio‑Reactive LoRA. Vous fournissez une image et un court brief créatif ; le workflow utilise un GeminiNode pour générer à la fois des « tags de style » pour le visuel et des « paroles » pour la chanson en une seule étape. Un nœud RegexExtract sépare ensuite le texte sur '---' : tout ce qui précède devient les tags de style pour LTX 2.3, tout ce qui suit devient les paroles pour ACE Step 1.5 XL Turbo. La chanson générée est sauvegardée via SaveAudioMP3 et pilote la réactivité de la vidéo, qui est enregistrée avec SaveVideo.
Techniquement, le pipeline est organisé en groupes : Charger l’image, Créer les prompts ACE Step 1.5, Créer le prompt Audio‑Reactive LoRA, Regex Extract, ACE Step 1.5 XL, et LTX 2.3 avec Audio‑Reactive LoRA. L’Audio‑Reactive LoRA (voir la fiche modèle liée) ajoute des effets de mouvement synchronisés avec la musique ; ajustez sa force entre 1.0 et 2.0 (1.4+ pour des effets plus marqués) pour de meilleurs résultats. PreviewAny permet de vérifier les sorties intermédiaires (prompts, audio, images) avant le rendu final, tandis que MarkdownNote contient des astuces rapides dans le graphe. Le résultat est un pipeline image → chanson → vidéo audio‑réactive facile à itérer : modifiez tags de style et paroles, régénérez la piste, et réexportez la vidéo jusqu’à obtenir le rendu souhaité.
API
Utiliser ce workflow depuis le code
Chaque workflow Comfy est un graphe JSON. Le contenu ci-dessous est ce workflow, exactement comme ComfyUI l’exécute — récupérez-le depuis l’URL, gardez-le dans le contrôle de version, ou chargez-le dans ComfyUI et exécutez-le nœud par nœud.
Exécutez-le depuis TypeScript ou Python avec le Comfy SDK. Le même code cible Comfy Cloud ou un ComfyUI auto-hébergé — seule l’URL de base change.
// Install (beta)
npm i @comfyorg/sdk
// Run this workflow (TypeScript)
import { Comfy } from "@comfyorg/sdk";
const client = new Comfy({ apiKey: "comfyui-..." });
const wf = await client.workflows.fromFile("workflow_api.json");
const job = await client.run(wf);
await job.getOutputs("<output-node-id>")[0].toFile("output.png");Le SDK prend un workflow au format API : ouvrez ce workflow dans ComfyUI et utilisez Fichier → Exporter le workflow (API).
L’accès à l’API Comfy Cloud nécessite un forfait avec clé API.
FAQ
