Este flujo de trabajo convierte una sola imagen en un video audio‑reactivo con música de fondo combinando generación de música desde texto (ACE Step 1.5 XL Turbo) con animación de imagen a video (LTX 2.3) mejorada con un LoRA audio‑reactivo. Proporcionas una imagen y un brief creativo corto; el flujo usa un GeminiNode para redactar tanto “style tags” para los visuales como “lyrics” para la canción en una sola pasada. Luego, un nodo RegexExtract divide ese texto en '---': todo lo anterior se convierte en etiquetas de estilo visual para LTX 2.3, y todo lo posterior se convierte en letras que se envían a ACE Step 1.5 XL Turbo. La canción generada se guarda con SaveAudioMP3 y luego impulsa la reactividad del video, que se guarda con SaveVideo.
Técnicamente, la canalización está organizada en grupos: Load Image, Create ACE Step 1.5 Prompts, Create Audio‑Reactive LoRA Prompt, Regex Extract, ACE Step 1.5 XL y LTX 2.3 con Audio‑Reactive LoRA. El LoRA audio‑reactivo (ver la ficha del modelo enlazada) añade efectos de movimiento que siguen la música; ajusta su fuerza entre 1.0 y 2.0 (1.4+ para efectos más marcados) para mejores resultados. PreviewAny te ayuda a revisar salidas intermedias (prompts, audio y frames) antes del render final, mientras que MarkdownNote incluye consejos rápidos dentro del grafo. El resultado es una canalización optimizada de imagen → canción → video audio‑reactivo fácil de iterar: ajusta style tags y lyrics, vuelve a generar la pista y vuelve a renderizar el video hasta que encaje con tu intención creativa.
API
Usa este flujo de trabajo desde código
Cada flujo de trabajo de Comfy es un grafo JSON. El siguiente payload es este flujo de trabajo, exactamente como lo ejecuta ComfyUI: descárgalo desde la URL, guárdalo en control de versiones o cárgalo en ComfyUI y ejecútalo nodo por nodo.
Ejecuta desde TypeScript o Python con el Comfy SDK. El mismo código funciona en Comfy Cloud o en un ComfyUI propio: solo cambia la URL base.
// Install (beta)
npm i @comfyorg/sdk
// Run this workflow (TypeScript)
import { Comfy } from "@comfyorg/sdk";
const client = new Comfy({ apiKey: "comfyui-..." });
const wf = await client.workflows.fromFile("workflow_api.json");
const job = await client.run(wf);
await job.getOutputs("<output-node-id>")[0].toFile("output.png");El SDK utiliza un flujo de trabajo en formato API: abre este flujo de trabajo en ComfyUI y usa Archivo → Exportar flujo de trabajo (API).
El acceso a la API de Comfy Cloud requiere un plan con clave API.
Preguntas frecuentes
