Este workflow transforma uma única imagem em um vídeo com música e reação ao áudio, combinando geração de texto para música (ACE Step 1.5 XL Turbo) com animação image-to-video (LTX 2.3) aprimorada por um LoRA Audio‑Reactive. Você fornece uma imagem e um breve direcionamento criativo; o workflow usa um GeminiNode para redigir, em uma única passada, tanto "tags de estilo" para os visuais quanto "letras" para a música. Em seguida, um nó RegexExtract divide esse texto em '---': tudo antes vira tags de estilo visual para o LTX 2.3, e tudo depois vira letras enviadas ao ACE Step 1.5 XL Turbo. A música gerada é salva via SaveAudioMP3 e então dirige a reatividade do vídeo, que é salvo com SaveVideo.
Tecnicamente, o pipeline é organizado em grupos: Load Image, Create ACE Step 1.5 Prompts, Create Audio‑Reactive LoRA Prompt, Regex Extract, ACE Step 1.5 XL e LTX 2.3 with Audio‑Reactive LoRA. O LoRA Audio‑Reactive (veja o model card linkado) adiciona efeitos de movimento que seguem a música; ajuste a força entre 1.0 e 2.0 (1.4+ para efeitos mais fortes) para melhores resultados. O PreviewAny ajuda a conferir saídas intermediárias (prompts, áudio e frames) antes do render final, enquanto o MarkdownNote traz dicas rápidas dentro do grafo. O resultado é um pipeline simplificado imagem → música → vídeo reativo ao áudio, fácil de iterar: ajuste tags de estilo e letras, regenere a faixa e rerenderize o vídeo até corresponder ao seu direcionamento criativo.
API
Use este workflow a partir do código
Todo workflow Comfy é um grafo JSON. O payload abaixo é este workflow, exatamente como o ComfyUI executa — obtenha-o pela URL, mantenha-o no controle de versão ou carregue-o no ComfyUI e execute nó por nó.
Execute a partir de TypeScript ou Python com o Comfy SDK. O mesmo código serve para o Comfy Cloud ou um ComfyUI hospedado por você — apenas a URL base muda.
// Install (beta)
npm i @comfyorg/sdk
// Run this workflow (TypeScript)
import { Comfy } from "@comfyorg/sdk";
const client = new Comfy({ apiKey: "comfyui-..." });
const wf = await client.workflows.fromFile("workflow_api.json");
const job = await client.run(wf);
await job.getOutputs("<output-node-id>")[0].toFile("output.png");O SDK utiliza um workflow no formato API: abra este workflow no ComfyUI e use Arquivo → Exportar Workflow (API).
O acesso à API do Comfy Cloud requer um plano com chave de API.
FAQ
