这个工作流将单张图像变成带音乐的音频驱动视频:将文本生成音乐(ACE Step 1.5 XL Turbo)与图像生成视频动画(LTX 2.3)结合,并由音频驱动 LoRA 增强。你提供一张图像和简短创意说明;工作流使用 GeminiNode 一次性生成画面“风格标签”和歌曲“歌词”。随后 RegexExtract 节点在“---”处分割文本:之前内容作为 LTX 2.3 的视觉风格标签,之后内容作为歌词输入给 ACE Step 1.5 XL Turbo。生成的歌曲通过 SaveAudioMP3 保存,并用于驱动视频的响应,视频则用 SaveVideo 保存。

从技术上看,流程按组组织:Load Image、Create ACE Step 1.5 Prompts、Create Audio‑Reactive LoRA Prompt、Regex Extract、ACE Step 1.5 XL,以及带音频驱动 LoRA 的 LTX 2.3。音频驱动 LoRA(见链接的模型卡)会添加跟随音乐的运动效果;建议将强度调在 1.0 到 2.0 之间(1.4+ 更明显)以获得更好的结果。PreviewAny 可用于在最终渲染前检查中间输出(提示词、音频与帧),MarkdownNote 则在画面中提供快速提示。最终得到的是一条简洁的“图像 → 歌曲 → 音频驱动视频”管线,便于迭代:调整风格标签与歌词、重新生成音轨、再渲染视频,直到符合你的创作意图。

API

通过代码使用此工作流

每个 Comfy 工作流都是一个 JSON 图。下面的内容就是此工作流的完整数据,ComfyUI 运行时也是如此——你可以从该 URL 获取、放入版本控制,或在 ComfyUI 中加载并逐节点运行。

977fefa2b934.json
正在获取工作流 JSON…

使用 Comfy SDK 从 TypeScript 或 Python 运行。相同代码可用于 Comfy Cloud 或你自托管的 ComfyUI——只需更改基础 URL。

// Install (beta)
npm i @comfyorg/sdk

// Run this workflow (TypeScript)
import { Comfy } from "@comfyorg/sdk";

const client = new Comfy({ apiKey: "comfyui-..." });
const wf = await client.workflows.fromFile("workflow_api.json");
const job = await client.run(wf);
await job.getOutputs("<output-node-id>")[0].toFile("output.png");

SDK 需要 API 格式的工作流:在 ComfyUI 中打开此工作流,使用 文件 → 导出工作流(API)。

Comfy Cloud API 访问需要包含 API 密钥的套餐。

常见问题

常见问题

查看所有工作流
Showing 30 of 30 templates