這個工作流程把單張圖片轉成帶配樂、且會隨音訊變化的影片:結合文字轉音樂生成(ACE Step 1.5 XL Turbo)與圖片轉影片動畫(LTX 2.3),並加入 Audio‑Reactive LoRA 增強效果。你提供一張圖片與一段簡短創意需求;工作流程會用 GeminiNode 一次產出視覺用的「風格標籤」與歌曲用的「歌詞」。接著 RegexExtract 節點會在 '---' 位置切分文字:前半段作為 LTX 2.3 的視覺風格標籤,後半段作為 ACE Step 1.5 XL Turbo 的歌詞輸入。生成的歌曲會透過 SaveAudioMP3 儲存,並驅動影片的音訊反應效果,最後用 SaveVideo 輸出影片。
技術上,流程分組清楚:Load Image、Create ACE Step 1.5 Prompts、Create Audio‑Reactive LoRA Prompt、Regex Extract、ACE Step 1.5 XL,以及 LTX 2.3 with Audio‑Reactive LoRA。Audio‑Reactive LoRA(可參考連結的 model card)會加入跟著音樂走的動態效果;建議把 strength 調在 1.0 到 2.0 之間(1.4+ 會更強)以取得較好的結果。PreviewAny 方便你在最終渲染前檢查中間輸出(提示詞、音訊、影格),MarkdownNote 則在節點圖內提供快速提示。整體是容易迭代的圖片 → 歌曲 → 音訊反應影片管線:調整風格標籤與歌詞、重新生成音軌、再重新渲染影片,直到符合你的創作方向。
API
從程式碼使用此工作流
每個 Comfy 工作流都是一個 JSON 圖。下方的 payload 就是此工作流,與 ComfyUI 執行時完全相同 — 你可以從此 URL 取得、放入版本控制,或在 ComfyUI 載入並逐節點執行。
使用 Comfy SDK 以 TypeScript 或 Python 執行。相同程式碼可用於 Comfy Cloud 或你自架的 ComfyUI — 只需更改 base URL。
// Install (beta)
npm i @comfyorg/sdk
// Run this workflow (TypeScript)
import { Comfy } from "@comfyorg/sdk";
const client = new Comfy({ apiKey: "comfyui-..." });
const wf = await client.workflows.fromFile("workflow_api.json");
const job = await client.run(wf);
await job.getOutputs("<output-node-id>")[0].toFile("output.png");SDK 需使用 API 格式的工作流:請在 ComfyUI 開啟此工作流,並使用 檔案 → 匯出工作流(API)。
常見問題













