此 ComfyUI 工作流程可將靜態角色圖像與音訊檔結合,生成對嘴動畫影片。流程運用 Wan2.1 InfiniteTalk 模型,分析上傳的音訊,產生與語音內容同步的嘴型動作,實現真實的對嘴效果。流程從『LoadAudio』節點開始,匯入音訊檔並進行分析,同時『LoadImage』節點讓使用者上傳要動畫化的角色圖像。流程結合自訂節點如『ComfyUI-WanVideoWrapper』與『audio-separation-nodes-comfyui』,處理音訊並與視覺元素同步。最終輸出為影片檔,透過『SaveVideo』節點儲存,角色嘴型與音訊完美對齊。

技術上,此流程運用進階音訊分析與影片生成技術。『audio-separation-nodes-comfyui』節點負責將音訊分解為可對應嘴型的成分,『comfyui-kjnodes』則將這些嘴型動作融合到角色圖像。此流程特別適合內容創作者製作動畫影片,無需複雜動畫軟體,是提升故事表現與互動性的實用工具。

API

從程式碼使用此工作流

每個 Comfy 工作流都是一個 JSON 圖。下方的 payload 就是此工作流,與 ComfyUI 執行時完全相同 — 你可以從此 URL 取得、放入版本控制,或在 ComfyUI 載入並逐節點執行。

templates-wan2_1_infinitetalk_music.json
正在取得工作流 JSON…

使用 Comfy SDK 以 TypeScript 或 Python 執行。相同程式碼可用於 Comfy Cloud 或你自架的 ComfyUI — 只需更改 base URL。

// Install (beta)
npm i @comfyorg/sdk

// Run "音訊驅動角色嘴型同步影片" (TypeScript)
import { Comfy } from "@comfyorg/sdk";

const client = new Comfy({ apiKey: "comfyui-..." });

// This workflow, exported in API format (see note below)
const wf = await client.workflows.fromFile("templates-wan2_1_infinitetalk_music_api.json");

const asset = client.assets.fromFile("input.png");
wf.setInput("284", "image", asset); // LoadImage

const job = await client.run(wf);
await job.getOutputs("325")[0].toFile("output.png"); // SaveVideo

SDK 需使用 API 格式的工作流:請在 ComfyUI 開啟此工作流,並使用 檔案 → 匯出工作流(API)。

Comfy Cloud API 存取需有 API 金鑰的方案。

常見問題

常見問題

查看所有工作流
Showing 30 of 30 templates