InfiniteTalk:音訊驅動的全身影片配音

InfiniteTalk:語音驅動全身影片配音,將單張圖片和一段或多段音訊轉換為唇形同步的全身影片,同時保留原始人物、背景和鏡頭運動。流程核心為 WanInfiniteTalkToVideo,將載入的 Wan2.1 I2V 模型特徵與音訊嵌入融合,驅動身體與臉部動作。Step1 - 載入模型會準備 UNet 和 VAE(UNETLoader、VAELoader)用於圖像轉影片合成,並載入文字與音訊骨幹(CLIPLoader 搭配 CLIPTextEncode 處理鏡頭/場景提示,AudioEncoderLoader 搭配 AudioEncoderEncode 處理語音特徵)。你可透過 LoadImage 匯入起始畫格,然後在 MaskEditor 針對每位角色繪製遮罩,將動作區域限定於各說話者。

API

從程式碼使用此工作流

每個 Comfy 工作流都是一個 JSON 圖。下方的 payload 就是此工作流,與 ComfyUI 執行時完全相同 — 你可以從此 URL 取得、放入版本控制,或在 ComfyUI 載入並逐節點執行。

video_wan2_1_infinitetalk.json
正在取得工作流 JSON…

使用 Comfy SDK 以 TypeScript 或 Python 執行。相同程式碼可用於 Comfy Cloud 或你自架的 ComfyUI — 只需更改 base URL。

// Install (beta)
npm i @comfyorg/sdk

// Run "InfiniteTalk:音訊驅動的全身影片配音" (TypeScript)
import { Comfy } from "@comfyorg/sdk";

const client = new Comfy({ apiKey: "comfyui-..." });

// This workflow, exported in API format (see note below)
const wf = await client.workflows.fromFile("video_wan2_1_infinitetalk_api.json");

const asset = client.assets.fromFile("input.png");
wf.setInput("32", "image", asset); // LoadImage

const job = await client.run(wf);
await job.getOutputs("162")[0].toFile("output.png"); // SaveVideo

SDK 需使用 API 格式的工作流:請在 ComfyUI 開啟此工作流,並使用 檔案 → 匯出工作流(API)。

Comfy Cloud API 存取需有 API 金鑰的方案。

常見問題

常見問題

查看所有工作流
Showing 30 of 30 templates