InfiniteTalk:音频驱动的全身视频配音

InfiniteTalk:音频驱动全身视频配音,将单张图片和一段或多段音频转化为口型同步的全身视频,同时保留原始身份、背景和镜头运动。流程核心为WanInfiniteTalkToVideo,将加载的Wan2.1 I2V模型特征与音频嵌入融合,驱动身体和面部动作。Step1 - 加载模型阶段,准备UNet和VAE(UNETLoader、VAELoader)用于图像转视频合成,并加载文本和音频骨干(CLIPLoader配合CLIPTextEncode用于镜头/场景提示,AudioEncoderLoader配合AudioEncoderEncode用于语音特征)。你通过LoadImage导入起始帧,然后在MaskEditor中为每个角色绘制遮罩,将动作局部化到每个说话人。

API

通过代码使用此工作流

每个 Comfy 工作流都是一个 JSON 图。下面的内容就是此工作流的完整数据,ComfyUI 运行时也是如此——你可以从该 URL 获取、放入版本控制,或在 ComfyUI 中加载并逐节点运行。

video_wan2_1_infinitetalk.json
正在获取工作流 JSON…

使用 Comfy SDK 从 TypeScript 或 Python 运行。相同代码可用于 Comfy Cloud 或你自托管的 ComfyUI——只需更改基础 URL。

// Install (beta)
npm i @comfyorg/sdk

// Run "InfiniteTalk:音频驱动的全身视频配音" (TypeScript)
import { Comfy } from "@comfyorg/sdk";

const client = new Comfy({ apiKey: "comfyui-..." });

// This workflow, exported in API format (see note below)
const wf = await client.workflows.fromFile("video_wan2_1_infinitetalk_api.json");

const asset = client.assets.fromFile("input.png");
wf.setInput("32", "image", asset); // LoadImage

const job = await client.run(wf);
await job.getOutputs("162")[0].toFile("output.png"); // SaveVideo

SDK 需要 API 格式的工作流:在 ComfyUI 中打开此工作流,使用 文件 → 导出工作流(API)。

Comfy Cloud API 访问需要包含 API 密钥的套餐。

常见问题

常见问题

查看所有工作流
Showing 30 of 30 templates