InfiniteTalk: Dublagem de Vídeo Corporal Completo Guiada por Áudio transforma uma única imagem e uma ou mais faixas de áudio em um vídeo de corpo inteiro sincronizado com os lábios, preservando a identidade original, o fundo e o movimento da câmera. O núcleo do pipeline é o WanInfiniteTalkToVideo, que funde recursos do modelo Wan2.1 I2V carregado com um embedding de áudio para guiar o movimento corporal e facial. O Passo 1 - Carregar Modelos prepara o UNet e o VAE (UNETLoader, VAELoader) para síntese de imagem para vídeo, e carrega os backbones de texto e áudio (CLIPLoader com CLIPTextEncode para prompts de câmera/palco, e AudioEncoderLoader com AudioEncoderEncode para características de voz). Você importa o quadro inicial via LoadImage, depois desenha máscaras por personagem no MaskEditor para localizar o movimento em cada falante.
API
Use este workflow a partir do código
Todo workflow Comfy é um grafo JSON. O payload abaixo é este workflow, exatamente como o ComfyUI executa — obtenha-o pela URL, mantenha-o no controle de versão ou carregue-o no ComfyUI e execute nó por nó.
Execute a partir de TypeScript ou Python com o Comfy SDK. O mesmo código serve para o Comfy Cloud ou um ComfyUI hospedado por você — apenas a URL base muda.
// Install (beta)
npm i @comfyorg/sdk
// Run "InfiniteTalk: Dublagem de Vídeo Corporal Completo Acionada por Áudio" (TypeScript)
import { Comfy } from "@comfyorg/sdk";
const client = new Comfy({ apiKey: "comfyui-..." });
// This workflow, exported in API format (see note below)
const wf = await client.workflows.fromFile("video_wan2_1_infinitetalk_api.json");
const asset = client.assets.fromFile("input.png");
wf.setInput("32", "image", asset); // LoadImage
const job = await client.run(wf);
await job.getOutputs("162")[0].toFile("output.png"); // SaveVideoO SDK utiliza um workflow no formato API: abra este workflow no ComfyUI e use Arquivo → Exportar Workflow (API).
O acesso à API do Comfy Cloud requer um plano com chave de API.
FAQ
