InfiniteTalk: Doblaje de Vídeo de Cuerpo Completo Impulsado por Audio convierte una sola imagen y una o más pistas de audio en un vídeo de cuerpo completo con sincronización labial, preservando la identidad original, el fondo y el movimiento de cámara. El núcleo del pipeline es WanInfiniteTalkToVideo, que fusiona características del modelo I2V Wan2.1 cargado con una incrustación de audio para impulsar el movimiento corporal y facial. Step1 - Load Models prepara el UNet y VAE (UNETLoader, VAELoader) para la síntesis de imagen a vídeo, y carga backbones de texto y audio (CLIPLoader con CLIPTextEncode para prompts de cámara/escenario, y AudioEncoderLoader con AudioEncoderEncode para rasgos de voz). Importas el fotograma inicial mediante LoadImage, y luego dibujas máscaras por personaje en MaskEditor para localizar el movimiento en cada hablante.
API
Usa este flujo de trabajo desde código
Cada flujo de trabajo de Comfy es un grafo JSON. El siguiente payload es este flujo de trabajo, exactamente como lo ejecuta ComfyUI: descárgalo desde la URL, guárdalo en control de versiones o cárgalo en ComfyUI y ejecútalo nodo por nodo.
Ejecuta desde TypeScript o Python con el Comfy SDK. El mismo código funciona en Comfy Cloud o en un ComfyUI propio: solo cambia la URL base.
// Install (beta)
npm i @comfyorg/sdk
// Run "InfiniteTalk: Doblaje de video corporal completo impulsado por audio" (TypeScript)
import { Comfy } from "@comfyorg/sdk";
const client = new Comfy({ apiKey: "comfyui-..." });
// This workflow, exported in API format (see note below)
const wf = await client.workflows.fromFile("video_wan2_1_infinitetalk_api.json");
const asset = client.assets.fromFile("input.png");
wf.setInput("32", "image", asset); // LoadImage
const job = await client.run(wf);
await job.getOutputs("162")[0].toFile("output.png"); // SaveVideoEl SDK utiliza un flujo de trabajo en formato API: abre este flujo de trabajo en ComfyUI y usa Archivo → Exportar flujo de trabajo (API).
El acceso a la API de Comfy Cloud requiere un plan con clave API.
Preguntas frecuentes
