Este flujo de trabajo de ComfyUI está diseñado para crear un video sincronizado de labios combinando una imagen estática de personaje con un archivo de audio. Utilizando el modelo Wan2.1 InfiniteTalk, el flujo analiza el audio subido para generar movimientos de boca que coincidan con las palabras habladas, creando un efecto realista de lip sync. El proceso comienza con el nodo 'LoadAudio', que ingiere el archivo de audio y lo prepara para el análisis. Simultáneamente, el nodo 'LoadImage' permite a los usuarios subir la imagen del personaje que será animada. El flujo aprovecha nodos personalizados como 'ComfyUI-WanVideoWrapper' y 'audio-separation-nodes-comfyui' para procesar el audio y sincronizarlo con los elementos visuales. El resultado final es un archivo de video, guardado usando el nodo 'SaveVideo', donde los movimientos de la boca del personaje están en perfecta armonía con la pista de audio.
Técnicamente, este flujo de trabajo destaca por utilizar técnicas avanzadas de análisis de audio y generación de video. El nodo 'audio-separation-nodes-comfyui' es crucial para descomponer el audio en componentes que puedan mapearse a formas específicas de la boca, mientras que los 'comfyui-kjnodes' se encargan de la tarea de mezclar estos movimientos en la imagen del personaje. Este flujo de trabajo es especialmente útil para creadores de contenido que buscan producir videos animados sin necesidad de software de animación complejo, haciéndolo una herramienta accesible para mejorar la narración y el engagement a través de medios visuales.
API
Usa este flujo de trabajo desde código
Cada flujo de trabajo de Comfy es un grafo JSON. El siguiente payload es este flujo de trabajo, exactamente como lo ejecuta ComfyUI: descárgalo desde la URL, guárdalo en control de versiones o cárgalo en ComfyUI y ejecútalo nodo por nodo.
Ejecuta desde TypeScript o Python con el Comfy SDK. El mismo código funciona en Comfy Cloud o en un ComfyUI propio: solo cambia la URL base.
// Install (beta)
npm i @comfyorg/sdk
// Run "Video de sincronización labial de personajes impulsado por audio" (TypeScript)
import { Comfy } from "@comfyorg/sdk";
const client = new Comfy({ apiKey: "comfyui-..." });
// This workflow, exported in API format (see note below)
const wf = await client.workflows.fromFile("templates-wan2_1_infinitetalk_music_api.json");
const asset = client.assets.fromFile("input.png");
wf.setInput("284", "image", asset); // LoadImage
const job = await client.run(wf);
await job.getOutputs("325")[0].toFile("output.png"); // SaveVideoEl SDK utiliza un flujo de trabajo en formato API: abre este flujo de trabajo en ComfyUI y usa Archivo → Exportar flujo de trabajo (API).
El acceso a la API de Comfy Cloud requiere un plan con clave API.
Preguntas frecuentes
