Video de sincronización labial de personajes impulsado por audio

Sube una imagen de un personaje y un archivo de audio. Genera un video de sincronización labial donde los movimientos de la boca del personaje coincidan con la pista de audio proporcionada.

Input

Speech or singing the character lip-syncs to.

  • 0:00 / 0:00

One person, face clearly visible. Cropped to the width × height below.

Describe the performance: expression, head and body movement, camera.

Pixels, a multiple of 16.

Frames at 25 fps: set it to audio seconds × 25 (the graph can't read the audio length). The example's 17.6 s clip used 440.

Default: 440

Pixels, a multiple of 16.

Advanced settings

What to avoid.

Leave empty for a new result each run. Enter a number to repeat one.

Default: 7

Output
00:00
Example

Probar un ejemplo

Acerca de este flujo de trabajo

Este flujo de trabajo de ComfyUI está diseñado para crear un video sincronizado de labios combinando una imagen estática de personaje con un archivo de audio. Utilizando el modelo Wan2.1 InfiniteTalk, el flujo analiza el audio subido para generar movimientos de boca que coincidan con las palabras habladas, creando un efecto realista de lip sync. El proceso comienza con el nodo 'LoadAudio', que ingiere el archivo de audio y lo prepara para el análisis. Simultáneamente, el nodo 'LoadImage' permite a los usuarios subir la imagen del personaje que será animada. El flujo aprovecha nodos personalizados como 'ComfyUI-WanVideoWrapper' y 'audio-separation-nodes-comfyui' para procesar el audio y sincronizarlo con los elementos visuales. El resultado final es un archivo de video, guardado usando el nodo 'SaveVideo', donde los movimientos de la boca del personaje están en perfecta armonía con la pista de audio.

Técnicamente, este flujo de trabajo destaca por utilizar técnicas avanzadas de análisis de audio y generación de video. El nodo 'audio-separation-nodes-comfyui' es crucial para descomponer el audio en componentes que puedan mapearse a formas específicas de la boca, mientras que los 'comfyui-kjnodes' se encargan de la tarea de mezclar estos movimientos en la imagen del personaje. Este flujo de trabajo es especialmente útil para creadores de contenido que buscan producir videos animados sin necesidad de software de animación complejo, haciéndolo una herramienta accesible para mejorar la narración y el engagement a través de medios visuales.

Preguntas y respuestas