Vídeo de Sincronização Labial de Personagem Baseada em Áudio

Faça upload de uma imagem de personagem e um arquivo de áudio. Gere um vídeo de sincronização labial onde os movimentos da boca do personagem correspondam à faixa de áudio fornecida.

Input

Speech or singing the character lip-syncs to.

  • 0:00 / 0:00

One person, face clearly visible. Cropped to the width × height below.

Describe the performance: expression, head and body movement, camera.

Pixels, a multiple of 16.

Frames at 25 fps: set it to audio seconds × 25 (the graph can't read the audio length). The example's 17.6 s clip used 440.

Default: 440

Pixels, a multiple of 16.

Advanced settings

What to avoid.

Leave empty for a new result each run. Enter a number to repeat one.

Default: 7

Output
00:00
Example

Experimente um exemplo

Sobre este fluxo de trabalho

Este fluxo do ComfyUI foi desenvolvido para criar um vídeo lip sync combinando uma imagem estática de personagem com um arquivo de áudio. Utilizando o modelo Wan2.1 InfiniteTalk, o fluxo analisa o áudio enviado para gerar movimentos de boca que acompanham as palavras faladas, criando um efeito realista de sincronização labial. O processo começa com o nó 'LoadAudio', que carrega o arquivo de áudio e o prepara para análise. Simultaneamente, o nó 'LoadImage' permite o envio da imagem do personagem a ser animado. O fluxo utiliza nós personalizados como 'ComfyUI-WanVideoWrapper' e 'audio-separation-nodes-comfyui' para processar o áudio e sincronizá-lo com os elementos visuais. O resultado final é um arquivo de vídeo, salvo pelo nó 'SaveVideo', onde os movimentos da boca do personagem estão em perfeita harmonia com o áudio.

Tecnicamente, este fluxo se destaca por utilizar técnicas avançadas de análise de áudio e geração de vídeo. O nó 'audio-separation-nodes-comfyui' é fundamental para separar o áudio em componentes que podem ser mapeados para formas específicas da boca, enquanto os 'comfyui-kjnodes' cuidam da tarefa de mesclar esses movimentos na imagem do personagem. Este fluxo é especialmente útil para criadores de conteúdo que desejam produzir vídeos animados sem a necessidade de softwares complexos de animação, tornando-se uma ferramenta acessível para enriquecer narrativas e engajamento em mídias visuais.

Perguntas e respostas