Este fluxo do ComfyUI foi desenvolvido para criar um vídeo lip sync combinando uma imagem estática de personagem com um arquivo de áudio. Utilizando o modelo Wan2.1 InfiniteTalk, o fluxo analisa o áudio enviado para gerar movimentos de boca que acompanham as palavras faladas, criando um efeito realista de sincronização labial. O processo começa com o nó 'LoadAudio', que carrega o arquivo de áudio e o prepara para análise. Simultaneamente, o nó 'LoadImage' permite o envio da imagem do personagem a ser animado. O fluxo utiliza nós personalizados como 'ComfyUI-WanVideoWrapper' e 'audio-separation-nodes-comfyui' para processar o áudio e sincronizá-lo com os elementos visuais. O resultado final é um arquivo de vídeo, salvo pelo nó 'SaveVideo', onde os movimentos da boca do personagem estão em perfeita harmonia com o áudio.
Tecnicamente, este fluxo se destaca por utilizar técnicas avançadas de análise de áudio e geração de vídeo. O nó 'audio-separation-nodes-comfyui' é fundamental para separar o áudio em componentes que podem ser mapeados para formas específicas da boca, enquanto os 'comfyui-kjnodes' cuidam da tarefa de mesclar esses movimentos na imagem do personagem. Este fluxo é especialmente útil para criadores de conteúdo que desejam produzir vídeos animados sem a necessidade de softwares complexos de animação, tornando-se uma ferramenta acessível para enriquecer narrativas e engajamento em mídias visuais.
API
Use este workflow a partir do código
Todo workflow Comfy é um grafo JSON. O payload abaixo é este workflow, exatamente como o ComfyUI executa — obtenha-o pela URL, mantenha-o no controle de versão ou carregue-o no ComfyUI e execute nó por nó.
Execute a partir de TypeScript ou Python com o Comfy SDK. O mesmo código serve para o Comfy Cloud ou um ComfyUI hospedado por você — apenas a URL base muda.
// Install (beta)
npm i @comfyorg/sdk
// Run "Vídeo de Sincronização Labial de Personagem Baseada em Áudio" (TypeScript)
import { Comfy } from "@comfyorg/sdk";
const client = new Comfy({ apiKey: "comfyui-..." });
// This workflow, exported in API format (see note below)
const wf = await client.workflows.fromFile("templates-wan2_1_infinitetalk_music_api.json");
const asset = client.assets.fromFile("input.png");
wf.setInput("284", "image", asset); // LoadImage
const job = await client.run(wf);
await job.getOutputs("325")[0].toFile("output.png"); // SaveVideoO SDK utiliza um workflow no formato API: abra este workflow no ComfyUI e use Arquivo → Exportar Workflow (API).
O acesso à API do Comfy Cloud requer um plano com chave de API.
FAQ
