Este fluxo constrói um pipeline completo e open source de lipdub usando LTX 2.3 e conversão de voz Chatterbox. Você fornece um vídeo "driving" de uma pessoa falando, além do diálogo que deseja que ela diga. LoadVideo importa seu clipe, e GetVideoComponents extrai quadros, FPS e o áudio original. O texto digitado passa de um prompt PrimitiveStringMultiline por RegexReplace para limpar pontuação e espaçamento, depois para o nó LTX 2.3 Lipdub (ID 1e1eaad5-a949-4d3e-9a68-694e64a936a0). Esse nó aplica um Lipdub LoRA finetune ao LTX 2.3 para sincronizar a boca ao seu roteiro mantendo identidade, movimento da cabeça e contexto da cena.
Para o áudio, o mesmo texto gera uma faixa dublada temporária que é enviada ao FL_ChatterboxVC. Usando o áudio original do vídeo (de GetVideoComponents) como referência de voz, o Chatterbox VC re-vozeia a dublagem para combinar com o timbre e características vocais do falante. Por fim, CreateVideo monta os quadros editados e o áudio clonado na mesma taxa de FPS, e SaveVideo salva o lipdub final. Atenção à regra de dimensão do MarkdownNote: defina largura × altura de entrada para metade do tamanho final desejado (exemplo: 960×544 de entrada gera ~1920×1088 de saída).
API
Use este workflow a partir do código
Todo workflow Comfy é um grafo JSON. O payload abaixo é este workflow, exatamente como o ComfyUI executa — obtenha-o pela URL, mantenha-o no controle de versão ou carregue-o no ComfyUI e execute nó por nó.
Execute a partir de TypeScript ou Python com o Comfy SDK. O mesmo código serve para o Comfy Cloud ou um ComfyUI hospedado por você — apenas a URL base muda.
// Install (beta)
npm i @comfyorg/sdk
// Run this workflow (TypeScript)
import { Comfy } from "@comfyorg/sdk";
const client = new Comfy({ apiKey: "comfyui-..." });
const wf = await client.workflows.fromFile("workflow_api.json");
const job = await client.run(wf);
await job.getOutputs("<output-node-id>")[0].toFile("output.png");O SDK utiliza um workflow no formato API: abra este workflow no ComfyUI e use Arquivo → Exportar Workflow (API).
O acesso à API do Comfy Cloud requer um plano com chave de API.
FAQ
