Este flujo de trabajo construye un pipeline completo y open-source de lip-dub alrededor de LTX 2.3 y la conversión de voz Chatterbox. Proporcionas un video “conductor” de una persona hablando, más el diálogo que quieres que diga. LoadVideo ingiere tu clip y GetVideoComponents extrae fotogramas, FPS y el audio original. Tu diálogo escrito pasa desde un prompt en PrimitiveStringMultiline por RegexReplace para limpiar puntuación y espacios, y luego entra al nodo LTX 2.3 Lipdub (el nodo personalizado con ID 1e1eaad5-a949-4d3e-9a68-694e64a936a0). Ese nodo aplica un finetune Lipdub LoRA a LTX 2.3 para reajustar en el tiempo las formas de la boca según tu guion, preservando la identidad del sujeto, el movimiento de la cabeza y el contexto de la escena.
En audio, el mismo diálogo genera una pista temporal de doblaje que luego se pasa a FL_ChatterboxVC. Usando el audio del video original (de GetVideoComponents) como referencia de voz, Chatterbox VC reinterpreta el doblaje para que coincida con el timbre y los rasgos vocales del hablante. Por último, CreateVideo ensambla los fotogramas editados y el audio clonado al FPS de origen, y SaveVideo escribe el render final con sincronía labial. Ten en cuenta la regla de dimensiones del MarkdownNote: configura el ancho × alto de entrada a la mitad del tamaño final deseado (por ejemplo, 960×544 de entrada da ~1920×1088 de salida).
API
Usa este flujo de trabajo desde código
Cada flujo de trabajo de Comfy es un grafo JSON. El siguiente payload es este flujo de trabajo, exactamente como lo ejecuta ComfyUI: descárgalo desde la URL, guárdalo en control de versiones o cárgalo en ComfyUI y ejecútalo nodo por nodo.
Ejecuta desde TypeScript o Python con el Comfy SDK. El mismo código funciona en Comfy Cloud o en un ComfyUI propio: solo cambia la URL base.
// Install (beta)
npm i @comfyorg/sdk
// Run this workflow (TypeScript)
import { Comfy } from "@comfyorg/sdk";
const client = new Comfy({ apiKey: "comfyui-..." });
const wf = await client.workflows.fromFile("workflow_api.json");
const job = await client.run(wf);
await job.getOutputs("<output-node-id>")[0].toFile("output.png");El SDK utiliza un flujo de trabajo en formato API: abre este flujo de trabajo en ComfyUI y usa Archivo → Exportar flujo de trabajo (API).
El acceso a la API de Comfy Cloud requiere un plan con clave API.
Preguntas frecuentes
