Este workflow ComfyUI cria clipes de vídeo personalizados com lip sync ao condicionar LTX-2.3 em três entradas: uma imagem de referência (aparência), um clipe curto de áudio (timing e estilo vocal) e um prompt estruturado (cena, transcrição e contexto sonoro). A lógica central está encapsulada em um subgrafo (o nó personalizado com ID 98ee9e5b-467b-40aa-a534-36033f27d0b4), que orquestra a geração do LTX-2.3 com condicionamento de identidade ID-LoRA. LoadImage fornece a referência de rosto/pose, LoadAudio ou RecordAudio fornece sua fala e SaveVideo grava o vídeo final. Um MarkdownNote no canvas resume o formato do prompt estruturado e linka para os recursos do LTX-2.3 e do ID-LoRA.
Tecnicamente, o ID-LoRA injeta um adaptador leve de identidade no processo de difusão de vídeo do LTX-2.3 para que a pessoa gerada corresponda à imagem de referência sem um fine-tune completo. O prompt é dividido em três tags que o subgrafo espera: [VISUAL] (cena e aparência), [SPEECH] (as palavras exatas a serem ditas) e [SOUNDS] (estilo de fala e pistas de ambiente). O áudio conduz os movimentos da boca e o timing, enquanto [SPEECH] ajuda o modelo a resolver detalhes em nível de fonema para uma articulação labial mais clara. O resultado é um vídeo curto do seu sujeito dizendo a frase fornecida, visualmente alinhado à imagem de referência e sincronizado temporalmente com o áudio.
API
Use este workflow a partir do código
Todo workflow Comfy é um grafo JSON. O payload abaixo é este workflow, exatamente como o ComfyUI executa — obtenha-o pela URL, mantenha-o no controle de versão ou carregue-o no ComfyUI e execute nó por nó.
Execute a partir de TypeScript ou Python com o Comfy SDK. O mesmo código serve para o Comfy Cloud ou um ComfyUI hospedado por você — apenas a URL base muda.
// Install (beta)
npm i @comfyorg/sdk
// Run "LTX-2.3: ID LoRA" (TypeScript)
import { Comfy } from "@comfyorg/sdk";
const client = new Comfy({ apiKey: "comfyui-..." });
// This workflow, exported in API format (see note below)
const wf = await client.workflows.fromFile("video_ltx2_3_id_lora_api.json");
const asset = client.assets.fromFile("input.png");
wf.setInput("269", "image", asset); // LoadImage
const job = await client.run(wf);
await job.getOutputs("341")[0].toFile("output.png"); // SaveVideoO SDK utiliza um workflow no formato API: abra este workflow no ComfyUI e use Arquivo → Exportar Workflow (API).
O acesso à API do Comfy Cloud requer um plano com chave de API.
FAQ
