Este tutorial do ComfyUI demonstra como gerar vídeos controláveis com o Wan2.2 Fun Control (14B), guiado por entradas de pose, profundidade e bordas. No núcleo, o nó Wan22FunControlToVideo funde seu prompt de texto do CLIPTextEncode com um ou mais fluxos de controle derivados de um vídeo de referência. A pilha de modelos é carregada via UNETLoader e VAELoader, enquanto CLIPLoader e CLIPTextEncode fornecem condicionamento textual multilíngue. A amostragem é feita pelo ModelSamplingSD3 com KSamplerAdvanced para equilibrar qualidade, velocidade e força do controle. Por fim, VAEDecode reconstrói os quadros e SaveVideo exporta o resultado.
Você pode pré-processar vídeos de controle diretamente no grafo: LoadVideo e GetVideoComponents ingerem seu vídeo, Canny extrai bordas e nós customizados opcionais (comfyui_controlnet_aux e ComfyUI-DepthAnythingV2) adicionam mapas de pose/profundidade. CreateVideo define resolução, quantidade de quadros e FPS para coincidir com o regime de treinamento do Wan2.2 (multi-resolução 512/768/1024, 81 quadros a 16 FPS). O grupo Start_image permite ancorar o primeiro quadro com LoadImage para manter sujeito/visual consistentes. Um LoraLoaderModelOnly opcional aplica o Wan2.2 Lighting LoRA para renderizações mais rápidas, com menor dinâmica de movimento. Isso oferece um pipeline flexível e reprodutível para geração de vídeo para vídeo com preservação confiável de estrutura e controle de estilo.
API
Use este workflow a partir do código
Todo workflow Comfy é um grafo JSON. O payload abaixo é este workflow, exatamente como o ComfyUI executa — obtenha-o pela URL, mantenha-o no controle de versão ou carregue-o no ComfyUI e execute nó por nó.
Execute a partir de TypeScript ou Python com o Comfy SDK. O mesmo código serve para o Comfy Cloud ou um ComfyUI hospedado por você — apenas a URL base muda.
// Install (beta)
npm i @comfyorg/sdk
// Run "Wan 2.2 14B Fun Control" (TypeScript)
import { Comfy } from "@comfyorg/sdk";
const client = new Comfy({ apiKey: "comfyui-..." });
// This workflow, exported in API format (see note below)
const wf = await client.workflows.fromFile("video_wan2_2_14B_fun_control_api.json");
const asset = client.assets.fromFile("input.png");
wf.setInput("145", "image", asset); // LoadImage
wf.setInput("179", "text", "your prompt here"); // CLIPTextEncode
const job = await client.run(wf);
await job.getOutputs("170")[0].toFile("output.png"); // SaveVideoO SDK utiliza um workflow no formato API: abra este workflow no ComfyUI e use Arquivo → Exportar Workflow (API).
O acesso à API do Comfy Cloud requer um plano com chave de API.
FAQ
