Este workflow do ComfyUI demonstra uma abordagem unificada para animação e substituição de personagem usando o modelo de difusão de vídeo Wan 2.2 Animate. Ele extrai movimento de um vídeo de entrada, segmenta o sujeito-alvo e sintetiza um novo personagem (ou reestiliza o original) seguindo o mesmo movimento. Componentes principais incluem UNETLoader carregando o checkpoint Wan2_2-Animate-14B_fp8_e4m3fn_scaled_KJ.safetensors, VAELoader para decodificar frames, CLIPLoader e CLIPTextEncode para prompts positivos/negativos e SaveVideo para a saída final. As pistas de movimento são geradas com DWPreprocessor (pose humana/keypoints de corpo inteiro) do comfyui_controlnet_aux, enquanto o isolamento do sujeito vem do ComfyUI-segment-anything-2 via DownloadAndLoadSAM2Model e Sam2Segmentation. Se você quiser travar identidade ou estilo a partir de uma imagem, CLIPVisionLoader + CLIPVisionEncode fornecem condicionamento adicional por referência, e LoraLoaderModelOnly permite injetar um LoRA de personagem.
Tecnicamente, o workflow conecta LoadVideo ao GetVideoComponents e então pré-processa fundo e sujeito: Sam2Segmentation cria uma máscara do personagem (guiada por “pontos verdes” do usuário) e DWPreprocessor extrai a pose de cada frame. PixelPerfectResolution garante que o tamanho de trabalho caiba na sua GPU e siga a restrição do WanAnimateToVideo (largura e altura devem ser múltiplos de 16). ModelSamplingSD3 controla sampler e agenda para o Wan UNet, e utilitários do comfyui-kjnodes ajudam com o modelo FP8 escalado otimizado. O resultado é um pipeline flexível para trocas ou restyling consistentes no movimento — use uma única imagem de referência, um LoRA e prompts para direcionar identidade e aparência enquanto preserva o movimento original.
API
Use este workflow a partir do código
Todo workflow Comfy é um grafo JSON. O payload abaixo é este workflow, exatamente como o ComfyUI executa — obtenha-o pela URL, mantenha-o no controle de versão ou carregue-o no ComfyUI e execute nó por nó.
Execute a partir de TypeScript ou Python com o Comfy SDK. O mesmo código serve para o Comfy Cloud ou um ComfyUI hospedado por você — apenas a URL base muda.
// Install (beta)
npm i @comfyorg/sdk
// Run "Wan2.2 Animate, Animação e Substituição de Personagem" (TypeScript)
import { Comfy } from "@comfyorg/sdk";
const client = new Comfy({ apiKey: "comfyui-..." });
// This workflow, exported in API format (see note below)
const wf = await client.workflows.fromFile("video_wan2_2_14B_animate_api.json");
const asset = client.assets.fromFile("input.png");
wf.setInput("10", "image", asset); // LoadImage
wf.setInput("21", "text", "The character is dancing in the room"); // CLIPTextEncode
const job = await client.run(wf);
await job.getOutputs("277")[0].toFile("output.png"); // SaveVideoO SDK utiliza um workflow no formato API: abra este workflow no ComfyUI e use Arquivo → Exportar Workflow (API).
O acesso à API do Comfy Cloud requer um plano com chave de API.
FAQ
