Este flujo de trabajo de ComfyUI demuestra un enfoque unificado para animación y reemplazo de personajes usando el modelo de difusión de video Wan 2.2 Animate. Extrae el movimiento de un video de entrada, segmenta el sujeto objetivo y sintetiza un nuevo personaje (o reestiliza el original) que sigue el mismo movimiento. Los componentes principales incluyen UNETLoader cargando el checkpoint Wan2_2-Animate-14B_fp8_e4m3fn_scaled_KJ.safetensors, VAELoader para decodificar fotogramas, CLIPLoader y CLIPTextEncode para prompts positivos/negativos, y SaveVideo para la salida final. Las señales de movimiento se producen con DWPreprocessor de comfyui_controlnet_aux (pose humana/puntos clave de cuerpo completo), mientras que el aislamiento del sujeto proviene de ComfyUI-segment-anything-2 mediante DownloadAndLoadSAM2Model y Sam2Segmentation. Si quieres fijar identidad o estilo desde una imagen, CLIPVisionLoader + CLIPVisionEncode proporcionan condicionamiento de referencia adicional, y LoraLoaderModelOnly permite inyectar un LoRA de personaje.
Técnicamente, el flujo conecta LoadVideo con GetVideoComponents, luego preprocesa fondo y sujeto: Sam2Segmentation construye una máscara de personaje (guiada por “puntos verdes” del usuario), y DWPreprocessor extrae la pose de cada fotograma. PixelPerfectResolution asegura que el tamaño de trabajo se ajuste a tu GPU y cumpla con la restricción de WanAnimateToVideo (ancho y alto múltiplos de 16). ModelSamplingSD3 controla el muestreador y el schedule para el Wan UNet, y utilidades comfyui-kjnodes ayudan con el modelo optimizado FP8. El resultado es una canalización flexible para intercambios o reestilizaciones consistentes en movimiento: usa una sola imagen de referencia, un LoRA y prompts para guiar identidad y apariencia mientras se preserva el movimiento original.
API
Usa este flujo de trabajo desde código
Cada flujo de trabajo de Comfy es un grafo JSON. El siguiente payload es este flujo de trabajo, exactamente como lo ejecuta ComfyUI: descárgalo desde la URL, guárdalo en control de versiones o cárgalo en ComfyUI y ejecútalo nodo por nodo.
Ejecuta desde TypeScript o Python con el Comfy SDK. El mismo código funciona en Comfy Cloud o en un ComfyUI propio: solo cambia la URL base.
// Install (beta)
npm i @comfyorg/sdk
// Run "Wan2.2 Animate animación y reemplazo de personajes" (TypeScript)
import { Comfy } from "@comfyorg/sdk";
const client = new Comfy({ apiKey: "comfyui-..." });
// This workflow, exported in API format (see note below)
const wf = await client.workflows.fromFile("video_wan2_2_14B_animate_api.json");
const asset = client.assets.fromFile("input.png");
wf.setInput("10", "image", asset); // LoadImage
wf.setInput("21", "text", "The character is dancing in the room"); // CLIPTextEncode
const job = await client.run(wf);
await job.getOutputs("277")[0].toFile("output.png"); // SaveVideoEl SDK utiliza un flujo de trabajo en formato API: abre este flujo de trabajo en ComfyUI y usa Archivo → Exportar flujo de trabajo (API).
El acceso a la API de Comfy Cloud requiere un plan con clave API.
Preguntas frecuentes
