Este tutorial de ComfyUI demuestra cómo generar videos controlables con Wan2.2 Fun Control (14B), guiados por entradas de pose, profundidad y bordes. En el núcleo, el nodo Wan22FunControlToVideo fusiona tu prompt de texto de CLIPTextEncode con uno o más flujos de control derivados de un video de referencia. La pila de modelos se carga vía UNETLoader y VAELoader, mientras que CLIPLoader y CLIPTextEncode proporcionan condicionamiento textual multilingüe. El muestreo se realiza con ModelSamplingSD3 y KSamplerAdvanced para equilibrar calidad, velocidad y fuerza de control. Finalmente, VAEDecode reconstruye los fotogramas y SaveVideo exporta el resultado.
Puedes preprocesar videos de control directamente en el grafo: LoadVideo y GetVideoComponents ingieren tu metraje, Canny extrae bordes y nodos personalizados opcionales (comfyui_controlnet_aux y ComfyUI-DepthAnythingV2) añaden mapas de pose/profundidad. CreateVideo establece resolución, número de fotogramas y FPS para coincidir con el régimen de entrenamiento de Wan2.2 (multi-resolución 512/768/1024, 81 fotogramas a 16 FPS). El grupo Start_image te permite anclar el primer fotograma con LoadImage para un sujeto/apariencia consistente. Un LoraLoaderModelOnly opcional aplica la Wan2.2 Lighting LoRA para renders más rápidos a costa de menor dinámica de movimiento. Esto te da una cadena flexible y reproducible para generación de video a video con preservación fiable de estructura y control de estilo.
API
Usa este flujo de trabajo desde código
Cada flujo de trabajo de Comfy es un grafo JSON. El siguiente payload es este flujo de trabajo, exactamente como lo ejecuta ComfyUI: descárgalo desde la URL, guárdalo en control de versiones o cárgalo en ComfyUI y ejecútalo nodo por nodo.
Ejecuta desde TypeScript o Python con el Comfy SDK. El mismo código funciona en Comfy Cloud o en un ComfyUI propio: solo cambia la URL base.
// Install (beta)
npm i @comfyorg/sdk
// Run "Control Fun Wan 2.2 14B" (TypeScript)
import { Comfy } from "@comfyorg/sdk";
const client = new Comfy({ apiKey: "comfyui-..." });
// This workflow, exported in API format (see note below)
const wf = await client.workflows.fromFile("video_wan2_2_14B_fun_control_api.json");
const asset = client.assets.fromFile("input.png");
wf.setInput("145", "image", asset); // LoadImage
wf.setInput("179", "text", "your prompt here"); // CLIPTextEncode
const job = await client.run(wf);
await job.getOutputs("170")[0].toFile("output.png"); // SaveVideoEl SDK utiliza un flujo de trabajo en formato API: abre este flujo de trabajo en ComfyUI y usa Archivo → Exportar flujo de trabajo (API).
El acceso a la API de Comfy Cloud requiere un plan con clave API.
Preguntas frecuentes
