Control Fun Wan 2.2 14B
Genera videos guiados por controles de pose, profundidad y borde utilizando Wan 2.2 Fun Control.
Probar un ejemplo
Acerca de este flujo de trabajo
Este tutorial de ComfyUI demuestra cómo generar videos controlables con Wan2.2 Fun Control (14B), guiados por entradas de pose, profundidad y bordes. En el núcleo, el nodo Wan22FunControlToVideo fusiona tu prompt de texto de CLIPTextEncode con uno o más flujos de control derivados de un video de referencia. La pila de modelos se carga vía UNETLoader y VAELoader, mientras que CLIPLoader y CLIPTextEncode proporcionan condicionamiento textual multilingüe. El muestreo se realiza con ModelSamplingSD3 y KSamplerAdvanced para equilibrar calidad, velocidad y fuerza de control. Finalmente, VAEDecode reconstruye los fotogramas y SaveVideo exporta el resultado.
Puedes preprocesar videos de control directamente en el grafo: LoadVideo y GetVideoComponents ingieren tu metraje, Canny extrae bordes y nodos personalizados opcionales (comfyui_controlnet_aux y ComfyUI-DepthAnythingV2) añaden mapas de pose/profundidad. CreateVideo establece resolución, número de fotogramas y FPS para coincidir con el régimen de entrenamiento de Wan2.2 (multi-resolución 512/768/1024, 81 fotogramas a 16 FPS). El grupo Start_image te permite anclar el primer fotograma con LoadImage para un sujeto/apariencia consistente. Un LoraLoaderModelOnly opcional aplica la Wan2.2 Lighting LoRA para renders más rápidos a costa de menor dinámica de movimiento. Esto te da una cadena flexible y reproducible para generación de video a video con preservación fiable de estructura y control de estilo.
Preguntas y respuestas
No. Wan2.2 Fun Control funciona con cualquier flujo de control individual (por ejemplo, solo Canny) o combinaciones. Más controles generalmente aumentan la fidelidad estructural pero pueden limitar la libertad estilística. Comienza con bordes y añade profundidad o pose si necesitas guía más fuerte.
Usa GetVideoComponents para leer el FPS y número de fotogramas de tu video fuente, luego configura CreateVideo a 16 FPS y hasta 81 fotogramas para mejor alineación con el entrenamiento de Wan2.2. Si tu fuente difiere, puedes ejecutarlo igual—solo espera diferencias en el timing del movimiento.
La Lighting LoRA reduce el tiempo de generación y puede mejorar la consistencia de la iluminación, pero tiende a reducir la dinámica del video. El flujo incluye un grupo dedicado fp8 + 4 pasos LoRA para velocidad. Si priorizas movimiento más rico, desactiva el LoRA y aumenta los pasos moderadamente.
Usa controles más fuertes (bordes + profundidad), mantén CFG moderado (alrededor de 3–6), fija la semilla y ajusta resolución/FPS a 512/768/1024 a 16 FPS. Asegúrate de que los prompts sean estables durante toda la ejecución y evita prompts negativos demasiado agresivos que puedan desestabilizar detalles.