Ce workflow tutoriel ComfyUI montre comment générer des vidéos contrôlables avec Wan2.2 Fun Control (14B), guidées par la pose, la profondeur et les contours. Au cœur du workflow, le nœud Wan22FunControlToVideo fusionne votre prompt texte de CLIPTextEncode avec un ou plusieurs flux de contrôle issus d’une vidéo de référence. La pile de modèles se charge via UNETLoader et VAELoader, tandis que CLIPLoader et CLIPTextEncode fournissent le conditionnement texte multilingue. L’échantillonnage passe par ModelSamplingSD3 avec KSamplerAdvanced pour équilibrer qualité, vitesse et force du contrôle. Enfin, VAEDecode reconstruit les images et SaveVideo exporte le résultat.
Vous pouvez prétraiter les vidéos de contrôle directement dans le graphe : LoadVideo et GetVideoComponents ingèrent votre séquence, Canny extrait les contours, et des nœuds personnalisés optionnels (comfyui_controlnet_aux et ComfyUI-DepthAnythingV2) ajoutent des cartes de pose/profondeur. CreateVideo définit la résolution, le nombre d’images et le FPS pour correspondre au régime d’entraînement de Wan2.2 (multi-résolution 512/768/1024, 81 images à 16 FPS). Le groupe Start_image permet d’ancrer la première image avec LoadImage pour un sujet ou un style cohérent. Un LoraLoaderModelOnly optionnel applique le Wan2.2 Lighting LoRA pour des rendus plus rapides au détriment de la dynamique du mouvement. Cela vous donne une chaîne flexible et reproductible pour la génération vidéo-à-vidéo avec préservation fiable de la structure et contrôle du style.
API
Utiliser ce workflow depuis le code
Chaque workflow Comfy est un graphe JSON. Le contenu ci-dessous est ce workflow, exactement comme ComfyUI l’exécute — récupérez-le depuis l’URL, gardez-le dans le contrôle de version, ou chargez-le dans ComfyUI et exécutez-le nœud par nœud.
Exécutez-le depuis TypeScript ou Python avec le Comfy SDK. Le même code cible Comfy Cloud ou un ComfyUI auto-hébergé — seule l’URL de base change.
// Install (beta)
npm i @comfyorg/sdk
// Run "Wan 2.2 14B Fun Control" (TypeScript)
import { Comfy } from "@comfyorg/sdk";
const client = new Comfy({ apiKey: "comfyui-..." });
// This workflow, exported in API format (see note below)
const wf = await client.workflows.fromFile("video_wan2_2_14B_fun_control_api.json");
const asset = client.assets.fromFile("input.png");
wf.setInput("145", "image", asset); // LoadImage
wf.setInput("179", "text", "your prompt here"); // CLIPTextEncode
const job = await client.run(wf);
await job.getOutputs("170")[0].toFile("output.png"); // SaveVideoLe SDK prend un workflow au format API : ouvrez ce workflow dans ComfyUI et utilisez Fichier → Exporter le workflow (API).
L’accès à l’API Comfy Cloud nécessite un forfait avec clé API.
FAQ
