Ce workflow ComfyUI illustre une approche unifiée de l’animation de personnages et du remplacement avec le modèle de diffusion vidéo Wan 2.2 Animate. Il extrait le mouvement d’une vidéo d’entrée, segmente le sujet cible et synthétise un nouveau personnage (ou re-style l’original) en suivant le même mouvement. Les composants principaux incluent UNETLoader chargeant le checkpoint Wan2_2-Animate-14B_fp8_e4m3fn_scaled_KJ.safetensors, VAELoader pour décoder les frames, CLIPLoader et CLIPTextEncode pour les invites positives/négatives, et SaveVideo pour la sortie finale. Les indications de mouvement sont produites via le DWPreprocessor de comfyui_controlnet_aux (pose humaine / points clés du corps entier), tandis que l’isolation du sujet s’appuie sur ComfyUI-segment-anything-2 via DownloadAndLoadSAM2Model et Sam2Segmentation. Pour verrouiller l’identité ou le style depuis une image, CLIPVisionLoader + CLIPVisionEncode fournissent un conditionnement de référence, et LoraLoaderModelOnly permet d’injecter un LoRA de personnage.
Techniquement, le workflow connecte LoadVideo à GetVideoComponents, puis prétraite arrière-plan et sujet : Sam2Segmentation génère un masque de personnage (guidé par des « points verts » utilisateur), et DWPreprocessor extrait la pose sur chaque frame. PixelPerfectResolution garantit une taille de travail compatible avec votre GPU et conforme à la contrainte WanAnimateToVideo (largeur et hauteur doivent être des multiples de 16). ModelSamplingSD3 contrôle l’échantillonneur et le planning pour le Wan UNet, et les utilitaires comfyui-kjnodes aident à l’optimisation du modèle FP8 scaled. Le résultat est un pipeline flexible pour des remplacements ou restyles cohérents en mouvement — utilisez une seule image de référence, un LoRA et des invites pour piloter identité et apparence tout en conservant le mouvement d’origine.
API
Utiliser ce workflow depuis le code
Chaque workflow Comfy est un graphe JSON. Le contenu ci-dessous est ce workflow, exactement comme ComfyUI l’exécute — récupérez-le depuis l’URL, gardez-le dans le contrôle de version, ou chargez-le dans ComfyUI et exécutez-le nœud par nœud.
Exécutez-le depuis TypeScript ou Python avec le Comfy SDK. Le même code cible Comfy Cloud ou un ComfyUI auto-hébergé — seule l’URL de base change.
// Install (beta)
npm i @comfyorg/sdk
// Run "Wan2.2 Animate animation et remplacement de personnages" (TypeScript)
import { Comfy } from "@comfyorg/sdk";
const client = new Comfy({ apiKey: "comfyui-..." });
// This workflow, exported in API format (see note below)
const wf = await client.workflows.fromFile("video_wan2_2_14B_animate_api.json");
const asset = client.assets.fromFile("input.png");
wf.setInput("10", "image", asset); // LoadImage
wf.setInput("21", "text", "The character is dancing in the room"); // CLIPTextEncode
const job = await client.run(wf);
await job.getOutputs("277")[0].toFile("output.png"); // SaveVideoLe SDK prend un workflow au format API : ouvrez ce workflow dans ComfyUI et utilisez Fichier → Exporter le workflow (API).
L’accès à l’API Comfy Cloud nécessite un forfait avec clé API.
FAQ
