Ce workflow transforme une paire d’images en une courte vidéo cohérente en exploitant la diffusion vidéo basée sur l’inpainting de Wan 2.1. Vous fournissez une image de départ et une image de fin ; le nœud WanFunInpaintToVideo guide alors le modèle pour synthétiser le mouvement intermédiaire tout en préservant les détails du sujet et de la scène ancrés dans vos images. Les invites textuelles (via CLIPTextEncode) orientent le style et le contenu, tandis que les invites négatives aident à supprimer les artefacts.
Sous le capot, Step1 charge les composants principaux : UNETLoader (Wan2.1 / Wan), VAELoader/VAEDecode pour la conversion latente <-> pixel, et CLIPLoader pour le conditionnement texte. Vos images de début/fin sont importées avec LoadImage et encodées via CLIPVisionLoader + CLIPVisionEncode pour produire le conditionnement image pour le UNet. KSampler pilote la diffusion avec ModelSamplingSD3 pour le bon planning sigma, avec CFGZeroStar et SkipLayerGuidanceDiT pour stabiliser le guidage. Le groupe Attention Booster applique UNetTemporalAttentionMultiply pour renforcer la cohérence temporelle entre les images. Enfin, CreateVideo assemble les images et SaveVideo écrit le clip final.
API
Utiliser ce workflow depuis le code
Chaque workflow Comfy est un graphe JSON. Le contenu ci-dessous est ce workflow, exactement comme ComfyUI l’exécute — récupérez-le depuis l’URL, gardez-le dans le contrôle de version, ou chargez-le dans ComfyUI et exécutez-le nœud par nœud.
Exécutez-le depuis TypeScript ou Python avec le Comfy SDK. Le même code cible Comfy Cloud ou un ComfyUI auto-hébergé — seule l’URL de base change.
// Install (beta)
npm i @comfyorg/sdk
// Run "Wan 2.1 inpainting" (TypeScript)
import { Comfy } from "@comfyorg/sdk";
const client = new Comfy({ apiKey: "comfyui-..." });
// This workflow, exported in API format (see note below)
const wf = await client.workflows.fromFile("wan2.1_fun_inp_api.json");
const asset = client.assets.fromFile("input.png");
wf.setInput("72", "image", asset); // LoadImage
wf.setInput("6", "text", "your prompt here"); // CLIPTextEncode
const job = await client.run(wf);
await job.getOutputs("80")[0].toFile("output.png"); // SaveVideoLe SDK prend un workflow au format API : ouvrez ce workflow dans ComfyUI et utilisez Fichier → Exporter le workflow (API).
L’accès à l’API Comfy Cloud nécessite un forfait avec clé API.
FAQ
