Ce workflow ComfyUI transforme une image de référence et une piste audio en une vidéo synchronisée grâce au modèle Wan 2.2 S2V (sound-to-video). Il charge le backbone Wan avec UNETLoader, CLIPLoader et VAELoader, et définit le bon schedule via ModelSamplingSD3. Votre prompt texte est encodé par CLIPTextEncode, tandis que l’audio est traité par AudioEncoderLoader et AudioEncoderEncode. Ces signaux, avec l’image de LoadImage, pilotent WanSoundImageToVideo pour synthétiser un mouvement suivant le rythme et la structure de l’audio. Le KSampler contrôle les steps, CFG et seed ; VAEDecode convertit les latents en images ; CreateVideo assemble le clip final.
Deux détails techniques rendent le workflow adapté à la production : une stabilisation du premier frame et une longueur extensible. Le groupe Fix overbaked first frame utilise LatentCut et LatentConcat pour dupliquer le premier latent avant décodage, puis supprime la première image décodée pour éviter l’effet « overbaked » courant sur le frame 0 avec certains VAE. Pour les clips longs, les sous-graphes Video S2V Extend permettent de chaîner les segments par blocs (77 frames par défaut) via LatentCut/LatentConcat, pour générer des vidéos de plusieurs minutes sans saturer la VRAM. Le workflow supporte aussi un chemin lightning : avec un Wan 2.2 lightning LoRA, vous pouvez sampler en 4 steps (CFG recommandé ~1.0). Pour plus de qualité/stabilité, utilisez le chemin standard à ~20 steps (CFG ~6.0).
API
Utiliser ce workflow depuis le code
Chaque workflow Comfy est un graphe JSON. Le contenu ci-dessous est ce workflow, exactement comme ComfyUI l’exécute — récupérez-le depuis l’URL, gardez-le dans le contrôle de version, ou chargez-le dans ComfyUI et exécutez-le nœud par nœud.
Exécutez-le depuis TypeScript ou Python avec le Comfy SDK. Le même code cible Comfy Cloud ou un ComfyUI auto-hébergé — seule l’URL de base change.
// Install (beta)
npm i @comfyorg/sdk
// Run "Wan2.2-S2V Génération de Vidéo Pilotée par l'Audio" (TypeScript)
import { Comfy } from "@comfyorg/sdk";
const client = new Comfy({ apiKey: "comfyui-..." });
// This workflow, exported in API format (see note below)
const wf = await client.workflows.fromFile("video_wan2_2_14B_s2v_api.json");
const asset = client.assets.fromFile("input.png");
wf.setInput("52", "image", asset); // LoadImage
wf.setInput("6", "text", "your prompt here"); // CLIPTextEncode
const job = await client.run(wf);
await job.getOutputs("113")[0].toFile("output.png"); // SaveVideoLe SDK prend un workflow au format API : ouvrez ce workflow dans ComfyUI et utilisez Fichier → Exporter le workflow (API).
L’accès à l’API Comfy Cloud nécessite un forfait avec clé API.
FAQ
