Wan2.2-S2V Génération de Vidéo Pilotée par l'Audio

Transformer des images statiques et de l'audio en vidéos dynamiques avec une synchronisation parfaite et une génération au niveau de la minute.

Input

Speech or singing that drives the mouth. The video is about 14 s long (3 × 77 frames at 16 fps); use audio of about that length.

  • 0:00 / 0:00

A clear picture of the person; the video keeps their face and look.

Describe the person, what they are doing and the camera.

Output size in pixels.

Output size in pixels.

Advanced settings

Keep at 1 with the lightning LoRA.

Default: 1

What to avoid in the result.

Leave empty for a new result each run. Enter a number to repeat one.

4 with the built-in lightning LoRA.

Default: 4

Output
00:00
Example

Essayer un exemple

À propos de ce workflow

Ce workflow ComfyUI transforme une image de référence et une piste audio en une vidéo synchronisée grâce au modèle Wan 2.2 S2V (sound-to-video). Il charge le backbone Wan avec UNETLoader, CLIPLoader et VAELoader, et définit le bon schedule via ModelSamplingSD3. Votre prompt texte est encodé par CLIPTextEncode, tandis que l’audio est traité par AudioEncoderLoader et AudioEncoderEncode. Ces signaux, avec l’image de LoadImage, pilotent WanSoundImageToVideo pour synthétiser un mouvement suivant le rythme et la structure de l’audio. Le KSampler contrôle les steps, CFG et seed ; VAEDecode convertit les latents en images ; CreateVideo assemble le clip final.

Deux détails techniques rendent le workflow adapté à la production : une stabilisation du premier frame et une longueur extensible. Le groupe Fix overbaked first frame utilise LatentCut et LatentConcat pour dupliquer le premier latent avant décodage, puis supprime la première image décodée pour éviter l’effet « overbaked » courant sur le frame 0 avec certains VAE. Pour les clips longs, les sous-graphes Video S2V Extend permettent de chaîner les segments par blocs (77 frames par défaut) via LatentCut/LatentConcat, pour générer des vidéos de plusieurs minutes sans saturer la VRAM. Le workflow supporte aussi un chemin lightning : avec un Wan 2.2 lightning LoRA, vous pouvez sampler en 4 steps (CFG recommandé ~1.0). Pour plus de qualité/stabilité, utilisez le chemin standard à ~20 steps (CFG ~6.0).

Questions-réponses