Wan2.2-S2V Generación de Video Impulsada por Audio

Transforma imágenes estáticas y audio en videos dinámicos con sincronización perfecta y generación de nivel por minuto.

Input

Speech or singing that drives the mouth. The video is about 14 s long (3 × 77 frames at 16 fps); use audio of about that length.

  • 0:00 / 0:00

A clear picture of the person; the video keeps their face and look.

Describe the person, what they are doing and the camera.

Output size in pixels.

Output size in pixels.

Advanced settings

Keep at 1 with the lightning LoRA.

Default: 1

What to avoid in the result.

Leave empty for a new result each run. Enter a number to repeat one.

4 with the built-in lightning LoRA.

Default: 4

Output
00:00
Example

Probar un ejemplo

Acerca de este flujo de trabajo

Este flujo de trabajo de ComfyUI convierte una única imagen de referencia y una pista de audio en un vídeo sincronizado con el modelo Wan 2.2 S2V (sound-to-video). Carga el backbone Wan con UNETLoader, CLIPLoader y VAELoader, y establece la programación correcta con ModelSamplingSD3. Tu prompt de texto se codifica con CLIPTextEncode, mientras que el audio se procesa con AudioEncoderLoader y AudioEncoderEncode. Estas señales, junto con la imagen de LoadImage, impulsan WanSoundImageToVideo para sintetizar movimiento que sigue el ritmo y las frases del audio. El KSampler controla pasos, CFG y seed; VAEDecode convierte latentes en fotogramas; y CreateVideo ensambla el clip final.

Dos detalles de ingeniería hacen que el flujo de trabajo sea práctico para producción: estabilización del primer fotograma y duración escalable. El grupo Fix overbaked first frame usa LatentCut y LatentConcat para duplicar el fotograma latente inicial antes de decodificar, y después descarta el primer fotograma decodificado para evitar el aspecto típico de VAE "overbaked" en el fotograma 0. Para clips largos, los subgráficos Video S2V Extend te permiten encadenar segmentos por bloques (77 fotogramas por defecto) usando LatentCut/LatentConcat, para que puedas crear vídeos de varios minutos sin disparar el uso de VRAM. El flujo de trabajo también admite una ruta lightning: con un Wan 2.2 lightning LoRA puedes muestrear en 4 pasos (CFG recomendado ~1.0). Si prefieres calidad y estabilidad, usa la ruta estándar con ~20 pasos (CFG ~6.0).

Preguntas y respuestas