Wan2.2-S2V Generación de Video Impulsada por Audio
Transforma imágenes estáticas y audio en videos dinámicos con sincronización perfecta y generación de nivel por minuto.
Probar un ejemplo
Acerca de este flujo de trabajo
Este flujo de trabajo de ComfyUI convierte una única imagen de referencia y una pista de audio en un vídeo sincronizado con el modelo Wan 2.2 S2V (sound-to-video). Carga el backbone Wan con UNETLoader, CLIPLoader y VAELoader, y establece la programación correcta con ModelSamplingSD3. Tu prompt de texto se codifica con CLIPTextEncode, mientras que el audio se procesa con AudioEncoderLoader y AudioEncoderEncode. Estas señales, junto con la imagen de LoadImage, impulsan WanSoundImageToVideo para sintetizar movimiento que sigue el ritmo y las frases del audio. El KSampler controla pasos, CFG y seed; VAEDecode convierte latentes en fotogramas; y CreateVideo ensambla el clip final.
Dos detalles de ingeniería hacen que el flujo de trabajo sea práctico para producción: estabilización del primer fotograma y duración escalable. El grupo Fix overbaked first frame usa LatentCut y LatentConcat para duplicar el fotograma latente inicial antes de decodificar, y después descarta el primer fotograma decodificado para evitar el aspecto típico de VAE "overbaked" en el fotograma 0. Para clips largos, los subgráficos Video S2V Extend te permiten encadenar segmentos por bloques (77 fotogramas por defecto) usando LatentCut/LatentConcat, para que puedas crear vídeos de varios minutos sin disparar el uso de VRAM. El flujo de trabajo también admite una ruta lightning: con un Wan 2.2 lightning LoRA puedes muestrear en 4 pasos (CFG recomendado ~1.0). Si prefieres calidad y estabilidad, usa la ruta estándar con ~20 pasos (CFG ~6.0).
Preguntas y respuestas
Usa los subgráficos Video S2V Extend. Cada uno añade un bloque nuevo (77 fotogramas por defecto) cortando y anexando latentes con LatentCut y LatentConcat. Duplica el subgráfico por cada segmento adicional que necesites. Mantén seed, resolución, FPS y configuraciones del muestreador coherentes entre bloques para transiciones suaves.
Algunos VAE "sobrehornean" el primer fotograma decodificado. El grupo Fix overbaked first frame duplica el primer latente antes de decodificar y descarta el primer fotograma decodificado después. Mantén esto activado para evitar el problema; desactívalo solo si tu VAE no muestra el artefacto.
Lightning LoRA es mucho más rápido (aprox. 4 pasos, CFG ≈ 1.0), pero puede reducir el detalle o la estabilidad. La ruta estándar (≈20 pasos, CFG ≈ 6.0) es más lenta, pero suele ser más limpia. Si ves caídas de calidad o claves LoRA que no coinciden, cambia al flujo de trabajo de 20 pasos. También puedes hacer una prueba A/B en un clip corto antes de decidir.
Normalmente CreateVideo genera un MP4 sin audio y no integra el audio. El audio se usa para el acondicionamiento del movimiento mediante AudioEncoderEncode, pero no se incrusta. Para combinarlo, integra tu audio con el resultado en post (p. ej., con ffmpeg: ffmpeg -i video.mp4 -i audio.wav -c copy -shortest out.mp4).
Flujos de trabajo relacionados
- Qwen-Image-Edit, Wan2.2
1 entrada de imagen Pila dividida - Qwen Multiángulo + Wan 2.2
- Wan2.2
1.2 Starter – Imagen a Vídeo
- Wan2.2, Z-Image-Turbo
AIrt MAchIne
- Wan2.2, Wan
Control de cámara Fun Wan 2.2 14B
- Wan2.2, Wan
Control Fun Wan 2.2 14B
- Wan2.2, Wan
Generación de video Wan 2.2 5B
- Wan, Wan2.2
Imagen a Vídeo (Nuevo)
- Wan2.2
Reemplazo de Cielo
- Nano Banana, Google Gemini, Wan2.2
Restilizador en Bucle
- Wan2.2
Video continuo por fotogramas clave
- Wan2.2, Wan
Wan 2.2 14B Fun Inpainting
- Wan, Wan2.2
Wan 2.2 14B imagen a vídeo