Wan2.2-S2V Geração de Vídeo Impulsionada por Áudio

Transforme imagens estáticas e áudio em vídeos dinâmicos com sincronização perfeita e geração em nível de minuto.

Input

Speech or singing that drives the mouth. The video is about 14 s long (3 × 77 frames at 16 fps); use audio of about that length.

  • 0:00 / 0:00

A clear picture of the person; the video keeps their face and look.

Describe the person, what they are doing and the camera.

Output size in pixels.

Output size in pixels.

Advanced settings

Keep at 1 with the lightning LoRA.

Default: 1

What to avoid in the result.

Leave empty for a new result each run. Enter a number to repeat one.

4 with the built-in lightning LoRA.

Default: 4

Output
00:00
Example

Experimente um exemplo

Sobre este fluxo de trabalho

Este fluxo do ComfyUI transforma uma imagem de referência e uma faixa de áudio em um vídeo sincronizado usando o modelo Wan 2.2 S2V (sound-to-video). Ele carrega o backbone Wan com UNETLoader, CLIPLoader e VAELoader, e define o agendamento correto via ModelSamplingSD3. Seu prompt de texto é codificado por CLIPTextEncode, enquanto o áudio é processado por AudioEncoderLoader e AudioEncoderEncode. Esses sinais, junto com a imagem do LoadImage, alimentam o WanSoundImageToVideo para sintetizar movimento que segue o ritmo e a frase do áudio. O KSampler controla steps, CFG e seed; VAEDecode converte latentes em quadros; e CreateVideo monta o clipe final.

Dois detalhes de engenharia tornam o fluxo prático para produção: estabilização do primeiro quadro e duração escalável. O grupo Fix overbaked first frame usa LatentCut e LatentConcat para duplicar o primeiro quadro latente antes de decodificar, depois descarta o primeiro quadro decodificado para evitar o efeito "overbaked" comum do VAE no quadro 0. Para clipes longos, os subgrafos Video S2V Extend permitem encadear segmentos em blocos (77 quadros por padrão) usando LatentCut/LatentConcat, possibilitando vídeos de minutos sem estourar a VRAM. O fluxo também suporta caminho lightning: com um Wan 2.2 lightning LoRA você pode amostrar em 4 steps (CFG recomendado ~1.0). Se preferir qualidade e estabilidade, use o caminho padrão em ~20 steps (CFG ~6.0).

Perguntas e respostas