Wan2.2-S2V Генерация Видео на Основе Аудио

Преобразование статических изображений и аудио в динамические видео с идеальной синхронизацией и покадровой генерацией.

Input

Speech or singing that drives the mouth. The video is about 14 s long (3 × 77 frames at 16 fps); use audio of about that length.

  • 0:00 / 0:00

A clear picture of the person; the video keeps their face and look.

Describe the person, what they are doing and the camera.

Output size in pixels.

Output size in pixels.

Advanced settings

Keep at 1 with the lightning LoRA.

Default: 1

What to avoid in the result.

Leave empty for a new result each run. Enter a number to repeat one.

4 with the built-in lightning LoRA.

Default: 4

Output
00:00
Example

Попробовать пример

Об этом рабочем процессе

Этот рабочий процесс ComfyUI превращает одно референсное изображение и аудиодорожку в синхронизированное видео с помощью модели Wan 2.2 S2V (sound-to-video). Он загружает основу Wan через UNETLoader, CLIPLoader и VAELoader и задаёт корректный расписание через ModelSamplingSD3. Ваш текстовый промпт кодируется нодой CLIPTextEncode, а аудио обрабатывается через AudioEncoderLoader и AudioEncoderEncode. Эти сигналы вместе с изображением из LoadImage управляют WanSoundImageToVideo, синтезируя движение, которое следует ритму и фразировке аудио. KSampler управляет шагами, CFG и seed; VAEDecode преобразует латенты в кадры; а CreateVideo собирает финальный клип.

Две инженерные детали делают рабочий процесс практичным для продакшена: стабилизация первого кадра и масштабируемая длительность. Группа Fix overbaked first frame использует LatentCut и LatentConcat, чтобы продублировать исходный латентный кадр перед декодированием, а затем отбрасывает первый декодированный кадр, чтобы избежать типичного для VAE «перепечённого» вида на кадре 0. Для длинных клипов подграфы Video S2V Extend позволяют сцеплять сегменты чанками (по умолчанию 77 кадров) с помощью LatentCut/LatentConcat, чтобы собирать видео длиной в минуты без переполнения VRAM. Рабочий процесс также поддерживает lightning-путь: с Wan 2.2 lightning LoRA можно семплировать за 4 шага (рекомендуемый CFG ~1.0). Если важнее качество и стабильность, используйте стандартный путь примерно на 20 шагах (CFG ~6.0).

Вопросы и ответы