Видео с синхронизацией губ персонажа на основе аудио

Загрузите изображение персонажа и аудиофайл. Создайте видео с синхронизацией губ, где движения рта персонажа соответствуют предоставленной аудиодорожке.

Input

Speech or singing the character lip-syncs to.

  • 0:00 / 0:00

One person, face clearly visible. Cropped to the width × height below.

Describe the performance: expression, head and body movement, camera.

Pixels, a multiple of 16.

Frames at 25 fps: set it to audio seconds × 25 (the graph can't read the audio length). The example's 17.6 s clip used 440.

Default: 440

Pixels, a multiple of 16.

Advanced settings

What to avoid.

Leave empty for a new result each run. Enter a number to repeat one.

Default: 7

Output
00:00
Example

Попробовать пример

Об этом рабочем процессе

Этот рабочий процесс ComfyUI предназначен для создания lip-sync видео за счёт сочетания статичного изображения персонажа и аудиофайла. Используя модель Wan2.1 InfiniteTalk, рабочий процесс анализирует загруженное аудио и генерирует движения рта, соответствующие произнесённым словам, создавая реалистичный эффект синхронизации губ. Процесс начинается с ноды 'LoadAudio', которая загружает аудиофайл и подготавливает его к анализу. Параллельно нода 'LoadImage' позволяет загрузить изображение персонажа, которое будет анимировано. Рабочий процесс использует пользовательские ноды, такие как 'ComfyUI-WanVideoWrapper' и 'audio-separation-nodes-comfyui', чтобы обработать аудио и синхронизировать его с визуальными элементами. Финальный Выход — видеофайл, сохранённый через ноду 'SaveVideo', где движения рта персонажа согласованы с аудиодорожкой.

Технически этот рабочий процесс использует продвинутый анализ аудио и методы генерации видео. Нода 'audio-separation-nodes-comfyui' важна для разложения аудио на компоненты, которые можно сопоставить с конкретными формами рта, а 'comfyui-kjnodes' выполняют задачу смешивания этих движений в изображение персонажа. Это полезно авторам контента, которым нужно делать анимированные ролики без сложного ПО для анимации — как практичный способ усиливать сторителлинг и вовлечённость через визуальные медиа.

Вопросы и ответы