InfiniteTalk: Полное озвучивание видео тела на основе аудио

Загрузите исходное изображение и целевое аудио. Создайте полнометражное дублированное видео с синхронизированным движением, сохраняя оригинальную идентичность, фон и движение камеры.

О проекте

InfiniteTalk: Audio-Driven Full-Body Video Dubbing превращает одно изображение и одну или несколько аудиодорожек в lip‑sync полнофигурное видео, сохраняя идентичность, фон и движение камеры. Основа пайплайна — WanInfiniteTalkToVideo, который объединяет признаки загруженной I2V-модели Wan2.1 с аудио-эмбеддингом, чтобы управлять движением тела и лица. Step1 - Load Models подготавливает UNet и VAE (UNETLoader, VAELoader) для image‑to‑video синтеза и загружает текстовую и аудио-часть (CLIPLoader с CLIPTextEncode для промптов камеры/сцены и AudioEncoderLoader с AudioEncoderEncode для голосовых признаков). Стартовый кадр импортируется через LoadImage, затем в MaskEditor рисуются маски для каждого персонажа, чтобы локализовать движение под каждого говорящего.

Что вы предоставляете

  • Чтение рабочего процесса

Работает в ComfyUI. Этот рабочий процесс нельзя запустить на этой странице. Откройте его в Comfy Cloud, где всё уже загружено, или скачайте его для своей ComfyUI.

Попробовать в Cloud
Вывод
Пример
Courtyard reunion, two speakers

Вопросы и ответы