InfiniteTalk: Audio-Driven Full-Body Video Dubbing превращает одно изображение и одну или несколько аудиодорожек в lip‑sync полнофигурное видео, сохраняя идентичность, фон и движение камеры. Основа пайплайна — WanInfiniteTalkToVideo, который объединяет признаки загруженной I2V-модели Wan2.1 с аудио-эмбеддингом, чтобы управлять движением тела и лица. Step1 - Load Models подготавливает UNet и VAE (UNETLoader, VAELoader) для image‑to‑video синтеза и загружает текстовую и аудио-часть (CLIPLoader с CLIPTextEncode для промптов камеры/сцены и AudioEncoderLoader с AudioEncoderEncode для голосовых признаков). Стартовый кадр импортируется через LoadImage, затем в MaskEditor рисуются маски для каждого персонажа, чтобы локализовать движение под каждого говорящего.
API
Использовать этот рабочий процесс из кода
Каждый рабочий процесс Comfy — это JSON-граф. Ниже представлен payload этого процесса, точно так же, как его запускает ComfyUI: получите его по ссылке, храните в системе контроля версий или загрузите в ComfyUI и выполняйте по узлам.
Запустите его на TypeScript или Python с помощью Comfy SDK. Один и тот же код работает с Comfy Cloud или вашим собственным ComfyUI — меняется только базовый URL.
// Install (beta)
npm i @comfyorg/sdk
// Run "InfiniteTalk: Полное озвучивание видео тела на основе аудио" (TypeScript)
import { Comfy } from "@comfyorg/sdk";
const client = new Comfy({ apiKey: "comfyui-..." });
// This workflow, exported in API format (see note below)
const wf = await client.workflows.fromFile("video_wan2_1_infinitetalk_api.json");
const asset = client.assets.fromFile("input.png");
wf.setInput("32", "image", asset); // LoadImage
const job = await client.run(wf);
await job.getOutputs("162")[0].toFile("output.png"); // SaveVideoSDK принимает рабочий процесс в API-формате: откройте этот процесс в ComfyUI и используйте Файл → Экспортировать рабочий процесс (API).
Доступ к API Comfy Cloud требует плана с API-ключом.
FAQ
