Рабочий процесс HuMo Video Generation предназначен для создания качественных видео, в которых движения губ персонажа синхронизированы с аудиовходом. Он использует модель HuMo, специально адаптированную под генерацию видео с акцентом на людей. Благодаря интеграции разных типов входных данных — текста, изображений и аудио — можно получать богатый и настраиваемый результат. В основе рабочего процесса — ноды CLIPTextEncode для обработки текста, LoadImage для референсного изображения и AudioEncoderEncode для аудио. Они объединяются с видео-нодами, такими как CreateVideo и SaveVideo, чтобы получить финальный результат. Нода WanHuMoImageToVideo особенно важна: она связывает статичные изображения с генерацией динамического видео и следит за тем, чтобы движения губ совпадали с аудиодорожкой. Этот рабочий процесс подходит для задач, где важны точный липсинк и возможность настраивать визуальную часть.
API
Использовать этот рабочий процесс из кода
Каждый рабочий процесс Comfy — это JSON-граф. Ниже представлен payload этого процесса, точно так же, как его запускает ComfyUI: получите его по ссылке, храните в системе контроля версий или загрузите в ComfyUI и выполняйте по узлам.
Запустите его на TypeScript или Python с помощью Comfy SDK. Один и тот же код работает с Comfy Cloud или вашим собственным ComfyUI — меняется только базовый URL.
// Install (beta)
npm i @comfyorg/sdk
// Run "HuMo Генерация Видео" (TypeScript)
import { Comfy } from "@comfyorg/sdk";
const client = new Comfy({ apiKey: "comfyui-..." });
// This workflow, exported in API format (see note below)
const wf = await client.workflows.fromFile("video_humo_api.json");
const asset = client.assets.fromFile("input.png");
wf.setInput("49", "image", asset); // LoadImage
wf.setInput("6", "text", "A young boy in sci-fi style clothing is talking to the camera in an alien desert."); // CLIPTextEncode
const job = await client.run(wf);
await job.getOutputs("59")[0].toFile("output.png"); // SaveVideoSDK принимает рабочий процесс в API-формате: откройте этот процесс в ComfyUI и используйте Файл → Экспортировать рабочий процесс (API).
Доступ к API Comfy Cloud требует плана с API-ключом.
FAQ
