Рабочий процесс LTX-2 Pose to Video предназначен для преобразования позового управления в качественное видео с синхронизированной генерацией аудио и видео. Используя модель LTX-2 от Lightricks, этот рабочий процесс даёт точный контроль позы и выразительного движения, что подходит для создания динамичного видео. Он включает разные ноды, такие как GetVideoComponents, PreviewImage и SaveVideo, которые помогают разложить видео на компоненты, просмотреть кадры и сохранить финальный выход. Важная особенность — использование пользовательских нод comfyui_controlnet_aux, которые повышают точность контроля позы и выражения движения.
Технически рабочий процесс начинается с предобработки видео и изображений с помощью нод вроде LoadVideo и ResizeImageMaskNode. Затем DWPreprocessor уточняет настройки видео, обеспечивая оптимальное число кадров и разрешение. Рабочий процесс поддерживает разрешения до 1920x1088, хотя по умолчанию использует 720p для эффективности. Число кадров должно делиться на 8 плюс 1, чтобы обеспечить плавные переходы и синхронизацию. Этот рабочий процесс особенно полезен авторам, которым нужно видео с детализированным движением и синхронизированным аудио, используя возможности модели LTX-2 для получения результата профессионального уровня.
API
Использовать этот рабочий процесс из кода
Каждый рабочий процесс Comfy — это JSON-граф. Ниже представлен payload этого процесса, точно так же, как его запускает ComfyUI: получите его по ссылке, храните в системе контроля версий или загрузите в ComfyUI и выполняйте по узлам.
Запустите его на TypeScript или Python с помощью Comfy SDK. Один и тот же код работает с Comfy Cloud или вашим собственным ComfyUI — меняется только базовый URL.
// Install (beta)
npm i @comfyorg/sdk
// Run "LTX-2 поза в видео" (TypeScript)
import { Comfy } from "@comfyorg/sdk";
const client = new Comfy({ apiKey: "comfyui-..." });
// This workflow, exported in API format (see note below)
const wf = await client.workflows.fromFile("video_ltx2_pose_to_video_api.json");
const asset = client.assets.fromFile("input.png");
wf.setInput("160", "image", asset); // LoadImage
const job = await client.run(wf);
await job.getOutputs("175")[0].toFile("output.png"); // SaveVideoSDK принимает рабочий процесс в API-формате: откройте этот процесс в ComfyUI и используйте Файл → Экспортировать рабочий процесс (API).
Доступ к API Comfy Cloud требует плана с API-ключом.
FAQ
