Этот туториал ComfyUI проводит вас через SDPose-OOD: Video to Pose Map — рабочий процесс, который преобразует любое входное видео в чистую последовательность pose map. Конвейер начинается с LoadVideo для декодирования кадров, затем каждый кадр проходит через экстрактор поз SDPose-OOD (на базе чекпойнта sdpose_wholebody_fp16.safetensors), чтобы определить ключевые точки всего тела, после чего кадры поз собираются в финальный клип через CreateVideo и SaveVideo. Нода SDPose-OOD (type ID 01b6a731-fb78-4070-9a38-c87146da9604) поддерживает детекцию нескольких людей и выдаёт отрисованную pose map на кадр, включая ориентиры тела, рук и лица.
Технически модель SDPose-OOD оценивает 2D ключевые точки для каждого видимого человека в каждом кадре, а затем нода рендерит эти ориентиры в изображение pose map (скелет/линии и суставы), согласованное по всей последовательности. Сохраняя исходную частоту кадров и размеры из LoadVideo, CreateVideo может собрать видео поз, которое совпадает один-к-одному по таймингу с источником. Это делает его удобным в качестве conditioning для дальнейшей генерации (например, синтез изображения/видео по позе) или для анализа движения и превизуализации. SaveVideo финализирует результат в выбранное место и кодек.
API
Использовать этот рабочий процесс из кода
Каждый рабочий процесс Comfy — это JSON-граф. Ниже представлен payload этого процесса, точно так же, как его запускает ComfyUI: получите его по ссылке, храните в системе контроля версий или загрузите в ComfyUI и выполняйте по узлам.
Запустите его на TypeScript или Python с помощью Comfy SDK. Один и тот же код работает с Comfy Cloud или вашим собственным ComfyUI — меняется только базовый URL.
// Install (beta)
npm i @comfyorg/sdk
// Run "SDPose-OOD: Видео в карту поз" (TypeScript)
import { Comfy } from "@comfyorg/sdk";
const client = new Comfy({ apiKey: "comfyui-..." });
// This workflow, exported in API format (see note below)
const wf = await client.workflows.fromFile("utility_sdpose_ood_video_to_pose_map_api.json");
const job = await client.run(wf);
await job.getOutputs("680")[0].toFile("output.png"); // SaveVideoSDK принимает рабочий процесс в API-формате: откройте этот процесс в ComfyUI и используйте Файл → Экспортировать рабочий процесс (API).
Доступ к API Comfy Cloud требует плана с API-ключом.
FAQ
