Рабочий процесс Wan 2.1 ControlNet предназначен для генерации видео, направляемого контролями позы, глубины и контуров. Он использует возможности модели Wan2.1, которая известна надёжной работой в преобразованиях видео-в-видео. Основа Рабочего процесса построена вокруг ключевых нод, таких как KSampler, CLIPTextEncode и VAEDecode, которые вместе обрабатывают кадры входного видео и применяют стилистические преобразования по пользовательским промптам. Использование ControlNet даёт точный контроль над характеристиками видео и позволяет управлять такими аспектами, как поза и глубина, с высокой точностью.
Технически Рабочий процесс начинается с загрузки моделей и подготовки стартового кадра через ноды вроде CLIPVisionLoader и LoadImage. Нода WanFunControlToVideo важна тем, что интегрирует функции ControlNet и направляет процесс преобразования видео. Группа Sampling & Decode, куда входят ModelSamplingSD3 и UNetTemporalAttentionMultiply, помогает сохранить качество и согласованность по кадрам. Этот Рабочий процесс полезен создателям, которым нужны стилизованные видео с заданными визуальными эффектами, и даёт высокий уровень настройки и контроля над итогом.
API
Использовать этот рабочий процесс из кода
Каждый рабочий процесс Comfy — это JSON-граф. Ниже представлен payload этого процесса, точно так же, как его запускает ComfyUI: получите его по ссылке, храните в системе контроля версий или загрузите в ComfyUI и выполняйте по узлам.
Запустите его на TypeScript или Python с помощью Comfy SDK. Один и тот же код работает с Comfy Cloud или вашим собственным ComfyUI — меняется только базовый URL.
// Install (beta)
npm i @comfyorg/sdk
// Run "Wan 2.1 ControlNet" (TypeScript)
import { Comfy } from "@comfyorg/sdk";
const client = new Comfy({ apiKey: "comfyui-..." });
// This workflow, exported in API format (see note below)
const wf = await client.workflows.fromFile("wan2.1_fun_control_api.json");
const asset = client.assets.fromFile("input.png");
wf.setInput("52", "image", asset); // LoadImage
wf.setInput("6", "text", "a women sticking out her toungue while mkaing wierd faces,(clay style:1.1)"); // CLIPTextEncode
const job = await client.run(wf);
await job.getOutputs("78")[0].toFile("output.png"); // SaveVideoSDK принимает рабочий процесс в API-формате: откройте этот процесс в ComfyUI и используйте Файл → Экспортировать рабочий процесс (API).
Доступ к API Comfy Cloud требует плана с API-ключом.
FAQ
