Этот рабочий процесс превращает пару изображений в короткое связное видео, используя видеодиффузию Wan 2.1 на основе inpainting. Вы задаёте стартовый и финальный кадры; нода WanFunInpaintToVideo направляет модель на синтез промежуточного движения, сохраняя детали объекта и сцены, «закреплённые» вашими изображениями. Текстовые подсказки (через CLIPTextEncode) задают стиль и содержание, а negative prompt помогает подавлять артефакты.
Внутри Step1 загружает основные компоненты: UNETLoader (Wan2.1 / Wan), VAELoader/VAEDecode для преобразования latent <-> пиксели и CLIPLoader для текстового кондиционирования. Старт/финиш подаются через LoadImage и кодируются CLIPVisionLoader + CLIPVisionEncode, чтобы получить кондиционирование по изображению для UNet. Диффузию выполняет KSampler с ModelSamplingSD3 для корректного sigma schedule, а CFGZeroStar и SkipLayerGuidanceDiT стабилизируют guidance. Группа Attention Booster применяет UNetTemporalAttentionMultiply, усиливая временную согласованность между кадрами. Затем CreateVideo собирает кадры, а SaveVideo записывает итоговый клип.
API
Использовать этот рабочий процесс из кода
Каждый рабочий процесс Comfy — это JSON-граф. Ниже представлен payload этого процесса, точно так же, как его запускает ComfyUI: получите его по ссылке, храните в системе контроля версий или загрузите в ComfyUI и выполняйте по узлам.
Запустите его на TypeScript или Python с помощью Comfy SDK. Один и тот же код работает с Comfy Cloud или вашим собственным ComfyUI — меняется только базовый URL.
// Install (beta)
npm i @comfyorg/sdk
// Run "Wan 2.1 инпейнтинг" (TypeScript)
import { Comfy } from "@comfyorg/sdk";
const client = new Comfy({ apiKey: "comfyui-..." });
// This workflow, exported in API format (see note below)
const wf = await client.workflows.fromFile("wan2.1_fun_inp_api.json");
const asset = client.assets.fromFile("input.png");
wf.setInput("72", "image", asset); // LoadImage
wf.setInput("6", "text", "your prompt here"); // CLIPTextEncode
const job = await client.run(wf);
await job.getOutputs("80")[0].toFile("output.png"); // SaveVideoSDK принимает рабочий процесс в API-формате: откройте этот процесс в ComfyUI и используйте Файл → Экспортировать рабочий процесс (API).
Доступ к API Comfy Cloud требует плана с API-ключом.
FAQ
