Этот рабочий процесс ComfyUI превращает одно изображение в короткое видео, используя image-to-video пайплайн Wan 2.1. Основа — нода WanImageToVideo, которая подготавливает временное кондиционирование (число кадров, fps и подсказки движения) и передаёт его в диффузию. Текстовое направление кодируется через CLIPTextEncode (на базе CLIPLoader, который загружает текстовый энкодер UMT5 XXL), а стартовое изображение встраивается через CLIPVisionEncode с весами из CLIPVisionLoader. База модели загружается через UNETLoader (Wan2.1) и VAELoader (Wan VAE). ModelSamplingSD3 задаёт правильный профиль sampling, а KSampler выполняет денойзинг по последовательности латентных кадров. Затем VAEDecode преобразует латенты в RGB-кадры, CreateVideo собирает их с выбранными fps/размером, а SaveVideo записывает результат на диск.
Рабочий процесс организован для наглядности: Step1 - Load models, Step2 - Upload start_image, Step3 - Video size, Step4 - Prompt. Вы задаёте ширину/высоту и частоту кадров в группе Video size, загружаете чистое исходное изображение через LoadImage и пишете текстовый промпт (и опциональный негативный промпт), чтобы направлять стиль и содержимое. Это удобно для анимации разворотов персонажа, лёгкой мимики в портретах или продуктовых hero-роликов из одного кадра — с предсказуемостью за счёт стартового изображения и воспроизводимостью через seed и настройки KSampler.
API
Использовать этот рабочий процесс из кода
Каждый рабочий процесс Comfy — это JSON-граф. Ниже представлен payload этого процесса, точно так же, как его запускает ComfyUI: получите его по ссылке, храните в системе контроля версий или загрузите в ComfyUI и выполняйте по узлам.
Запустите его на TypeScript или Python с помощью Comfy SDK. Один и тот же код работает с Comfy Cloud или вашим собственным ComfyUI — меняется только базовый URL.
// Install (beta)
npm i @comfyorg/sdk
// Run "Wan 2.1 изображение в видео" (TypeScript)
import { Comfy } from "@comfyorg/sdk";
const client = new Comfy({ apiKey: "comfyui-..." });
// This workflow, exported in API format (see note below)
const wf = await client.workflows.fromFile("image_to_video_wan_api.json");
const asset = client.assets.fromFile("input.png");
wf.setInput("52", "image", asset); // LoadImage
wf.setInput("6", "text", "your prompt here"); // CLIPTextEncode
const job = await client.run(wf);
await job.getOutputs("56")[0].toFile("output.png"); // SaveVideoSDK принимает рабочий процесс в API-формате: откройте этот процесс в ComfyUI и используйте Файл → Экспортировать рабочий процесс (API).
Доступ к API Comfy Cloud требует плана с API-ключом.
FAQ
