Wan2.1 VACE Reference to Video превращает одно изображение в короткое видео, сохраняя стиль и объект референса, и добавляя движение, управляемое текстовыми промптами. Ядро рабочего процесса — нода WanVaceToVideo, которая объединяет загруженное референсное изображение (LoadImage) с текстом промпта, закодированным через CLIPTextEncode. Диффузионную основу дают модели Wan 2.1 VACE — используйте UNETLoader и VAELoader в группе «Load models here», чтобы выбрать Wan2.1-VACE-1.3B или Wan2.1-VACE-14B. Нода ModelSamplingSD3 настраивает сэмплер, а KSampler выполняет денойзинг с выбранными шагами и cfg scale. Если нужны стилевые адаптеры, LoraLoader позволяет применить подходящую LoRA к тому же семейству диффузионных моделей.
После выборки VAEDecode восстанавливает кадры из латентного пространства. TrimVideoLatent помогает задать точную длительность, а группа «First Frame control» (ImageToMask, SolidMask, MaskToImage, RepeatImageBatch) может зафиксировать или защитить части первого кадра для более сильного сохранения идентичности или композиции. Ноды PreviewImage позволяют быстро проверять результат в процессе итераций. В конце CreateVideo собирает кадры, и вы можете экспортировать через SaveVideo (MP4) или SaveAnimatedWEBP для лёгких предпросмотров. Рекомендации автора: по умолчанию steps=20 и cfg=6.0 дают хорошие результаты; с CausVid LoRA используйте меньше шагов (2–4) и низкий cfg (~1.0). По разрешению: VACE-1.3B лучше подходит для 480p, а VACE-14B даёт более высокое качество и поддерживает 480p и 720p ценой более долгого времени рендера.
API
Использовать этот рабочий процесс из кода
Каждый рабочий процесс Comfy — это JSON-граф. Ниже представлен payload этого процесса, точно так же, как его запускает ComfyUI: получите его по ссылке, храните в системе контроля версий или загрузите в ComfyUI и выполняйте по узлам.
Запустите его на TypeScript или Python с помощью Comfy SDK. Один и тот же код работает с Comfy Cloud или вашим собственным ComfyUI — меняется только базовый URL.
// Install (beta)
npm i @comfyorg/sdk
// Run "Wan2.1 VACE генерация видео по референсу" (TypeScript)
import { Comfy } from "@comfyorg/sdk";
const client = new Comfy({ apiKey: "comfyui-..." });
// This workflow, exported in API format (see note below)
const wf = await client.workflows.fromFile("video_wan_vace_14B_ref2v_api.json");
const asset = client.assets.fromFile("input.png");
wf.setInput("73", "image", asset); // LoadImage
wf.setInput("105", "text", "your prompt here"); // CLIPTextEncode
const job = await client.run(wf);
await job.getOutputs("70")[0].toFile("output.png"); // SaveAnimatedWEBPSDK принимает рабочий процесс в API-формате: откройте этот процесс в ComfyUI и используйте Файл → Экспортировать рабочий процесс (API).
Доступ к API Comfy Cloud требует плана с API-ключом.
FAQ
