Этот рабочий процесс ComfyUI показывает единый подход к анимации персонажа и замене персонажа с помощью диффузионной модели для видео Wan 2.2 Animate. Он извлекает движение из входного видео, сегментирует целевой объект и синтезирует нового персонажа (или рестайлит исходного), следуя тому же движению. Ключевые компоненты: UNETLoader загружает чекпойнт Wan2_2-Animate-14B_fp8_e4m3fn_scaled_KJ.safetensors, VAELoader для декодирования кадров, CLIPLoader и CLIPTextEncode для позитивных/негативных промптов, и SaveVideo для финального выхода. Подсказки движения создаются через DWPreprocessor из comfyui_controlnet_aux (поза человека/ключевые точки всего тела), а изоляция объекта делается через ComfyUI-segment-anything-2 с помощью DownloadAndLoadSAM2Model и Sam2Segmentation. Если нужно зафиксировать идентичность или стиль по изображению, CLIPVisionLoader + CLIPVisionEncode дают дополнительное reference conditioning, а LoraLoaderModelOnly позволяет добавить LoRA персонажа.
Технически рабочий процесс проводит LoadVideo через GetVideoComponents, затем предобрабатывает фон и объект: Sam2Segmentation строит маску персонажа (под управлением пользовательских «зелёных точек»), а DWPreprocessor извлекает позу из каждого кадра. PixelPerfectResolution подбирает рабочий размер под ваш GPU и соблюдает ограничение WanAnimateToVideo (ширина и высота должны быть кратны 16). ModelSamplingSD3 управляет сэмплером и расписанием для Wan UNet, а утилиты comfyui-kjnodes помогают с оптимизированной FP8-scaled моделью. В результате получается гибкий пайплайн для замен или рестайлинга с сохранением движения — используйте одно референс-изображение, LoRA и промпты, чтобы направлять идентичность и внешний вид, сохраняя исходную анимацию.
API
Использовать этот рабочий процесс из кода
Каждый рабочий процесс Comfy — это JSON-граф. Ниже представлен payload этого процесса, точно так же, как его запускает ComfyUI: получите его по ссылке, храните в системе контроля версий или загрузите в ComfyUI и выполняйте по узлам.
Запустите его на TypeScript или Python с помощью Comfy SDK. Один и тот же код работает с Comfy Cloud или вашим собственным ComfyUI — меняется только базовый URL.
// Install (beta)
npm i @comfyorg/sdk
// Run "Wan2.2 Animate анимация и замена персонажей" (TypeScript)
import { Comfy } from "@comfyorg/sdk";
const client = new Comfy({ apiKey: "comfyui-..." });
// This workflow, exported in API format (see note below)
const wf = await client.workflows.fromFile("video_wan2_2_14B_animate_api.json");
const asset = client.assets.fromFile("input.png");
wf.setInput("10", "image", asset); // LoadImage
wf.setInput("21", "text", "The character is dancing in the room"); // CLIPTextEncode
const job = await client.run(wf);
await job.getOutputs("277")[0].toFile("output.png"); // SaveVideoSDK принимает рабочий процесс в API-формате: откройте этот процесс в ComfyUI и используйте Файл → Экспортировать рабочий процесс (API).
Доступ к API Comfy Cloud требует плана с API-ключом.
FAQ
