Этот туториал по ComfyUI показывает, как удалять объекты из видео с помощью рабочего процесса VOID: Video Inpainting. Граф простой и быстро осваивается: LoadVideo читает клип, один узел VOID inpainting (c3157b75-484a-459e-b8de-57823bef5130) выполняет сегментацию и временной инпейтинг, а SaveVideo записывает очищенный результат. MarkdownNote на холсте даёт подсказки прямо в графе. В основе сегментации — SAM3 (чекпойнт sam3.1_multiplex_fp16.safetensors). Вы можете управлять тем, что стирать, с помощью текстовой подсказки, закодированной текстовым энкодером T5-XXL, нарисованной вручную маски или сочетания обоих вариантов для максимальной точности.
Технически основной узел VOID запускает двухпроходную, учитывающую время модель инпейтинга из проекта Netflix/void-model. Первый проход удаляет замаскированное содержимое по кадрам и оценивает правдоподобный фон; второй проход распространяет структуру во времени, чтобы уменьшить мерцание и сохранить параллакс движения. Поэтому он хорошо подходит для реального удаления объектов, а не для «заплатки» одного кадра: отражения, тени и кратковременные перекрытия обрабатываются согласованнее между кадрами. Благодаря работе в fp16 он балансирует качество и скорость на современных GPU, сохраняя потребление памяти в разумных пределах.
API
Использовать этот рабочий процесс из кода
Каждый рабочий процесс Comfy — это JSON-граф. Ниже представлен payload этого процесса, точно так же, как его запускает ComfyUI: получите его по ссылке, храните в системе контроля версий или загрузите в ComfyUI и выполняйте по узлам.
Запустите его на TypeScript или Python с помощью Comfy SDK. Один и тот же код работает с Comfy Cloud или вашим собственным ComfyUI — меняется только базовый URL.
// Install (beta)
npm i @comfyorg/sdk
// Run this workflow (TypeScript)
import { Comfy } from "@comfyorg/sdk";
const client = new Comfy({ apiKey: "comfyui-..." });
const wf = await client.workflows.fromFile("workflow_api.json");
const job = await client.run(wf);
await job.getOutputs("<output-node-id>")[0].toFile("output.png");SDK принимает рабочий процесс в API-формате: откройте этот процесс в ComfyUI и используйте Файл → Экспортировать рабочий процесс (API).
Доступ к API Comfy Cloud требует плана с API-ключом.
FAQ
