Этот туториал-рабочий процесс ComfyUI позволяет редактировать одно входное видео по инструкциям на естественном языке, используя ноду GeminiVideoOmni. Граф прямой: LoadVideo загружает исходный клип, подграф Prompt Constructor (id ноды 331103d2-d660-4a88-abf0-1117dc46b2df) собирает корректный промпт с обязательными параметрами длительности и соотношения сторон, GeminiVideoOmni отправляет видео и промпт в Gemini Omni Flash API, а результат показывается через PreviewAny и сохраняется через SaveVideo. MarkdownNote на холсте содержит быстрые советы и напоминания.
Технически LoadVideo декодирует кадры и метаданные, затем Prompt Constructor конкатенирует Вашу правку на естественном языке с явными настройками вроде "duration: 5s" и "aspect ratio: 9:16". GeminiVideoOmni использует их как ограничения: соотношение сторон задаёт холст Выход, а длительность ограничивает длину клипа. Модель возвращает отредактированный клип, соответствующий инструкции (например, смена фона, корректировки настроения/атмосферы, перекадрирование), который можно быстро проверить в PreviewAny и экспортировать через SaveVideo. Для лучших результатов пишите конкретные промпты, всегда указывайте длительность и соотношение сторон и итерируйте короткими проходами.
API
Использовать этот рабочий процесс из кода
Каждый рабочий процесс Comfy — это JSON-граф. Ниже представлен payload этого процесса, точно так же, как его запускает ComfyUI: получите его по ссылке, храните в системе контроля версий или загрузите в ComfyUI и выполняйте по узлам.
Запустите его на TypeScript или Python с помощью Comfy SDK. Один и тот же код работает с Comfy Cloud или вашим собственным ComfyUI — меняется только базовый URL.
// Install (beta)
npm i @comfyorg/sdk
// Run this workflow (TypeScript)
import { Comfy } from "@comfyorg/sdk";
const client = new Comfy({ apiKey: "comfyui-..." });
const wf = await client.workflows.fromFile("workflow_api.json");
const job = await client.run(wf);
await job.getOutputs("<output-node-id>")[0].toFile("output.png");SDK принимает рабочий процесс в API-формате: откройте этот процесс в ComfyUI и используйте Файл → Экспортировать рабочий процесс (API).
Доступ к API Comfy Cloud требует плана с API-ключом.
FAQ
