Этот рабочий процесс ComfyUI демонстрирует сквозную генерацию «текст- и изображение-в-видео» с помощью ноды OpenAIVideoSora2, с опциональным синхронизированным аудио. Вы можете начать только с текстового промпта или задать условие по видео с помощью эталонного изображения, загруженного через LoadImage. Поскольку Sora-2 и Sora-2 Pro ожидают фиксированные входные размеры, рабочий процесс предлагает две ветки, чтобы подогнать изображение: вариант 1 использует ResizeAndPadImage, чтобы добавить поля без обрезки, а вариант 2 обрезает изображение, заполняя кадр. PreviewImage позволяет проверить кадрирование перед вызовом API, а SaveVideo записывает возвращённое видео на диск.
Технически нода OpenAIVideoSora2 — ядро графа и предоставляет выбор модели (Sora-2 или Sora-2 Pro), разрешение и поля промпта. Поддерживаемые размеры: Sora-2 (720x1280, 1280x720) и Sora-2 Pro (720x1280, 1280x720, 1024x1792, 1792x1024). Группы рабочего процесса помогают держать всё организованным: Upload image, Option1 - Pad image и Option 2 - Crop image. Ноды MarkdownNote и Note содержат ссылки на использование и цены партнерского API. ImageScale и ResizeAndPadImage приводят изображение к выбранному размеру видео, чтобы API принял вход, а SaveVideo сохраняет выход API, включая аудио, когда оно доступно. Такой дизайн помогает быстро итерировать: просмотрите условный кадр, поправьте промпт, затем рендерьте.
API
Использовать этот рабочий процесс из кода
Каждый рабочий процесс Comfy — это JSON-граф. Ниже представлен payload этого процесса, точно так же, как его запускает ComfyUI: получите его по ссылке, храните в системе контроля версий или загрузите в ComfyUI и выполняйте по узлам.
Запустите его на TypeScript или Python с помощью Comfy SDK. Один и тот же код работает с Comfy Cloud или вашим собственным ComfyUI — меняется только базовый URL.
// Install (beta)
npm i @comfyorg/sdk
// Run this workflow (TypeScript)
import { Comfy } from "@comfyorg/sdk";
const client = new Comfy({ apiKey: "comfyui-..." });
const wf = await client.workflows.fromFile("workflow_api.json");
const job = await client.run(wf);
await job.getOutputs("<output-node-id>")[0].toFile("output.png");SDK принимает рабочий процесс в API-формате: откройте этот процесс в ComfyUI и используйте Файл → Экспортировать рабочий процесс (API).
Доступ к API Comfy Cloud требует плана с API-ключом.
FAQ
