This ComfyUI tutorial workflow turns a written prompt (and optionally a reference image) into a short, cinematic video using Google’s Gemini Omni 1.1 Flash via the GeminiVideoOmniV2 node. The node handles the API call to Gemini, then returns a generated clip and, when enabled, an accompanying audio track. You get direct control over aspect ratio and resolution so your outputs are ready for social, product pages, or widescreen edits.

Technically, GeminiVideoOmniV2 is the generator: you provide the prompt and any reference image, set visual parameters, and adjust keyframe interpolation to smooth motion and maintain subject continuity between beats. The SaveVideo node then encodes the frames (and audio, if present) to a file. Because the graph is compact—GeminiVideoOmniV2 feeding into SaveVideo—you can iterate quickly: tweak the prompt, adjust aspect ratio or interpolation strength, re-queue, and compare results for fast creative refinement.

API

Использовать этот рабочий процесс из кода

Каждый рабочий процесс Comfy — это JSON-граф. Ниже представлен payload этого процесса, точно так же, как его запускает ComfyUI: получите его по ссылке, храните в системе контроля версий или загрузите в ComfyUI и выполняйте по узлам.

7caf5f067f8f.json

Загрузка JSON рабочего процесса…

Запустите его на TypeScript или Python с помощью Comfy SDK. Один и тот же код работает с Comfy Cloud или вашим собственным ComfyUI — меняется только базовый URL.

// Install (beta)
npm i @comfyorg/sdk

// Run this workflow (TypeScript)
import { Comfy } from "@comfyorg/sdk";

const client = new Comfy({ apiKey: "comfyui-..." });
const wf = await client.workflows.fromFile("workflow_api.json");
const job = await client.run(wf);
await job.getOutputs("<output-node-id>")[0].toFile("output.png");

SDK принимает рабочий процесс в API-формате: откройте этот процесс в ComfyUI и используйте Файл → Экспортировать рабочий процесс (API).

Доступ к API Comfy Cloud требует плана с API-ключом.

Документация SDK Получить API-ключ