This ComfyUI tutorial workflow turns a written prompt (and optionally a reference image) into a short, cinematic video using Google’s Gemini Omni 1.1 Flash via the GeminiVideoOmniV2 node. The node handles the API call to Gemini, then returns a generated clip and, when enabled, an accompanying audio track. You get direct control over aspect ratio and resolution so your outputs are ready for social, product pages, or widescreen edits.
Technically, GeminiVideoOmniV2 is the generator: you provide the prompt and any reference image, set visual parameters, and adjust keyframe interpolation to smooth motion and maintain subject continuity between beats. The SaveVideo node then encodes the frames (and audio, if present) to a file. Because the graph is compact—GeminiVideoOmniV2 feeding into SaveVideo—you can iterate quickly: tweak the prompt, adjust aspect ratio or interpolation strength, re-queue, and compare results for fast creative refinement.
API
Usa este flujo de trabajo desde código
Cada flujo de trabajo de Comfy es un grafo JSON. El siguiente payload es este flujo de trabajo, exactamente como lo ejecuta ComfyUI: descárgalo desde la URL, guárdalo en control de versiones o cárgalo en ComfyUI y ejecútalo nodo por nodo.
Ejecuta desde TypeScript o Python con el Comfy SDK. El mismo código funciona en Comfy Cloud o en un ComfyUI propio: solo cambia la URL base.
// Install (beta)
npm i @comfyorg/sdk
// Run this workflow (TypeScript)
import { Comfy } from "@comfyorg/sdk";
const client = new Comfy({ apiKey: "comfyui-..." });
const wf = await client.workflows.fromFile("workflow_api.json");
const job = await client.run(wf);
await job.getOutputs("<output-node-id>")[0].toFile("output.png");El SDK utiliza un flujo de trabajo en formato API: abre este flujo de trabajo en ComfyUI y usa Archivo → Exportar flujo de trabajo (API).
El acceso a la API de Comfy Cloud requiere un plan con clave API.
