此 ComfyUI 工作流通过 GeminiVideoOmni 节点调用 Google 的 Gemini Omni Flash,将两张静态图像转换为一段短视频。你需要提供起始图像和结束图像(两个 LoadImage 节点),然后用自然语言提示词引导运动、时长与构图。内置的 Prompt Constructor 子图(自定义节点:b83478ba-1f3e-4e62-9869-c8a0c8e9a5f5)会帮助你在最终提示词字符串中明确包含必填的时长和比例——这两项对 Gemini Omni Video 是必需的。随后 GeminiVideoOmni 节点生成一个视频片段,你可以用 PreviewAny 预览,并用 SaveVideo 导出。
从技术上看,该工作流将两张图像张量与已构建的文本提示词传入 GeminiVideoOmni,由其向 Gemini Omni Flash 模型请求生成视频。时长与比例会从提示词中解析(例如:“duration: 4s, aspect_ratio: 16:9”),其余文本用于描述运动(如缩放、平移、形变、揭示)。画面中的 MarkdownNote 节点提供了快速提示与注意事项。最终效果是一种适合快速迭代短品牌片、竖版社交贴文以及前后对比揭示的视频生成方式——无需手动关键帧。
API
通过代码使用此工作流
每个 Comfy 工作流都是一个 JSON 图。下面的内容就是此工作流的完整数据,ComfyUI 运行时也是如此——你可以从该 URL 获取、放入版本控制,或在 ComfyUI 中加载并逐节点运行。
使用 Comfy SDK 从 TypeScript 或 Python 运行。相同代码可用于 Comfy Cloud 或你自托管的 ComfyUI——只需更改基础 URL。
// Install (beta)
npm i @comfyorg/sdk
// Run this workflow (TypeScript)
import { Comfy } from "@comfyorg/sdk";
const client = new Comfy({ apiKey: "comfyui-..." });
const wf = await client.workflows.fromFile("workflow_api.json");
const job = await client.run(wf);
await job.getOutputs("<output-node-id>")[0].toFile("output.png");SDK 需要 API 格式的工作流:在 ComfyUI 中打开此工作流,使用 文件 → 导出工作流(API)。
常见问题














