Рабочий процесс «Grok: Reference to Video» в ComfyUI предназначен для преобразования статичных референсных изображений в динамическое видео. Он использует Grok API, чтобы создавать видео с высокой визуальной согласованностью между кадрами, даже при использовании до шести референсных изображений. Процесс начинается с ноды LoadImage, где вы можете загрузить референсы. Затем эти изображения обрабатываются нодой GrokVideoReferenceNode, которая использует модель Grok для интерпретации и преобразования статичных визуалов в связную видео-последовательность. Наконец, нода SaveVideo позволяет экспортировать сгенерированное видео для разных задач.
Отличие этого рабочего процесса — умение работать с несколькими референсами, благодаря чему итоговое видео сохраняет единый стиль и стабильное отображение персонажа. Это особенно полезно в проектах, где нужна анимация персонажа или постоянный художественный стиль между кадрами. Расширенные возможности модели Grok позволяют более тонко интерпретировать входные изображения, поэтому этот рабочий процесс подходит авторам, которые хотят превращать статичный арт в видео-контент.
API
Использовать этот рабочий процесс из кода
Каждый рабочий процесс Comfy — это JSON-граф. Ниже представлен payload этого процесса, точно так же, как его запускает ComfyUI: получите его по ссылке, храните в системе контроля версий или загрузите в ComfyUI и выполняйте по узлам.
Запустите его на TypeScript или Python с помощью Comfy SDK. Один и тот же код работает с Comfy Cloud или вашим собственным ComfyUI — меняется только базовый URL.
// Install (beta)
npm i @comfyorg/sdk
// Run "Grok: генерация видео по референсу" (TypeScript)
import { Comfy } from "@comfyorg/sdk";
const client = new Comfy({ apiKey: "comfyui-..." });
// This workflow, exported in API format (see note below)
const wf = await client.workflows.fromFile("api_grok_reference_to_video_api.json");
const asset = client.assets.fromFile("input.png");
wf.setInput("6", "image", asset); // LoadImage
const job = await client.run(wf);
await job.getOutputs("4")[0].toFile("output.png"); // SaveVideoSDK принимает рабочий процесс в API-формате: откройте этот процесс в ComfyUI и используйте Файл → Экспортировать рабочий процесс (API).
Доступ к API Comfy Cloud требует плана с API-ключом.
FAQ
