Этот рабочий процесс ComfyUI под названием «Runway: Reference to Image» позволяет генерировать новые изображения, используя референсные стили и композиции через возможности AI Runway. В основе используется нода RunwayTextToImageNode, которая преобразует текстовые описания в визуальное содержимое. Её дополняет нода LoadImage, позволяющая подать референсное изображение, направляющее стиль и композицию результата. Нода SaveImage обеспечивает удобное сохранение сгенерированных изображений для дальнейшего использования. Также добавлены ноды MarkdownNote, которые дают полезные комментарии и подсказки внутри рабочего процесса.
Техническая основа этого рабочего процесса — интеграция AI-моделей Runway, известных способностью интерпретировать и воспроизводить художественные стили. Это делает рабочий процесс полезным для художников, дизайнеров и авторов контента, которым нужно получать вариации существующих изображений или тестировать новые визуальные идеи. Используя безопасную сетевую среду, как указано в заметках автора, можно подключаться к API Runway, обеспечивая стабильный и безопасный процесс генерации изображений.
API
Использовать этот рабочий процесс из кода
Каждый рабочий процесс Comfy — это JSON-граф. Ниже представлен payload этого процесса, точно так же, как его запускает ComfyUI: получите его по ссылке, храните в системе контроля версий или загрузите в ComfyUI и выполняйте по узлам.
Запустите его на TypeScript или Python с помощью Comfy SDK. Один и тот же код работает с Comfy Cloud или вашим собственным ComfyUI — меняется только базовый URL.
// Install (beta)
npm i @comfyorg/sdk
// Run "Runway: референс в изображение" (TypeScript)
import { Comfy } from "@comfyorg/sdk";
const client = new Comfy({ apiKey: "comfyui-..." });
// This workflow, exported in API format (see note below)
const wf = await client.workflows.fromFile("api_runway_reference_to_image_api.json");
const asset = client.assets.fromFile("input.png");
wf.setInput("5", "image", asset); // LoadImage
const job = await client.run(wf);
await job.getOutputs("6")[0].toFile("output.png"); // SaveImageSDK принимает рабочий процесс в API-формате: откройте этот процесс в ComfyUI и используйте Файл → Экспортировать рабочий процесс (API).
Доступ к API Comfy Cloud требует плана с API-ключом.
FAQ
