Рабочий процесс «SVD Text to Image to Video» в ComfyUI предназначен для преобразования текстовых описаний в динамичный видеоконтент. Процесс начинается с генерации изображений по текстовым промптам с помощью набора нод вроде CLIPTextEncode, которая кодирует текст в формат, понятный моделям генерации изображений. Рабочий процесс использует такие модели, как SVD и Stability, чтобы получать качественные выходные изображения. После создания изображений Рабочий процесс переходит к генерации видео, используя ноды SVD_img2vid_Conditioning и VideoLinearCFGGuidance, которые направляют преобразование статичных изображений в плавные видеосцены. Этот Рабочий процесс полезен создателям, которым нужно получать видео по простым текстовым вводам без углублённых навыков видеомонтажа.
Технически Рабочий процесс построен так, чтобы максимизировать качество и связность и изображений, и видео. Нода KSampler играет ключевую роль в сэмплинге латентного пространства для получения разнообразных результатов, а VAEDecode декодирует эти латентные представления в видимые изображения. Затем CreateVideo собирает изображения в цельное видео, которое можно посмотреть и сохранить с помощью нод PreviewImage и SaveVideo соответственно. Такой подход эффективен и при этом даёт высокий уровень настройки, что делает его полезным инструментом для художников и маркетологов.
API
Использовать этот рабочий процесс из кода
Каждый рабочий процесс Comfy — это JSON-граф. Ниже представлен payload этого процесса, точно так же, как его запускает ComfyUI: получите его по ссылке, храните в системе контроля версий или загрузите в ComfyUI и выполняйте по узлам.
Запустите его на TypeScript или Python с помощью Comfy SDK. Один и тот же код работает с Comfy Cloud или вашим собственным ComfyUI — меняется только базовый URL.
// Install (beta)
npm i @comfyorg/sdk
// Run "SVD Текст в изображение в видео" (TypeScript)
import { Comfy } from "@comfyorg/sdk";
const client = new Comfy({ apiKey: "comfyui-..." });
// This workflow, exported in API format (see note below)
const wf = await client.workflows.fromFile("txt_to_image_to_video_api.json");
wf.setInput("18", "text", "photograph beautiful scenery nature mountains alps river rapids snow sky cumulus clouds"); // CLIPTextEncode
const job = await client.run(wf);
await job.getOutputs("24")[0].toFile("output.png"); // SaveVideoSDK принимает рабочий процесс в API-формате: откройте этот процесс в ComfyUI и используйте Файл → Экспортировать рабочий процесс (API).
Доступ к API Comfy Cloud требует плана с API-ключом.
FAQ
