Этот рабочий процесс превращает одно изображение в музыкальное, аудио-реактивное видео, объединяя генерацию текста-в-музыку (ACE Step 1.5 XL Turbo) и анимацию изображение-в-видео (LTX 2.3), усиленную Audio‑Reactive LoRA. Вы даёте одно изображение и короткий творческий бриф; рабочий процесс использует GeminiNode, чтобы за один проход подготовить и «style tags» для визуала, и «lyrics» для песни. Затем нода RegexExtract делит текст по '---': всё до разделителя становится визуальными style tags для LTX 2.3, а всё после — lyrics, которые подаются в ACE Step 1.5 XL Turbo. Сгенерированная песня сохраняется через SaveAudioMP3 и затем управляет реактивностью видео, которое сохраняется через SaveVideo.
Технически пайплайн организован в группы: Load Image, Create ACE Step 1.5 Prompts, Create Audio‑Reactive LoRA Prompt, Regex Extract, ACE Step 1.5 XL и LTX 2.3 with Audio‑Reactive LoRA. Audio‑Reactive LoRA (см. привязанную карточку модели) добавляет эффекты движения под музыку; для лучших результатов настройте силу в диапазоне 1.0–2.0 (1.4+ для более выраженных эффектов). PreviewAny помогает проверять промежуточные выходы (промпты, аудио и кадры) перед финальным рендером, а MarkdownNote содержит быстрые подсказки внутри графа. Итог — упрощённый пайплайн изображение → трек → аудио‑реактивное видео, по которому удобно итерировать: правьте style tags и lyrics, пересоздавайте трек и перерендеривайте видео, пока результат не совпадёт с вашим творческим замыслом.
API
Использовать этот рабочий процесс из кода
Каждый рабочий процесс Comfy — это JSON-граф. Ниже представлен payload этого процесса, точно так же, как его запускает ComfyUI: получите его по ссылке, храните в системе контроля версий или загрузите в ComfyUI и выполняйте по узлам.
Запустите его на TypeScript или Python с помощью Comfy SDK. Один и тот же код работает с Comfy Cloud или вашим собственным ComfyUI — меняется только базовый URL.
// Install (beta)
npm i @comfyorg/sdk
// Run this workflow (TypeScript)
import { Comfy } from "@comfyorg/sdk";
const client = new Comfy({ apiKey: "comfyui-..." });
const wf = await client.workflows.fromFile("workflow_api.json");
const job = await client.run(wf);
await job.getOutputs("<output-node-id>")[0].toFile("output.png");SDK принимает рабочий процесс в API-формате: откройте этот процесс в ComfyUI и используйте Файл → Экспортировать рабочий процесс (API).
Доступ к API Comfy Cloud требует плана с API-ключом.
FAQ
