Рабочий процесс «Text to Song» предлагает новый подход к генерации музыки по текстовым промптам с использованием модели ACE-Step v1. Техника использует AI-возможности, чтобы преобразовывать написанные слова в мелодии, связывая текстовый вход и аудио-выход. Отличие метода в том, что он интерпретирует и «tags», и «lyrics», чтобы создавать песни, которые остаются связными по смыслу и соответствуют заданному жанру по ритму и стилю. Использование модели ACE-Step v1 делает генерацию более нюансированной по сравнению с обычными преобразованиями text-to-audio.
Это расширяет возможности для артистов, музыкантов и создателей контента. В отличие от прежних моделей, ACE-Step v1 даёт более детализированную и настраиваемую генерацию: вы задаёте тип музыки и ритм через «tags» и лирику через «lyrics». Такая схема помогает модели создавать более сложные и жанрово определённые композиции — от поп-формата до классики. Также упоминается многоязычная поддержка, хотя сейчас она ограничена конвертацией в английские символы; это показывает потенциал для дальнейшего развития многоязычной генерации музыки.
API
Использовать этот рабочий процесс из кода
Каждый рабочий процесс Comfy — это JSON-граф. Ниже представлен payload этого процесса, точно так же, как его запускает ComfyUI: получите его по ссылке, храните в системе контроля версий или загрузите в ComfyUI и выполняйте по узлам.
Запустите его на TypeScript или Python с помощью Comfy SDK. Один и тот же код работает с Comfy Cloud или вашим собственным ComfyUI — меняется только базовый URL.
// Install (beta)
npm i @comfyorg/sdk
// Run this workflow (TypeScript)
import { Comfy } from "@comfyorg/sdk";
const client = new Comfy({ apiKey: "comfyui-..." });
const wf = await client.workflows.fromFile("workflow_api.json");
const job = await client.run(wf);
await job.getOutputs("<output-node-id>")[0].toFile("output.png");SDK принимает рабочий процесс в API-формате: откройте этот процесс в ComfyUI и используйте Файл → Экспортировать рабочий процесс (API).
Доступ к API Comfy Cloud требует плана с API-ключом.
FAQ
