Рабочий процесс LTX-2: Audio to Video предназначен для преобразования аудиофайла и стартового кадра-изображения в синхронизированное видео. Он использует модель LTX-2, известную тем, что умеет интерпретировать аудио-сигналы и переводить их в динамическое визуальное содержимое. Рабочий процесс начинается с узлов LoadImage и LoadAudio, которые позволяют загрузить исходное изображение и аудиофайл — основу для генерации видео. Затем данные проходят через ряд пользовательских узлов, включая comfyui-kjnodes, которые важны для синхронизации аудио и визуальной части.
Технически Рабочий процесс использует уникальную ноду с ID 3458504c-2bd1-4267-8722-6f2478115b42, которая играет ключевую роль в согласовании ритма и темпа аудио с визуальными переходами. Нода SaveVideo — финальный шаг, который преобразует обработанные данные в видеофайл. Этот Рабочий процесс полезен создателям, которые хотят делать видео по аудиодорожке — например, музыкальные клипы или аудиовизуальные арт-проекты. Поскольку это экспериментальный подход, результаты могут отличаться, что даёт пространство для творческих экспериментов.
API
Использовать этот рабочий процесс из кода
Каждый рабочий процесс Comfy — это JSON-граф. Ниже представлен payload этого процесса, точно так же, как его запускает ComfyUI: получите его по ссылке, храните в системе контроля версий или загрузите в ComfyUI и выполняйте по узлам.
Запустите его на TypeScript или Python с помощью Comfy SDK. Один и тот же код работает с Comfy Cloud или вашим собственным ComfyUI — меняется только базовый URL.
// Install (beta)
npm i @comfyorg/sdk
// Run "LTX-2: Аудио в видео" (TypeScript)
import { Comfy } from "@comfyorg/sdk";
const client = new Comfy({ apiKey: "comfyui-..." });
// This workflow, exported in API format (see note below)
const wf = await client.workflows.fromFile("video_ltx_2_audio_to_video_api.json");
const asset = client.assets.fromFile("input.png");
wf.setInput("444", "image", asset); // LoadImage
const job = await client.run(wf);
await job.getOutputs("984")[0].toFile("output.png"); // SaveVideoSDK принимает рабочий процесс в API-формате: откройте этот процесс в ComfyUI и используйте Файл → Экспортировать рабочий процесс (API).
Доступ к API Comfy Cloud требует плана с API-ключом.
FAQ
