Этот рабочий процесс ComfyUI превращает одно изображение и голосовую запись в говорящее видео с липсинком, используя модель LTX-2.3. Вы загружаете портрет через LoadImage и добавляете речь через LoadAudio или записываете её вживую с RecordAudio. Оба потока подаются в генераторную ноду LTX-2.3 (98ee9e5b-467b-40aa-a534-36033f27d0b4), которая синтезирует последовательность кадров, где персонаж говорит в такт аудио. Итоговые кадры кодируются в MP4 через SaveVideo.
Внутри LTX-2.3 учитывает визуальную идентичность из референсного изображения и временные признаки аудио, чтобы управлять формой рта и лёгкими движениями лица во времени. Нода обычно предоставляет настройки вроде выходного разрешения и FPS; во многих сборках также есть seed для воспроизводимости и опциональный текстовый промпт для направления движения или стиля. MarkdownNote в графе содержит быстрые советы и ссылки на официальные репозитории моделей Lightricks, откуда можно скачать необходимые веса.
API
Использовать этот рабочий процесс из кода
Каждый рабочий процесс Comfy — это JSON-граф. Ниже представлен payload этого процесса, точно так же, как его запускает ComfyUI: получите его по ссылке, храните в системе контроля версий или загрузите в ComfyUI и выполняйте по узлам.
Запустите его на TypeScript или Python с помощью Comfy SDK. Один и тот же код работает с Comfy Cloud или вашим собственным ComfyUI — меняется только базовый URL.
// Install (beta)
npm i @comfyorg/sdk
// Run "LTX-2.3: Изображение и аудио в видео" (TypeScript)
import { Comfy } from "@comfyorg/sdk";
const client = new Comfy({ apiKey: "comfyui-..." });
// This workflow, exported in API format (see note below)
const wf = await client.workflows.fromFile("video_ltx2_3_ia2v_api.json");
const asset = client.assets.fromFile("input.png");
wf.setInput("269", "image", asset); // LoadImage
const job = await client.run(wf);
await job.getOutputs("341")[0].toFile("output.png"); // SaveVideoSDK принимает рабочий процесс в API-формате: откройте этот процесс в ComfyUI и используйте Файл → Экспортировать рабочий процесс (API).
Доступ к API Comfy Cloud требует плана с API-ключом.
FAQ
