Этот рабочий процесс ComfyUI создаёт персонализированные видеоклипы с липсинком, задавая условие для LTX-2.3 по трём входам: референсному изображению (внешность), короткому аудиоклипу (тайминг и вокальная манера) и структурированному промпту (сцена, транскрипт и звуковой контекст). Основная логика упакована в подграф (пользовательская нода с ID 98ee9e5b-467b-40aa-a534-36033f27d0b4), который оркестрирует генерацию LTX-2.3 с conditioning идентичности через ID-LoRA. LoadImage даёт референс лица/позы, LoadAudio или RecordAudio подаёт вашу речь, а SaveVideo записывает итоговое видео. MarkdownNote на холсте резюмирует формат структурированного промпта и содержит ссылки на ресурсы LTX-2.3 и ID-LoRA.
Технически ID-LoRA внедряет лёгкий адаптер идентичности в процесс video diffusion LTX-2.3, чтобы сгенерированный человек соответствовал референсному изображению без полного fine-tune. Промпт разбит на три тега, которые ожидает подграф: [VISUAL] (сцена и внешность), [SPEECH] (точный текст, который нужно произнести) и [SOUNDS] (манера речи и фоновые звуки). Аудио задаёт формы рта и тайминг, а [SPEECH] помогает модели уточнять детали на уровне фонем для более чёткой артикуляции. В результате получается короткое видео, где ваш персонаж произносит заданную фразу, визуально согласован с референсным изображением и синхронизирован по времени с аудио.
API
Использовать этот рабочий процесс из кода
Каждый рабочий процесс Comfy — это JSON-граф. Ниже представлен payload этого процесса, точно так же, как его запускает ComfyUI: получите его по ссылке, храните в системе контроля версий или загрузите в ComfyUI и выполняйте по узлам.
Запустите его на TypeScript или Python с помощью Comfy SDK. Один и тот же код работает с Comfy Cloud или вашим собственным ComfyUI — меняется только базовый URL.
// Install (beta)
npm i @comfyorg/sdk
// Run "LTX-2.3: ID LoRA" (TypeScript)
import { Comfy } from "@comfyorg/sdk";
const client = new Comfy({ apiKey: "comfyui-..." });
// This workflow, exported in API format (see note below)
const wf = await client.workflows.fromFile("video_ltx2_3_id_lora_api.json");
const asset = client.assets.fromFile("input.png");
wf.setInput("269", "image", asset); // LoadImage
const job = await client.run(wf);
await job.getOutputs("341")[0].toFile("output.png"); // SaveVideoSDK принимает рабочий процесс в API-формате: откройте этот процесс в ComfyUI и используйте Файл → Экспортировать рабочий процесс (API).
Доступ к API Comfy Cloud требует плана с API-ключом.
FAQ
