LTX-2: 오디오에서 비디오로 워크플로는 오디오 파일과 시작 이미지 프레임을 동기화된 비디오로 변환하도록 설계되었습니다. 이 과정은 LTX-2 모델을 활용하며, 오디오 신호를 해석해 역동적인 시각 콘텐츠로 변환하는 능력으로 알려져 있습니다. 워크플로는 'LoadImage' 및 'LoadAudio' 노드로 시작하며, 사용자가 비디오 생성의 기반이 될 초기 이미지와 오디오 파일을 입력할 수 있습니다. 이후 입력은 'comfyui-kjnodes'를 포함한 일련의 커스텀 노드를 통해 처리되며, 오디오와 시각 요소 간 동기화를 유지하는 데 중요합니다.
기술적으로 이 워크플로는 ID '3458504c-2bd1-4267-8722-6f2478115b42'로 식별되는 고유 노드를 사용하며, 이 노드는 오디오의 리듬과 템포를 시각 전환과 정렬하는 데 핵심 역할을 합니다. 마지막 단계는 'SaveVideo' 노드로, 처리된 데이터를 비디오 파일로 변환합니다. 이 워크플로는 뮤직비디오나 오디오-비주얼 아트처럼 오디오 트랙으로부터 매력적인 비디오 콘텐츠를 만들고자 하는 제작자에게 특히 유용합니다. 실험적인 성격상 결과는 달라질 수 있으며, 크리에이티브한 탐색에 적합합니다.
API
코드에서 이 워크플로우 사용하기
모든 Comfy 워크플로우는 JSON 그래프입니다. 아래 페이로드는 이 워크플로우 그 자체로, ComfyUI에서 실행되는 것과 동일합니다 — URL에서 가져오거나, 버전 관리에 보관하거나, ComfyUI에서 불러와 노드별로 실행할 수 있습니다.
Comfy SDK로 TypeScript 또는 Python에서 실행하세요. 동일한 코드는 Comfy Cloud 또는 직접 호스팅하는 ComfyUI 모두에 적용됩니다 — 기본 URL만 다릅니다.
// Install (beta)
npm i @comfyorg/sdk
// Run "LTX-2: 오디오를 비디오로" (TypeScript)
import { Comfy } from "@comfyorg/sdk";
const client = new Comfy({ apiKey: "comfyui-..." });
// This workflow, exported in API format (see note below)
const wf = await client.workflows.fromFile("video_ltx_2_audio_to_video_api.json");
const asset = client.assets.fromFile("input.png");
wf.setInput("444", "image", asset); // LoadImage
const job = await client.run(wf);
await job.getOutputs("984")[0].toFile("output.png"); // SaveVideoSDK는 API 형식의 워크플로우를 사용합니다: 이 워크플로우를 ComfyUI에서 열고 파일 → 워크플로우 내보내기(API)를 사용하세요.
FAQ
