이 워크플로는 텍스트에서 음악 생성(ACE Step 1.5 XL Turbo)과 이미지에서 비디오로 애니메이션(LTX 2.3)을 결합하고, 오디오-리액티브 LoRA로 강화해 단일 이미지에서 음악이 포함된 오디오 반응형 비디오를 만듭니다. 이미지 1장과 짧은 크리에이티브 브리프를 제공하면, 워크플로는 GeminiNode를 사용해 비주얼용 "style tags"와 곡의 "lyrics"를 한 번에 초안으로 작성합니다. 그런 다음 RegexExtract 노드가 텍스트를 '---' 기준으로 분리합니다. '---' 이전은 LTX 2.3용 비주얼 스타일 태그가 되고, 이후는 ACE Step 1.5 XL Turbo에 가사로 입력됩니다. 생성된 곡은 SaveAudioMP3로 저장되며, 이후 SaveVideo로 저장되는 비디오의 반응형 움직임을 구동합니다.
기술적으로 파이프라인은 Load Image, Create ACE Step 1.5 Prompts, Create Audio‑Reactive LoRA Prompt, Regex Extract, ACE Step 1.5 XL, 그리고 Audio‑Reactive LoRA가 적용된 LTX 2.3 그룹으로 구성됩니다. 오디오-리액티브 LoRA(링크된 모델 카드 참고)는 음악을 따라가는 모션 효과를 추가하며, 최적 결과를 위해 강도를 1.0~2.0 사이로 조정하세요(더 강한 효과는 1.4+ 권장). PreviewAny로 최종 렌더 전에 중간 출력(프롬프트, 오디오, 프레임)을 확인할 수 있고, MarkdownNote에는 그래프 내부의 빠른 팁이 들어 있습니다. 결과는 반복 제작이 쉬운 간소화된 이미지 → 노래 → 오디오 반응형 비디오 파이프라인이며, 스타일 태그와 가사를 조정해 트랙을 다시 생성하고 비디오를 다시 렌더링해 의도에 맞을 때까지 반복할 수 있습니다.
API
코드에서 이 워크플로우 사용하기
모든 Comfy 워크플로우는 JSON 그래프입니다. 아래 페이로드는 이 워크플로우 그 자체로, ComfyUI에서 실행되는 것과 동일합니다 — URL에서 가져오거나, 버전 관리에 보관하거나, ComfyUI에서 불러와 노드별로 실행할 수 있습니다.
Comfy SDK로 TypeScript 또는 Python에서 실행하세요. 동일한 코드는 Comfy Cloud 또는 직접 호스팅하는 ComfyUI 모두에 적용됩니다 — 기본 URL만 다릅니다.
// Install (beta)
npm i @comfyorg/sdk
// Run this workflow (TypeScript)
import { Comfy } from "@comfyorg/sdk";
const client = new Comfy({ apiKey: "comfyui-..." });
const wf = await client.workflows.fromFile("workflow_api.json");
const job = await client.run(wf);
await job.getOutputs("<output-node-id>")[0].toFile("output.png");SDK는 API 형식의 워크플로우를 사용합니다: 이 워크플로우를 ComfyUI에서 열고 파일 → 워크플로우 내보내기(API)를 사용하세요.
FAQ
