노래 생성기
이 앱은 Ace-Step 1.5XL을 사용해 전체 곡을 생성하며, 장르 선택과 가사 작성(자동/수동)을 지원합니다.
정보
Song Generator는 Ace-Step 1.5XL 오디오 모델로 완성된 곡을 합성하는 ComfyUI 워크플로입니다. 가사는 두 가지 경로를 지원합니다. 자동 모드에서는 짧은 주제를 BPM 및 재생 시간에 맞는 가사로 확장하고, 수동 모드에서는 당신의 텍스트를 그대로 붙여넣습니다. ComfySwitchNode가 두 경로를 라우팅한 뒤, TextEncodeAceStepAudio1.5가 가사를 인코딩해 오디오 모델을 가이드합니다. 결과는 PreviewAny로 미리듣기할 수 있고 SaveAudioAdvanced로 내보낼 수 있습니다.
내부적으로 UNETLoader와 VAELoader가 Ace-Step 1.5XL 체크포인트를 로드합니다. EmptyAceStep1.5LatentAudio는 목표 재생 시간에 맞는 잠재 데이터 오디오 캔버스를 할당합니다. ModelSamplingAuraFlow가 모델용 샘플러를 구성하고, KSampler가 TextEncodeAceStepAudio1.5에서 만든 조건화를 사용해 해당 잠재 데이터에서 반복 디노이징을 수행합니다. ConditioningZeroOut은 사용하지 않는 선택적 네거티브 조건화를 안전하게 0으로 만드는 용도로 포함되어 있습니다. 샘플링 후 VAEDecodeAudio가 잠재 데이터를 파형으로 변환해 모니터링 및 내보내기를 가능하게 합니다.
BPM/재생 시간 인지 가사 모듈은 PrimitiveInt/PrimitiveFloat로 BPM과 목표 길이를 입력받고, StringReplace로 그 값을 작사 지시문에 주입한 다음, TextGenerate로 트랙 길이에 맞는 절/후렴 구조의 가사를 생성합니다. StringCompare는 입력이 비어 있는지 감지하는 데 도움을 주며, ComfySwitchNode는 자동 가사와 PrimitiveStringMultiline 노드의 수동 가사 사이를 깔끔하게 선택합니다. DualCLIPLoader/CLIPLoader는 선택적으로 CLIP 스타일의 텍스트 조건화를 섞는 워크플로에 대비해 포함되어 있지만, 기본 경로는 Ace-Step용 TextEncodeAceStepAudio1.5를 사용합니다.
제공할 항목
- 워크플로 읽는 중
ComfyUI에서 실행됩니다. 이 워크플로는 이 페이지에서 실행할 수 없습니다. 모든 항목이 로드된 Comfy Cloud에서 열거나, 자체 ComfyUI에서 사용하려면 다운로드하세요.
Cloud에서 사용해 보기워크플로 내부
노드 그래프의 읽기 전용 미리보기입니다. 노드를 편집하려면 Comfy Cloud에서 열거나 다운로드하세요.
Loading the graph
Open full-size workflow preview코드에서 이 워크플로 사용하기
가능한 경우 워크플로 그래프와 입력을 기반으로 생성되며, 그렇지 않은 경우 저장된 예시가 표시됩니다. 비용이 발생할 수 있으므로 코드를 실행하기 전에 자격 증명과 엔드포인트를 검토하세요.
What you need
- Runs on
- Comfy Cloud
- 키
- COMFY_API_KEY
유료 Cloud 요금제와 크레딧이 필요합니다.
# Python 3.10+: pip install comfy-sdk==0.4.0
import os
from comfy_sdk import Comfy
api_key = os.environ.get("COMFY_API_KEY", "").strip()
if not api_key: raise RuntimeError("Set COMFY_API_KEY")
os.environ.setdefault("COMFY_BASE_URL", "https://cloud.comfy.org")
client = Comfy(api_key=api_key)
workflow = client.workflows.from_json({
"3": {
"class_type": "KSampler",
"inputs": {
"cfg": 1,
"denoise": 1,
"latent_image": [
"98",
0
],
"model": [
"78",
0
],
"negative": [
"47",
0
],
"positive": [
"94",
0
],
"sampler_name": "euler",
"scheduler": "simple",
"seed": 0,
"steps": 12
},
"_meta": {
"title": "KSampler"
}
},
"18": {
"class_type": "VAEDecodeAudio",
"inputs": {
"samples": [
"3",
0
],
"vae": [
"106",
0
]
},
"_meta": {
"title": "VAE Decode Audio"
}
},
"47": {
"class_type": "ConditioningZeroOut",
"inputs": {
"conditioning": [
"94",
0
]
},
"_meta": {
"title": "Conditioning Zero Out"
}
},
"78": {
"class_type": "ModelSamplingAuraFlow",
"inputs": {
"model": [
"104",
0
],
"sampling": "flow",
"shift": 3
},
"_meta": {
"title": "ModelSamplingAuraFlow"
}
},
"94": {
"class_type": "TextEncodeAceStepAudio1.5",
"inputs": {
"bpm": [
"129",
0
],
"cfg_scale": 2,
"clip": [
"105",
0
],
"duration": [
"128",
0
],
"generate_audio_codes": True,
"keyscale": "E minor",
"language": "en",
"lyrics": [
"116",
0
],
"min_p": 0,
"seed": 1103026267678031,
"tags": "Lo-fi hip-hop chill track with mellow electric piano, soft vinyl crackle, subtle synth pads, low-pass filtered drums, percussion loops, and soft plucked bass for a relaxed, dreamy vibe.",
"temperature": 0.85,
"timesignature": "4",
"top_k": 0,
"top_p": 0.9
},
"_meta": {
"title": "TextEncodeAceStepAudio1.5"
}
},
"98": {
"class_type": "EmptyAceStep1.5LatentAudio",
"inputs": {
"batch_size": 1,
"seconds": [
"128",
0
]
},
"_meta": {
"title": "Empty Ace Step 1.5 Latent Audio"
}
},
"104": {
"class_type": "UNETLoader",
"inputs": {
"unet_name": "acestep_v1.5_xl_turbo_bf16.safetensors",
"weight_dtype": "default"
},
"_meta": {
"title": "Load Diffusion Model"
}
},
"105": {
"class_type": "DualCLIPLoader",
"inputs": {
"clip_name1": "qwen_0.6b_ace15.safetensors",
"clip_name2": "qwen_4b_ace15.safetensors",
"device": "default",
"type": "ace"
},
"_meta": {
"title": "Load CLIP (Dual)"
}
},
"106": {
"class_type": "VAELoader",
"inputs": {
"vae_name": "ace_1.5_vae.safetensors"
},
"_meta": {
"title": "Load VAE"
}
},
"111": {
"class_type": "SaveAudioAdvanced",
"inputs": {
"audio": [
"18",
0
],
"filename_prefix": "audio/ACE_Step1.5_xl_turbo",
"format": "mp3",
"format.quality": "V0"
},
"_meta": {
"title": "Save Audio (Advanced)"
}
},
"112": {
"class_type": "PrimitiveStringMultiline",
"inputs": {
"value": "An upbeat electronic anthem about building workflows in ComfyUI — connecting nodes late at night and watching the render come through."
},
"_meta": {
"title": "User: song topic (USER_INPUT)"
}
},
"113": {
"class_type": "CLIPLoader",
"inputs": {
"clip_name": "qwen3.5_4b_bf16.safetensors",
"device": "default",
"type": "stable_diffusion"
},
"_meta": {
"title": "CLIP Loader (Qwen LLM for lyrics)"
}
},
"114": {
"class_type": "StringReplace",
"inputs": {
"find": "USER_INPUT",
"replace": [
"112",
0
],
"string": "You are a professional songwriter. Write complete, singable lyrics about the topic below.\n\nThe song is about TARGET_DURATION seconds long at TARGET_BPM BPM. Write enough sections to fill that length naturally:\n- around 120-150s: 2 verses + 2 choruses.\n- around 180-240s: also add a bridge.\n- 210s or more: also add a short intro and outro.\nAt slower tempo (under 90 BPM) use fewer words per line; at faster tempo (over 130 BPM) you can fit more, but keep every line easy to sing in one breath.\n\nOutput ONLY the lyrics — no title, no notes, no explanation.\n\nPut each section tag on its own line, e.g. [Intro], [Verse 1], [Chorus], [Verse 2], [Bridge], [Outro].\n\nRules:\n- Blank line between sections.\n- 6-10 syllables per line; keep lines within a section a similar length.\n- Rhyme the verses; give the chorus one short, repeatable hook.\n- Stay with ONE core image or metaphor.\n- Plain, concrete lines a singer can breathe through — no stacked adjectives or vague filler (neon skies, electric hearts, endless dreams).\n\nTopic: USER_INPUT\nLyrics:"
},
"_meta": {
"title": "Lyrics Prompt (fill USER_INPUT)"
}
},
"115": {
"class_type": "TextGenerate",
"inputs": {
"clip": [
"113",
0
],
"max_length": 512,
"mtp": "auto",
"prompt": [
"132",
0
],
"sampling_mode": "on",
"sampling_mode.min_p": 0.05,
"sampling_mode.presence_penalty": 0,
"sampling_mode.repetition_penalty": 1.05,
"sampling_mode.seed": 35146436134,
"sampling_mode.temperature": 0.7,
"sampling_mode.top_k": 64,
"sampling_mode.top_p": 0.95,
"thinking": False,
"use_default_template": True
},
"_meta": {
"title": "Qwen TextGenerate (lyrics)"
}
},
"116": {
"class_type": "ComfySwitchNode",
"inputs": {
"on_false": [
"117",
0
],
"on_true": [
"115",
0
],
"switch": [
"121",
0
]
},
"_meta": {
"title": "Switch (auto: LLM if manual empty)"
}
},
"117": {
"class_type": "PrimitiveStringMultiline",
"inputs": {
"value": ""
},
"_meta": {
"title": "Manual lyrics (leave EMPTY to auto-generate)"
}
},
"119": {
"class_type": "PreviewAny",
"inputs": {
"source": [
"116",
0
]
},
"_meta": {
"title": "Preview Lyrics"
}
},
"121": {
"class_type": "StringCompare",
"inputs": {
"case_sensitive": True,
"mode": "Equal",
"string_a": [
"117",
0
],
"string_b": ""
},
"_meta": {
"title": "Compare Text (manual lyrics == empty)"
}
},
"127": {
"class_type": "PreviewAny",
"inputs": {
"source": [
"129",
0
]
},
"_meta": {
"title": "bpm to string"
}
},
"128": {
"class_type": "PrimitiveFloat",
"inputs": {
"value": 120
},
"_meta": {
"title": "Float (Duration)"
}
},
"129": {
"class_type": "PrimitiveInt",
"inputs": {
"value": 90
},
"_meta": {
"title": "Int (bpm)"
}
},
"130": {
"class_type": "PreviewAny",
"inputs": {
"source": [
"128",
0
]
},
"_meta": {
"title": "duration to string"
}
},
"131": {
"class_type": "StringReplace",
"inputs": {
"find": "TARGET_DURATION",
"replace": [
"130",
0
],
"string": [
"114",
0
]
},
"_meta": {
"title": "Inject DURATION (TARGET_DURATION)"
}
},
"132": {
"class_type": "StringReplace",
"inputs": {
"find": "TARGET_BPM",
"replace": [
"127",
0
],
"string": [
"131",
0
]
},
"_meta": {
"title": "Inject BPM (TARGET_BPM)"
}
}
})
# run() also passes api_key to the partner nodes in this workflow.
job = client.run(workflow, api_key=api_key)질문과 답변
Yes. Point UNETLoader and VAELoader to the Ace-Step 1.5XL UNet and VAE checkpoints. The workflow relies on TextEncodeAceStepAudio1.5 for conditioning, so ensure the corresponding text encoder resources are available as packaged with Ace-Step.
Duration is enforced by the latent length from EmptyAceStep1.5LatentAudio, so the output length will match closely. BPM guides the lyric density via TextGenerate and prompt injection but does not force strict metronomic alignment; treat it as a strong narrative/timing hint rather than a beat-locked constraint.
Yes. Switch to the Manual path and paste lyrics into PrimitiveStringMultiline. The ComfySwitchNode routes your text directly to TextEncodeAceStepAudio1.5 for conditioning before generation.
Try increasing KSampler steps moderately, lowering CFG if the sound is harsh, and keeping prompts concise and specific. Ensure the correct Ace-Step VAE is loaded, and avoid overly long durations on a single pass if you encounter instability.