ACE-Step 1.5XL SFT:텍스트를 음악으로

4B 파라미터 SFT 모델을 사용하여 텍스트 프롬프트에서 고품질 음악을 생성합니다. CFG로 출력을 제어하여 프롬프트를 정확히 따르도록 합니다.

Input

Song lyrics with section tags like [Verse] and [Chorus]. Leave empty for an instrumental.

Genre, tempo, key, mood, instruments, arrangement and vocal style.

Length of the song.

Advanced settings

Tempo in beats per minute.

Default: 120

How closely the music follows the description.

Default: 7

Musical key and scale.

Language the lyrics are sung in.

Leave empty for a new result each run. Enter a number to repeat one.

The SFT model is tuned for about 50 steps; fewer is faster but rougher.

Default: 50

Beats per bar (4 = 4/4).

Output
Example
00:00

예시 사용해 보기

이 워크플로 정보

이 ComfyUI 워크플로는 ACE-Step 1.5XL SFT (4B) 모델을 사용해 텍스트 프롬프트를 완성된 음악으로 변환합니다. 오디오에 맞게 조정된 익숙한 디퓨전 파이프라인을 따릅니다. DualCLIPLoader 및 TextEncodeAceStepAudio1.5가 프롬프트(및 선택적 네거티브 프롬프트)를 조건으로 변환하고, EmptyAceStep1.5LatentAudio가 선택한 재생 시간에 맞는 잠재 데이터 오디오 캔버스를 생성합니다. UNETLoader가 ACE-Step 1.5XL SFT 모델을 로드하며, KSampler가 CFG로 가이드되는 반복 디노이징을 수행합니다. ModelSamplingAuraFlow는 ACE-Step 오디오에 맞춘 샘플러 전략을 구성하고, VAELoader + VAEDecodeAudio가 최종 잠재 데이터를 다시 파형으로 변환한 뒤 SaveAudioMP3가 디스크에 저장합니다.

기술적으로 CFG(classifier-free guidance)는 창의성 및 프롬프트 준수 정도를 균형 있게 조절하게 해줍니다. 낮은 CFG 값은 더 넓게 탐색하고, 높은 값은 텍스트를 더 엄격하게 따릅니다. ConditioningZeroOut는 네거티브 프롬프트를 지정하지 않았을 때 깨끗한 무조건 분기를 제공해 가이드를 안정화합니다. 워크플로 그룹(모델, 재생 시간, 프롬프트)을 통해 체크포인트를 바꾸고, 초 단위를 설정하며, 프롬프트를 반복 개선하기 쉽습니다. 결과적으로 장르, 분위기, 악기, 구조를 빠르게 반복할 수 있는 실용적이고 재현 가능한 텍스트-투-뮤직 파이프라인으로, 아이데이션, 임시 스코어링, 배경 트랙에 적합합니다.

질문과 답변