Разделение аудио MelBandRoFormer
Загрузите аудиофайл и разделите его на вокальные и инструментальные дорожки с помощью модели MelBandRoFormer. Выводит два MP3-файла для изолированного вокала и фоновой музыки.
Попробовать пример
Об этом рабочем процессе
Этот рабочий процесс ComfyUI выполняет качественную изоляцию вокала с помощью модели MelBandRoFormer. Он берёт один сведённый аудиотрек и разделяет его на два стема: вокал и инструментальное сопровождение. Пайплайн начинается с LoadAudio для загрузки исходного файла, затем MelBandRoFormerModelLoader загружает предобученные веса (MelBandRoformer_fp16.safetensors) из models/diffusion_models. Основное разделение выполняется в MelBandRoFormerSampler: он делает вывод и выдаёт два аудио-тензора — для вокала и для фоновой музыки — готовые к экспорту через парные ноды SaveAudioMP3.
Технически MelBandRoFormer использует transformer-архитектуру, работающую в разделённом по полосам времени–частотном представлении, чтобы оценивать компоненты источников. На практике это означает, что модель учится строить маски, подавляющие аккомпанемент при извлечении вокала и наоборот, что даёт более чистые стемы с меньшим количеством музыкальных артефактов. Встроенная MarkdownNote даёт подсказки прямо на холсте. Поскольку рабочий процесс построен на нодах, вы легко можете заменить SaveAudioMP3 на сохранение в WAV, менять имена выходных файлов или настраивать параметры Sampler вроде chunking/overlap (если они доступны в вашей версии ноды), чтобы балансировать скорость, расход памяти и качество разделения.
Вопросы и ответы
Для приемлемой скорости настоятельно рекомендуется современный GPU. Некоторые конфигурации могут работать на CPU, но обработка будет значительно медленнее. Если на GPU возникают проблемы с памятью, уменьшите размер чанка или увеличьте параметры overlap в Sampler (если доступны), чтобы управлять VRAM.
LoadAudio обычно принимает распространённые форматы, такие как WAV, MP3 и FLAC. В предоставленном рабочем процессе сохраняются MP3-стемы через SaveAudioMP3. Если нужен lossless-выход, замените ноду сохранения на вариант WAV в ComfyUI.
Попробуйте увеличить overlap или настроить размер чанка в MelBandRoFormerSampler, если эти параметры доступны в вашей версии ноды. Также убедитесь, что вход не клиппится, и по возможности избегайте чрезмерно сжатых мастер-треков. Для финальной доводки можно применить лёгкий noise gate или спектральный денойзинг к вокальному стему.
Этот рабочий процесс настроен на два стема: вокал и инструментал. Для многоканального разделения используйте модель и рабочий процесс, рассчитанные на 4- или 5-стемный выход, или создайте вариант, который последовательно использует модели под конкретные источники.