Séparation audio MelBandRoFormer
Chargez un fichier audio et séparez-le en pistes vocales et instrumentales à l'aide du modèle MelBandRoFormer. Produit deux fichiers MP3 pour les voix isolées et la musique de fond.
Essayer un exemple
À propos de ce workflow
Ce workflow ComfyUI réalise une isolation vocale de haute qualité grâce au modèle MelBandRoFormer. Il prend une piste audio mixte et la sépare en deux stems : voix isolée et accompagnement instrumental. Le pipeline commence par LoadAudio pour charger votre fichier source, puis MelBandRoFormerModelLoader charge les poids pré-entraînés (MelBandRoformer_fp16.safetensors) depuis models/diffusion_models. La séparation principale s’effectue dans MelBandRoFormerSampler, qui effectue l’inférence et produit deux tensors audio — un pour la voix, un pour la musique — prêts à être exportés via deux nœuds SaveAudioMP3.
Techniquement, MelBandRoFormer utilise une architecture de type transformer opérant dans l’espace temps–fréquence, découpé en bandes, pour estimer les sources. En pratique, il apprend des masques qui suppriment l’accompagnement lors de l’extraction de la voix, et inversement, ce qui donne des stems plus propres avec moins d’artefacts musicaux. Le MarkdownNote inclus fournit des conseils directement dans le canvas. Comme le workflow est piloté par des nœuds, vous pouvez facilement remplacer SaveAudioMP3 par un exporteur WAV, changer les noms de fichiers de sortie, ou ajuster les options du Sampler comme le découpage/recouvrement (si disponible dans votre version de nœud) pour équilibrer vitesse, mémoire et qualité de séparation.
Questions-réponses
Un GPU moderne est fortement recommandé pour des vitesses raisonnables. Certains systèmes peuvent fonctionner sur CPU, mais le traitement sera beaucoup plus lent. En cas de problème de mémoire sur GPU, réduisez la taille des chunks ou augmentez le recouvrement dans le Sampler (si disponible) pour gérer la VRAM.
LoadAudio accepte généralement les formats courants comme WAV, MP3 et FLAC. Le workflow fourni enregistre les stems en MP3 via SaveAudioMP3. Pour une sortie sans perte, remplacez le nœud d’export par une variante WAV dans ComfyUI.
Essayez d’augmenter le recouvrement ou d’ajuster la taille des chunks dans MelBandRoFormerSampler si ces contrôles sont disponibles. Assurez-vous aussi que l’entrée n’est pas saturée et évitez les masters trop compressés. Pour une finition, appliquez un léger noise gate ou un débruitage spectral sur la piste vocale.
Ce workflow est configuré pour deux stems : voix et instrumental. Pour une séparation multi-stems, utilisez un modèle et un workflow conçus pour 4 ou 5 stems, ou créez une variante en chaînant des modèles ciblant des sources spécifiques.
Workflows associés
- Chatter Box
Chatter Box : Clonage vocal avec TTS
- Chatter Box
Chatter Box : Conversation multi-interlocuteurs avec des voix clonées
- Chatter Box
Chatter Box : Conversion audio par clonage vocal
- Chatter Box
Chatter Box : Synthèse vocale multilingue avec clonage vocal
- ElevenLabs
ElevenLabs : De la parole au texte
- ElevenLabs
ElevenLabs : Isolation Vocale
- ElevenLabs
ElevenLabs : Synthèse vocale
- ElevenLabs
ElevenLabs : Texte vers Dialogue
- ElevenLabs
ElevenLabs : Voix à voix
- Nœud partenaire
Fish Audio: Speech to Text
- Nœud partenaire
Fish Audio: Text to Speech
- Nœud partenaire
Fish Audio: Voice Clone to Speech