ElevenLabs: Речь в речь
Загрузите исходный аудиофайл, чтобы применить новый тон голоса или клонировать другой голос, создавая измененный аудиовыход.
Попробовать пример
Об этом рабочем процессе
Этот рабочий процесс ComfyUI выполняет конвертацию голоса через ElevenLabs Speech-to-Speech API. Вы даёте исходный аудиоклип (через LoadAudio или RecordAudio), выбираете целевой голос (через ElevenLabsVoiceSelector для готового голоса или ElevenLabsInstantVoiceClone, чтобы создать новый клон), и нода ElevenLabsSpeechToSpeech генерирует новую запись, сохраняя тайминг и содержимое оригинала, но меняя тембр под выбранный голос. Результат можно сохранить через SaveAudioMP3 или SaveAudioOpus.
Технически пайплайн передаёт исходную волну в ElevenLabsSpeechToSpeech вместе с ID целевого голоса. В варианте 1 ElevenLabsVoiceSelector обращается к вашему аккаунту ElevenLabs и отдаёт выбранный голос для прямого использования. В варианте 2 ElevenLabsInstantVoiceClone загружает чистый референс-сэмпл и возвращает новый голосовой ресурс, который затем подаётся в Speech-to-Speech ноду. Нода Note содержит подсказки, а некоторые ноды изначально находятся в обходе, чтобы вы включали только то, что нужно. Такой дизайн упрощает A/B-сравнение готовых голосов и instant-клонов, а явные ноды сохранения помогают держать управление файлами под контролем.
Вопросы и ответы
Да. Ноды ElevenLabsVoiceSelector, ElevenLabsInstantVoiceClone и ElevenLabsSpeechToSpeech обращаются к API ElevenLabs. Добавьте API-ключ в ноды или в конфигурацию ComfyUI, как указано в ноде Note.
Используйте чистые записи с одним говорящим, с минимумом фонового шума и реверберации. Держите ровные уровни без клиппинга и избегайте музыки. Обычно достаточно 30–60 секунд для Instant Voice Clone.
SaveAudioMP3 даёт максимально совместимый файл для распространения. SaveAudioOpus даёт меньший размер при сопоставимом воспринимаемом качестве — полезно для веба или воспроизведения в приложениях, хотя некоторым Рабочим процессам может требоваться MP3.
Да. Аудио для выбора голоса, клонирования и speech-to-speech обрабатывается серверами ElevenLabs через их API. Ознакомьтесь с условиями, политикой конфиденциальности и лимитами использования в панели ElevenLabs.