ElevenLabs представила SFX v3 — новую модель для создания звуковых эффектов на основе текстового описания. Она способна генерировать сложные звуковые сцены, в которых несколько событий происходят в установленной последовательности.
Компания повысила качество звука, улучшила генерацию музыкальных элементов и голосов. Модель теперь более точно интерпретирует запрос: учитывает отдельные детали и воспроизводит звуки в заданном порядке. Более подробно в статье Postium.
Читайте также: 10 лучших нейросетей для создания музыки
Что умеет нейросеть ElevenLabs SFX v3
Основным нововведением стала генерация нескольких связанных звуковых событий по одному запросу. Пользователю достаточно описать всю сцену, а нейросеть создаст её звуковое оформление.
К примеру, в демонстрационном материале ElevenLabs модель воспроизводит шум ликующей толпы, звук падающего мяча, а затем недовольный гул и свист зрителей. Все три события были описаны в одном запросе.
В другом примере компания демонстрирует спортивную сцену с голосом судьи. SFX v3 генерирует звуки окружения и голосовые компоненты, принимая во внимание детали описания.
По утверждению ElevenLabs, новая версия лучше справляется с многоступенчатыми запросами, точнее передаёт отдельные звуки и создаёт более насыщенное аудио. Это будет полезно для озвучивания видео, игр, анимации и коротких клипов.
Где доступна SFX v3 и как пользоваться
Модель уже доступна в ElevenCreative: в разделах Flows, Sound Effects, Studio и музыкальном редакторе. Она также доступна в мобильном приложении ElevenLabs и через API.
Для генерации откройте Sound Effects, опишите необходимые звуки и их последовательность. Можно задать длительность, настроить точность следования запросу и включить зацикливание. Максимальная продолжительность одной генерации — 30 секунд.
Кроме того, ранее ElevenLabs представила Eleven Realtime — серию моделей для голосовых ИИ-агентов. Они поддерживают разговор в реальном времени, понимают перебивания, а старшая модель начинает отвечать в среднем через 0,57 секунды.
