Компания ElevenLabs представила Eleven Realtime — новую серию моделей для голосовых ИИ-агентов. Эти модели могут вести беседы в реальном времени, понимать перебивания и отвечать на сложные вопросы. Старшая версия начинает говорить в среднем через 0,57 секунды после того, как пользователь сделал реплику.
Компания выпустила две модели: Eleven Realtime v1 Mini для быстрых диалогов и v1 Max для более сложных задач, включая поддержку клиентов и взаимодействие с внешними сервисами. Подробности в материале Postium.
Также читайте: 10 лучших нейросетей для написания сценариев
Нейросеть Eleven Realtime — возможности и работа
Eleven Realtime объединяет распознавание речи, языковую модель и синтез голоса в одной системе. Разработчикам не требуется отдельно подбирать и настраивать каждый элемент.
При этом модели учитывают особенности живого общения: определяют, когда собеседник закончил говорить, реагируют на перебивания и продолжают ответ, если собеседник произносит короткие подтверждения, такие как «угу».
ElevenLabs выпустила две версии:
- Eleven Realtime v1 Mini — быстрая и более доступная модель для голосовых ассистентов, обучающих приложений и интерактивных персонажей. Основное внимание уделено скорости ответа и естественности диалога.
- Eleven Realtime v1 Max — модель для сложных запросов. Она может выполнять многошаговые инструкции, искать информацию через подключенные инструменты и предпринимать действия. Например, уточнять детали заявки, проверять данные клиента и помогать в решении вопросов с заказами.
Обе версии поддерживают более 90 языков и голоса из библиотеки ElevenLabs.
Скорость и результаты тестирования
Согласно тестированию Artificial Analysis, Eleven Realtime v1 Max правильно ответила на 98,8% вопросов в тесте Big Bench Audio, который оценивает способность модели рассуждать над устными запросами.
Среднее время до начала голосового ответа составило 0,57 секунды. Как утверждает ElevenLabs, среди моделей в рейтинге Artificial Analysis нет другой, которая одновременно превосходила бы v1 Max по скорости и точности в этих измерениях.
Как использовать Eleven Realtime
Обе модели доступны на платформе ElevenAgents. Чтобы подключить одну из них, нужно открыть настройки голосового агента, выбрать режим Realtime и затем нужную модель — Mini или Max.
Готового агента можно интегрировать на сайт, телефонную линию, WhatsApp или контакт-центр. Сохраняются возможности платформы, включая базы знаний, инструменты и настройки голоса.
Также доступно использование Realtime API, совместимого с протоколом OpenAI Realtime API. Доступ к новым моделям в ElevenAgents предоставляется поэтапно.
Стоимость формируется из платы за минуты работы агента и использованные токены модели. Версия Max стоит дороже Mini.
Ранее ElevenLabs выпускала отдельные модели для распознавания речи, такие как Scribe v2 Realtime, и генерации голоса, включая Eleven v4. Теперь компания предлагает единую систему для голосового общения, где эти функции уже интегрированы.
