Компания Block, основанная Джеком Дорси, представила голосовую модель под названием Dessa. Разработчики утверждают, что её обучили с нуля исключительно на аудиозаписях человеческих разговоров, без использования текстовых данных и готовых предобученных моделей.
Dessa способна одновременно слушать собеседника и отвечать. Она может начать разговор до того, как человек завершит свою реплику, реагируя смехом или кратким подтверждением, не дожидаясь своей очереди после каждого предложения.
Читайте также: Нейросети для создания музыки и песен
Как разговаривает Dessa
Модель принимает звук и отвечает звуком, минуя промежуточный этап преобразования речи в текст. Этот подход позволяет учитывать интонации, паузы, вздохи и эмоции голоса, которые могут быть потеряны при традиционной расшифровке.
Block утверждает, что Dessa способна распознавать сарказм, смех и признаки огорчения в речи. Модель также определяет, когда следует вступить в разговор, и самостоятельно выбирает содержание ответа, скорость и интонацию.
На сайте доступны записи нескольких диалогов. В одном из них Dessa смеётся в середине реплики собеседника и повышает голос, реагируя на просьбу говорить громче. В другом случае она помогает вспомнить название фильма. Среди демонстраций также представлены беседы о неожиданном подарке и разговор с голосовой моделью GPT-Live-1.
По словам Block, это записи общения, где не было вмешательства человека в ответы модели во время диалога, а субтитры были добавлены позже. Тем не менее, демонстрации показывают и ограничения Dessa: как отмечает The Verge, модель может ошибочно принять собеседника за другого человека или неожиданно отвлечься от темы.
Кому доступна модель
На данный момент Dessa остаётся исследовательским проектом. Block приглашает небольшую группу специалистов по безопасности ИИ для раннего доступа с целью проверки рисков, которые могли остаться незамеченными на этапе разработки. На сайте также имеется форма для записи в список ожидания.
Согласно данным Block, Dessa может работать локально на MacBook Pro с чипом M4 Max или более мощном компьютере, обрабатывая речь быстрее, чем она звучит. Однако компания пока не опубликовала на странице анонса файлы модели, инструкции по установке или документацию API и не указала дату общего запуска.
Block также сообщила, что для обучения Dessa использовалась вычислительная система NVIDIA GB200 NVL72. Список поддерживаемых языков и подробные системные требования пока не раскрыты.
Ранее OpenAI представила GPT-Live — новую голосовую модель для ChatGPT.
Изображения: theverge.com/ai-artificial-intelligence/1017906/jack-dorsey-block-dessa-ai-voice-speech, block.xyz/dessa
