Команда ученых из Санкт-Петербургского Федерального исследовательского центра РАН (СПб ФИЦ РАН) на основе нейросетевых технологий разработала программное приложение MASAI, которое может проанализировать видео, аудио и текст для распознавания естественных человеческих эмоций. Эта система позволит создать более эффективных цифровых ассистентов.
Программа MASAI представлена в виде приложения, в которое возможно загрузить любые аудиовизуальные файлы. Нейросети, лежащие в основе этого приложения, были обучены на более чем десятке открытых баз данных с мультиязычной аудиовизуальной информацией. Кроме того, были привлечены молодые актеры из театральных вузов России для имитации различных эмоций.
«В процессе разработки данной задачи мы создали интеллектуальную систему MASAI для многомодального анализа видео, звука и текста, которая позволяет распознавать человеческие эмоции, такие как радость, злость, грусть и другие эмоциональные состояния. Также программа способна выполнять сентимент-анализ, определяя отношение человека к определенному событию: негативное, позитивное или нейтральное», – приводит слова одного из авторов разработки, руководителя лаборатории речевых и многомодальных интерфейсов СПб ФИЦ РАН Алексея Карпова издание «Хабр».
В результате система научилась выявлять семь основных человеческих эмоций, принятых в психологии: радость, грусть, страх, отвращение, удивление, злость и спокойствие.
По словам ученых, для дальнейшего внедрения ИИ и подобных систем необходимо сначала обучить их максимально точно распознавать весь диапазон информации, которую передает пользователь – от устной речи, мимики и жестов до текстов. Кроме того, они должны функционировать эффективно в любых условиях, например, в условиях шума или недостатка освещения. В будущем ИИ-сервисы смогут различать сарказм или иронию.
Карпов утверждает, что MASAI уже можно интегрировать в различные цифровые помощники, которые используются в повседневной жизни, например, в службы экстренной помощи или психологической поддержки. Система продемонстрировала, что она на 75-80% эффективнее других подобных программ в распознавании эмоций.
Ранее в Санкт-Петербурге исследователи Лаборатории языковой конвергенции НИУ ВШЭ Анастасия Колмогорова и Елизавета Куликова создали «словарь нового поколения», предназначенный для обучения ИИ. Он поможет нейросети в распознавании человеческих эмоций.
АКИ и RuStore создадут экосистему для игровых разработчиков
