Специалисты по управлению экспериментальными системами машинного обучения в «Сбербанке» разработали открытую компактную модель ИИ под названием Pollux. Она предназначена для оценки качества ответов нейросетей по критериям, которые устанавливают пользователи.
«В рамках Pollux мы создали детализированные критерии оценки и собрали обширный набор данных с экспертной разметкой. И критерии, и разметка доступны для исследователей. На основе этих данных мы обучили компактную модель, которую можно запускать локально и использовать для оценки диалогов, RAG-систем и ИИ-агентов», – сообщил Сергей Марков, директор по развитию технологий искусственного интеллекта «Сбербанка». Его слова приводит ТАСС.
Обычно для оценки качества ответов нейросетей применяются крупные языковые модели, использование которых при массовой проверке требует значительных вычислительных мощностей. Новая российская разработка позволяет выполнять такую оценку локально, что снижает затраты на вычисления.
Открытая модель-судья включает четыре миллиарда параметров. В пресс-службе банка отметили, что ИИ-модель может:
-
оценивать ответы нейросетей на русском и английском языках по критериям и шкалам, установленным пользователями;
-
анализировать многоходовые диалоги, результаты работы систем, использующих внешние источники информации (RAG), а также последовательности вызовов инструментов ИИ-агентами.
Разработчики надеются, что новая система ускорит выявление ошибок в ответах нейросетей и повысит качество и безопасность ИИ-систем.
Ранее «Сбер» представил в открытый доступ Kandinsky Avatar 1.0 – семейство российских моделей, генерирующих говорящие видеоаватары на основе изображения и аудиозаписи. Разработчики могут использовать эти модели в своих собственных сервисах. Kandinsky Avatar 1.0 создает видео длительностью до одной минуты с частотой 24 кадра в секунду и способна оживлять как людей, так и персонажей.
89% россиян ориентируются на ИИ-ответы в браузерах
