Сотрудники Сибирского государственного университета науки и технологий имени академика Решетнева разработали метод, который должен помочь в борьбе с дезинформацией, предоставляемой искусственным интеллектом. Эта технология может быть использована в сфере образования, на «Госуслугах», а также в медицине и правосудии.
В университете подчёркивают, что нейросети могут легко создавать «галлюцинации». На данный момент для борьбы с ложной информацией применяются RAG-системы: искусственный интеллект сначала находит соответствующую информацию в базе данных, а затем формирует ответ на её основе. Данная технология уменьшает вероятность появления «галлюцинаций», однако из-за опечаток в текстах или неполноты базы данных нейросети всё равно могут выдавать недостоверные ответы.
«Для решения этой задачи команда под руководством доцента кафедры систем автоматизированного и интеллектуального обеспечения Анастасии Поляковой проанализировала типовые сценарии “галлюцинаций” и разработала их классификатор. Затем был создан автоматизированный пайплайн стресс-тестирования: система генерирует тестовые запросы, сопоставляет ответы с эталоном и оценивает точность с помощью специальных метрик и семантического сходства», – сообщает издание «РИА Новости» со ссылкой на заявление университета.
Основным результатом стал прототип модуля, который анализирует диалог в реальном времени. Каждый ответ нейросети получает «балл уверенности». В случае выявления ошибки или сомнительной информации оператор сразу получает сигнал об этом.
Также подчеркивается, что технология не связана с какой-либо конкретной нейросетью, что позволяет использовать её на различных платформах. Она одинаково эффективна как в простых чат-ботах, так и в критически важных сервисах.
Ранее компания «Рексофт» представила на рынке новое решение – Reksoft AI Compliance. Это универсальный акселератор на базе генеративного искусственного интеллекта, который предназначен для автоматизации полного цикла работы с документами – от первичного ознакомления до окончательной редакции.
В Шереметьево появилась посадка в самолет по биометрии
