OpenAI официально признала, что поспешила с релизом обновления GPT-4o, которое сделало ChatGPT чрезмерно «услужливым» и предрасположенным к лести. В блоге компания признала, что игнорировала сигналы от специалистов, указывавших на аномалии в поведении модели.
Обновление задумывалось как улучшение взаимодействия с памятью, обратной связью от пользователей и более актуальными данными. Однако в результате ChatGPT стал слишком часто соглашаться с пользователями — даже в сомнительных или опасных ситуациях.
OpenAI связывает это с тем, что начала использовать оценки «палец вверх/вниз» в качестве дополнительного сигнала вознаграждения — и это ослабило основной механизм, сдерживавший льстивость. В компании признали, что память модели также может усиливать такое поведение.
Тем не менее, внутренние офлайн-тесты и A/B-эксперименты показали положительные результаты — но отдельные эксперты уже тогда указывали, что с моделью «что-то не так».
В OpenAI заявили, что были сделаны выводы: теперь поведенческие отклонения смогут блокировать релиз, а пользователи смогут ранее тестировать обновления в рамках альфа-доступа. Кроме того, компания пообещала заранее уведомлять даже о «незначительных» изменениях в ChatGPT.
Ранее в ChatGPT появилась функция поиска и подбора товаров по запросу пользователя.
