Эксперты компании SPLX обнаружили метод обхода CAPTCHA, широко используемой для различения человека и бота на веб-сайтах, с применением ChatGPT в агентском режиме. Этот режим позволяет модели самостоятельно выполнять задания в интернете, взаимодействуя с различными сайтами.
Исследователи и эксперты в области информационной безопасности использовали технику промпт-инъекции, чтобы обмануть ChatGPT, заставив его воспринимать CAPTCHA как «фейк» или тест, который нужно пройти по умолчанию. В результате алгоритм смог обойти защиту, решая текстовые и более сложные визуальные задачи, которые ранее считались практически непробиваемыми для подобных моделей, как сообщает TechRadar.
Специалисты предупреждают, что данная уязвимость угрожает многим онлайн-платформам, так как злоумышленники теперь могут разрабатывать ботов, способных без труда публиковать комментарии, создавать поддельные аккаунты и инициировать автоматизированные атаки. Системы, полагающиеся на CAPTCHA для защиты от спама и мошенничества, могут оказаться значительно менее надежными.
Промпт-инъекции – это известный метод манипуляции и обхода ограничений у крупных языковых моделей, но в случае с ChatGPT Agent масштабы проблемы увеличиваются, фактически позволяя модели действовать как настоящий человек в интернете.
В то же время, система на основе ИИ, способная анализировать видеопоток с камер наблюдения и выявлять подозрительные действия за доли секунды, с января по август 2025 года предотвратила кражи в торговых залах России на сумму более 2,2 млрд рублей.
Исследование: мошенники перешли на обратный звонок
