Arenadata представила итоги опроса участников форума «Цифровые решения», касающегося внедрения и контроля искусственного интеллекта в организациях. Результаты показали, что компании активно применяют ИИ, но практически не осуществляют его контроль. В 78% организаций отсутствует действующая политика использования технологии, а более чем в половине случаев сотрудники работают с ней без какого-либо надзора. В то же время 76% респондентов уже применяют ИИ, около двух третей обращаются к американским LLM, и почти 70% замечают, что коллеги передают моделям конфиденциальные данные компании. Эксперты отрасли рассказали IT Speaker о технических решениях, которые помогают минимизировать эти риски.
Уровень зрелости внедрения остается низким. В половине компаний наиболее продвинутый сценарий сводится к использованию чат-ботов, а лишь 12% опрошенных удалось наладить полную автоматизацию бизнес-процессов. Для генерации кода ИИ используют 63% организаций, в то время как агентные сценарии внедрены только у 10%.
В числе популярных моделей выделяются Qwen и ChatGPT – каждая из них используется примерно половиной участников. Американские LLM, как правило, применяются вместе с китайскими и российскими решениями, хотя доля компаний с отечественными моделями не превышает 20%.
Регулирование отстает от реальной практики. DLP-защита была внедрена 26% респондентов, еще 21% полностью запретили публичные модели, а большинство компаний не применяют никаких ограничений. Более половины опрошенных самостоятельно отправляли данные в ИИ, чаще всего считая их неконфиденциальными. Лишь 15% считают недопустимой передачу закрытой информации в ИИ, сообщает CNews.
Генеральный директор «Инфомаксимум» Александр Бочкин отметил, что безопасная архитектура должна обеспечивать как защиту данных, так и корректность выполнения операций, поэтому необходим корпоративный сервис доступа к разрешенным моделям, разграничение прав, контроль вызова инструментов, проверка результатов и ведение журнала действий.
«Права необходимо ограничивать конкретной задачей, поскольку подготовить документ и отправить его – разные полномочия. Важнейшие операции должны требовать верификации человека», – подчеркнул он. Он также добавил, что компания использует гибридный подход: четкие правила реализуются в традиционных алгоритмах, а ИИ подключается для анализа больших массивов данных и подготовки сценариев автоматизации.
Директор проектов Angara Security Валерия Тулякова отметила, что стандартные средства защиты информации – такие как DLP, DAM, DBF и PAM – недостаточны из-за специфики работы ИИ, поэтому защита должна быть комплексной.
«Прокси-серверы с анонимизацией позволяют создать промежуточный слой для перехвата запросов перед отправкой во внешнюю LLM и последующего маскирования данных. Guardrails проверяют данные на входе в модель и на выходе, а AI Security Gateway и AI Firewall становятся единой точкой доступа к LLM», – пояснила она. По ее словам, для безопасной архитектуры необходимы аудит данных, управление ключами, разграничение доступа, фильтрация контекста, DLP, аутентификация, аудит и трассировка, а также регулярные пентесты моделей.
Идеолог продукта «Инкоманд» Алексей Какунин добавил, что нужен не только DLP, но и контролируемый шлюз между сотрудниками и моделями. «Он направляет запросы к разрешенным LLM, проверяет их по правилам и ведет аудит. DLP на рабочих станциях, в браузере и сетевом трафике помогает выявлять персональные данные, коммерческую тайну и секреты. Прямой доступ к публичным сервисам следует ограничить», – отметил он.
Какунин также указал, что DLP сложно настраивать под классификацию данных и реальные процессы, а контролировать множество каналов – браузеры, мобильные устройства, расширения, API и личные аккаунты – особенно трудно при шифровании трафика.
Архитектор по информационной безопасности Getmobit Султан Салпагаров подчеркнул, что в первую очередь нужно выявить и предотвратить использование «теневого ИИ»: «Личные подписки и собственные устройства сотрудников неподконтрольны, и важно отделить их использование от защищаемой информации. А потом уже можно выстраивать DLP на легализованных ИИ-каналах с идентификацией пользователей, фильтрами запросов и протоколированием действий». Он также отметил, что универсального решения для обезличивания данных не существует – уровень маскирования необходимо определять в каждом конкретном случае, а высокая ресурсоемкость разметки данных останавливает внедрение DLP.
Руководитель продукта «Гарда AI Security» Денис Каракай назвал главным риском «теневой ИИ», когда сотрудники отправляют данные в публичные модели через браузеры, IDE и API.
«NGFW контролирует доступ к сервисам, DLP выявляет защищаемые сведения, AI Firewall добавляет специализированный уровень: понимает структуру взаимодействия с LLM, анализирует промпты и ответы, выявляет секреты, промпт-инъекции и попытки обойти ограничения. Вместо тотального запрета важен единый защищенный канал к разрешенным моделям», – пояснил он.
Говоря об обезличивании, Каракай отметил, что лучше не удалять данные целиком, а заменять их устойчивыми псевдонимами, сохраняя типы и связи между объектами: «Глубина обезличивания должна зависеть от задачи. Для подготовки типового письма можно скрыть практически все идентификаторы. Для аналитики важно сохранить суммы, категории и взаимосвязи».
«Мы сами “нанимаем” ИИ-ассистентов, предоставляем им пароли к почте и календарю, разрешаем работать с файлами на компьютере, пускаем в корпоративные системы. Все это неконтролируемо увеличивает поверхность атаки, риски утечек и компрометации», – сказал Петр Емельянов, директор по дата-стратегии и искусственному интеллекту группы Arenadata.
Отдельно эксперты обсудили контроль ИИ-агентов. Александр Бочкин предупредил, что ошибка агента может привести к реальным последствиям – отправленному письму, удаленному файлу или измененной записи, – и привел известный случай, когда ИИ-агент за считанные секунды удалил рабочую базу данных вместе с резервными копиями. По его словам, агенту нужны минимальные полномочия, а ограничения должны действовать на уровне интеграций и корпоративных систем: «Одной инструкции модели недостаточно. Каждый вызов инструмента необходимо проверять: разрешена ли операция, допустимы ли параметры, нужно ли подтверждение человека». Валерия Тулякова добавила, что ключевой принцип – наименьшие привилегии: «Не подключайте его сразу ко всей инфраструктуре – если достаточно поработать с одной папкой или календарем, ограничьте доступ именно ею». Она также указала на риски промпт-инъекций, утечек через уязвимости в адаптерах и плагинах и теневого внедрения агентов сотрудниками.
Алексей Какунин отметил, что агенту следует выдавать короткоживущие токены и разделять чтение и изменение, а отправку писем и удаление файлов подтверждать человеком. Денис Каракай подчеркнул, что агент опаснее чат-бота, поскольку совершает действия: «Агенту необходимы отдельная учетная запись, минимальные права и лимиты, чтобы он, например, мог писать черновики писем, но не отправлять их. Письма и документы в почте – недоверенные источники, из-за которых возможны промпт-инъекции». Султан Салпагаров резюмировал, что контролировать агентов сложнее всего: слишком строгий DLP превращает ИИ в бесполезную игрушку, слишком мягкий делает средства контроля бесполезными.
Участники опроса согласны с тем, что организация должна создать защищенную среду для работы с ИИ: локальные модели, обезличивание данных, пересмотр правил обращения с конфиденциальной информацией. Вопрос ответственности вызывает разногласия: 59% считают, что за ошибки должен отвечать сотрудник, 41% выступают за совместную ответственность человека и технологии.
Ранее 79% промышленных компаний сообщили о разрыве между ожиданиями и реальными результатами внедрения ИИ. Так, чаще всего ожидания руководства от ИИ превышают реальные возможности компаний. Об этом стало известно из исследования «К2Тех» среди 150 руководителей крупных промышленных компаний. Редакция IT Speaker ознакомилась с результатами.
ИИ-код работает, но не готов к изменениям: как это исправить
