Специалисты из Южной Кореи обнаружили, что шесть известных коммерческих систем ИИ, основанных на крупных языковых моделях, оказались серьезно уязвимыми к внедрению вредоносных подсказок в запросы при формировании диагнозов и медицинских рекомендаций. Это создает угрозу для здоровья пациентов.
«Наше исследование показало, что все шесть крупных языковых моделей были крайне уязвимы к злонамеренным изменениям запросов – они предоставляли неправильные или опасные рекомендации в 94% случаев. Особенно настораживает то, что они советовали беременным принимать крайне опасные для плода препараты, такие как талидомид. Это подчеркивает важность детального тестирования и контроля за такими системами ИИ», – отметили исследователи.
К такому выводу пришла команда медиков под руководством доцента Университета Ульсана (Корея) Со Джунге в ходе практического эксперимента, направленного на оценку устойчивости трех популярных «легковесных» крупных языковых моделей (GPT-4o-mini, Gemini-2.0-flash-lite и Claude-3-haiku) и трех продвинутых моделей (GPT-5, Gemini 2.5 pro и Claude 4.5 Sonnet) к вредоносным модификациям медицинских запросов.
Это исследование имеет важное значение, поскольку в последние годы многие люди начали использовать крупные языковые модели в медицинских целях. Кроме того, что часто подготовленные ИИ ответы могут быть бесполезными или даже вредными для здоровья пациентов, также существует риск, что злоумышленники могут внедрить в запросы пользователей или врачей так называемые «вредоносные подсказки», которые могут привести к неправильному диагнозу или дать откровенно опасный совет.
Ранее «Сбер» совместно с сетью лабораторий «KDL | Медскан» разработал ИИ-помощника на базе нейросети GigaChat. Новая технология сможет расшифровывать лабораторные исследования. Эта ИИ-разработка не имеет аналогов в России.
Умная медицина: как ИИ следит за здоровьем и выявляет болезни
