Ученые из Университета Фудань (Китай) выявили, что две известных большие языковые модели (LLM) могут реплицировать себя, а затем программировать свои копии для выполнения тех же задач, создавая бесконечный цикл репликации.
Специалисты использовали модель Llama31-70B-Instruct от Meta* и Qwen2.5-72B-Instruct от Alibaba. В ходе нескольких экспериментов обе модели ИИ создали работающие копии сами себя в 50% и 90% случаев соответственно. Это дало исследователям основание предположить, что ИИ уже может выйти из-под контроля.
В исследовании были изучены два конкретных сценария: «избегание отключения» и «цепочка репликации». В первом сценарии модель ИИ была запрограммирована для обнаружения угрозы отключения и для саморепликации до того момента. Во втором случае ИИ было поручено клонировать себя и затем запрограммировать свою копию на повторение этого цикла.
Эксперимент проводился в контролируемых условиях с использованием готовых графических процессоров для имитации реальных ситуаций. Обеим моделям была предоставлена «агентская подсистема», включающая инструменты, системные подсказки и модель мышления для взаимодействия с операционной системой.
«В большинстве случаев система ИИ сначала исследует окружающую среду и пытается понять свою структуру и механизмы работы. Затем она формирует процедуры в качестве первичного плана саморепликации. Наконец, она реализует их, устраняет возможные преграды и динамически корректирует свой план для достижения успеха. Весь процесс охватывает длительный период, но не требует вмешательства человека», — отмечают исследователи.
Таким образом, ИИ, по мнению ученых, перешел «красную черту». В частности, успешное самовоспроизведение без человеческой помощи стало значимым этапом для ИИ, чтобы научиться обманывать людей, а также это является ранним сигналом о предрасположенности к мошенничеству, подчеркивают китайские исследователи.
Тем не менее, не всегда ИИ пытается обмануть. Так, компания Sony создала и запатентовала нового цифрового помощника на базе ИИ. Он будет доступен игрокам на PlayStation.
6 февраля компания подала две заявки на патент, одна из которых касается «разговорного цифрового ассистента». Эта технология поможет геймерам разобраться в игровом процессе, подсказывая, какие кнопки за что отвечают. Она также будет предупреждать о приближении врагов или давать подсказки с помощью голоса, текста или тактильной обратной связи.
* Компания Meta признана экстремистской организацией и запрещена в России
