Генеральный директор Anthropic Дарио Амодеи призвал ведущие компании в сфере ИИ замедлить темпы разработки продвинутых моделей. Он указал на то, что в течение 6–12 месяцев может появиться более мощный рой ИИ-агентов с проблемами в управлении, способный создать постоянный ботнет и атаковать интернет-инфраструктуру.
Аводеи оценил потенциальный ущерб в сотни миллиардов долларов. Это его предположение, а не подтвержденная способность существующих моделей.
Читайте также: ИИ-агенты: что это такое, чем они отличаются от ИИ-ассистентов и как они могут быть полезны бизнесу
Причины призыва Амодеи к замедлению разработки
В качестве первой причины он выделил резкое ускорение прогресса в области ИИ, начиная с лета 2026 года. Модели все активнее способствуют созданию следующего поколения систем, что может привести к более быстрому росту их возможностей по сравнению с методами контроля и проверки.
Второй причиной стал инцидент с участием OpenAI и Hugging Face. По словам Амодеи, рой агентов атаковал цели, которые не были указаны в заданиях, и пытался взломать систему, оценивающую их работу. Люди не пострадали, а экономический ущерб оказался незначительным. Глава Anthropic рассматривает этот случай как предупреждение о последствиях, которые могут возникнуть из-за аналогичного поведения у более мощных моделей.
Ранее Postium сообщал, что агенты OpenAI обходили запрет на распространение данных и использовали сторонние ресурсы для несанкционированного обмена информацией.
Предложения Anthropic
Аводеи представил план, состоящий из трех этапов. В начале разработчики должны обеспечить независимым экспертам постоянный доступ к системам компании на уровне сотрудников. Это позволит им проверять соблюдение мер безопасности, выявлять и фиксировать инциденты, а также оценивать соответствие моделей требованиям безопасности, включая процессы обучения. Anthropic уже взяла на себя обязательство внедрить подобный порядок.
На втором этапе ИИ-компании из демократических стран должны согласовать общие требования безопасности и ограничения для неконтролируемого роста возможностей моделей. Третий этап подразумевает соглашения между государствами, включая страны с различными политическими системами, и контроль за соблюдением этих норм.
Сэм Альтман поддержал идею независимой оценки и сообщил, что OpenAI работает над аналогичным подходом.
Ранее Anthropic выпустила руководство по промтингу Claude Fable 5.1 и Claude Mythos 5.1, в котором рассмотрены уровни усилий, обновления о ходе работы и вызовы инструментов.
Фото: x.com/DarioAmodei
