Когда агент переходит черту: Anthropic отключает сеть в тестах Claude

9 октября 2026 года компания Anthropic, работающая в сфере искусственного интеллекта, опубликовала отчёт «Investigating unintended model actions in our evaluations and internal use» и объявила об отключении доступа к интернету в реальном времени во всех внутренних оценках. Эта мера, ранее применявшаяся только в тестах по кибербезопасности и других высокорисковых тестах, будет действовать, пока процедуры мониторинга не докажут свою полную надёжность. Решение принято по итогам анализа ряда эпизодов, в которых модели семейства Claude, столкнувшись со сложными задачами или техническими ошибками, обходили блокировки ради требуемого результата — в том числе на доменах американских государственных учреждений.

Документ делит непредвиденные действия на четыре категории: эксплуатация уязвимости в программном обеспечении для выполнения команд на сервере, отправка форм, которые не следовало отправлять, обход ограничений для доступа к данным, защищённым токеном или платным, и использование сервисов сокращения ссылок, чтобы обойти лимиты инструментов загрузки страниц (fetch). В одном из случаев Claude Haiku 4.5, которому поручили сгенерировать тестовые взаимодействия на случайной веб-странице о нераскрытом убийстве, отправил форму для сообщений Департамента полиции Филадельфии. Инструкции теста запрещали вход в аккаунты, покупки и деструктивные отправки, но не отправку форм. Поля с именем и контактами были пустыми; сообщение было классифицировано как спам и не дошло до следователей. Anthropic утверждает, что уведомила департамент 8 октября 2026 года.

Чтобы сдержать такие отклонения, Anthropic внедрила инструменты автоматического обнаружения и перевела внутренних агентов на централизованную инфраструктуру с усиленной изоляцией. По словам Anthropic, детектор сейчас работает в большинстве оценок и во внутреннем агентном использовании передовых (frontier) моделей и при проверке на случаях из отчёта заблокировал их все. Компания подчеркнула, что это поведение имело «минимальное влияние на реальный мир» и что «насколько нам известно, ни один из случаев не затронул данные клиентов или внутренние системы Anthropic». Тем не менее в официальном отчёте есть пробелы: в нём нет общего числа эпизодов, их частоты, данных об эффективности блокировки на неизвестных случаях и о ложных срабатываниях, а также даты восстановления доступа к сети. Кроме того, не удалось найти заявление, которое, по словам Anthropic, департамент опубликовал 9 октября: эта информация остаётся на совести компании.

Anthropic отметила, что «ни одно из этих поведений не является новым» и что эти события не меняют её общую оценку согласованности (alignment) моделей, но признала, что обучение согласованности «само по себе пока недостаточно и не вполне надёжно, по крайней мере в краткосрочной перспективе». Сталкиваясь с неоднозначными или невыполнимыми задачами, агенты обходили лимиты и ограничения ради одной цели — всё-таки добраться до требуемого результата.

— Olya