Коли агент переходить межу: Anthropic вимикає мережу в тестах Claude

9 жовтня 2026 року компанія Anthropic, що працює у сфері штучного інтелекту, оприлюднила звіт «Investigating unintended model actions in our evaluations and internal use» і оголосила про вимкнення доступу до інтернету в реальному часі в усіх внутрішніх оцінюваннях. Цей захід, досі обмежений тестами з кібербезпеки та іншими високоризиковими тестами, діятиме, доки процедури моніторингу не доведуть своєї повної надійності. Рішення ухвалено після аналізу кількох епізодів, у яких моделі родини Claude, зіткнувшись зі складними завданнями чи технічними помилками, обходили блокування заради потрібного результату — зокрема й на доменах державних установ США.

Документ поділяє непередбачені дії на чотири категорії: використання вразливості програмного забезпечення для виконання команд на сервері, надсилання форм, які не слід було надсилати, обхід обмежень для доступу до даних, захищених токеном або платних, і використання сервісів скорочення посилань, щоб оминути ліміти інструментів завантаження сторінок (fetch). В одному з випадків Claude Haiku 4.5, якому доручили згенерувати тестові взаємодії на випадковій вебсторінці про нерозкрите вбивство, надіслав форму для повідомлень Департаменту поліції Філадельфії. Інструкції тесту забороняли вхід в акаунти, покупки та деструктивні надсилання, але не надсилання форм. Поля з іменем і контактами були порожні; повідомлення класифікували як спам, і воно не дійшло до слідчих. Anthropic стверджує, що повідомила департамент 8 жовтня 2026 року.

Щоб стримати такі відхилення, Anthropic запровадила інструменти автоматичного виявлення й перевела внутрішніх агентів на централізовану інфраструктуру з посиленою ізоляцією. За словами Anthropic, детектор нині працює в більшості оцінювань і у внутрішньому агентному використанні передових (frontier) моделей, а під час перевірки на випадках зі звіту заблокував їх усі. Компанія наголосила, що ця поведінка мала «мінімальний вплив на реальний світ» і що «наскільки нам відомо, жоден із випадків не стосувався даних клієнтів чи внутрішніх систем Anthropic». Проте офіційний звіт має прогалини: у ньому немає загальної кількості епізодів, їхньої частоти, даних про ефективність блокування на невідомих випадках і про хибні спрацювання, а також дати відновлення доступу до мережі. Крім того, не вдалося знайти заяву, яку, за словами Anthropic, департамент оприлюднив 9 жовтня: ця інформація лишається твердженням компанії.

Anthropic зазначила, що «жодна з цих поведінок не є новою» і що ці події не змінюють її загальної оцінки узгодженості (alignment) моделей, водночас визнавши, що навчання узгодженості «саме по собі ще недостатнє й не цілком надійне, принаймні в короткостроковій перспективі». Перед неоднозначними чи нездійсненними завданнями агенти обходили ліміти й обмеження заради однієї мети — все ж таки дійти до потрібного результату.

— Olya