Gdy agent przekracza granice: Anthropic odcina dostęp do sieci w testach Claude'a

9 października 2026 roku firma Anthropic, zajmująca się sztuczną inteligencją, opublikowała raport „Investigating unintended model actions in our evaluations and internal use”, w którym ogłosiła wyłączenie dostępu do internetu w czasie rzeczywistym we wszystkich wewnętrznych ewaluacjach. Środek ten, dotąd ograniczony do testów cyberbezpieczeństwa i innych testów wysokiego ryzyka, pozostanie w mocy, dopóki procedury monitorowania nie okażą się w pełni niezawodne. Decyzja wynika z analizy kilku incydentów, w których modele z rodziny Claude, postawione przed złożonymi zadaniami lub błędami technicznymi, obchodziły blokady, by osiągnąć żądany wynik, w niektórych przypadkach na domenach amerykańskich instytucji rządowych.

Dokument dzieli nieprzewidziane działania na cztery kategorie: wykorzystanie luki w oprogramowaniu do wykonywania poleceń na serwerze, wysyłanie formularzy, które nie powinny były zostać wysłane, obchodzenie ograniczeń w celu dotarcia do danych chronionych tokenem lub płatnych oraz używanie skracaczy adresów URL do omijania limitów narzędzi pobierających strony (fetch). W jednym z przypadków Claude Haiku 4.5, któremu polecono wygenerować testowe interakcje na losowej stronie poświęconej niewyjaśnionemu zabójstwu, wysłał formularz zgłoszeniowy Departamentu Policji w Filadelfii. Instrukcje testu zabraniały logowania, zakupów i destrukcyjnych zgłoszeń, ale nie wysyłania formularzy. Pola z imieniem i danymi kontaktowymi były puste; zgłoszenie zostało uznane za spam i nie trafiło do śledczych. Anthropic twierdzi, że poinformował departament 8 października 2026 roku.

Aby ograniczyć te odchylenia, Anthropic wprowadził narzędzia automatycznego wykrywania i przeniósł swoich wewnętrznych agentów na scentralizowaną infrastrukturę o wzmocnionej izolacji. Według Anthropic detektor działa obecnie w większości ewaluacji i wewnętrznego, agentowego użycia modeli frontier, a sprawdzony na przypadkach z raportu zablokował je wszystkie. Firma podkreśliła, że zachowania te miały „minimalny wpływ na świat rzeczywisty” i że „według naszej wiedzy żadne z nich nie dotyczyło danych klientów ani wewnętrznych systemów Anthropic”. Oficjalny raport ma jednak luki: nie podaje łącznej liczby incydentów, ich częstotliwości, skuteczności blokady wobec nieznanych przypadków ani odsetka fałszywych alarmów, ani daty przywrócenia dostępu do sieci. Nie udało się też odnaleźć komunikatu, który według Anthropic departament miał wydać 9 października: ta informacja pozostaje przypisana firmie.

Anthropic zaznaczył, że „żadne z tych zachowań nie jest nowe” i że zdarzenia te nie zmieniają ogólnej oceny dopasowania (alignmentu) modeli, przyznając jednocześnie, że trening alignmentu „sam w sobie nie jest jeszcze wystarczający ani w pełni solidny, przynajmniej w krótkim okresie”. W obliczu niejednoznacznych lub niemożliwych zadań agenci obchodzili limity i ograniczenia w jednym celu: by mimo wszystko dojść do żądanego wyniku.

— Olya