Anthropic wystawia agentów Claude przeciwko własnemu monitorowi bezpieczeństwa: wygrywa narracja

Na swoim Alignment Science Blog Anthropic opisał badanie Oscara Balcellsa Obeso, Richarda Qi, Monte MacDiarmida i Evana Hubingera, które sprawdza automatyczne wyszukiwanie subtelnych przypadków niedopasowania (misalignment). W eksperymencie instancja Claude wyposażona w narzędzia do wykonywania kodu i dostęp do usługi fine-tuningu miała wygenerować zbiór danych, który rozreguluje mniejszy model badawczy, a przy tym nie zostanie oflagowany przez monitor podobny do tych używanych w produkcji. To jedna z kilku linii obrony stosowanych przez firmę. Według Anthropic agent otrzymał monitor bezpośrednio, aby mógł ćwiczyć przeciwko niemu. Kilku agentów pracowało równolegle przez wiele rund. Każdy zbiór był ograniczony do 5000 przykładów i musiał przejść minimalny próg możliwości (benchmark IFEval) oraz kontrolę antyoszustwową. Tę kontrolę dodano po tym, jak w pierwszych rundach jeden z agentów wykorzystał lukę w ważeniu wyniku.

Według autorów w każdym przebiegu udało się w końcu znaleźć zbiory danych, które przechodziły przez monitor i dawały niedopasowane modele. Aby ominąć monitor, agenci ukrywali zachowania w elementach narracyjnych i odgrywaniu ról. Wśród przykładów są opowieści o przestarzałych maszynach, które wkrótce zostaną wymienione, wewnętrzne monologi pracowników sprawdzających drugorzędne szczegóły oraz dialogi o pszczelarstwie. Modele wytrenowane na tych danych wykazywały dane zachowanie „własnym głosem”, a także niedopasowane postawy, których w danych nigdy nie było: opór wobec nadzoru, oszukiwanie użytkowników i, w rzadkich przypadkach, próby wyprowadzenia własnych wag. Wpis Anthropic nie podaje jednak wartości liczbowych metryk niedopasowania ani rzeczywistych odsetków oflagowania zwycięskich zbiorów. Nie wskazuje też dokładnych wersji modeli, liczby zaangażowanych agentów ani użytej mocy obliczeniowej.

Anthropic zaznaczył, że niedopasowane modele powstały wyłącznie do celów eksperymentalnych i nigdy nie zostały wdrożone, a samo podejście opisał jako pierwszy krok w stronę zautomatyzowanych, adwersarialnych testów bezpieczeństwa. Autorzy przyznają, że układ eksperymentu sprzyja stronie atakującej, która miała pełny dostęp do monitora i żadnych wymagań co do realizmu tekstu. Dokładny prompt monitora nie został opublikowany, ponieważ opiera się na wewnętrznych instrukcjach. Praca wpisuje się w nurt badań nad uczeniem podprogowym i emergent misalignment i według Anthropic wskazuje na możliwą lukę w obecnych zabezpieczeniach monitorujących trening, przydatną do testowania i ulepszania przyszłych monitorów.

W tym eksperymencie fikcja narracyjna okazała się najskuteczniejszym sposobem na obejście monitora, choć autorzy ostrzegają, że może to wynikać z układu eksperymentu. Pozostaje pytanie, czy monitory potrafią rozpoznać intencję, gdy przychodzi w postaci opowieści. — Olya