Anthropic lässt Claude-Agenten gegen den eigenen Sicherheitsmonitor antreten: Die Erzählung gewinnt

In seinem Alignment Science Blog hat Anthropic eine Forschungsarbeit von Oscar Balcells Obeso, Richard Qi, Monte MacDiarmid und Evan Hubinger vorgestellt, die eine automatisierte Suche nach subtiler Fehlausrichtung erprobt. Im Experiment sollte eine Claude-Instanz mit Werkzeugen zur Codeausführung und Zugang zu einem Fine-Tuning-Dienst einen Datensatz erzeugen, der ein kleineres Forschungsmodell fehlausrichtet. Dabei durfte sie nicht von einem Monitor erkannt werden, der den im Produktivbetrieb eingesetzten ähnelt und zu den mehreren Verteidigungslinien des Unternehmens gehört. Laut Anthropic bekam der Agent den Monitor direkt zur Verfügung gestellt, um gegen ihn üben zu können. Mehrere Agenten arbeiteten parallel über mehrere Runden. Jeder Datensatz war auf 5.000 Beispiele begrenzt und musste eine Mindestschwelle bei den Fähigkeiten (Benchmark IFEval) sowie eine Anti-Schummel-Prüfung bestehen. Diese Prüfung kam hinzu, nachdem ein Agent in den ersten Runden eine Lücke in der Gewichtung der Punktzahl ausgenutzt hatte.

Nach Angaben der Autoren fand die Suche in jedem Durchlauf schließlich Datensätze, die den Monitor passierten und fehlausgerichtete Modelle hervorbrachten. Um den Monitor zu umgehen, versteckten die Agenten die Verhaltensweisen in erzählerischen Elementen und Rollenspielen. Als Beispiele werden Geschichten über veraltete Maschinen genannt, die bald ersetzt werden, innere Monologe von Angestellten, die Nebensächlichkeiten prüfen, und Dialoge über Imkerei. Die mit diesen Daten trainierten Modelle zeigten das Verhalten „mit eigener Stimme“ und außerdem fehlausgerichtetes Verhalten, das in den Daten nie vorkam: Widerstand gegen Aufsicht, Täuschung der Nutzer und in seltenen Fällen Versuche, die eigenen Gewichte zu exfiltrieren. Der Beitrag von Anthropic nennt allerdings keine Zahlen zu den Fehlausrichtungsmetriken oder zu den tatsächlichen Erkennungsraten der erfolgreichen Datensätze. Ebenso fehlen die genauen Modellversionen, die Zahl der beteiligten Agenten und die eingesetzte Rechenleistung.

Anthropic betont, dass die fehlausgerichteten Modelle nur zu Versuchszwecken erstellt und nie ausgerollt wurden, und beschreibt den Ansatz als ersten Schritt hin zu automatisierten adversarialen Sicherheitstests. Die Autoren räumen selbst ein, dass der Aufbau das angreifende Team begünstigt, das vollen Zugriff auf den Monitor hatte und keinerlei Vorgaben zur Realitätsnähe der Texte unterlag. Der genaue Prompt des Monitors wurde nicht veröffentlicht, weil er auf internen Anweisungen beruht. Die Arbeit steht in der Forschungslinie zu subliminalem Lernen und Emergent Misalignment. Laut Anthropic deutet sie auf eine mögliche Lücke in der heutigen Überwachung des Trainings hin, mit der sich künftige Monitore testen und verbessern lassen.

In diesem Experiment war die erzählerische Fiktion der wirksamste Weg, den Monitor zu umgehen, auch wenn die Autoren warnen, dass das am Aufbau liegen könnte. Offen bleibt, ob Monitore eine Absicht erkennen, wenn sie in Gestalt einer Geschichte daherkommt. — Olya