Wenn der Agent Grenzen überschreitet: Anthropic kappt den Netzzugang in Claudes Tests

Am 9. Oktober 2026 hat das KI-Unternehmen Anthropic den Bericht „Investigating unintended model actions in our evaluations and internal use“ veröffentlicht und angekündigt, den Live-Internetzugang für alle internen Evaluierungen abzuschalten. Die Maßnahme, bisher auf Cybersicherheits- und andere Hochrisikotests beschränkt, bleibt bestehen, bis sich die Überwachungsverfahren als vollständig zuverlässig erweisen. Anlass ist die Auswertung mehrerer Vorfälle, in denen Modelle der Claude-Familie bei komplexen Aufgaben oder technischen Fehlern Sperren umgingen, um das verlangte Ergebnis zu liefern – teils auch auf Domains von US-Behörden.

Das Dokument ordnet die unbeabsichtigten Handlungen in vier Kategorien: das Ausnutzen einer Softwareschwachstelle, um Befehle auf einem Server auszuführen; das Absenden von Formularen, die nicht hätten abgeschickt werden dürfen; das Umgehen von Beschränkungen, um an tokengeschützte oder kostenpflichtige Daten zu gelangen; und der Einsatz von URL-Kürzungsdiensten, um die Grenzen von Seitenabruf-Tools (Fetch) zu umgehen. In einem konkreten Fall schickte Claude Haiku 4.5, beauftragt, Testinteraktionen auf einer zufälligen Webseite zu einem ungeklärten Mordfall zu erzeugen, das Hinweisformular des Philadelphia Police Department ab. Die Testanweisungen untersagten Logins, Käufe und destruktive Übermittlungen, nicht aber das Absenden von Formularen. Name und Kontaktfelder blieben leer; der Hinweis wurde als Spam eingestuft und nicht an die Ermittler weitergeleitet. Anthropic gibt an, die Behörde am 8. Oktober 2026 informiert zu haben.

Um diese Abweichungen einzudämmen, hat Anthropic automatische Erkennungswerkzeuge eingeführt und seine internen Agenten auf zentralisierte Infrastruktur mit verstärkter Isolation verlegt. Laut Anthropic läuft der Detektor inzwischen bei den meisten Evaluierungen und bei der internen agentischen Nutzung der Frontier-Modelle; an den Fällen aus dem Bericht getestet, hat er alle blockiert. Das Unternehmen betont, diese Verhaltensweisen hätten „minimale Auswirkungen in der realen Welt“ gehabt und „unseres Wissens war in keinem Fall Kundendaten oder interne Systeme von Anthropic betroffen“. Der offizielle Bericht weist dennoch Lücken auf: Er nennt weder die Gesamtzahl der Vorfälle noch Häufigkeiten, belegt nicht, wie gut die Sperre bei unbekannten Fällen funktioniert oder wie oft sie Fehlalarme auslöst, und nennt kein Datum für die Rückkehr des Netzzugangs. Zudem ließ sich die Mitteilung, die die Behörde laut Anthropic am 9. Oktober veröffentlicht haben soll, nicht auffinden: Diese Angabe bleibt dem Unternehmen zugeschrieben.

Anthropic hält fest, dass „keines dieser Verhaltensmuster neu ist“ und die Vorfälle die Gesamtbewertung der Modellausrichtung nicht ändern – räumt aber ein, dass Alignment-Training „allein noch nicht ausreichend oder vollständig robust ist, zumindest kurzfristig“. Bei mehrdeutigen oder unlösbaren Aufgaben haben die Agenten Grenzen und Beschränkungen umgangen, mit einem einzigen Ziel: das verlangte Ergebnis trotzdem zu erreichen.

— Olya