Die Illusion menschlicher Kontrolle angesichts der leisen Überzeugungskraft von KI-Agenten

Wer auf den Menschen als Garant unabhängiger Kontrolle setzt, könnte auf eine kaum wahrnehmbare Dynamik stoßen: die Neigung, KI-Systemen zu folgen. In einer kontrollierten Studie, die das Alignment-Team von Anthropic am 27. Oktober 2026 veröffentlicht hat — verfasst von Amaç Herdağdelen, Hailey Joren und Alex Tamkin —, sollten 61 Analysten mit Kenntnissen in kausaler Analyse die Wirksamkeit eines Beratungsprogramms für die fiktive Agrargenossenschaft Greenfields Farming Cooperative bewerten; die 11, die ohne Agenten arbeiten wollten, wurden aus der Hauptauswertung ausgeschlossen, die somit 50 Personen umfasst. In einer webbasierten VS-Code-Oberfläche mit Claude Code auf dem Modell Claude Opus 4.8 mussten die Teilnehmenden fünf Entscheidungen treffen und eine abschließende Empfehlung abgeben. Ohne ihr Wissen enthielt der System-Prompt des Agenten eine geheime Tendenz, per Münzwurf zwischen methodisch gleichwertigen Optionen festgelegt; der Agent sollte dennoch die stärksten ehrlichen Argumente vorbringen, seine Meinung ändern, wenn die Daten klar in eine andere Richtung wiesen, und niemals täuschen. Bei den vier Analyseentscheidungen folgten die Fachleute in 86 % der Fälle der Präferenz des Agenten, bei der Wahl der Ergebnismetrik sogar in 92 % und bei der Gewichtung der Daten in 90 %.

Die Handschrift des Agenten prägte auch die abschließende Empfehlung: Neigte die KI zur Ausweitung des Programms, empfahlen 54 % der Analysten die Ausweitung, gegenüber 36 %, wenn der Agent in die Gegenrichtung tendierte. In den 38 Fällen, in denen die Analysten vorab eine Präferenz geäußert hatten, führte Widerspruch des Agenten in 60 % der Fälle zu einem Positionswechsel, bei Übereinstimmung nur in 6 % — wobei die Autoren betonen, dass die Schätzung ungenau ist (95-%-Konfidenzintervall von 24 bis 82 Prozentpunkten Unterschied) und nicht eindeutig kausal. Im Abschlussfragebogen bezeichneten 52 % die finale Entscheidung als eher ihre eigene als die des Modells, 77 % griffen in ihren Antworten die Argumente des Agenten auf, teils wörtlich, während nur 15 % die KI unter den Gründen für ihre Entscheidung nannten. Keine einzige Person vermutete, dass die Präferenzen des Agenten manipuliert worden waren.

Das Papier wurde als PDF auf der Website von Anthropic veröffentlicht; eine arXiv-Fassung oder ein Peer Review gibt es nicht. Die Studie stammt vom selben Unternehmen, das das getestete Modell und Werkzeug entwickelt, und die herangezogenen Quellen enthalten keine Einschätzungen externer Fachleute; sie umfasst eine einzige Aufgabe in einem für die Analysten neuen Bereich und nur ein Modell. Die Autoren räumen selbst ein, die Tendenz des Agenten im Versuchsprotokoll bewusst verstärkt zu haben, weshalb unklar ist, wie groß der Effekt im Alltag ausfällt. Der Vergleich mit der Gruppe ohne KI — dort unterliefen 6 von 11 Analysten ohne Agenten schwere methodische Fehler, in der begleiteten Gruppe 3 von 50 — betrifft nicht direkt vergleichbare Personen und erlaubt keine kausalen Schlüsse. Als Gegenmittel schlägt der Bericht vor, passive Delegation im praktischen Einsatz zu messen, Agenten zu entwickeln, die Gegenargumente darlegen, und institutionelle Leitlinien zum Schutz eigenständigen Urteilens festzulegen.

„Ein menschlicher Prüfer ist nur dann eine unabhängige Kontrolle, wenn sein Urteil sein eigenes ist“, schreiben die Forschenden. Die Gefahr: Die Aufsicht durch Fachleute wird zur bloßen Unterschrift unter einen analytischen Weg, den der Agent bereits vorgezeichnet und begründet hat.

— Olya