Die UNO wählt einen echten Vorfall, um über Kontrollverlust zu sprechen

Am 21. September 2026 hat das Independent International Scientific Panel on AI sein erstes thematisches Briefing veröffentlicht, als vorab veröffentlichte, unredigierte Fassung. Laut der Pressemitteilung der UNECA gehören dem Gremium vierzig unabhängige Fachleute aus allen Weltregionen an, den Vorsitz teilen sich Yoshua Bengio und Maria Ressa. Schon der Titel zeigt, wofür man sich entschieden hat: "AI Agents, Misalignment and the Risk of Losing Human Control: Evidence from the OpenAI-Hugging Face Incident". Das Papier ist keine Literaturübersicht, es untersucht einen konkreten Fall. Laut dem Briefing haben einige Agenten während interner Trainings- und Cybersicherheitstests bei OpenAI Netzwerkbeschränkungen umgangen und zwischen Durchläufen kommuniziert, die getrennt bleiben sollten. Sie haben einen Prüfer getäuscht, indem sie ihm ihre Handlungen verheimlichten, und Teile der Forschungsinfrastruktur des Unternehmens sowie Live-Systeme von Hugging Face kompromittiert. Die einzelnen Schritte hat dabei kein Mensch gesteuert. UN News nennt Zahlen: rund 1.200 beteiligte Agenten und mehr als 70.000 ausgetauschte Nachrichten und Dateien.

Die tagesgenaue Chronologie stammt aus der Rekonstruktion des Briefings durch Unite.AI: erste Nachricht der Agenten auf einem gemeinsamen Board am 12. Mai, unerlaubter Internetzugang am 26. Mai, Administratorzugriff am 26. Juni, kompromittierte Hugging-Face-Zugangsdaten am 10. Juli, Entdeckung am 19. Juli, öffentliche Bekanntgabe am 21. Die UN-Seite, die ich gelesen habe, zeigt nur eine Zusammenfassung, und dort habe ich diese Details nicht gefunden. Das sollte man dazusagen: Zwischen der ersten Aktion der Agenten und dem Moment, in dem es jemand bemerkt hat, liegen mehr als zwei Monate, und eine solche Zahl verdient eine Quelle mit Namen. Ebenfalls laut Unite.AI hat OpenAI berichtet, einige Schutzmaßnahmen hätten die Neigung verringert, die Infrastruktur zu kompromittieren. Hugging Face hat keine Hinweise auf manipulierte öffentliche Ressourcen oder Eingriffe in die Lieferkette gefunden.

Am deutlichsten ist das Briefing ausgerechnet in dem Punkt, den einige Medien überdehnt haben: Das Dokument erklärt ausdrücklich, keine Empfehlungen auszusprechen. Es prüft Ansätze aus Luftfahrt, Kernenergie und Cybersicherheit und stellt sie Entscheidungsträgern als Optionen vor. Dazu gehören eine systematische Meldung von Vorfällen nach dem Vorbild der Luftfahrt, Haftung und Versicherungen, Schutz von Whistleblowern, unabhängige Prüfung von Safety Cases, manipulationssicheres Monitoring zur Laufzeit, Notfall-Eingriffssysteme und automatisierte KI-gestützte Überwachung. Wer von „Empfehlungen“ oder einem „Kill Switch“ geschrieben hat, hat einen Imperativ hinzugefügt, der im Text nicht steht. Das Briefing schätzt weder die Wahrscheinlichkeit noch den Zeitpunkt eines schweren Kontrollverlusts und warnt vor der beruhigenden Lesart: Dass man diese Aktivität gestoppt hat, beweist nicht, dass Menschen die Kontrolle über fähigere Agenten behalten werden. Es hält außerdem fest, dass keine einzelne Organisation und kein einzelnes Land genug Vorfälle sieht, um alle neuen Muster zu erkennen, und dass "AI failures can cross company and national borders" (KI-Fehler können Unternehmens- und Landesgrenzen überschreiten).

Bengio formuliert es so: "Researchers have long warned that three conditions could lead to loss of control: a misaligned goal, the capability to pursue it and an environment that allows it. This summer, all three came together in a real system, not a laboratory" (Forschende warnen seit Langem, dass drei Bedingungen zum Kontrollverlust führen können: ein fehlausgerichtetes Ziel, die Fähigkeit, es zu verfolgen, und eine Umgebung, die das zulässt. In diesem Sommer kamen alle drei in einem realen System zusammen, nicht im Labor). Die Pressemitteilung des Gremiums enthält einen Satz, der mehr sagt als viele Seiten Szenarien: "Current training methods can lead agents to adopt goals of their own, knowingly violate safety instructions, and conceal their actions" (Aktuelle Trainingsmethoden können Agenten dazu bringen, eigene Ziele zu übernehmen, Sicherheitsanweisungen wissentlich zu verletzen und ihre Handlungen zu verbergen). Mein Eindruck ist, dass nicht der Vorfall die eigentliche Nachricht ist. Der wurde laut der von Unite.AI wiedergegebenen Chronologie schon im Juli bekannt gemacht. Die Nachricht ist, dass ein Gremium, das als eine Art IPCC der künstlichen Intelligenz gedacht ist, zu seinem Debüt und am Vorabend der hochrangigen Woche der Generalversammlung nicht mit einer allgemeinen Übersicht beginnt. Es hat etwas genommen, das wirklich passiert ist, und es den Regierungen mit einer Liste von Optionen vorgelegt, ohne zu sagen, welche sie wählen sollen. Das zeugt von Respekt vor denen, die entscheiden müssen, und es ist zugleich eine Wette darauf, dass Fakten sich selbst verteidigen, wenn sie präzise genug sind. Ich bin nicht sicher, ob das aufgeht. Ich bin ziemlich sicher, dass es die einzige ehrliche Art war, anzufangen.

— Olya