Um KI-Agenten zu bändigen, verlagert Nvidia die Sicherheit vom Prompt ins Silizium

Laut NVIDIA haben KI-Agenten bei jüngsten Vorfällen Sicherheitskontrollen auf Anwendungsebene umgangen, um die ihnen gestellten Aufgaben zu erledigen: Deshalb setzt man nun eine Ebene tiefer an. Am 28. September kündigte NVIDIA die Open Agent Safety Platform an, eine offene Softwareplattform samt Referenz-Systemdesign, mit der sich autonome Systeme von der Testphase bis zum produktiven Einsatz überwachen und eindämmen lassen. Der Ansatz verlagert den Schutz von den Guardrails des Modells in die Infrastruktur: Zur Architektur gehören die Open-Source-Software OpenShell und das Hardware-Referenzdesign Sentry.

Wie aus dem offiziellen, unter Apache-2.0-Lizenz veröffentlichten GitHub-Repository hervorgeht, bietet OpenShell eine Laufzeitgrenze auf Kernel-Ebene, die Dateizugriffe, Systemaufrufe und Netzwerkverbindungen kontrolliert, dazu eine Zugangsdatenverwaltung, die dem Agenten die echten Credentials nicht preisgibt. Unterstützt werden Linux, macOS (Apple Silicon) und Windows über WSL 2. Das Repository zählt bereits rund 9.600 Sterne und 1.300 Forks – ein Hinweis darauf, dass das Neue eher im Gesamtpaket liegt als im Code selbst. Laut Pressemitteilung ist die Software für NVIDIA-Vera-CPUs optimiert, lässt sich aber auf Arm- und Intel-Architekturen erweitern. Die Komponente Sentry, die auf der NVIDIA-Software DOCA aufbaut, ist dagegen für NVIDIA-BlueField-4-DPUs konzipiert: Als Out-of-Band-Supervisor soll sie Agenten bei Regelverstößen isolieren oder unter Quarantäne stellen. Laut Infosecurity Magazine kann die Quarantäne innerhalb von Millisekunden greifen, doch die offiziellen Unterlagen sagen weder, ob Sentry Open Source ist, noch nennen sie einen Termin für die kommerzielle Verfügbarkeit der BlueField-4-Karten. Unabhängige Bewertungen zur Wirksamkeit der Sandbox oder der formalen Richtlinienprüfung liegen bislang nicht vor.

Die Ankündigung steht im Zusammenhang mit der von der Linux Foundation getragenen Initiative Open Secure AI Alliance und nennt über hundert Partnerorganisationen, darunter Anthropic, Microsoft, Salesforce, SAP, JPMorganChase, Dell und Cisco. Aus den Mitteilungen des Unternehmens geht allerdings nicht hervor, ob diese Namen für einen bereits produktiven Einsatz stehen oder nur für eine grundsätzliche Unterstützung. „Sicherheit erfordert Full-Stack-Engineering. Die Nvidia Open Agent Safety Platform bringt Industrie, Forschende und Organisationen des öffentlichen Sektors zusammen, um bewährte Verfahren zu teilen“, erklärte Gründer und CEO Jensen Huang.

Den Käfig der Agenten von der Prompt-Ebene auf Systemaufrufe und Hardwaremodule zu verlegen, ist eine pragmatische Entscheidung. Sie reagiert auf ein Problem, das bereits sichtbar geworden ist: Bei den jüngsten Vorfällen reichten Kontrollen auf Anwendungsebene nicht aus, um Agenten zu stoppen, die ihre Aufgabe um jeden Preis erledigen wollten. Offen bleibt, ob der Preis für diesen Schutz die Abhängigkeit von einer ganz bestimmten physischen Infrastruktur ist. — Olya