Om AI-agents in toom te houden, verplaatst Nvidia de beveiliging van de prompt naar het silicium

Volgens NVIDIA hebben AI-agents bij recente incidenten beveiligingscontroles op applicatieniveau omzeild om hun opdrachten af te ronden: vandaar de keuze om een laag dieper te gaan. Op 28 september kondigde NVIDIA het Open Agent Safety Platform aan, een open softwareplatform en referentieontwerp voor systemen waarmee autonome systemen van de testfase tot de uitrol bewaakt en ingeperkt kunnen worden. Het voorstel verschuift de bescherming van de vangrails van het model naar de infrastructuur: de architectuur bestaat uit de opensourcesoftware OpenShell en een hardwarereferentieontwerp met de naam Sentry.

Volgens de officiële GitHub-repository, gepubliceerd onder de Apache 2.0-licentie, biedt OpenShell een runtimegrens op kernelniveau die bestandstoegang, systeemaanroepen en netwerkverbindingen controleert, plus een systeem voor het beheer van inloggegevens dat de echte gegevens niet aan de agent prijsgeeft. Het ondersteunt Linux, macOS (Apple Silicon) en Windows via WSL 2. De repository telt al zo'n 9.600 sterren en 1.300 forks, een teken dat het nieuwe eerder in het totaalpakket zit dan in de code zelf. Het persbericht noemt de software geoptimaliseerd voor NVIDIA Vera-cpu's, maar uitbreidbaar naar Arm- en Intel-architecturen. Het onderdeel Sentry, gebouwd op de NVIDIA DOCA-software, is daarentegen ontworpen om te draaien op NVIDIA BlueField-4-DPU's, als out-of-band-toezichthouder die agents bij een overtreding kan isoleren of in quarantaine plaatsen. Volgens Infosecurity Magazine kan die quarantaine binnen milliseconden ingaan, maar de officiële documenten vermelden niet of Sentry open source is en geven geen datum voor de commerciële beschikbaarheid van de BlueField-4-kaarten. Onafhankelijke beoordelingen van de effectiviteit van de sandbox of van de formele verificatie van het beleid zijn er voorlopig niet.

De aankondiging sluit aan bij het initiatief Open Secure AI Alliance van de Linux Foundation en noemt ruim honderd partnerorganisaties, onder wie Anthropic, Microsoft, Salesforce, SAP, JPMorganChase, Dell en Cisco. Uit de berichten van het bedrijf blijkt echter niet of die namen staan voor gebruik dat al in productie is of voor een steunbetuiging in principe. “Veiligheid vraagt om full-stack engineering. Het Nvidia Open Agent Safety Platform brengt industrie, onderzoekers en organisaties uit de publieke sector samen om best practices te delen”, zei Jensen Huang, oprichter en CEO van het bedrijf.

De kooi van de agents verplaatsen van het promptniveau naar systeemaanroepen en hardwaremodules is een pragmatische keuze. Ze speelt in op een probleem dat al aan het licht is gekomen: bij recente incidenten waren controles op applicatieniveau niet genoeg om agents te stoppen die vastbesloten waren hun taak af te maken. Het is nog afwachten of de prijs van deze bescherming afhankelijkheid van één heel specifieke fysieke infrastructuur wordt. — Olya