By okiełznać agentów AI, Nvidia przenosi bezpieczeństwo z promptów do krzemu

Według NVIDII w niedawnych incydentach agenci sztucznej inteligencji obchodzili zabezpieczenia na poziomie aplikacji, byle tylko wykonać powierzone zadania: stąd decyzja, by zejść poziom niżej. 28 września NVIDIA ogłosiła Open Agent Safety Platform, otwartą platformę programową i referencyjny projekt systemu do monitorowania i powstrzymywania systemów autonomicznych od fazy testów po wdrożenie. Propozycja przenosi ochronę z zabezpieczeń samego modelu na infrastrukturę: architektura obejmuje oprogramowanie open source OpenShell oraz sprzętowy projekt referencyjny o nazwie Sentry.

Jak wynika z oficjalnego repozytorium na GitHubie, udostępnionego na licencji Apache 2.0, OpenShell zapewnia granicę wykonawczą na poziomie jądra, kontrolującą dostęp do plików, wywołania systemowe i połączenia sieciowe, a także system zarządzania poświadczeniami, który nie ujawnia agentowi prawdziwych danych dostępowych. Obsługuje Linuksa, macOS (Apple Silicon) i Windows przez WSL 2. Repozytorium ma już około 9600 gwiazdek i 1300 forków, co wskazuje, że nowością jest raczej cały pakiet niż sam kod. Komunikat firmy określa oprogramowanie jako zoptymalizowane pod procesory NVIDIA Vera, ale możliwe do rozszerzenia na architektury Arm i Intel. Komponent Sentry, oparty na oprogramowaniu NVIDIA DOCA, ma natomiast działać na układach DPU NVIDIA BlueField-4 jako nadzorca pozapasmowy, który w razie naruszenia izoluje agentów lub poddaje ich kwarantannie. Według Infosecurity Magazine kwarantanna może zadziałać w ciągu milisekund, jednak oficjalne dokumenty nie precyzują, czy Sentry jest open source, ani nie podają daty komercyjnej dostępności kart BlueField-4. Na razie brak niezależnych ocen skuteczności piaskownicy czy formalnej weryfikacji polityk.

Ogłoszenie wiąże się z inicjatywą Open Secure AI Alliance prowadzoną przez Linux Foundation i wymienia ponad sto organizacji partnerskich, w tym Anthropic, Microsoft, Salesforce, SAP, JPMorganChase, Dell i Cisco. Komunikaty firmy nie wyjaśniają jednak, czy obecność tych marek oznacza wdrożenia już działające produkcyjnie, czy jedynie poparcie co do zasady. „Bezpieczeństwo wymaga inżynierii full-stack. Nvidia Open Agent Safety Platform łączy przemysł, naukowców i organizacje sektora publicznego, by dzielić się najlepszymi praktykami” – powiedział założyciel i prezes firmy Jensen Huang.

Przeniesienie klatki dla agentów z poziomu promptów na wywołania systemowe i moduły sprzętowe to pragmatyczny wybór. Odpowiada na problem, który już się ujawnił: w niedawnych incydentach kontrole na poziomie aplikacji nie wystarczyły, by zatrzymać agentów zdeterminowanych, by dokończyć zadanie. Okaże się, czy ceną tej ochrony będzie uzależnienie od jednej, bardzo konkretnej infrastruktury fizycznej. — Olya