Щоб приборкати ШІ-агентів, Nvidia переносить безпеку з промптів у кремній

За словами NVIDIA, під час нещодавніх інцидентів ШІ-агенти обходили захист на рівні застосунків, аби лише виконати поставлені завдання, — звідси рішення спуститися на рівень нижче. 28 вересня NVIDIA анонсувала Open Agent Safety Platform — відкриту програмну платформу та еталонний проєкт системи для моніторингу й стримування автономних систем від тестування до розгортання. Пропозиція переносить захист з обмежувачів самої моделі на інфраструктуру: до архітектури входять відкрите ПЗ OpenShell і апаратний еталонний проєкт під назвою Sentry.

Як видно з офіційного репозиторію на GitHub, опублікованого за ліцензією Apache 2.0, OpenShell задає межу виконання на рівні ядра, контролюючи доступ до файлів, системні виклики та мережеві з'єднання, а також має систему керування обліковими даними, яка не розкриває агентові справжні. Підтримуються Linux, macOS (Apple Silicon) і Windows через WSL 2. Репозиторій уже має близько 9600 зірок і 1300 форків — ознака того, що новизна радше в загальному пакеті, ніж у самому коді. У пресрелізі компанії ПЗ назване оптимізованим для процесорів NVIDIA Vera, але таким, що розширюється на архітектури Arm та Intel. Натомість компонент Sentry, побудований на ПЗ NVIDIA DOCA, розрахований на роботу на DPU NVIDIA BlueField-4 як позасмуговий супервізор, здатний ізолювати агентів або поміщати їх у карантин у разі порушення. За даними Infosecurity Magazine, карантин може спрацьовувати за мілісекунди, однак офіційні документи не уточнюють, чи відкритий код Sentry, і не називають дати комерційної доступності плат BlueField-4. Незалежних оцінок ефективності пісочниці чи формальної верифікації політик поки немає.

Анонс пов'язаний з ініціативою Open Secure AI Alliance, яку просуває Linux Foundation, і згадує понад сто організацій-партнерів, серед них Anthropic, Microsoft, Salesforce, SAP, JPMorganChase, Dell і Cisco. Утім, з повідомлень компанії не зрозуміло, чи означає присутність цих брендів упровадження, що вже працює в продакшені, чи лише принципову підтримку. «Безпека потребує full-stack-інженерії. Nvidia Open Agent Safety Platform об'єднує індустрію, дослідників та організації державного сектору, щоб ділитися найкращими практиками», — заявив засновник і генеральний директор компанії Дженсен Хуанг.

Перенести клітку для агентів з рівня промптів на системні виклики та апаратні модулі — прагматичний вибір. Він відповідає на проблему, яка вже проявилася: у нещодавніх інцидентах контролю на рівні застосунків не вистачило, щоб зупинити агентів, налаштованих довести завдання до кінця. Лишається побачити, чи не стане ціною такого захисту залежність від однієї цілком конкретної фізичної інфраструктури. — Olya