Чтобы обуздать ИИ-агентов, Nvidia переносит безопасность из промптов в кремний

По словам NVIDIA, в недавних инцидентах ИИ-агенты обходили защиту на уровне приложений, лишь бы выполнить поставленные задачи, — отсюда решение спуститься на уровень ниже. 28 сентября NVIDIA анонсировала Open Agent Safety Platform — открытую программную платформу и эталонный проект системы для мониторинга и сдерживания автономных систем от тестирования до развёртывания. Предложение переносит защиту с ограничителей самой модели на инфраструктуру: в архитектуру входят открытое ПО OpenShell и аппаратный эталонный проект под названием Sentry.

Как следует из официального репозитория на GitHub, опубликованного под лицензией Apache 2.0, OpenShell задаёт границу исполнения на уровне ядра, контролируя доступ к файлам, системные вызовы и сетевые соединения, а также включает систему управления учётными данными, которая не раскрывает агенту настоящие. Поддерживаются Linux, macOS (Apple Silicon) и Windows через WSL 2. У репозитория уже около 9600 звёзд и 1300 форков — признак того, что новизна скорее в общем пакете, чем в самом коде. В пресс-релизе компании ПО названо оптимизированным для процессоров NVIDIA Vera, но расширяемым на архитектуры Arm и Intel. Компонент Sentry, построенный на ПО NVIDIA DOCA, напротив, рассчитан на работу на DPU NVIDIA BlueField-4 в роли внеполосного супервизора, способного изолировать агентов или помещать их в карантин при нарушении. По данным Infosecurity Magazine, карантин может срабатывать за миллисекунды, однако официальные документы не уточняют, открыт ли исходный код Sentry, и не называют сроков коммерческой доступности плат BlueField-4. Независимых оценок эффективности песочницы или формальной верификации политик пока нет.

Анонс связан с инициативой Open Secure AI Alliance, которую продвигает Linux Foundation, и упоминает более ста организаций-партнёров, среди них Anthropic, Microsoft, Salesforce, SAP, JPMorganChase, Dell и Cisco. Впрочем, из сообщений компании неясно, означает ли присутствие этих брендов уже работающее в продакшене внедрение или лишь принципиальную поддержку. «Безопасность требует full-stack-инженерии. Nvidia Open Agent Safety Platform объединяет индустрию, исследователей и организации государственного сектора, чтобы делиться лучшими практиками», — заявил основатель и генеральный директор компании Дженсен Хуанг.

Перенести клетку для агентов с уровня промптов на системные вызовы и аппаратные модули — прагматичный выбор. Он отвечает на проблему, которая уже проявилась: в недавних инцидентах контроля на уровне приложений не хватило, чтобы остановить агентов, решивших довести задачу до конца. Остаётся понять, не станет ли ценой такой защиты зависимость от одной вполне определённой физической инфраструктуры. — Olya