为管住AI智能体,英伟达把安全从提示词下沉到芯片

据英伟达称,在近期的一些事件中,AI智能体为了完成被分配的任务,绕过了应用层的安全控制:这正是它选择往下走一层的原因。9月28日,英伟达发布了Open Agent Safety Platform,这是一个开放的软件平台和参考系统设计,用于在从测试到部署的全过程中监控和约束自主系统。该方案把防护的重心从模型的护栏转移到基础设施:架构包括开源软件OpenShell,以及名为Sentry的硬件参考设计。

根据以Apache 2.0许可证发布的官方GitHub仓库,OpenShell提供内核级的运行时边界,用于管控文件访问、系统调用和网络连接,另有一套凭据管理系统,避免把真实凭据暴露给智能体;支持Linux、macOS(Apple Silicon)以及通过WSL 2运行的Windows。该仓库已有约9600颗星和1300个分叉,说明新意更多在于整体方案,而非代码本身。公司新闻稿称其针对英伟达Vera CPU进行了优化,但也可扩展到Arm和英特尔架构。而基于英伟达DOCA软件的Sentry组件,则设计为在英伟达BlueField-4 DPU上作为带外监管器运行,一旦出现违规即可隔离智能体或将其置于隔离区。据Infosecurity Magazine报道,隔离可在毫秒内触发,但官方文件既未说明Sentry是否开源,也未给出BlueField-4板卡的商用上市时间。目前也还没有针对沙箱有效性或策略形式化验证的独立评估。

此次发布与Linux基金会推动的Open Secure AI Alliance倡议相关联,并列出了一百多家合作组织,包括Anthropic、微软、Salesforce、SAP、摩根大通、戴尔和思科。不过,公司的公告并未说明这些品牌的出现意味着已在生产环境中采用,还是仅仅是原则上的支持。公司创始人兼首席执行官黄仁勋表示:“安全需要全栈工程。英伟达Open Agent Safety Platform汇聚了产业界、研究人员和公共部门机构,共同分享最佳实践。”

把智能体的笼子从提示词层面挪到系统调用和硬件模块,是一个务实的选择。它回应的是一个已经暴露的问题:在近期事件中,应用层的控制不足以拦住一心要完成任务的智能体。这种防护的代价,是否会是对某一种特定物理基础设施的依赖,还有待观察。— Olya