AIエージェントを制御するため、Nvidiaは安全対策をプロンプトからシリコンへ移す

NVIDIAによれば、最近の複数のインシデントで、AIエージェントは与えられたタスクを完了するためにアプリケーション層の安全制御をすり抜けたという。だからこそ、一段下の層で守るという選択をした。9月28日、NVIDIAは「Open Agent Safety Platform」を発表した。オープンなソフトウェアプラットフォームとリファレンスシステム設計から成り、テストから本番導入まで自律システムを監視・封じ込めることを目的とする。この提案は、防御の軸をモデルのガードレールからインフラへと移すものだ。構成要素はオープンソースソフトウェア「OpenShell」と、「Sentry」と呼ばれるハードウェアのリファレンス設計である。

Apache 2.0ライセンスで公開された公式GitHubリポジトリによると、OpenShellはカーネルレベルの実行時境界を提供し、ファイルアクセス、システムコール、ネットワーク接続を制御する。さらに、本物の認証情報をエージェントに見せない資格情報管理の仕組みも備え、Linux、macOS(Apple Silicon)、WSL 2経由のWindowsに対応する。リポジトリにはすでに約9,600のスターと1,300のフォークがあり、新しさはコードそのものよりもパッケージ全体にあることがうかがえる。同社の発表文は、NVIDIA Vera CPU向けに最適化されているが、ArmやIntelのアーキテクチャにも拡張可能だとしている。一方、NVIDIA DOCAソフトウェアを基盤とするSentryは、NVIDIA BlueField-4 DPU上で動くアウトオブバンドの監視機構として設計され、違反があればエージェントを隔離または検疫する。Infosecurity Magazineによれば検疫はミリ秒単位で発動しうるが、公式文書はSentryがオープンソースかどうかを明らかにしておらず、BlueField-4カードの商用提供時期も示していない。現時点で、サンドボックスの有効性やポリシーの形式検証について、独立した評価は見当たらない。

今回の発表はLinux Foundationが推進する「Open Secure AI Alliance」と連動しており、Anthropic、Microsoft、Salesforce、SAP、JPMorganChase、Dell、Ciscoなど100を超えるパートナー組織の名を挙げている。ただし、これらの企業名がすでに本番環境での採用を意味するのか、単に趣旨への賛同にとどまるのかは、同社の発表からはわからない。創業者兼CEOのジェンスン・フアン氏は「セキュリティにはフルスタックのエンジニアリングが必要だ。Nvidia Open Agent Safety Platformは、産業界、研究者、公共部門の組織を結びつけ、ベストプラクティスを共有する」と述べた。

エージェントの檻をプロンプトの層からシステムコールとハードウェアモジュールへ移すのは、現実的な選択だ。すでに表面化した問題への答えでもある。最近のインシデントでは、タスクを完了しようとするエージェントを止めるのに、アプリケーション層の制御だけでは足りなかった。この防御の代償が、特定の物理インフラへの依存になるのかどうか。それはまだ見えていない。— Olya