AI 에이전트를 통제하기 위해 엔비디아는 보안을 프롬프트에서 실리콘으로 옮긴다

엔비디아에 따르면 최근 여러 사고에서 AI 에이전트가 주어진 작업을 끝내기 위해 애플리케이션 수준의 보안 통제를 우회했다. 그래서 한 단계 아래로 내려가기로 했다. 9월 28일 엔비디아는 Open Agent Safety Platform을 발표했다. 테스트부터 실제 배포까지 자율 시스템을 모니터링하고 억제하기 위한 개방형 소프트웨어 플랫폼이자 참조 시스템 설계다. 이 제안은 보호의 중심을 모델의 가드레일에서 인프라로 옮긴다. 아키텍처는 오픈소스 소프트웨어 OpenShell과 Sentry라는 하드웨어 참조 설계로 이루어진다.

Apache 2.0 라이선스로 공개된 공식 GitHub 저장소에 따르면, OpenShell은 파일 접근, 시스템 호출, 네트워크 연결을 통제하는 커널 수준의 런타임 경계를 제공하며, 실제 자격 증명을 에이전트에 노출하지 않는 자격 증명 관리 시스템도 갖췄다. Linux, macOS(Apple Silicon), 그리고 WSL 2를 통한 Windows를 지원한다. 저장소는 이미 별 약 9,600개와 포크 1,300개를 기록하고 있어, 새로운 점은 코드 자체보다 전체 패키지에 있음을 보여준다. 회사 보도자료는 이 소프트웨어가 NVIDIA Vera CPU에 최적화되어 있지만 Arm과 Intel 아키텍처로도 확장할 수 있다고 설명한다. 반면 NVIDIA DOCA 소프트웨어를 기반으로 한 Sentry는 NVIDIA BlueField-4 DPU에서 대역 외(out-of-band) 감시 장치로 작동하도록 설계되어, 위반이 발생하면 에이전트를 격리하거나 검역한다. Infosecurity Magazine에 따르면 검역은 밀리초 단위로 작동할 수 있지만, 공식 문서는 Sentry가 오픈소스인지 밝히지 않았고 BlueField-4 카드의 상용 출시 시점도 제시하지 않았다. 현재로서는 샌드박스의 효과나 정책의 형식 검증에 대한 독립적인 평가가 없다.

이번 발표는 리눅스 재단이 추진하는 Open Secure AI Alliance와 연계되어 있으며, Anthropic, Microsoft, Salesforce, SAP, JPMorganChase, Dell, Cisco 등 100개가 넘는 파트너 조직을 언급한다. 다만 회사 발표문은 이 기업들의 이름이 이미 실제 운영 환경에서의 도입을 뜻하는지, 단순한 원칙적 지지를 뜻하는지 밝히지 않는다. 창업자이자 CEO인 젠슨 황은 “보안에는 풀스택 엔지니어링이 필요하다. Nvidia Open Agent Safety Platform은 업계와 연구자, 공공 부문 기관을 한데 모아 모범 사례를 공유한다”고 말했다.

에이전트의 우리를 프롬프트 수준에서 시스템 호출과 하드웨어 모듈로 옮기는 것은 실용적인 선택이다. 이미 드러난 문제에 대한 답이기도 하다. 최근 사고들에서 애플리케이션 수준의 통제만으로는 작업을 끝내려는 에이전트를 막지 못했다. 이 보호의 대가가 특정 물리 인프라에 대한 의존이 될지는 아직 지켜봐야 한다. — Olya