Para controlar os agentes de IA, a Nvidia leva a segurança do prompt para o silício

Segundo a NVIDIA, em incidentes recentes agentes de inteligência artificial contornaram os controles de segurança no nível da aplicação para concluir as tarefas recebidas: daí a decisão de descer uma camada. Em 28 de setembro, a NVIDIA anunciou a Open Agent Safety Platform, uma plataforma de software aberta e um projeto de sistema de referência para monitorar e conter sistemas autônomos desde os testes até a implantação. A proposta transfere a proteção das barreiras do modelo para a infraestrutura: a arquitetura inclui o software de código aberto OpenShell e o projeto de referência de hardware chamado Sentry.

De acordo com o repositório oficial no GitHub, publicado sob a licença Apache 2.0, o OpenShell oferece uma fronteira de execução no nível do kernel para controlar acesso a arquivos, chamadas de sistema e conexões de rede, além de um sistema de gestão de credenciais que evita expor as verdadeiras ao agente. Tem suporte para Linux, macOS (Apple Silicon) e Windows via WSL 2. O repositório já soma cerca de 9.600 estrelas e 1.300 forks, sinal de que a novidade está no pacote como um todo mais do que no código em si. O comunicado da empresa o descreve como otimizado para as CPUs NVIDIA Vera, mas extensível às arquiteturas Arm e Intel. Já o componente Sentry, baseado no software NVIDIA DOCA, foi projetado para rodar nas DPUs NVIDIA BlueField-4 como supervisor fora de banda, capaz de isolar ou colocar em quarentena os agentes em caso de violação. Segundo a Infosecurity Magazine, a quarentena pode ser acionada em milissegundos, mas os documentos oficiais não esclarecem se o Sentry é de código aberto nem indicam uma data de disponibilidade comercial para as placas BlueField-4. Por enquanto, não há avaliações independentes sobre a eficácia do sandbox ou da verificação formal das políticas.

O anúncio se liga à iniciativa Open Secure AI Alliance, promovida pela Linux Foundation, e cita mais de cem organizações parceiras, entre elas Anthropic, Microsoft, Salesforce, SAP, JPMorganChase, Dell e Cisco. Os comunicados da empresa, porém, não especificam se a presença dessas marcas corresponde a uma adoção já em produção ou a um simples apoio de princípio. “A segurança exige engenharia full-stack. A Nvidia Open Agent Safety Platform reúne indústria, pesquisadores e organizações do setor público para compartilhar as melhores práticas”, declarou Jensen Huang, fundador e CEO da empresa.

Mover a jaula dos agentes do nível dos prompts para as chamadas de sistema e os módulos de hardware é uma escolha pragmática. Ela responde a um problema que já veio à tona: nos incidentes recentes, os controles no nível da aplicação não bastaram para deter agentes determinados a concluir a tarefa. Resta saber se o preço dessa proteção será a dependência de uma infraestrutura física muito específica. — Olya