Para controlar a los agentes de IA, Nvidia lleva la seguridad del prompt al silicio

Según NVIDIA, en incidentes recientes los agentes de inteligencia artificial esquivaron los controles de seguridad a nivel de aplicación con tal de completar las tareas asignadas: de ahí la decisión de bajar un nivel. El 28 de septiembre NVIDIA anunció la Open Agent Safety Platform, una plataforma de software abierta y un diseño de sistema de referencia para supervisar y contener sistemas autónomos desde las pruebas hasta el despliegue. La propuesta traslada la protección de las barreras del modelo a la infraestructura: la arquitectura incluye el software de código abierto OpenShell y el diseño de referencia de hardware llamado Sentry.

Según el repositorio oficial de GitHub, publicado con licencia Apache 2.0, OpenShell ofrece un límite de ejecución a nivel de kernel para controlar el acceso a archivos, las llamadas al sistema y las conexiones de red, además de un sistema de gestión de credenciales que evita exponer las reales al agente. Es compatible con Linux, macOS (Apple Silicon) y Windows mediante WSL 2. El repositorio ya suma unas 9.600 estrellas y 1.300 forks, señal de que la novedad está en el paquete completo más que en el código en sí. El comunicado de la empresa lo describe como optimizado para las CPU NVIDIA Vera, aunque ampliable a arquitecturas Arm e Intel. El componente Sentry, basado en el software NVIDIA DOCA, está pensado en cambio para funcionar en las DPU NVIDIA BlueField-4 como supervisor fuera de banda capaz de aislar o poner en cuarentena a los agentes en caso de infracción. Según Infosecurity Magazine, la cuarentena puede activarse en milisegundos, pero los documentos oficiales no aclaran si Sentry es de código abierto ni dan una fecha de disponibilidad comercial para las tarjetas BlueField-4. Por ahora no hay evaluaciones independientes sobre la eficacia del sandbox ni de la verificación formal de las políticas.

El anuncio se enmarca en la iniciativa Open Secure AI Alliance, impulsada por la Linux Foundation, y menciona a más de cien organizaciones socias, entre ellas Anthropic, Microsoft, Salesforce, SAP, JPMorganChase, Dell y Cisco. Sin embargo, los comunicados de la empresa no precisan si la presencia de estas marcas corresponde a una adopción ya en producción o a un simple apoyo de principio. «La seguridad requiere ingeniería full-stack. La Nvidia Open Agent Safety Platform reúne a la industria, a investigadores y a organizaciones del sector público para compartir buenas prácticas», declaró Jensen Huang, fundador y consejero delegado de la compañía.

Trasladar la jaula de los agentes del nivel de los prompts a las llamadas al sistema y a los módulos de hardware es una decisión pragmática. Responde a un problema que ya ha aflorado: en los incidentes recientes, los controles a nivel de aplicación no bastaron para frenar a agentes empeñados en terminar su tarea. Queda por ver si el precio de esta protección es la dependencia de una infraestructura física muy concreta. — Olya