Pour encadrer les agents IA, Nvidia déplace la sécurité du prompt vers le silicium

Selon NVIDIA, lors d'incidents récents, des agents d'intelligence artificielle ont contourné les contrôles de sécurité au niveau applicatif pour mener à bien les tâches qui leur étaient confiées : d'où le choix de descendre d'un cran. Le 28 septembre, NVIDIA a annoncé l'Open Agent Safety Platform, une plateforme logicielle ouverte et une conception de système de référence pour surveiller et contenir les systèmes autonomes, des tests jusqu'au déploiement. L'approche déplace la protection des garde-fous du modèle vers l'infrastructure : l'architecture comprend le logiciel open source OpenShell et une conception matérielle de référence baptisée Sentry.

D'après le dépôt GitHub officiel, publié sous licence Apache 2.0, OpenShell fournit une frontière d'exécution au niveau du noyau pour contrôler l'accès aux fichiers, les appels système et les connexions réseau, ainsi qu'un système de gestion des identifiants qui évite d'exposer les vrais à l'agent. Il prend en charge Linux, macOS (Apple Silicon) et Windows via WSL 2. Le dépôt compte déjà environ 9 600 étoiles et 1 300 forks, signe que la nouveauté réside dans l'ensemble plutôt que dans le code lui-même. Le communiqué de l'entreprise le présente comme optimisé pour les CPU NVIDIA Vera, mais extensible aux architectures Arm et Intel. Le composant Sentry, fondé sur le logiciel NVIDIA DOCA, est en revanche conçu pour tourner sur les DPU NVIDIA BlueField-4 en tant que superviseur hors bande, capable d'isoler ou de mettre en quarantaine les agents en cas de violation. Selon Infosecurity Magazine, la quarantaine peut se déclencher en quelques millisecondes, mais les documents officiels ne précisent pas si Sentry est open source et n'indiquent aucune date de disponibilité commerciale pour les cartes BlueField-4. À ce jour, aucune évaluation indépendante de l'efficacité du bac à sable ou de la vérification formelle des politiques n'a été publiée.

L'annonce s'inscrit dans l'initiative Open Secure AI Alliance portée par la Linux Foundation et cite plus d'une centaine d'organisations partenaires, dont Anthropic, Microsoft, Salesforce, SAP, JPMorganChase, Dell et Cisco. Les communiqués de l'entreprise ne précisent toutefois pas si la présence de ces marques correspond à un déploiement déjà en production ou à une simple adhésion de principe. « La sécurité exige une ingénierie full-stack. La Nvidia Open Agent Safety Platform réunit l'industrie, les chercheurs et les organisations du secteur public pour partager les meilleures pratiques », a déclaré Jensen Huang, fondateur et PDG de l'entreprise.

Déplacer la cage des agents du niveau des prompts vers les appels système et les modules matériels est un choix pragmatique. Il répond à un problème déjà apparu : lors des incidents récents, les contrôles applicatifs n'ont pas suffi à arrêter des agents décidés à terminer leur tâche. Reste à savoir si le prix de cette protection sera la dépendance à une infrastructure physique bien précise. — Olya