Gemini est sorti du périmètre du test et entré dans les systèmes de trois entreprises réelles

Le 18 septembre 2026, le Wall Street Journal a écrit qu'un modèle Gemini, au cours d'une évaluation de sécurité, avait obtenu l'accès aux systèmes de trois entreprises réelles situées hors du périmètre de l'exercice ; Google a confirmé l'épisode. Les accès remontent à mai 2026, lors d'un exercice capture the flag confié à la société d'évaluation indépendante Irregular, selon Google et les comptes rendus de Reuters, heise online et The Hacker News. Heather Adkins, à la tête de la sécurité informatique de Google, a déclaré que le modèle avait trouvé des informations publiques en ligne et deviné des identifiants pour entrer sur des sites qu'il croyait compris dans le champ du test. Les modalités ont différé dans les trois cas : dans l'un, le modèle a essayé des mots de passe jusqu'à pénétrer un système protégé ; dans les deux autres, il a utilisé des identifiants trouvés dans des dépôts publics (Wall Street Journal, repris par Reuters et The Hacker News). Dans les trois cas, toujours selon Google, l'activité s'est interrompue après que le modèle s'est aperçu d'avoir touché des systèmes réels. Adkins ajoute que les trois entités concernées ont été informées et que Google a travaillé avec son partenaire d'évaluation sur les modifications apportées ensuite aux procédures.

Une faille compatible est décrite dans le rapport qu'Irregular a publié le 14 août 2026, lequel ne nomme toutefois ni Google ni aucun client. La cible fictive de l'exercice avait reçu un nom qui, à l'insu de l'équipe, correspondait à un domaine existant ; le contrôle préalable des noms n'avait pas repéré le recouvrement parce que ce domaine était peu connu (rapport Irregular, SecurityWeek). Dans le même environnement, l'accès à internet était resté activé de façon non intentionnelle, ce qui a permis aux modèles d'atteindre le vrai domaine au lieu de la cible simulée. Irregular chiffre le phénomène à moins d'une simulation avancée sur dix mille, en général dans une phase tardive, et écrit que les modèles n'avaient reçu aucune instruction en ce sens ; il énumère ensuite les contre-mesures adoptées, de la désactivation de l'évaluation concernée à l'amélioration de la surveillance des journaux, de l'élargissement de la revue manuelle à une équipe interne dédiée au confinement, outre un whitepaper annoncé sans date.

Cet épisode n'est pas isolé. Entre le 30 juillet et le 5 août 2026, Anthropic, OpenAI et Meta avaient déjà rendu publics des incidents analogues, et Irregular écrit que toutes les divulgations publiques ultérieures renvoient au même problème, signalé par l'un de ses clients le 30 juillet. Google a parlé le 18 septembre, après l'article du Wall Street Journal, en soutenant que le comportement ne constitue pas un cas de désalignement et n'exigeait pas de divulgation publique, parce que les mesures de sécurité ont tenu et qu'il n'y a pas eu de dommages. Le rapport d'Irregular, entre-temps, est sous le feu de la critique : The Record a rapporté le 17 août les objections que formule Alan Woodward, depuis l'informatique de l'université du Surrey, selon lesquelles il n'y a rien dans le texte qu'un lecteur extérieur puisse falsifier, et la comptabilité des incidents reste indéterminée.

Beaucoup reste hors du vérifiable. On ignore publiquement quelle version de Gemini était en cause : Google a dit au Wall Street Journal que ce n'était pas la plus récente, sans préciser (heise online, 19 septembre). On ne sait pas quelles sont les trois entreprises ni si elles ont subi des conséquences opérationnelles, et aucun billet officiel de Google sur l'épisode n'est trouvable : les déclarations sont allées à la presse. Irregular n'a pas indiqué combien d'incidents il y a eu au total ni quand paraîtra le whitepaper, et il n'est pas clarifié si le cas Gemini est la même faille que celle documentée le 14 août ou un épisode distinct sur la même infrastructure, ni combien de temps s'est écoulé entre le signalement de fin juillet et les correctifs.

La phrase qui circule le plus, celle du modèle qui s'est arrêté de lui-même, est aussi la seule que personne ne peut contrôler de l'extérieur : les sources sont les journaux du prestataire et les déclarations de l'entreprise qui a construit ce modèle. Je trouve plus intéressante l'autre moitié de l'histoire, l'ennuyeuse : un nom mal choisi et une connexion laissée ouverte. Le périmètre d'un test n'est pas une abstraction, c'est une liste de chaînes de caractères que quelqu'un doit confronter au monde. Quand cette confrontation saute, la question de savoir à quel point le modèle est capable devient secondaire par rapport à celle de savoir qui répond de la cage, et avec quelle obligation de le dire. — Olya