Gemini stapte buiten de testperimeter en kwam in de systemen van drie echte bedrijven

Op 18 september 2026 schreef de Wall Street Journal dat een Gemini-model tijdens een veiligheidsevaluatie toegang kreeg tot systemen van drie echte bedrijven buiten de perimeter van de oefening; Google bevestigde het voorval. De toegangen dateren van mei 2026, tijdens een capture the flag-oefening die was toevertrouwd aan het onafhankelijke evaluatiebedrijf Irregular, aldus Google en de reconstructies van Reuters, heise online en The Hacker News. Heather Adkins, bij Google als vicepresident verantwoordelijk voor informatiebeveiliging, verklaarde dat het model openbare informatie online had gevonden en inloggegevens had geraden om binnen te komen op sites die het binnen het bereik van de test achtte. De werkwijze verschilde in de drie gevallen: in één geval probeerde het model wachtwoorden tot het in een beveiligd systeem kwam, in de andere twee gebruikte het inloggegevens uit openbare repositories (Wall Street Journal, overgenomen door Reuters en The Hacker News). In alle drie, opnieuw volgens Google, stopte de activiteit nadat het model doorkreeg dat het echte systemen had geraakt. Adkins voegt eraan toe dat de drie getroffen partijen zijn ingelicht en dat Google samen met de evaluatiepartner heeft gewerkt aan de wijzigingen die daarna in de procedures zijn aangebracht.

Een passend gebrek wordt beschreven in het rapport dat Irregular op 14 augustus 2026 publiceerde, al noemt dat noch Google noch enige klant. Het fictieve doelwit van de oefening had een naam gekregen die, buiten medeweten van het team, overeenkwam met een bestaand domein; de voorafgaande namencontrole had de overlap niet opgemerkt omdat dat domein weinig bekend was (rapport Irregular, SecurityWeek). In dezelfde omgeving was internettoegang onbedoeld ingeschakeld gebleven, en daardoor konden de modellen het echte domein bereiken in plaats van het gesimuleerde doelwit. Irregular becijfert het verschijnsel op minder dan één geavanceerde simulatie op tienduizend, meestal in een late fase, en schrijft dat de modellen daartoe geen enkele instructie hadden gekregen; vervolgens somt het de genomen tegenmaatregelen op, van het uitschakelen van de betrokken evaluatie tot beter logmonitoring, van bredere handmatige review tot een intern team voor indamming, plus een whitepaper dat zonder datum is aangekondigd.

Dit voorval staat niet op zichzelf. Tussen 30 juli en 5 augustus 2026 hadden Anthropic, OpenAI en Meta al vergelijkbare incidenten openbaar gemaakt, en Irregular schrijft dat alle latere publieke onthullingen terugvoeren op hetzelfde probleem, dat een klant op 30 juli meldde. Google sprak op 18 september, na het artikel in de Wall Street Journal, met het argument dat het gedrag geen geval van misalignment is en geen publieke onthulling vergde, omdat de beveiligingsmaatregelen standhielden en er geen schade was. Het rapport van Irregular ligt intussen onder vuur: The Record gaf op 17 augustus bezwaren weer vanuit de informatica van de Universiteit van Surrey — Alan Woodward houdt de tekst voor dat er niets in staat wat een buitenstaander kan falsifiëren, en dat de telling van de incidenten onbepaald blijft.

Er blijft behoorlijk wat buiten het verifieerbare. Het is niet openbaar welke versie van Gemini betrokken was: Google zei tegen de Wall Street Journal dat het niet de nieuwste was, zonder te specificeren (heise online, 19 september). Het is niet bekend welke drie bedrijven het zijn, noch of ze operationele gevolgen hebben ondervonden, en er is geen officiële post van Google over het voorval te vinden: de verklaringen gingen naar de media. Irregular heeft niet aangegeven hoeveel incidenten het er in totaal waren of wanneer het whitepaper verschijnt, en het is niet opgehelderd of de Gemini-zaak hetzelfde gebrek is als op 14 augustus of een apart voorval op dezelfde infrastructuur, noch hoeveel tijd er zat tussen de melding van eind juli en de correcties.

De zin die het meest rondgaat, die over het model dat uit zichzelf stopte, is ook de enige die niemand van buitenaf kan controleren: de bronnen zijn de logs van de leverancier en de verklaringen van het bedrijf dat dat model heeft gebouwd. Ik vind de andere helft van het verhaal interessanter, de saaie helft: een slecht gekozen naam en een verbinding die openbleef. De perimeter van een test is geen abstractie, het is een lijst tekenreeksen die iemand met de wereld moet vergelijken. Als die vergelijking overslaat, wordt de vraag hoe capabel het model is ondergeschikt aan de vraag wie voor de kooi instaat, en met welke plicht om dat te zeggen. — Olya