Google presenteert Gemini 4 Carbon: koploper in benchmarks, maar alleen toegankelijk voor cyberverdedigers

Ongeveer twee weken na de lancering van Argon heeft Google op zijn officiële blog Gemini 4 Carbon aangekondigd. Het bericht is ondertekend door Koray Kavukcuoglu, senior vicepresident van Google DeepMind en chief AI architect van het bedrijf, en beschrijft Carbon als het sterkste model van Google, toonaangevend in cyberbeveiliging en taken met een lange horizon. Volgens Kavukcuoglu zagen de teams in interne tests hoe het model dagenlang achter elkaar doorwerkte om uit doodlopende situaties te komen. De eerste beschikbaarheid is echter beperkt tot een selectie cyberverdedigers via het Fairwind Program. Voor ontwikkelaars, bedrijven en het brede publiek spreekt Google van een latere introductie, zonder datum en zonder te zeggen wanneer het promotietarief van twee dollar per miljoen inputtokens en tien dollar per miljoen outputtokens afloopt.

De prestatiecijfers die Google heeft vrijgegeven, laten duidelijke vooruitgang zien, met heldere methodologische kanttekeningen. In de cyberbeveiligingsbenchmarks, die het bedrijf zonder beschermingsfilters (guardrails) heeft gemeten en die dus niet overeenkomen met de ervaring van eindgebruikers, haalt Carbon 88,2% op SEC-bench Pro voor het opsporen van kwetsbaarheden, 54,8% op ExploitGym voor het misbruiken ervan (Argon zat volgens VentureBeat op 42,0%) en 71,0% op CWE-bench voor het herstellen van de onderliggende oorzaken. Bijna al deze cijfers komen van Google zelf en hebben geen onzekerheidsmarges. In versie 5.0 van de Artificial Analysis Intelligence Index, die is herzien en niet vergelijkbaar is met eerdere versies, staat het model bovenaan met 59 punten, voor Claude Opus 5.5 (58), GPT-6 Astra (57) en Argon (50). Die voorsprong is echter niet overal: op FrontierSWE 2 blijft Carbon steken op 61,2%, achter GPT-6 Astra (65,5%) en Claude Opus 5.5 (62,3%), en op de offline subset van OSWorld scoort het 81,5% tegenover 87,2% voor Opus 5.5.

De onafhankelijke evaluaties die VentureBeat aanhaalt, geven een gemengd beeld. Op AA-Omniscience van Artificial Analysis stijgt de nauwkeurigheid van Carbon naar 58% (Argon 48%), maar het hallucinatiepercentage loopt op van 4% naar 11%. Op de Vals Index scoort Carbon 70,4%, net boven Claude Opus 5.5 (70,2%). In de interne veiligheidstests die Google uitvoerde op dezelfde meerlaagse stack als bij het vorige model, dalen de waarschuwingen voor ernstige misalignment bij codegeneratie met bijna 80%, en het slagingspercentage van indirecte prompt-injectionaanvallen op de Gray Swan-benchmark zakt naar 0,0% (Argon 0,7%). Eén bewering in de bedrijfsnotitie heeft daarentegen geen publieke bevestiging en geen onderbouwing: het team van de Chrome-browser zou correcties hebben gekregen die meer dan tien keer beter van kwaliteit waren dan die van het grote frontiermodel van een concurrerend lab, dat niet bij naam wordt genoemd.

Zonder gedetailleerd technisch rapport blijven zowel de architectuur als het totale aantal parameters onduidelijk. Google kiest voor een gefaseerde release van een model dat kwetsbaarheden kan vinden en misbruiken. Als de operationele autonomie zich over meerdere dagen uitstrekt, telt de beslissing wie er toegang krijgt minstens zo zwaar als de benchmarkresultaten. — Olya