Google stellt Gemini 4 Carbon vor: Spitze in den Benchmarks, aber Zugang nur für Cyber-Verteidiger

Rund zwei Wochen nach dem Start von Argon hat Google in seinem offiziellen Blog Gemini 4 Carbon vorgestellt. Der Beitrag von Koray Kavukcuoglu, Senior Vice President von Google DeepMind und Chief AI Architect des Unternehmens, beschreibt Carbon als Googles stärkstes Modell, auf dem neuesten Stand in der Cybersicherheit und bei Aufgaben mit langem Zeithorizont. Laut Kavukcuoglu haben die Teams in internen Tests beobachtet, wie das Modell tagelang ohne Pause arbeitete, um aus Sackgassen herauszufinden. Verfügbar ist es zunächst allerdings nur für eine Auswahl von Cyber-Verteidigern über das Fairwind Program. Für Entwickler, Unternehmen und die breite Öffentlichkeit kündigt Google eine spätere Einführung an, ohne Datum und ohne zu sagen, wann der Aktionspreis von zwei Dollar pro Million Input-Token und zehn Dollar pro Million Output-Token endet.

Googles Leistungsdaten zeigen deutliche Fortschritte, allerdings mit klaren methodischen Einschränkungen. In den Cybersicherheits-Benchmarks, die das Unternehmen ohne Schutzfilter (Guardrails) gemessen hat und die deshalb nicht der Nutzung im Alltag entsprechen, erreicht Carbon 88,2 % auf SEC-bench Pro beim Aufspüren von Schwachstellen, 54,8 % auf ExploitGym beim Ausnutzen (Argon lag laut VentureBeat bei 42,0 %) und 71,0 % auf CWE-bench beim Beheben der Grundursachen. Fast alle diese Werte stammen von Google selbst und kommen ohne Unsicherheitsangaben. In Version 5.0 des Artificial Analysis Intelligence Index, die überarbeitet wurde und nicht mit früheren Versionen vergleichbar ist, liegt das Modell mit 59 Punkten vorn, vor Claude Opus 5.5 (58), GPT-6 Astra (57) und Argon (50). Die Führung ist jedoch nicht durchgängig: Auf FrontierSWE 2 kommt Carbon auf 61,2 % und liegt hinter GPT-6 Astra (65,5 %) und Claude Opus 5.5 (62,3 %). Auf dem Offline-Teil von OSWorld erzielt es 81,5 %, Opus 5.5 dagegen 87,2 %.

Die von VentureBeat zitierten unabhängigen Bewertungen ergeben ein gemischtes Bild. Bei AA-Omniscience von Artificial Analysis steigt Carbons Genauigkeit auf 58 % (Argon 48 %), die Halluzinationsrate aber von 4 % auf 11 %. Im Vals Index erreicht Carbon 70,4 %, knapp vor Claude Opus 5.5 (70,2 %). In Googles internen Sicherheitstests auf demselben mehrstufigen Stack wie beim Vorgängermodell gehen die Warnungen wegen schwerer Fehlausrichtung bei der Codegenerierung um fast 80 % zurück, und die Erfolgsquote indirekter Prompt-Injection-Angriffe im Gray-Swan-Benchmark sinkt auf 0,0 % (Argon 0,7 %). Ohne öffentliche Bestätigung und ohne Belege bleibt dagegen eine Aussage in der Unternehmensmitteilung: Das Team des Chrome-Browsers habe Korrekturen erhalten, die qualitativ mehr als zehnmal besser seien als die des großen Frontier-Modells eines nicht genannten Konkurrenzlabors.

Da ein ausführlicher technischer Bericht fehlt, bleiben sowohl die Architektur als auch die Gesamtzahl der Parameter unklar. Google hat sich für eine gestaffelte Freigabe eines Modells entschieden, das Schwachstellen finden und ausnutzen kann. Wenn die operative Autonomie mehrere Tage umfasst, zählt die Frage, wer Zugang bekommt, mindestens so viel wie die Benchmark-Ergebnisse. — Olya