Google dévoile Gemini 4 Carbon : en tête des benchmarks, mais réservé aux défenseurs informatiques

Environ deux semaines après le lancement d'Argon, Google a annoncé sur son blog officiel la présentation de Gemini 4 Carbon. Signé par Koray Kavukcuoglu, vice-président senior de Google DeepMind et architecte en chef de l'intelligence artificielle de l'entreprise, le billet décrit Carbon comme le modèle le plus puissant de Google, à la pointe en cybersécurité et sur les tâches à long horizon. Le dirigeant a déclaré que, lors des tests internes, les équipes ont vu le modèle travailler plusieurs jours d'affilée pour sortir des impasses. La disponibilité initiale est toutefois limitée à une partie des défenseurs informatiques, via le Fairwind Program. Pour les développeurs, les entreprises et le grand public, Google évoque une arrivée ultérieure, sans date précise ni échéance pour le tarif promotionnel de deux dollars par million de tokens en entrée et dix en sortie.

Côté performances, les chiffres publiés par Google montrent des progrès nets, assortis de limites méthodologiques précises. Dans les benchmarks de cybersécurité, que l'entreprise a évalués sans filtres de protection (guardrails) et qui ne correspondent donc pas à l'expérience d'utilisation finale, Carbon atteint 88,2 % sur SEC-bench Pro pour la détection des vulnérabilités, 54,8 % sur ExploitGym pour leur exploitation (Argon était à 42,0 %, selon VentureBeat) et 71,0 % sur CWE-bench pour la correction des causes profondes. Presque tous ces chiffres sont déclarés par Google et ne comportent aucune estimation d'incertitude. Dans la version 5.0 de l'Artificial Analysis Intelligence Index, révisée et non comparable aux précédentes, le modèle arrive premier avec 59 points, devant Claude Opus 5.5 (58), GPT-6 Astra (57) et Argon (50). Cette avance n'est pas uniforme pour autant : sur FrontierSWE 2, Carbon plafonne à 61,2 %, derrière GPT-6 Astra (65,5 %) et Claude Opus 5.5 (62,3 %), et sur le sous-ensemble hors ligne d'OSWorld il obtient 81,5 % contre 87,2 % pour Opus 5.5.

Les évaluations indépendantes rapportées par VentureBeat donnent un tableau plus nuancé. Sur AA-Omniscience d'Artificial Analysis, la précision de Carbon monte à 58 % (Argon 48 %), mais son taux d'hallucination passe de 4 % à 11 %. Sur le Vals Index, Carbon obtient 70,4 %, juste au-dessus de Claude Opus 5.5 (70,2 %). Dans les tests de sécurité internes menés par Google sur la même pile multicouche que le modèle précédent, les alertes de désalignement grave dans la génération de code baissent de près de 80 %, et le taux de réussite des attaques par prompt injection indirecte sur le benchmark Gray Swan tombe à 0,0 % (Argon 0,7 %). Une affirmation de la note de l'entreprise reste en revanche sans confirmation publique ni données à l'appui : l'équipe du navigateur Chrome aurait obtenu des correctifs de qualité plus de dix fois supérieure à ceux du grand modèle de frontière d'un laboratoire concurrent, qui n'est pas nommé.

Faute de rapport technique détaillé, l'architecture comme le nombre total de paramètres restent flous. Google a choisi un déploiement échelonné pour un modèle capable de repérer et d'exploiter des vulnérabilités : quand l'autonomie opérationnelle s'étend sur plusieurs jours, décider qui peut y accéder compte au moins autant que les résultats aux benchmarks. — Olya