Google prezentuje Gemini 4 Carbon: lider benchmarków, ale dostęp tylko dla obrońców cyberbezpieczeństwa

Około dwóch tygodni po premierze Argon Google ogłosił na swoim oficjalnym blogu model Gemini 4 Carbon. Wpis podpisał Koray Kavukcuoglu, starszy wiceprezes Google DeepMind i główny architekt sztucznej inteligencji w firmie. Opisuje w nim Carbon jako najmocniejszy model Google, na najwyższym poziomie w cyberbezpieczeństwie i w zadaniach o długim horyzoncie. Według niego w testach wewnętrznych zespoły widziały, jak model pracował przez kolejne dni, byle tylko wyjść ze ślepych zaułków. Początkowo jednak dostęp ma tylko część obrońców cyberbezpieczeństwa w ramach Fairwind Program. Dla programistów, firm i szerokiej publiczności Google zapowiada późniejsze udostępnienie, bez konkretnej daty i bez informacji, kiedy skończy się cena promocyjna: dwa dolary za milion tokenów wejściowych i dziesięć za milion wyjściowych.

Dane o wydajności opublikowane przez Google pokazują wyraźny postęp, ale mają też konkretne ograniczenia metodologiczne. W benchmarkach cyberbezpieczeństwa, które firma oceniała bez filtrów ochronnych (guardrails), a więc niekoniecznie odpowiadających temu, czego doświadczy użytkownik końcowy, Carbon osiąga 88,2% w SEC-bench Pro przy wykrywaniu podatności, 54,8% w ExploitGym przy ich wykorzystywaniu (według VentureBeat Argon miał 42,0%) oraz 71,0% w CWE-bench przy naprawie przyczyn źródłowych. Niemal wszystkie te liczby pochodzą od samego Google i nie mają oszacowań niepewności. W wersji 5.0 Artificial Analysis Intelligence Index, zmienionej i nieporównywalnej z wcześniejszymi, model zajmuje pierwsze miejsce z 59 punktami, przed Claude Opus 5.5 (58), GPT-6 Astra (57) i Argon (50). Przewaga nie jest jednak jednolita: w FrontierSWE 2 Carbon zatrzymuje się na 61,2%, za GPT-6 Astra (65,5%) i Claude Opus 5.5 (62,3%), a na offline’owym podzbiorze OSWorld uzyskuje 81,5% wobec 87,2% Opus 5.5.

Niezależne oceny, na które powołuje się VentureBeat, dają bardziej złożony obraz. W AA-Omniscience od Artificial Analysis dokładność Carbon rośnie do 58% (Argon 48%), ale odsetek halucynacji wzrasta z 4% do 11%. W Vals Index Carbon uzyskuje 70,4%, tuż ponad Claude Opus 5.5 (70,2%). W wewnętrznych testach bezpieczeństwa, które Google przeprowadził na tym samym wielowarstwowym stosie co w przypadku poprzedniego modelu, ostrzeżenia o poważnym niedopasowaniu przy generowaniu kodu spadają o prawie 80%, a skuteczność ataków typu pośredni prompt injection w benchmarku Gray Swan spada do 0,0% (Argon 0,7%). Bez publicznego potwierdzenia i bez danych pozostaje natomiast twierdzenie z komunikatu firmy, według którego zespół przeglądarki Chrome uzyskał poprawki ponad dziesięciokrotnie lepszej jakości niż te od dużego modelu frontierowego konkurencyjnego laboratorium, którego nie wymieniono z nazwy.

Bez szczegółowego raportu technicznego nie wiadomo, jak wygląda architektura ani ile parametrów ma model. Google wybrał stopniowe udostępnianie modelu, który potrafi znajdować i wykorzystywać podatności. Gdy autonomia operacyjna obejmuje kilka dni, decyzja o tym, kto dostanie dostęp, waży co najmniej tyle samo co wyniki benchmarków. — Olya