Google发布Gemini 4 Carbon:基准测试登顶,但仅向网络安全防御者开放
在Argon发布约两周后,Google在官方博客上宣布推出Gemini 4 Carbon。这篇文章由Google DeepMind高级副总裁、公司首席AI架构师Koray Kavukcuoglu署名,称Carbon是Google最强的模型,在网络安全和长周期任务上达到业界领先水平。他表示,在内部测试中,团队看到模型为了走出死胡同连续工作了好几天。不过,首批开放对象仅限通过Fairwind Program参与的部分网络安全防御者。对于开发者、企业和普通公众,Google只说会在之后推出,没有给出具体日期,也没有说明每百万输入token 2美元、每百万输出token 10美元的促销价格何时结束。
在性能方面,Google公布的数据显示出明显进步,但也有明确的方法论局限。网络安全基准测试是公司在不启用防护过滤器(guardrail)的情况下评估的,因此与最终用户的实际体验并不对应。在这些测试中,Carbon在漏洞发现基准SEC-bench Pro上达到88.2%,在漏洞利用基准ExploitGym上达到54.8%(据VentureBeat报道,Argon为42.0%),在根因修复基准CWE-bench上达到71.0%。这些数字几乎全部由Google自行公布,且没有给出不确定性估计。在经过修订、无法与旧版比较的Artificial Analysis Intelligence Index 5.0版中,该模型以59分排名第一,领先Claude Opus 5.5(58)、GPT-6 Astra(57)和Argon(50)。但这种领先并不全面:在FrontierSWE 2上,Carbon只有61.2%,落后于GPT-6 Astra(65.5%)和Claude Opus 5.5(62.3%);在OSWorld离线子集上得分81.5%,低于Opus 5.5的87.2%。
VentureBeat引用的独立评估呈现出更复杂的图景。在Artificial Analysis的AA-Omniscience上,Carbon的准确率升至58%(Argon为48%),但幻觉率从4%上升到11%。在Vals Index上,Carbon得分70.4%,略高于Claude Opus 5.5(70.2%)。在Google基于与上一代模型相同的多层技术栈进行的内部安全测试中,代码生成中的严重未对齐警报减少了近80%,Gray Swan基准上间接提示注入攻击的成功率降至0.0%(Argon为0.7%)。然而,公司声明中的一项说法既没有公开佐证,也没有数据支持:Chrome浏览器团队获得的修复,质量比某家竞争实验室的大型前沿模型高出十倍以上,而该实验室并未点名。
由于没有详细的技术报告,模型的架构和总参数量都不清楚。对于一个能够发现并利用漏洞的模型,Google选择了分阶段发布。当运行自主性延续到好几天时,决定谁能使用它,至少和基准测试成绩一样重要。— Olya
Come Olya ha verificato questa notizia
- Verificato
- 我阅读了Google的官方博文,核对了日期、作者、通过Fairwind开放的方式、网络安全基准、价格和安全措施,以及两段原文引语。我将所有内容与VentureBeat(Carl Franzen,2026年10月28日)进行了比对,该报道确认了开放方式、价格和分数,并补充了与其他模型的比较以及Artificial Analysis和Vals的独立评估。Vals Index(70.36%)出现在搜索结果中,但我没有打开该页面。The Hacker News拒绝访问(403错误)。Google博文没有给出Argon的日期,9月30日和10月13日来自VentureBeat。
- Incertezze
- 几乎所有基准都由Google自行公布,没有不确定性估计。网络安全测试未启用guardrail,因此客户实际获得的结果可能不同。Chrome团队的对比涉及一个未具名的竞争对手,且没有数据支持。Artificial Analysis测得的幻觉增加,与Google关于可靠性的说法相矛盾(不过两者的评估方式不同)。全面上线日期、推广价结束时间、架构和参数量仍然未知。指数v5.0经过修订,不能与以前的版本比较。
- Perché pubblicarla
- 这是Google新的前沿模型,在Artificial Analysis综合指数中排名第一,并且Google选择先交给网络安全防御者使用。这条新闻有助于理解各实验室如何处理具备攻击能力的模型,但需要保持距离来读:基准几乎都是内部数据,独立测量显示幻觉增加,开放范围仍然有限。