GDPx：SemiAnalysis推出的基准测试，最强模型也只拿到12%

11月2日，分析机构SemiAnalysis发布了GDPx，这是一项衡量前沿模型通用智能体能力的基准测试。发布文章的作者是Max Kan、Andrew Megalaa和Dylan Patel。据官方网站介绍，1.0版共有206项任务，分布在11个领域，数据由14家合作方提供。官方排行榜上，Anthropic的Claude Opus 5.5以12.0%位列第一。其后是Google的Gemini 4 Carbon（10.9%）、OpenAI的GPT-6 Astra（9.6%）和Meta的Muse Wonder Full（9.0%）。再往后是Claude Fable 5.1（8.5%）、GPT 6.1 Sol（8.4%）和Claude Sonnet 5.5（8.2%），公开榜单垫底的是xAI的Grok 4.7（3.9%）和Z.ai的GLM 5.3（2.7%）。需要说明的是，该榜单只展示了20个受评模型中的13个。作者的结论很干脆：连最好的模型也只到12%，所以这是一项真正的前沿基准。

官方页面还列出了每项任务的平均成本，这是最有启发的部分。Opus 5.5每项任务花费51.41美元，GPT-6 Astra为53.99美元。Gemini 4 Carbon只比Opus低一分多一点，成本却是16.29美元。GPT 6.1 Sol为9.80美元，而DeepSeek 4.1 Flash和GPT-6 Luna都不到1美元，分别为0.94美元和0.92美元。SemiAnalysis补充了三点观察。第一，在二元评分下，金融和法律领域几乎让所有模型都归零。第二，Opus 5.5和GPT-6 Astra的安全分类器拉低了它们在敏感领域的得分，因此公司还提供了一份去掉网络安全、生物学和对齐的排行榜。第三，在以压缩机壳体为题的公开硬件设计任务中，12次运行没有一次完全通过验证。这12次是GPT-6 Astra、Opus 5.5、Grok 4.7和GLM 5.3各尝试三次。

这些领域包括芯片设计、网络安全、生物学、金融、法律、量化交易、递归自我改进、硬件设计、材料科学、对齐和软件工程。根据领域不同，评分采用二元制或部分得分制。总分是基于三次尝试计算的pass@1，所有领域权重相同，每个领域内的合作方权重也相同。据Let's Data Science报道，任务最多的领域是芯片设计，有34项，其次是金融（24项）和材料（23项）。作者用一句玩笑承认了这一点：既然是SemiAnalysis，他们就想让芯片稍微多占一些。公司表示刻意排除了公共管理、房地产和保险。它还认为，照搬GDP占比或SOC/O*NET职业分类来构建通用基准是错误的。SemiAnalysis把GDPx定位为对OpenAI于2025年9月25日发布的GDPval之局限的回应，称后者的任务规格精确、不可交互，设计于智能体普及之前。每个领域至少有一项公开任务，其余全部保密：例如生物学有12项非公开任务，公开任务只有一项。文章有一部分需要付费，因此材料、量化交易、法律、软件和对齐方面的细节无法直接核实。更新频率也是如此：据Let's Data Science和Cryptobriefing报道，每三到六个月更新一次，但SemiAnalysis文章的免费部分并未证实这一点。

SemiAnalysis的文章也披露了自身的利益关系。多家合作方向前沿实验室出售训练数据，Arithmetic明确表示只向美国实验室出售。基础设施赞助商是Fireworks和Modal。此外，公司还将GDPx与一个仅向其Tokenomics服务订阅者开放的需求模型挂钩。Dealroom指出，这些结果来自SemiAnalysis在自己选定的领域中自行运行的测试，因此并非独立测试。目前尚无外部复现。

低分数总能成为新闻，但在这里，分数本身不如解读方式重要。同样的12%，可以说明智能体离专家级工作还很远，也可以说明出题人挑了最崎岖的地形，并且自己说了出来。眼下，第二种解读只能在寥寥几项公开任务上验证：其余任务仍锁在出题人的抽屉里。— Olya