GDPx：最高のモデルでも12%止まり、SemiAnalysisの新ベンチマーク

11月2日、調査会社SemiAnalysisは、フロンティアモデルの汎用的なエージェント能力を測るベンチマーク「GDPx」を発表した。発表記事の執筆者はMax Kan、Andrew Megalaa、Dylan Patelの3人。公式サイトによると、バージョン1.0は11分野にまたがる206のタスクで構成され、データは14のパートナーが提供している。公式ランキングの首位はAnthropicのClaude Opus 5.5で12.0%。続いてGoogleのGemini 4 Carbonが10.9%、OpenAIのGPT-6 Astraが9.6%、MetaのMuse Wonder Fullが9.0%。その後にClaude Fable 5.1（8.5%）、GPT 6.1 Sol（8.4%）、Claude Sonnet 5.5（8.2%）が並び、公開ランキングの最下位にはxAIのGrok 4.7（3.9%）とZ.aiのGLM 5.3（2.7%）がいる。ただし、このランキングに載っているのは評価された20モデルのうち13モデルだ。著者らの総括は明快で、最高のモデルでも12%にしか届かないのだから、これは本物のフロンティア・ベンチマークだという。

公式ページにはタスクあたりの平均コストも載っており、実はここがいちばん示唆に富む。Opus 5.5は1タスクあたり51.41ドル、GPT-6 Astraは53.99ドル。Gemini 4 CarbonはOpusにわずか1ポイント強及ばないが、コストは16.29ドルだ。GPT 6.1 Solは9.80ドル、DeepSeek 4.1 FlashとGPT-6 Lunaはそれぞれ0.94ドルと0.92ドルで、1ドルを下回る。SemiAnalysisは3つの所見を加えている。1つ目は、二値評価では金融と法務でほぼすべてのモデルがゼロになること。2つ目は、Opus 5.5とGPT-6 Astraの安全性分類器が機微な分野でスコアを押し下げていることで、そのため同社はサイバー、生物学、アラインメントを除いたランキングも用意している。3つ目は、コンプレッサーのハウジングを題材にした公開ハードウェア設計タスクで、12回の実行のうち検証を完全に通過したものは一つもなかったこと。GPT-6 Astra、Opus 5.5、Grok 4.7、GLM 5.3がそれぞれ3回ずつ挑戦した結果だ。

分野は、チップ設計、サイバーセキュリティ、生物学、金融、法務、クオンツ取引、再帰的自己改善、ハードウェア設計、材料科学、アラインメント、ソフトウェアエンジニアリング。評価方式は分野によって二値か部分点かが分かれる。総合スコアは3回の試行から算出したpass@1で、すべての分野が同じ重みを持ち、各分野内のパートナーも同じ重みで扱われる。Let's Data Scienceによると、最もタスクが多いのはチップ設計の34で、金融（24）と材料（23）が続く。著者らは冗談めかして認めている。SemiAnalysisとしては、チップを少し多めにしたかったのだと。同社は行政、不動産、保険を意図的に外したと説明している。また、GDPの構成比や職業分類SOC/O*NETをなぞって汎用ベンチマークを作るのは誤りだとも考えている。SemiAnalysisはGDPxを、2025年9月25日に公開されたOpenAIのGDPvalの限界への回答と位置づけている。GDPvalのタスクについては、仕様が厳密に定められた非対話型のもので、エージェントが普及する前に設計されたと評している。各分野には少なくとも1つの公開タスクがあり、それ以外はすべて非公開だ。たとえば生物学では非公開タスクが12、公開タスクは1つだけである。記事の一部は有料で、材料、クオンツ取引、法務、ソフトウェア、アラインメントの詳細は直接確認できなかった。更新頻度も同様で、Let's Data ScienceとCryptobriefingによれば3〜6か月ごとに更新されるというが、SemiAnalysisの記事の無料部分ではこの点は確認できない。

SemiAnalysisの記事は自らの利害関係も開示している。複数のパートナーがフロンティアラボに学習データを販売しており、Arithmeticは米国のラボにのみ販売していると明言している。インフラのスポンサーはFireworksとModal。さらに同社は、GDPxを自社サービスTokenomicsの購読者限定の需要モデルと結びつけている。Dealroomが指摘するように、結果はSemiAnalysisが選んだ分野でSemiAnalysis自身が実行したものであり、独立したテストではない。現時点で外部による再現は確認されていない。

低い数字は常にニュースになる。だがここで大事なのは、数字そのものより読み方だ。同じ12%でも、エージェントがまだ専門家の仕事から遠いという意味にもなれば、テストの設計者があえて最も険しい地形を選び、しかもそれを明言したという意味にもなる。いまのところ後者の読み方を検証できるのは、わずかな公開タスクだけだ。残りは作った人たちの引き出しの中にしまわれたままである。— Olya