GDPx, 최고 모델도 12%에 그친 SemiAnalysis의 벤치마크

11월 2일 분석 업체 SemiAnalysis가 프런티어 모델의 범용 에이전트 능력을 측정하는 벤치마크 GDPx를 발표했다. 발표 글은 Max Kan, Andrew Megalaa, Dylan Patel이 썼다. 공식 사이트에 따르면 버전 1.0은 11개 분야에 걸친 206개 과제로 이뤄져 있으며, 데이터는 14개 파트너가 제공했다. 공식 순위 1위는 Anthropic의 Claude Opus 5.5로 12.0%다. 이어 Google의 Gemini 4 Carbon이 10.9%, OpenAI의 GPT-6 Astra가 9.6%, Meta의 Muse Wonder Full이 9.0%를 기록했다. 그 뒤로 Claude Fable 5.1(8.5%), GPT 6.1 Sol(8.4%), Claude Sonnet 5.5(8.2%)가 있고, 공개 순위표 맨 아래에는 xAI의 Grok 4.7(3.9%)과 Z.ai의 GLM 5.3(2.7%)이 있다. 다만 이 순위표에는 평가된 20개 모델 중 13개만 나와 있다. 저자들의 결론은 분명하다. 최고 모델조차 12%에 그치니 진정한 프런티어 벤치마크라는 것이다.

공식 페이지에는 과제당 평균 비용도 나와 있는데, 가장 시사하는 바가 큰 부분이다. Opus 5.5는 과제당 51.41달러, GPT-6 Astra는 53.99달러가 든다. Gemini 4 Carbon은 Opus보다 1점 남짓 낮지만 비용은 16.29달러다. GPT 6.1 Sol은 9.80달러이고, DeepSeek 4.1 Flash와 GPT-6 Luna는 각각 0.94달러와 0.92달러로 1달러도 안 된다. SemiAnalysis는 세 가지 관찰을 덧붙인다. 첫째, 이진 평가에서는 금융과 법률 분야에서 사실상 모든 모델이 0점이 된다. 둘째, Opus 5.5와 GPT-6 Astra의 안전 분류기가 민감한 분야에서 점수를 끌어내린다. 그래서 회사는 사이버, 생물학, 얼라인먼트를 뺀 순위표도 따로 제시한다. 셋째, 압축기 하우징을 다룬 공개 하드웨어 설계 과제에서는 12번의 실행 중 검증을 완전히 통과한 경우가 하나도 없었다. GPT-6 Astra, Opus 5.5, Grok 4.7, GLM 5.3이 각각 세 번씩 시도한 결과다.

분야는 칩 설계, 사이버보안, 생물학, 금융, 법률, 퀀트 트레이딩, 재귀적 자기개선, 하드웨어 설계, 재료과학, 얼라인먼트, 소프트웨어 엔지니어링이다. 평가는 분야에 따라 이진 방식이거나 부분 점수 방식이다. 대표 점수는 세 번의 시도로 계산한 pass@1이며, 모든 분야의 가중치가 같고 각 분야 안의 파트너들도 동일한 비중을 갖는다. Let's Data Science에 따르면 과제가 가장 많은 분야는 34개인 칩 설계이고, 금융(24개)과 재료(23개)가 뒤를 잇는다. 저자들은 농담처럼 인정한다. SemiAnalysis인 만큼 칩이 조금 과대 대표되길 바랐다고. 회사는 공공 행정, 부동산, 보험을 일부러 제외했다고 밝혔다. 또 GDP 비중이나 직업 분류 체계 SOC/O*NET을 그대로 본떠 범용 벤치마크를 만드는 것은 잘못이라고 본다. SemiAnalysis는 GDPx를 2025년 9월 25일 나온 OpenAI GDPval의 한계에 대한 답으로 내세운다. GDPval의 과제는 정밀하게 명세된 비대화형 과제로, 에이전트가 확산되기 전에 설계됐다는 것이 SemiAnalysis의 설명이다. 모든 분야에 공개 과제가 최소 하나씩 있고 나머지는 모두 비공개다. 예를 들어 생물학은 비공개 과제가 12개, 공개 과제는 하나뿐이다. 글 일부가 유료여서 재료, 퀀트 트레이딩, 법률, 소프트웨어, 얼라인먼트에 관한 세부 내용은 직접 확인할 수 없었다. 업데이트 주기도 마찬가지다. Let's Data Science와 Cryptobriefing은 3~6개월마다 업데이트된다고 전하지만, SemiAnalysis 글의 공개 부분에서는 확인되지 않는다.

SemiAnalysis의 글은 자사의 이해관계도 밝히고 있다. 여러 파트너가 프런티어 연구소에 학습 데이터를 판매하며, Arithmetic은 미국 연구소에만 판매한다고 명시했다. 인프라 스폰서는 Fireworks와 Modal이다. 회사는 또 GDPx를 자사 서비스 Tokenomics 구독자 전용 수요 모델과 연결한다. Dealroom은 결과가 SemiAnalysis가 고른 분야에서 SemiAnalysis가 직접 수행한 실행에서 나온 것이므로 독립적인 테스트가 아니라고 짚는다. 현재까지 외부 재현 사례는 확인되지 않았다.

낮은 숫자는 언제나 뉴스가 된다. 하지만 여기서는 숫자보다 그것을 읽는 방식이 더 중요하다. 같은 12%라도 에이전트가 아직 전문가의 일과 거리가 멀다는 뜻일 수도 있고, 시험을 설계한 쪽이 가장 험한 지형을 골랐고 그 사실을 밝혔다는 뜻일 수도 있다. 지금으로서는 두 번째 해석을 몇 안 되는 공개 과제로만 검증할 수 있다. 나머지는 그것을 만든 사람들의 서랍 속에 남아 있다. — Olya