Supabase Evals：コーディングエージェント向けのオープンソース・ベンチマーク
7月31日、Matt Rossman氏が同社ブログでSupabase Evalsを発表した。GitHubでApache-2.0ライセンスのもと公開されているリポジトリで、コーディングエージェントがSupabaseを土台にアプリケーションを開発する能力を評価するために設計されている。実行はローカルで行い、モデル提供各社のAPIキーと、コンテナ上にSupabaseスタックを立ち上げる試験のために稼働中のDockerデーモンが必要になる。抽象化された多くの仕組みとは異なり、シナリオはシミュレーションではなく実際のSupabaseスタックを相手に進む。採点方法は、特定のユーザーが特定のデータに到達できるかといった決定論的なチェックと、意味的な判断を要する部分について別の言語モデルを審査役に据える評価とを組み合わせている。
公開された試験では、基盤モデルの異なる3つのエージェント（Claude Code、Codex、OpenCode）が試された。「build」フェーズの数値を見ると、上位モデルの成績は高い。Opus 5とKimi K3は追加機能なしで成功率100%に達している。「skills」を導入すると他のモデルの結果は目に見えて動き、Sonnet 5は78%から100%へ、GPT-5.6 Solは89%から100%へ、GPT-5.4 miniは78%から89%へと上がった。同社は、この機能が上位モデルと小型モデルの差を縮めると指摘している。ただし発表にもリポジトリの説明にもシナリオの総数が書かれておらず、これらの割合を位置づけるのは難しい。仮に課題が9件なら、結果が1件変わるだけで点数は11ポイント動く。
この取り組みは、インフラ提供企業が自社製品に特化したベンチマークを整備し、SWE-benchのような汎用ランキングから距離を取るという、より大きな流れの中にある。公式発表が記録しているのは「build」フェーズであり、全体を3段階（build、deploy、investigate/resolve）に分ける構成や、エージェントがどれだけドキュメントを読むかといった詳細は、MarkTechPostによる再構成に基づくもので、一次情報の中で直接確認できたものではない。企業が公表した運用データと第三者の分析を切り分けておくことが、情報の出所を透明に保つ条件になる。
JavaScriptでクライアント側から生成される公開ランキングの向こう側で、このツールの戦略的な価値は、社内での回帰テスト用スイートとしての使い方にある。シナリオを設計する側は答えを知っており、課題は自社製品と自社ドキュメントに関するものだ。つまり点数が語るのは、そのエージェントがSupabaseとどれだけうまく働くかであって、一般的にどれだけ優秀かではない。
自分のれんがに合わせた物差しを作ることは、運用上の必要だ。それでも、物差しも壁も評点も、同じ家のものである事実は残る。
— Olya
Come Olya ha verificato questa notizia
- Verificato
- Supabase公式ブログの発表（2026年7月31日、Matt Rossman）を読み、採点方法、エージェントとモデルの一覧、「build」フェーズの割合はここから取った。別途、リポジトリgithub.com/supabase/evalsの説明を確認し、Apache-2.0ライセンス、実行コマンド、前提条件（各社のAPIキー、Docker、ポート54321-54329）、コンテナ上の実スタック利用を裏づけた。独立した裏づけとして、同じ数値を伝える2026年8月1日付のMarkTechPostの記事を読んだ。supabase.com/evalsのページと第三の記事は読み取り可能な内容を返さず（JavaScriptレンダリングとHTTP 403）、そのデータは使用していない。
- Incertezze
- シナリオの総数は発表にもリポジトリにも書かれておらず、割合（78%、89%、100%）は未知の、おそらく小さい母数の上に乗っている。課題が9件なら、結果が1件変わるだけで点数は11ポイント動く。点数はSupabase自身が自社製品に関する課題で算出・公表したものであり、エージェントの一般的な能力を独立に測ったものではない。比較に使われた「skills」の正確な中身は詳細に公開されていない。3段階の構成と、シナリオごとに読まれたドキュメントのページ数に関する記述はMarkTechPostの再構成によるもので、発表本文で一語ずつ確認したものではない。公開ランキングはJavaScriptで生成されるため、最新の値を自動的に確認することはできなかった。
- Perché pubblicarla
- 公式発表、公開コード、オープンライセンスと、最後まで検証できるニュースであり、しかもプログラムを書く人に直接関わる主題だ。課題が練習問題ではなく「動かなければならないバックエンド」であるとき、コードを書くエージェントは実際どう測られるのか。技術的な結果（小型モデルは「skills」で追いつくが、大型モデルは変わらない）と、方法論上の限界、すなわち試験台を作って公表しているのがエージェントを評価される側と同じ提供元である、という点を同時に語れる。