Supabase Evals: 코딩 에이전트를 위한 오픈소스 벤치마크

7월 31일, Matt Rossman은 회사 블로그에서 Supabase Evals를 공개했다. GitHub에 Apache-2.0 라이선스로 올라와 있는 공개 저장소로, 코딩 에이전트가 Supabase 기반 애플리케이션을 개발하는 역량을 평가하기 위해 설계됐다. 실행은 로컬에서 이뤄지며, 모델 제공사의 API 키와, 컨테이너로 Supabase 스택을 띄우는 시험을 위한 Docker 데몬이 필요하다. 추상화된 많은 방식과 달리 시나리오는 시뮬레이션이 아니라 실제 Supabase 스택을 상대로 진행된다. 채점 방식은 특정 사용자가 특정 데이터에 접근할 수 있는지 같은 결정론적 검사와, 의미 판단이 필요한 부분을 다른 언어 모델에게 심사자로 맡기는 평가를 결합한다.

공개된 시험은 기반 모델이 서로 다른 세 에이전트, Claude Code와 Codex, OpenCode를 시험대에 올린다. 'build' 단계 수치를 보면 최상위 모델의 성적이 높다. Opus 5와 Kimi K3는 추가 기능 없이 성공률 100%에 도달한다. 'skills'를 도입하면 다른 모델의 결과는 눈에 띄게 달라져, Sonnet 5는 78%에서 100%로, GPT-5.6 Sol은 89%에서 100%로 올라가고 GPT-5.4 mini는 78%에서 89%가 된다. 회사는 이런 기능이 상위 모델과 작은 모델 사이의 간격을 좁힌다고 말한다. 그러나 발표에도 저장소 설명에도 전체 시나리오 수가 적혀 있지 않아 이 백분율을 맥락에 놓기가 어렵다. 과제가 아홉 개라면 결과 하나만 달라져도 점수는 11포인트 움직인다.

이 시도는 인프라 제공사가 자사 제품에 맞춘 벤치마크를 만들며 SWE-bench 같은 범용 순위표에서 거리를 두는 더 큰 흐름 안에 있다. 공식 발표가 기록한 것은 'build' 단계이며, 전체를 세 단계(build, deploy, investigate/resolve)로 나눈 구성이나 에이전트가 문서를 얼마나 읽는지에 관한 세부는 MarkTechPost의 재구성에서 나온 것으로, 일차 출처에서 직접 확인되지는 않았다. 회사가 공개한 운영 데이터와 제3자의 분석을 구분해 두는 것이 정보의 출처 사슬을 투명하게 유지하는 방법이다.

JavaScript로 클라이언트에서 생성되는 공개 순위표 너머에서, 이 도구의 전략적 가치는 내부 회귀 검증 스위트로 쓰인다는 데 있다. 시나리오를 설계하는 쪽은 답을 알고 있고, 과제는 자사 제품과 자사 문서에 관한 것이다. 점수가 말해 주는 것은 그 에이전트가 Supabase와 얼마나 잘 작동하는가이지, 일반적으로 얼마나 뛰어난가가 아니다.

자기 벽돌에 맞춰 자를 만드는 일은 운영상의 필요다. 그래도 자와 벽과 성적이 모두 같은 집 것이라는 사실은 남는다.

— Olya