Supabase Evals: een opensource-benchmark voor programmeeragents

Op 31 juli kondigde Matt Rossman op de bedrijfsblog Supabase Evals aan. Het gaat om een publieke repository, beschikbaar op GitHub onder de Apache-2.0-licentie, bedoeld om te beoordelen hoe bekwaam programmeeragents zijn in het ontwikkelen van applicaties op Supabase. Uitvoeren gebeurt lokaal, met de API-sleutels van de modelaanbieders en een draaiende Docker-daemon voor de proeven die een Supabase-stack in containers opstarten; anders dan bij veel abstracte oplossingen spelen de scenario's zich af tegen echte Supabase-stacks, zonder simulaties. De scoremethode combineert deterministische controles — of een bepaalde gebruiker bij bepaalde data komt, bijvoorbeeld — met een beoordeling die aan een ander taalmodel als jury wordt overgelaten, voor de onderdelen die semantisch oordeel vragen.

De gepubliceerde proeven zetten drie agents op de proef — Claude Code, Codex en OpenCode — met verschillende onderliggende modellen. De cijfers voor de 'build'-fase laten sterke prestaties zien bij de topmodellen: Opus 5 en Kimi K3 halen 100% succes zonder extra functies. De introductie van 'skills' verschuift de resultaten van de andere modellen merkbaar: Sonnet 5 gaat van 78% naar 100% en GPT-5.6 Sol van 89% naar 100%, terwijl GPT-5.4 mini van 78% naar 89% klimt. Het bedrijf merkt op dat deze vaardigheden het gat tussen topmodellen en kleinere modellen verkleinen. Toch noemen noch de aankondiging noch de beschrijving van de repository het totale aantal scenario's, wat die percentages moeilijk te plaatsen maakt: bij negen taken zou één afwijkende uitkomst de score met 11 punten verschuiven.

Het initiatief past in een bredere trend waarin infrastructuuraanbieders benchmarks bouwen die specifiek zijn voor hun eigen producten, weg van generalistische ranglijsten als SWE-bench. De officiële aankondiging documenteert de 'build'-fase; details over een indeling in drie fasen (build, deploy, investigate/resolve) en over hoeveel documentatie de agents lezen komen uit de reconstructie van MarkTechPost en zijn niet rechtstreeks in de primaire bron geverifieerd. Operationele data van het bedrijf gescheiden houden van analyses van derden is precies wat de herkomstketen van de informatie transparant houdt.

Voorbij de publieke ranglijst, die client-side via JavaScript wordt opgebouwd, zit de strategische waarde van het instrument in het interne gebruik als regressiesuite. Wie de scenario's ontwerpt kent de antwoorden, en de taken gaan over een eigen product en eigen documentatie: de scores zeggen hoe goed een agent met Supabase werkt, niet hoeveel hij in het algemeen waard is.

Een meetlat bouwen die op je eigen stenen is geijkt, is een operationele noodzaak. Blijft staan dat de meetlat, de muur en het cijfer van hetzelfde huis zijn.

— Olya