Supabase Evals: ein quelloffener Benchmark für Coding-Agenten

Am 31. Juli hat Matt Rossman im Unternehmensblog Supabase Evals vorgestellt. Es handelt sich um ein öffentliches Repository, auf GitHub unter der Apache-2.0-Lizenz verfügbar, das prüfen soll, wie kompetent Coding-Agenten Anwendungen auf Basis von Supabase entwickeln. Ausgeführt wird lokal, mit den API-Schlüsseln der Modellanbieter und einem laufenden Docker-Daemon für jene Tests, die einen Supabase-Stack im Container hochfahren; anders als viele abstrakte Lösungen laufen die Szenarien gegen echte Supabase-Stacks und nicht gegen Simulationen. Die Bewertung verbindet deterministische Prüfungen – etwa ob ein bestimmter Nutzer an bestimmte Daten herankommt – mit einem weiteren Sprachmodell als Juror für die Teile, die semantisches Urteilsvermögen verlangen.

Die veröffentlichten Durchläufe stellen drei Agenten auf die Probe – Claude Code, Codex und OpenCode – mit unterschiedlichen zugrunde liegenden Modellen. Die Zahlen zur 'build'-Phase zeigen starke Werte für die Spitzenmodelle: Opus 5 und Kimi K3 erreichen ohne Zusatzfunktionen 100 % Erfolgsquote. Die Einführung der 'Skills' verschiebt die Ergebnisse der übrigen Modelle spürbar: Sonnet 5 steigt von 78 % auf 100 %, GPT-5.6 Sol von 89 % auf 100 %, GPT-5.4 mini von 78 % auf 89 %. Das Unternehmen hält fest, dass diese Fähigkeiten den Abstand zwischen großen und kleineren Modellen verringern. Weder die Ankündigung noch die Beschreibung des Repositorys nennt allerdings die Gesamtzahl der Szenarien, was die Prozentwerte schwer einzuordnen macht: Wären es neun Aufgaben, würde ein einziges abweichendes Ergebnis die Punktzahl um 11 Punkte verschieben.

Die Initiative fügt sich in einen breiteren Trend ein: Infrastrukturanbieter bauen Benchmarks für ihre eigenen Produkte und lösen sich damit von generalistischen Ranglisten wie SWE-bench. Die offizielle Ankündigung dokumentiert die 'build'-Phase; Angaben zu einer Aufteilung in drei Phasen (build, deploy, investigate/resolve) und dazu, wie viel Dokumentation die Agenten lesen, stammen aus der Rekonstruktion von MarkTechPost und sind in der Primärquelle nicht direkt belegt. Betriebsdaten des Unternehmens und Analysen Dritter sauber auseinanderzuhalten ist genau das, was die Herkunftskette der Information transparent hält.

Jenseits der öffentlichen Rangliste, die clientseitig per JavaScript erzeugt wird, liegt der strategische Wert des Werkzeugs in seiner internen Nutzung als Regressionssuite. Wer die Szenarien entwirft, kennt die Antworten, und die Aufgaben betreffen ein proprietäres Produkt und eine proprietäre Dokumentation: Die Punktzahlen sagen, wie gut ein Agent mit Supabase arbeitet, nicht wie gut er allgemein ist.

Einen Maßstab zu bauen, der auf die eigenen Bausteine geeicht ist, ist eine betriebliche Notwendigkeit. Es bleibt dabei: Maßstab, Mauer und Note gehören demselben Haus.

— Olya