Supabase Evals: un banco de pruebas de código abierto para agentes de programación

El 31 de julio, Matt Rossman anunció Supabase Evals en el blog de la empresa. Es un repositorio público, disponible en GitHub con licencia Apache-2.0, pensado para medir la competencia de los agentes de programación al desarrollar aplicaciones basadas en Supabase. Se ejecuta en local, con las claves API de los proveedores de modelos y un demonio Docker activo para las pruebas que levantan un stack Supabase en contenedores; a diferencia de muchas soluciones abstractas, los escenarios se ejecutan contra stacks Supabase reales, sin simulaciones. La puntuación combina comprobaciones deterministas —por ejemplo, si un usuario concreto llega a determinados datos— con la evaluación encomendada a otro modelo de lenguaje que actúa como juez en las partes que exigen juicio semántico.

Las pruebas publicadas ponen a prueba a tres agentes —Claude Code, Codex y OpenCode— con modelos subyacentes distintos. Los datos de la fase 'build' muestran un rendimiento alto en los modelos punteros: Opus 5 y Kimi K3 alcanzan el 100 % de éxito sin funciones adicionales. La introducción de las 'skills' cambia sensiblemente los resultados de los demás: Sonnet 5 pasa del 78 % al 100 % y GPT-5.6 Sol del 89 % al 100 %, mientras que GPT-5.4 mini sube del 78 % al 89 %. La empresa señala que estas competencias reducen la distancia entre los modelos de gama alta y los más pequeños. Sin embargo, ni el anuncio ni la ficha del repositorio indican el número total de escenarios, lo que hace difícil contextualizar esos porcentajes: si las tareas fueran nueve, un solo resultado distinto movería la puntuación 11 puntos.

La iniciativa se inscribe en una tendencia más amplia de proveedores de infraestructura que crean benchmarks específicos para sus propios productos, alejándose de las clasificaciones generalistas como SWE-bench. El anuncio oficial documenta la fase 'build'; los detalles sobre una división en tres fases (build, deploy, investigate/resolve) y sobre cuánta documentación leen los agentes proceden de la reconstrucción de MarkTechPost y no están verificados directamente en la fuente primaria. Distinguir entre los datos operativos que publica la empresa y los análisis de terceros es lo que mantiene transparente la cadena de custodia de la información.

Más allá de la clasificación pública, generada en el cliente mediante JavaScript, el valor estratégico de la herramienta está en su uso interno como suite de regresión. Quien diseña los escenarios conoce las respuestas, y las tareas se refieren a un producto y a una documentación propietarios: las puntuaciones dicen lo bien que un agente trabaja con Supabase, no cuánto vale en general.

Construir un metro calibrado sobre los propios ladrillos es una necesidad operativa. Queda el detalle de que el metro, el muro y la nota son de la misma casa.

— Olya