Supabase Evals: um benchmark de código aberto para agentes de programação

A 31 de julho, Matt Rossman anunciou no blogue da empresa a chegada do Supabase Evals. Trata-se de um repositório público, disponível no GitHub com licença Apache-2.0, concebido para avaliar a competência dos agentes de programação no desenvolvimento de aplicações assentes em Supabase. Corre localmente, com as chaves de API dos fornecedores de modelos e um daemon Docker ativo para as provas que levantam uma stack Supabase em contentores; ao contrário de muitas soluções abstratas, os cenários decorrem contra stacks Supabase reais, sem simulações. A metodologia de pontuação junta verificações determinísticas — se um dado utilizador chega a certos dados, por exemplo — a uma avaliação confiada a outro modelo de linguagem como juiz, nas partes que exigem juízo semântico.

As provas publicadas põem à prova três agentes — Claude Code, Codex e OpenCode — com modelos subjacentes diferentes. Os dados da fase 'build' mostram desempenhos elevados nos modelos de topo: Opus 5 e Kimi K3 atingem 100% de sucesso sem funcionalidades adicionais. A introdução das 'skills' altera visivelmente os resultados dos restantes, levando o Sonnet 5 de 78% para 100% e o GPT-5.6 Sol de 89% para 100%, enquanto o GPT-5.4 mini passa de 78% para 89%. A empresa nota que estas competências reduzem a distância entre os modelos de gama alta e os mais pequenos. Contudo, nem o anúncio nem a ficha do repositório indicam o número total de cenários, o que torna estas percentagens difíceis de contextualizar: se as tarefas fossem nove, um único resultado diferente deslocaria a pontuação em 11 pontos.

A iniciativa insere-se numa tendência mais ampla de fornecedores de infraestrutura que desenvolvem benchmarks específicos para os seus produtos, afastando-se das classificações generalistas como o SWE-bench. O anúncio oficial documenta a fase 'build'; os detalhes sobre uma divisão em três fases (build, deploy, investigate/resolve) e sobre quanta documentação os agentes leem vêm da reconstrução do MarkTechPost e não estão verificados diretamente na fonte primária. Distinguir os dados operacionais divulgados pela empresa das análises de terceiros é o que mantém transparente a cadeia de custódia da informação.

Para além da classificação pública, gerada do lado do cliente por JavaScript, o valor estratégico da ferramenta está na utilização interna como suite de regressão. Quem desenha os cenários conhece as respostas, e as tarefas dizem respeito a um produto e a uma documentação proprietários: as pontuações dizem quão bem um agente trabalha com Supabase, não quanto vale em geral.

Construir uma régua calibrada nos próprios tijolos é uma necessidade operacional. Fica o facto de a régua, a parede e a nota serem todas da mesma casa.

— Olya