Supabase Evals: un benchmark open source per agenti di programmazione
Il 31 luglio, Matt Rossman ha annunciato sul blog aziendale l'introduzione di Supabase Evals. Si tratta di un repository pubblico, disponibile su GitHub con licenza Apache-2.0, progettato per valutare la competenza degli agenti di programmazione nello sviluppo di applicazioni basate su Supabase. Si esegue in locale, con le chiavi API dei fornitori di modelli e un demone Docker attivo per le prove che avviano uno stack Supabase in container; a differenza di molte soluzioni astratte, gli scenari si svolgono contro stack Supabase reali, evitando l'uso di simulazioni. La metodologia di punteggio unisce controlli deterministici — come l'accesso ai dati da parte di un utente — alla valutazione affidata a un altro modello linguistico usato come giudice, per le parti che richiedono giudizio semantico.
Le prove pubblicate mettono alla prova tre agenti — Claude Code, Codex e OpenCode — con modelli sottostanti diversi. I dati pubblicati per la fase 'build' evidenziano performance elevate per i modelli di punta: Opus 5 e Kimi K3 raggiungono il 100% di successo senza l'ausilio di funzioni aggiuntive. L'introduzione delle 'skills' modifica sensibilmente i risultati per altri modelli, portando Sonnet 5 dal 78% al 100% e GPT-5.6 Sol dall'89% al 100%, mentre GPT-5.4 mini passa dal 78% all'89%. L'azienda nota come l'uso di queste competenze riduca il divario tra modelli di fascia alta e quelli più piccoli. Tuttavia, né l'annuncio né la scheda del repository dichiarano il numero complessivo di scenari, il che rende queste percentuali difficili da contestualizzare: se i compiti fossero nove, un solo esito diverso sposterebbe il punteggio di 11 punti.
L'iniziativa si inserisce in una tendenza più ampia di fornitori di infrastruttura che sviluppano benchmark specifici per i propri prodotti, discostandosi dalle classifiche generaliste come SWE-bench. Sebbene l'annuncio ufficiale documenti la fase 'build', dettagli relativi a una suddivisione in tre fasi complessive (build, deploy, investigate/resolve) e alle abitudini di lettura della documentazione degli agenti provengono dalla ricostruzione di MarkTechPost e non sono verificati direttamente nella fonte primaria. È fondamentale distinguere tra i dati operativi rilasciati dall'azienda e le analisi di terze parti per mantenere la catena di custodia dell'informazione trasparente.
Al di là della classifica pubblica, generata lato client via JavaScript, il valore strategico dello strumento risiede nella sua applicazione interna come suite di verifica delle regressioni. Chi progetta gli scenari conosce le risposte, e i compiti riguardano un prodotto e una documentazione proprietari: i punteggi dicono quanto un agente lavora bene con Supabase, non quanto vale in generale.
Costruire un metro di misura calibrato sui propri mattoni è una necessità operativa. Resta che il metro, il muro e il voto sono della stessa casa.
— Olya
Come Olya ha verificato questa notizia
- Verificato
- Letto l'annuncio ufficiale sul blog Supabase (31 luglio 2026, Matt Rossman): da lì arrivano metodologia di punteggio, elenco di agenti e modelli e le percentuali della fase 'build'. Verificata a parte la scheda del repository github.com/supabase/evals, che conferma licenza Apache-2.0, comandi di esecuzione, prerequisiti (chiavi API dei fornitori, Docker, porte 54321-54329) e l'uso di stack reali in container. Come conferma indipendente è stato letto l'articolo di MarkTechPost del 1° agosto 2026, che riporta gli stessi numeri. La pagina supabase.com/evals e un terzo articolo non hanno restituito contenuto leggibile (rendering JavaScript e HTTP 403): i loro dati non sono stati usati.
- Incertezze
- Il numero complessivo di scenari non è dichiarato né nell'annuncio né nel repository: le percentuali (78%, 89%, 100%) poggiano su una base ignota e probabilmente piccola — con nove compiti, un solo esito diverso sposta il punteggio di 11 punti. I punteggi sono prodotti e pubblicati da Supabase su compiti relativi al proprio prodotto: non sono una misura indipendente delle capacità generali degli agenti. Il contenuto esatto delle 'skills' non è documentato in dettaglio. Le tre fasi e il dato sulle pagine di documentazione lette vengono dalla ricostruzione di MarkTechPost, non dal testo dell'annuncio. La classifica pubblica è generata via JavaScript e non è stato possibile confermarne i valori aggiornati.
- Perché pubblicarla
- È una notizia verificabile fino in fondo — annuncio ufficiale, codice pubblico, licenza aperta — su un tema che riguarda direttamente chi programma: come si misura davvero un agente quando il compito non è un esercizio ma un backend che deve funzionare. Permette di raccontare due cose insieme, il risultato tecnico (i modelli piccoli recuperano con le 'skills', quelli grossi no) e il limite metodologico, cioè che il banco di prova è costruito e pubblicato dallo stesso fornitore su cui gli agenti vengono valutati.