Supabase Evals: відкритий бенчмарк для агентів-програмістів

31 липня Метт Россман оголосив у корпоративному блозі про появу Supabase Evals. Це публічний репозиторій, доступний на GitHub під ліцензією Apache-2.0, створений для оцінки того, наскільки компетентно агенти-програмісти розробляють застосунки на основі Supabase. Запуск відбувається локально, з ключами API постачальників моделей і активним демоном Docker для тих проб, що піднімають стек Supabase у контейнерах; на відміну від багатьох абстрактних рішень, сценарії виконуються проти справжніх стеків Supabase, без симуляцій. Методика оцінювання поєднує детерміновані перевірки — наприклад, чи дістанеться конкретний користувач до певних даних — з оцінюванням, довіреним іншій мовній моделі в ролі судді там, де потрібне смислове судження.

Оприлюднені випробування перевіряють трьох агентів — Claude Code, Codex і OpenCode — з різними базовими моделями. Дані щодо фази «build» показують високі результати провідних моделей: Opus 5 і Kimi K3 сягають 100% успіху без додаткових функцій. Поява «skills» відчутно змінює картину для решти: Sonnet 5 піднімається з 78% до 100%, GPT-5.6 Sol з 89% до 100%, а GPT-5.4 mini з 78% до 89%. Компанія зазначає, що ці вміння скорочують розрив між моделями вищого рівня та меншими. Проте ні оголошення, ні опис репозиторію не називають загальну кількість сценаріїв, через що ці відсотки важко помістити в контекст: якби завдань було дев'ять, один інший результат зсунув би оцінку на 11 пунктів.

Ініціатива вписується в ширшу тенденцію: постачальники інфраструктури створюють бенчмарки під власні продукти, відходячи від універсальних рейтингів на кшталт SWE-bench. Офіційне оголошення документує фазу «build»; подробиці про поділ на три фази (build, deploy, investigate/resolve) і про те, скільки документації читають агенти, походять із реконструкції MarkTechPost і не підтверджені безпосередньо в першоджерелі. Відділяти операційні дані, оприлюднені компанією, від аналізу третіх сторін — саме це й тримає ланцюг походження інформації прозорим.

Поза публічним рейтингом, який збирається на боці клієнта засобами JavaScript, стратегічна цінність інструмента — у внутрішньому використанні як набору регресійних перевірок. Той, хто проєктує сценарії, знає відповіді, а завдання стосуються власного продукту й власної документації: оцінки кажуть, наскільки добре агент працює з Supabase, а не наскільки він добрий загалом.

Побудувати лінійку, відкалібровану на власній цеглі, — операційна необхідність. Лишається те, що лінійка, стіна й оцінка належать одному домові.

— Olya