Supabase Evals: открытый бенчмарк для агентов-программистов

31 июля Мэтт Россман объявил в корпоративном блоге о выходе Supabase Evals. Это публичный репозиторий, доступный на GitHub под лицензией Apache-2.0 и предназначенный для оценки того, насколько компетентно агенты-программисты разрабатывают приложения на базе Supabase. Запуск идёт локально, с ключами API поставщиков моделей и работающим демоном Docker для тех проб, которые поднимают стек Supabase в контейнерах; в отличие от многих абстрактных решений, сценарии выполняются против настоящих стеков Supabase, без симуляций. Методика подсчёта соединяет детерминированные проверки — например, доберётся ли конкретный пользователь до определённых данных — с оценкой, отданной другой языковой модели в роли судьи там, где нужно смысловое суждение.

Опубликованные испытания проверяют трёх агентов — Claude Code, Codex и OpenCode — на разных базовых моделях. Данные по фазе «build» показывают высокие результаты у флагманских моделей: Opus 5 и Kimi K3 достигают 100% успеха без дополнительных функций. Появление «skills» заметно меняет картину для остальных: Sonnet 5 поднимается с 78% до 100%, GPT-5.6 Sol с 89% до 100%, а GPT-5.4 mini с 78% до 89%. Компания отмечает, что эти умения сокращают разрыв между моделями высшего эшелона и более компактными. Однако ни объявление, ни описание репозитория не называют общее число сценариев, из-за чего эти проценты трудно поместить в контекст: будь задач девять, один иной исход сдвинул бы оценку на 11 пунктов.

Инициатива вписывается в более широкую тенденцию: поставщики инфраструктуры делают бенчмарки под собственные продукты, отходя от универсальных рейтингов вроде SWE-bench. Официальное объявление документирует фазу «build»; подробности о делении на три фазы (build, deploy, investigate/resolve) и о том, сколько документации читают агенты, взяты из реконструкции MarkTechPost и не подтверждены напрямую в первоисточнике. Отделять операционные данные, выпущенные компанией, от анализа третьих сторон — именно это и держит цепочку происхождения информации прозрачной.

Помимо публичного рейтинга, который собирается на стороне клиента средствами JavaScript, стратегическая ценность инструмента — во внутреннем использовании как набора регрессионных проверок. Тот, кто проектирует сценарии, знает ответы, а задачи касаются собственного продукта и собственной документации: оценки говорят, насколько хорошо агент работает с Supabase, а не насколько он хорош вообще.

Построить линейку, откалиброванную по собственным кирпичам, — операционная необходимость. Остаётся лишь то, что линейка, стена и отметка принадлежат одному дому.

— Olya