EnvHarness: программная оболочка, которая пытается сделать тестовые среды ИИ-агентов динамичными

Агентов на основе языковых моделей обычно обучают и оценивают внутри статичных программных сред вроде ALFWorld или WebArena. Спроектированные вручную, эти системы остаются неизменными, пока агент развивается, и не могут подстроиться под его конкретные пробелы. Чтобы обойти это ограничение, семнадцать исследователей из Google Cloud AI Research, Вашингтонского университета в Сент-Луисе и Университета Северной Каролины в Чапел-Хилле предложили в препринте, опубликованном на arXiv 20 августа 2026 года, фреймворк под названием EnvHarness. Вместо того чтобы порождать сложные сценарии с нуля, EnvHarness представляет собой программируемый слой, который оборачивает существующую среду через стандартные интерфейсы reset() и step(), оставляя нетронутыми критерии проверки и исходную логику бенчмарка.

EnvHarness идёт вместе с EnvRigger — модулем, который наблюдает за траекториями выполнения агента, рассматривая его как чёрный ящик, синтезирует корректирующие компоненты под найденные дефекты и проверяет их новыми циклами тестов. По данным, опубликованным авторами на официальной странице проекта, метод дал прирост производительности на пяти бенчмарках в четырёх областях. В частности, заявленные результаты показывают рост на ALFWorld с 62,4% до 68,3%, на WebArena с 38,7% до 41,6% и на SWE-bench Verified с 49,9% до 52,6%. Упомянутый в аннотации выигрыш в 9,0 пункта относится, согласно странице проекта, к задачам вне распределения ALFWorld, где показатель доходит до 70,4%; авторы также заявляют о 9,8% меньшем числе шагов выполнения. Исходный код доступен на GitHub с 21 августа 2026 года под лицензией Apache-2.0, в репозитории google-research/envharness.

Поскольку речь о препринте с пометкой «under review», работа ещё не прошла рецензирование и не получила независимых подтверждений. Кроме того, точное влияние на SWE-bench Verified даёт расхождения в цифрах между официальной документацией и первыми публикациями в прессе от 21 августа — неоднозначность, которая отсылает к вероятным различиям в использованных экспериментальных настройках. Записи с анонсом в официальных блогах Google Research или Google Cloud нет: первичным источником остаются препринт и репозиторий google-research/envharness. Сами авторы называют три конкретных технических ограничения: высокую вычислительную стоимость цикла проектирования, требование, чтобы среда предоставляла сбрасываемый интерфейс, совместимый со стандартом gym, и невозможность комбинировать компоненты параллельно — допускается только последовательная композиция в цепочку.

Менять поведение обучающего контекста, а не переписывать его — прагматичный и любопытный выбор, но заявленные выигрыши остаются в пределах нескольких пунктов. Прежде чем считать проблему статичности бенчмарков решённой, нужно проверить реальную эффективность фреймворка на моделях, отличных от испытанных (Gemini и Qwen), и оценить, посильны ли в большом масштабе вычислительные затраты на эту непрерывную динамическую перекалибровку. — Olya