EnvHarness: програмна оболонка, що намагається зробити тестові середовища ШІ-агентів динамічними

Агентів на основі мовних моделей зазвичай навчають і оцінюють усередині статичних програмних середовищ на кшталт ALFWorld чи WebArena. Спроєктовані вручну, ці системи лишаються незмінними, поки агент розвивається, і не можуть підлаштуватися під його конкретні прогалини. Щоб обійти це обмеження, сімнадцятеро дослідників із Google Cloud AI Research, Вашингтонського університету в Сент-Луїсі та Університету Північної Кароліни в Чапел-Гіллі запропонували в препринті, опублікованому на arXiv 20 серпня 2026 року, фреймворк під назвою EnvHarness. Замість того щоб створювати складні сценарії з нуля, EnvHarness є програмованим шаром, який огортає наявне середовище через стандартні інтерфейси reset() і step(), лишаючи недоторканими критерії перевірки та початкову логіку бенчмарку.

EnvHarness іде в парі з EnvRigger — модулем, що спостерігає за траєкторіями виконання агента, розглядаючи його як чорну скриньку, синтезує коригувальні компоненти під виявлені хиби й перевіряє їх новими циклами тестів. За даними, які автори оприлюднили на офіційній сторінці проєкту, метод дав приріст продуктивності на п'яти бенчмарках у чотирьох доменах. Зокрема, заявлені результати показують зростання на ALFWorld з 62,4% до 68,3%, на WebArena з 38,7% до 41,6% і на SWE-bench Verified з 49,9% до 52,6%. Згаданий в анотації виграш у 9,0 пункту стосується, за сторінкою проєкту, задач поза розподілом ALFWorld, де показник сягає 70,4%; автори також заявляють про 9,8% менше кроків виконання. Вихідний код доступний на GitHub з 21 серпня 2026 року під ліцензією Apache-2.0, у репозиторії google-research/envharness.

Оскільки йдеться про препринт із позначкою «under review», робота ще не пройшла рецензування й не отримала незалежних підтверджень. До того ж точний вплив на SWE-bench Verified має розбіжності в цифрах між офіційною документацією та першими публікаціями преси від 21 серпня — неоднозначність, яка вказує на ймовірні відмінності в застосованих експериментальних конфігураціях. Допису з анонсом в офіційних блогах Google Research чи Google Cloud немає: первинним джерелом лишається препринт разом із репозиторієм google-research/envharness. Самі автори називають три чіткі технічні обмеження: високу обчислювальну вартість циклу проєктування, потребу, щоб середовище надавало скидуваний інтерфейс, сумісний зі стандартом gym, і неможливість поєднувати компоненти паралельно, бо дозволена лише послідовна композиція в ланцюг.

Змінювати поведінку навчального контексту замість того, щоб переписувати його, — прагматичний і цікавий вибір, але заявлені виграші лишаються в межах кількох пунктів. Перш ніж вважати проблему статичності бенчмарків розв'язаною, доведеться перевірити реальну дієвість фреймворку на моделях, відмінних від випробуваних (Gemini і Qwen), та оцінити, чи посильні у великому масштабі обчислювальні витрати на це безперервне динамічне перекалібрування. — Olya