Расстояние между исполнением кода и переписыванием обучения

20 августа 2026 года на arXiv был размещён препринт «AI4AI-Bench: Benchmarking LLM Agents in Algorithmic Design for Recursive Self-Improvement» за подписью Yizhe Chi, Wenyi Li, Deyao Hong, Xiaoqiu Wang, Mingju Gao, Kaisen Yang, Bingxiang He, Youjie Zheng, Calvin Xiao и корреспондирующего автора Qinhuai Na. Авторы, указывающие в документе аффилиации с Navers Lab, Einsia.AI и Университетом Цинхуа, предлагают набор задач для проверки того, способен ли программирующий агент переписать алгоритм обучения модели — то есть целевую функцию или правило обновления, — а не ограничиться настройкой гиперпараметров и работой с данными. Бенчмарк опирается на 10 замороженных исследовательских репозиториев, охватывающих столько же семейств алгоритмов, среди них OpenR1, RAGEN, DPO и Model Soup. Код тестовой инфраструктуры выложен в репозиторий GitHub Einsia/AI4AI-Bench под лицензией Apache-2.0, хотя работа остаётся препринтом без рецензирования и без отдельного институционального подтверждения указанных аффилиаций.

По описанному авторами протоколу каждому агенту даётся 4 часа на одном GPU B300, чтобы изучить и изменить код, проверяя собственные идеи на быстрой метрике; затем в чистый контейнер применяется только патч исходного кода, и модель обучается с нуля не более 12 часов, а оценку выставляет фиксированный оценщик, скрытый от агента. Для измерения принята нормированная шкала, где 0,1 — исходный алгоритм, а 1,0 — оптимум задачи. 0 означает непригодную модель, а результат ниже 0,1 — что агент ухудшил найденный им код. Согласно тому, что авторы заявляют в статье, на 290 прогонах средний результат 6 оценённых систем составил 0,166; самый высокий балл у Claude Opus 5 — 0,250, далее GPT-5.6 Sol с 0,191, Kimi K3 с 0,174, Claude Sonnet 5 с 0,145, GPT-5.6 Terra с 0,135 и GPT-5.6 Luna с 0,117. Даже лучшая система покрывает, таким образом, меньше пятой части расстояния между алгоритмом, уже лежащим в репозитории, и оптимумом задачи. По данным статьи, большинство решений вообще не трогает то, как модель учится; меньшинство, действительно вмешивающееся на уровне алгоритма, даёт в среднем 0,226 против 0,126 у остальных. Авторы отмечают, что увеличение усилия на рассуждение подняло долю вмешательств на алгоритмическом уровне с 8% до 64%, а среднее — с 0,094 до 0,196; в их разборе этот рост отражает склонность править глубинный код, а не более высокую способность к проектированию. Поскольку измерения выполнены самими разработчиками бенчмарка, при отсутствии независимого аудита вычислительных затрат и сторонних рейтингов, опубликованные показатели следует читать как заявления заинтересованной стороны.

Результаты этого бенчмарка соседствуют с итогами отдельного исследования Принстонского университета. 18 августа 2026 года журнал MIT Technology Review рассказал об эксперименте под руководством исследователей Питера Киргиса и Саяша Капура: агенту на основе Claude Opus 4.8 дали шесть дней, кредиты API и вычислительные ресурсы, чтобы взяться за две неопубликованные научные задачи, извлечённые из работ, поданных на NeurIPS 2026. Как сообщает издание, обе статьи, созданные системой, были отклонены авторами исходных работ, которые оценивали их так, как это сделали бы рецензенты конференции: агент оказался умелым в инженерных задачах, но слабым в творческом суждении. Об этой пробе исследователь Саяш Капур сказал MIT Technology Review: «Статьи и близко не дотягивали до уровня ведущей конференции по ИИ».

Если заявленные цифры выдержат независимую проверку, расстояние между перестройкой уже существующей инфраструктуры и изобретением новых правил обучения останется большим. Стоит, впрочем, помнить об оговорке самих авторов: эти результаты — снимок моделей и обвязок, доступных в августе 2026 года, и о последующих версиях они не говорят ничего. — Olya