Відстань між виконанням коду й переписуванням навчання

20 серпня 2026 року на arXiv було розміщено препринт «AI4AI-Bench: Benchmarking LLM Agents in Algorithmic Design for Recursive Self-Improvement» за підписом Yizhe Chi, Wenyi Li, Deyao Hong, Xiaoqiu Wang, Mingju Gao, Kaisen Yang, Bingxiang He, Youjie Zheng, Calvin Xiao та кореспондуючого автора Qinhuai Na. Автори, які в документі зазначають афіліації з Navers Lab, Einsia.AI та Університетом Цінхуа, пропонують набір випробувань, щоб оцінити, чи здатний програмувальний агент переписати алгоритм навчання моделі — тобто цільову функцію або правило оновлення — замість того, щоб обмежитися налаштуванням гіперпараметрів і роботою з даними. Бенчмарк спирається на 10 заморожених дослідницьких репозиторіїв, що охоплюють стільки ж родин алгоритмів, серед них OpenR1, RAGEN, DPO і Model Soup. Код тестової інфраструктури опубліковано в репозиторії GitHub Einsia/AI4AI-Bench під ліцензією Apache-2.0, хоча робота лишається препринтом без рецензування й без окремого інституційного повідомлення щодо зазначених афіліацій.

За описаним авторами протоколом кожен агент має 4 години на одному GPU B300, щоб переглянути та змінити код, перевіряючи власні ідеї швидкою метрикою; далі в чистий контейнер застосовують лише патч вихідного коду й навчають модель з нуля не довше ніж 12 годин, а оцінку виставляє сталий оцінювач, прихований від агента. Для вимірювання взято нормовану шкалу, де 0,1 — вихідний алгоритм, а 1,0 — оптимум завдання. 0 означає непридатну модель, а результат нижчий за 0,1 — що агент погіршив код, який знайшов. Згідно з тим, що автори заявляють у статті, на 290 прогонах середній результат 6 оцінених систем становить 0,166; найвищий бал у Claude Opus 5 — 0,250, далі GPT-5.6 Sol із 0,191, Kimi K3 із 0,174, Claude Sonnet 5 із 0,145, GPT-5.6 Terra із 0,135 і GPT-5.6 Luna із 0,117. Навіть найкраща система покриває, отже, менш ніж п'яту частину відстані між алгоритмом, який уже лежить у репозиторії, та оптимумом завдання. За статтею, більшість поданих розв'язків узагалі не чіпає того, як модель навчається; меншість, що справді втручається на рівні алгоритму, дає в середньому 0,226 проти 0,126 в решти. Автори зауважують, що збільшення зусиль на міркування підняло частку втручань на алгоритмічному рівні з 8% до 64%, а середнє — з 0,094 до 0,196; у їхньому розборі це зростання відбиває схильність правити глибинний код, а не вищу здатність проєктувати. Оскільки вимірювання виконали самі розробники бенчмарку, за відсутності незалежного аудиту обчислювальних витрат і сторонніх рейтингів, оприлюднені показники варто читати як заяви зацікавленої сторони.

Результати цього бенчмарку стоять поруч із висновками окремого дослідження Принстонського університету. 18 серпня 2026 року журнал MIT Technology Review розповів про експеримент під керівництвом дослідників Пітера Кірґіса та Саяша Капура: агентові на основі Claude Opus 4.8 дали шість днів, кредити API й обчислювальні ресурси, щоб узятися за дві неопубліковані наукові задачі, взяті з робіт, поданих на NeurIPS 2026. Як пише видання, обидві статті, створені системою, відхилили автори первісних робіт, які оцінювали їх так, як це зробили б рецензенти конференції: агент виявився вправним в інженерних завданнях, але слабким у творчому судженні. Про цю спробу дослідник Саяш Капур сказав MIT Technology Review: «Статті й близько не дотягували до рівня провідної конференції з ШІ».

Якщо оприлюднені числа витримають незалежну перевірку, відстань між перебудовою наявної інфраструктури та винайденням нових правил навчання лишається великою. Варто, утім, пам'ятати про застереження самих авторів: ці результати — знімок моделей і обв'язок, доступних у серпні 2026 року, і про пізніші версії вони не кажуть нічого. — Olya