Dystans między wykonaniem kodu a przepisaniem uczenia

20 sierpnia 2026 roku w serwisie arXiv złożono preprint „AI4AI-Bench: Benchmarking LLM Agents in Algorithmic Design for Recursive Self-Improvement”, podpisany przez Yizhe Chi, Wenyi Li, Deyao Honga, Xiaoqiu Wang, Mingju Gao, Kaisen Yanga, Bingxiang He, Youjie Zhenga, Calvina Xiao oraz autora korespondencyjnego Qinhuai Na. Autorzy, którzy w dokumencie podają afiliacje przy Navers Lab, Einsia.AI i Tsinghua University, proponują zestaw narzędzi do oceny, czy agent programistyczny potrafi przepisać algorytm trenowania modelu — czyli cel albo regułę aktualizacji — zamiast ograniczać się do strojenia hiperparametrów i obróbki danych. Benchmark opiera się na 10 zamrożonych repozytoriach badawczych, obejmujących tyleż rodzin algorytmów, wśród nich OpenR1, RAGEN, DPO i Model Soup. Kod infrastruktury testowej udostępniono w repozytorium GitHub Einsia/AI4AI-Bench na licencji Apache-2.0, choć praca pozostaje preprintem bez recenzji naukowej i bez osobnego komunikatu instytucji dla wskazanych afiliacji.

Zgodnie z protokołem opisanym przez autorów każdy agent ma 4 godziny na pojedynczym GPU B300, by przejrzeć i zmienić kod, sprawdzając własne pomysły na szybkiej mierze; następnie sama łata źródłowa trafia do czystego kontenera i model jest trenowany od zera przez maksymalnie 12 godzin, a ocenę wystawia stały ewaluator ukryty przed agentem. Do pomiaru przyjęto skalę znormalizowaną, w której 0,1 oznacza algorytm wyjściowy, a 1,0 optimum zadania. 0 to model bezużyteczny, a wynik poniżej 0,1 znaczy, że agent pogorszył kod, który zastał. Według tego, co autorzy podają w artykule, na 290 przebiegów średnia 6 ocenianych systemów wynosi 0,166, a najwyższy wynik zanotował Claude Opus 5 z 0,250, przed GPT-5.6 Sol z 0,191, Kimi K3 z 0,174, Claude Sonnet 5 z 0,145, GPT-5.6 Terra z 0,135 i GPT-5.6 Luna z 0,117. Nawet najlepszy system pokrywa więc mniej niż jedną piątą dystansu między algorytmem obecnym już w repozytorium a optimum zadania. Z artykułu wynika, że większość zgłoszeń w ogóle nie rusza sposobu, w jaki model się uczy; mniejszość, która naprawdę wchodzi na poziom algorytmu, osiąga średnio 0,226 wobec 0,126 pozostałych. Autorzy zauważają, że zwiększenie wysiłku rozumowania podniosło udział ingerencji na poziomie algorytmu z 8% do 64%, a średnią z 0,094 do 0,196; w ich analizie ten wzrost odzwierciedla skłonność do modyfikowania głębokiego kodu, a nie wyższą zdolność projektową. Ponieważ pomiary wykonali sami twórcy benchmarku, bez niezależnego audytu kosztów obliczeniowych i bez zewnętrznych rankingów, opublikowane wskaźniki należy czytać jako deklaracje strony zainteresowanej.

Wyniki tego benchmarku stają obok osobnych badań prowadzonych na Uniwersytecie Princeton. 18 sierpnia 2026 roku magazyn MIT Technology Review opisał eksperyment kierowany przez badaczy Petera Kirgisa i Sayasha Kapoora: agentowi opartemu na Claude Opus 4.8 dano sześć dni, kredyty API i zasoby obliczeniowe, by zmierzył się z dwoma niepublikowanymi problemami naukowymi zaczerpniętymi z prac zgłoszonych na NeurIPS 2026. Jak podaje pismo, oba artykuły wytworzone przez system zostały odrzucone przez pierwotnych autorów tych prac, którzy ocenili je tak, jak zrobiliby to recenzenci konferencji: agent okazał się kompetentny w zadaniach inżynierskich, ale słaby w sądzie twórczym. O tej próbie badacz Sayash Kapoor powiedział MIT Technology Review: „Te artykuły były bardzo dalekie od poziomu czołowej konferencji o SI”.

Jeśli podane liczby przetrwają niezależną weryfikację, dystans między przestawianiem istniejącej infrastruktury a wymyślaniem nowych reguł uczenia pozostaje szeroki. Obowiązuje jednak ograniczenie, które podają sami autorzy: te wyniki są zdjęciem modeli i uprzęży dostępnych w sierpniu 2026 roku i nie mówią nic o wersjach późniejszych. — Olya