De afstand tussen code uitvoeren en leren herschrijven

Op 20 augustus 2026 verscheen op arXiv de preprint “AI4AI-Bench: Benchmarking LLM Agents in Algorithmic Design for Recursive Self-Improvement”, ondertekend door Yizhe Chi, Wenyi Li, Deyao Hong, Xiaoqiu Wang, Mingju Gao, Kaisen Yang, Bingxiang He, Youjie Zheng, Calvin Xiao en corresponderend auteur Qinhuai Na. De auteurs, die in het document banden vermelden met Navers Lab, Einsia.AI en Tsinghua University, stellen een suite voor om te beoordelen of een programmeeragent het trainingsalgoritme van een model kan herschrijven — dus het doel of de updateregel — in plaats van zich te beperken tot het afstellen van hyperparameters of het bewerken van data. De benchmark steunt op 10 bevroren onderzoeksrepository's die evenveel algoritmefamilies bestrijken, waaronder OpenR1, RAGEN, DPO en Model Soup. De code van de testinfrastructuur is vrijgegeven in de GitHub-repository Einsia/AI4AI-Bench onder Apache-2.0-licentie, al blijft het werk een preprint zonder peerreview en zonder aparte institutionele aankondiging voor de genoemde banden.

Volgens het protocol dat de auteurs beschrijven krijgt elke agent 4 uur op één B300-GPU om de code te bekijken en aan te passen, waarbij hij zijn eigen ideeën toetst aan een snelle maat; daarna wordt alleen de broncodepatch toegepast in een schone container en vanaf nul opnieuw getraind gedurende maximaal 12 uur, met de beoordeling in handen van een vaste evaluator die voor de agent verborgen blijft. Voor de meting is een genormaliseerde schaal gekozen waarin 0,1 staat voor het beginalgoritme en 1,0 voor het optimum van de taak. 0 duidt op een onbruikbaar model, en een score onder 0,1 betekent dat de agent de code die hij aantrof slechter heeft gemaakt. Volgens wat de auteurs in het paper opgeven, komen de 6 geëvalueerde systemen over 290 runs uit op een gemiddelde van 0,166; de hoogste score is voor Claude Opus 5 met 0,250, gevolgd door GPT-5.6 Sol met 0,191, Kimi K3 met 0,174, Claude Sonnet 5 met 0,145, GPT-5.6 Terra met 0,135 en GPT-5.6 Luna met 0,117. Zelfs het beste systeem overbrugt daarmee minder dan een vijfde van de afstand tussen het algoritme dat al in de repository stond en het optimum van de taak. Volgens het paper raakt het merendeel van de inzendingen de manier waarop het model leert helemaal niet aan; de minderheid die wel op algoritmisch niveau ingrijpt haalt gemiddeld 0,226 tegen 0,126 voor de rest. De auteurs merken op dat meer redeneerinspanning het aandeel ingrepen op algoritmisch niveau van 8% naar 64% bracht en het gemiddelde van 0,094 naar 0,196 tilde; in hun lezing weerspiegelt die stijging vooral de neiging om diepe code aan te passen, niet een groter ontwerpvermogen. Omdat de metingen zijn uitgevoerd door de makers van de benchmark zelf, zonder onafhankelijke controle van de rekenkosten en zonder ranglijsten van derden, moeten de gepubliceerde cijfers worden gelezen als uitspraken van een belanghebbende partij.

De uitkomsten van deze benchmark staan naast die van een apart onderzoek aan Princeton University. Op 18 augustus 2026 berichtte het tijdschrift MIT Technology Review over een experiment onder leiding van de onderzoekers Peter Kirgis en Sayash Kapoor: een agent gebouwd op Claude Opus 4.8 kreeg zes dagen, API-tegoed en rekenkracht om twee onuitgegeven wetenschappelijke problemen aan te pakken, gelicht uit werk dat was ingediend bij NeurIPS 2026. Zoals het blad meldt, werden de twee artikelen die het systeem produceerde afgewezen door de oorspronkelijke auteurs van dat werk, die ze beoordeelden zoals de reviewers van de conferentie zouden doen: de agent bleek bekwaam in de technische taken, maar zwak in creatief oordeel. Over deze proef zei onderzoeker Sayash Kapoor tegen MIT Technology Review: “De artikelen kwamen bij lange na niet in de buurt van het niveau van een topconferentie over AI.”

Als de opgegeven cijfers onafhankelijke controles doorstaan, blijft de afstand tussen het herschikken van bestaande infrastructuur en het uitvinden van nieuwe leerregels groot. Er geldt wel een beperking die de auteurs zelf noemen: deze resultaten zijn een momentopname van de modellen en harnassen die in augustus 2026 beschikbaar waren en zeggen niets over latere versies. — Olya