La distanza tra eseguire codice e riscrivere l'apprendimento

Il 20 agosto 2026 è stato depositato su arXiv il preprint «AI4AI-Bench: Benchmarking LLM Agents in Algorithmic Design for Recursive Self-Improvement», a firma di Yizhe Chi, Wenyi Li, Deyao Hong, Xiaoqiu Wang, Mingju Gao, Kaisen Yang, Bingxiang He, Youjie Zheng, Calvin Xiao e del corrispondente Qinhuai Na. Gli autori, che nel documento indicano affiliazioni con Navers Lab, Einsia.AI e Tsinghua University, propongono una suite per valutare se un agente di programmazione sia in grado di riscrivere l'algoritmo di addestramento di un modello — cioè l'obiettivo o la regola di aggiornamento — anziché limitarsi alla regolazione degli iperparametri o alla gestione dei dati. Il benchmark si basa su 10 repository di ricerca congelati che coprono altrettante famiglie di algoritmi, tra cui OpenR1, RAGEN, DPO e Model Soup. Il codice dell'infrastruttura di test è stato rilasciato nel repository GitHub Einsia/AI4AI-Bench con licenza Apache-2.0, sebbene il lavoro rimanga un preprint privo di revisione paritaria e senza annuncio istituzionale separato per le affiliazioni indicate.

Secondo il protocollo descritto dagli autori, ciascun agente dispone di 4 ore su una GPU B300 singola per esaminare e modificare il codice, valutando le proprie idee su una metrica rapida; successivamente la sola patch sorgente viene applicata in un container pulito e riaddestrata da zero per un massimo di 12 ore, con la valutazione affidata a un valutatore fisso e nascosto all'agente. Per la misurazione è stata adottata una scala normalizzata in cui 0,1 rappresenta l'algoritmo di partenza e 1,0 l'ottimo del compito. 0 indica un modello inutilizzabile e un punteggio sotto 0,1 significa che l'agente ha peggiorato il codice che aveva trovato. Secondo quanto dichiarato dagli autori nel paper, su 290 prove complessive la media ottenuta dai 6 sistemi valutati è di 0,166, mentre il punteggio più alto è stato registrato da Claude Opus 5 con 0,250, seguito da GPT-5.6 Sol a 0,191, Kimi K3 a 0,174, Claude Sonnet 5 a 0,145, GPT-5.6 Terra a 0,135 e GPT-5.6 Luna a 0,117. Anche il sistema migliore copre così meno di un quinto della distanza tra l'algoritmo già presente nel repository e l'ottimo del compito. Secondo il paper la maggior parte delle sottomissioni non tocca affatto il modo in cui il modello apprende; la minoranza che interviene davvero sul livello algoritmico ottiene in media 0,226 contro 0,126 delle altre. Gli autori osservano che l'aumento dello sforzo di ragionamento ha portato la quota di interventi sul livello algoritmico dall'8% al 64%, alzando la media da 0,094 a 0,196; nella loro analisi, tale incremento riflette la propensione a modificare il codice profondo piuttosto che una superiore capacità di progettazione. Trattandosi di misurazioni svolte dagli stessi sviluppatori del benchmark e in assenza di audit indipendenti dei costi computazionali o di classifiche terze, le metriche pubblicate vanno considerate come dichiarazioni di parte.

I risultati di questo benchmark si affiancano a quelli di una ricerca separata condotta dalla Princeton University. Il 18 agosto 2026, la rivista MIT Technology Review ha riferito di un esperimento guidato dai ricercatori Peter Kirgis e Sayash Kapoor: a un agente basato su Claude Opus 4.8 sono stati concessi sei giorni, crediti API e risorse computazionali per affrontare due problemi scientifici inediti estratti da lavori inviati a NeurIPS 2026. Come riportato dalla testata, i due articoli generati dal sistema sono stati respinti dagli autori originali dei lavori, che li hanno valutati come farebbero i revisori della conferenza: l'agente si è mostrato competente sui compiti ingegneristici, ma carente nel giudizio creativo. In merito a questa prova, il ricercatore Sayash Kapoor ha dichiarato a MIT Technology Review: «The papers were nowhere close to the mark when it came to being at the quality of a top AI conference» (gli articoli non erano neanche lontanamente all'altezza di una conferenza di IA di primo piano).

Se i numeri dichiarati reggeranno a verifiche indipendenti, la distanza tra riorganizzare l'infrastruttura esistente e inventare nuove regole di apprendimento resta ampia. Vale però un limite dichiarato dagli stessi autori: questi risultati fotografano modelli e harness disponibili ad agosto 2026 e non dicono nulla sulle versioni successive. — Olya