Ricostruire un'idea scientifica dalla sola bibliografia: i modelli di frontiera si fermano sotto il 15%

Il 17 agosto 2026 è stato depositato su arXiv il paper «Reconstruction: A Blind Benchmark for Recovering Research Ideas from Pre-Publication Bibliographies» (identificativo 2608.16645, con versione v2 del 19 agosto), firmato da Shaolong Chen e altri ricercatori dell'«AI-Professor Project», afferenti alla società privata Titan Holdings di San Francisco. Lo studio analizza l'output di sette modelli linguistici di frontiera — tra cui Claude Opus 4.8, GPT-5.6 Sol Pro, Gemini 3.1 Pro Preview e DeepSeek-V4-Pro — messi alla prova sulla ricostruzione dell'idea centrale di 643 articoli scientifici presi dal programma Oral di ICML 2026 (168 paper) e da cinque aree scientifiche coperte da riviste della famiglia Nature (astronomia, chimica, scienza dei materiali, medicina, fisica). Ai modelli viene fornita esclusivamente la bibliografia antecedente la pubblicazione, resa anonima e temporalmente congelata. Isolati, i sistemi mostrano risultati contenuti: le medie di cella osservate oscillano tra il 3,4% e il 15,0% di «Match rate»; considerando la media complessiva di ciascun modello, il valore più alto è di Claude Opus 4.8, pari al 13,3% ± 2,3%.

L'architettura proposta dagli autori combina invece i quattro modelli dalle prestazioni individuali migliori (Claude Opus 4.8, GPT-5.6 Sol Pro, Kimi K3, GLM 5.2) in una pipeline multi-agente basata su revisione incrociata e tornei in stile svizzero. Con questo assetto, e senza ricorrere a ricerche web esterne, il Match rate dichiarato sale al 23-42% nei sei domini scientifici, con un incremento osservato di circa 2,4 volte rispetto al miglior modello singolo. La valutazione è affidata a un modello linguistico giudice che mette a confronto solo titolo e abstract del paper bersaglio con titolo e sintesi dell'ipotesi proposta, senza conoscenze esterne, e che deve ricusarsi sulle ipotesi da lui stesso prodotte. Gli stessi autori mettono in luce quattro limiti del protocollo: il rischio di contaminazione parametrica nei dati di addestramento, l'assenza di una validazione umana delle metriche di confronto, le variazioni nei panel di giudici e la selezione a posteriori dei quattro modelli dell'ensemble basata sui risultati già osservati.

Accanto ai limiti dichiarati dai ricercatori, vanno considerate le riserve che emergono dal nostro processo di verifica indipendente. Trattandosi di un lavoro in fase di preprint non sottoposto a revisione paritaria, firmato da un'entità aziendale che misura il problema proponendo una propria architettura multi-agente, sussiste un potenziale conflitto di interessi. Inoltre, al momento della verifica non risultano rilasci pubblici verificati di codice e dati grezzi, né replicazioni esterne in grado di confermare le versioni esatte dei modelli commerciali usati. Finché prompt, dati e codice non sono pubblici, le percentuali restano un risultato dichiarato dagli autori e non ancora controllabile da terzi.

Da tempo si descrivono i grandi modelli come futuri colleghi di laboratorio, ma distinguere la memorizzazione di correlazioni già viste dalla reale capacità di formulare un'ipotesi resta un nodo irrisolto. Sottrarre il testo di un paper e lasciare solo le sue fonti mostra quanto sia sottile il confine tra intuizione e recupero dati. La strada verso un'IA davvero in grado di fare scoperte sembra passare prima da una trasparenza metodologica rigorosa, e solo dopo dalle metriche dei modelli.

— Olya