Il giudice che cambia idea: Ai2 mette alla prova i modelli che valutano la novità della ricerca

Molti sistemi che si presentano come «scienziati AI», o che generano idee di ricerca in automatico, affidano a un secondo modello linguistico il compito di stabilire se ciò che producono è davvero nuovo. Su quel verdetto poggiano poi i miglioramenti che dichiarano. Il 27 ottobre 2026 Ai2 (Allen Institute for AI) ha pubblicato uno studio che verifica quanto sia affidabile questo metro. Il paper, «Old Ideas, Novel Problems: The Instability of LLM-Based Novelty Evaluation», è su arXiv (2610.02022). La prima versione risale al 1° ottobre e la terza al 26 ottobre. Si tratta di un preprint che non risulta ancora sottoposto a revisione paritaria. Il benchmark è disponibile su Hugging Face con licenza ODC-BY, il codice su GitHub.

Come riferimento, gli autori non hanno usato l'accettazione dei paper. Hanno estratto dalle recensioni di ICLR 2026 su OpenReview i passaggi in cui i revisori confermano o contestano l'originalità di un lavoro. Ne sono nati due scenari. Il primo, Human-Only, mette a confronto 154 idee molto apprezzate per la loro novità, tratte dal 10% migliore dei paper accettati, con 145 idee criticate su questo punto, tratte dal 10% peggiore dei respinti. Il secondo, Human+Generated, affianca le stesse 154 idee umane a 154 idee prodotte da un generatore LLM semplice. Gli autori considerano queste ultime meno nuove, ma ammettono che è un'etichetta debole, non controllata idea per idea. Una parte dei numeri dipende quindi da un'assunzione.

I giudici messi alla prova sono GPT-5.1, GPT-5.2, GPT-5.4, Claude Sonnet 4.5, Claude Opus 4.5 e Claude Opus 4.6. A questi si aggiungono GPT-5.6 Sol in modalità agentica e due valutatori specializzati, Idea Novelty Checker e il valutatore di AI Scientist di Sakana AI. Il risultato più vistoso riguarda GPT-5.4 sulle coppie Human+Generated. Quando il prompt dice che una delle due idee è nuova, l'accuratezza è del 93,5%. Quando chiede soltanto quale delle due lo sia, scende al 40,9%, sotto la soglia del caso, e il verdetto si capovolge su più di metà delle coppie. Secondo l'abstract, questa sola modifica può spostare l'accuratezza a coppie di oltre 50 punti. Sul set Human-Only lo scarto si ferma a circa 7 punti, ma per Claude Opus 4.6 arriva a 21. Quando si confrontano idee di due generatori AI, tra un quarto e un terzo dei verdetti cambia al variare del prompt. Non emerge nemmeno una formulazione valida per tutti: eliminare un'istruzione contro le idee banali migliora alcuni giudici e ne peggiora altri. Ai2 lo riassume nel blog con una frase che vale la pena riportare: «Judges that appear reliable on human-authored research may behave differently on AI-generated ideas». In sostanza, un giudice che sembra affidabile sulla ricerca scritta da persone può comportarsi in modo diverso davanti a idee prodotte da un'AI.

Anche il capitolo sui costi va contro l'intuizione. Il giudice agentico GPT-5.6 Sol, che può fare ricerche, ottiene 0,78 di macro-F1. Claude Opus 4.6 arriva a 0,89 (il blog riporta per lo stesso modello anche 0,854, in una configurazione diversa: per i dettagli conviene leggere il paper), con un costo per decisione circa dieci volte inferiore. Un prompt semplice su Opus 4.6, con ragionamento basso e voto a maggioranza su tre chiamate, raggiunge 0,854 per un costo totale di 2,59 dollari. Idea Novelty Checker si ferma a 0,642 spendendo 30,66 dollari, il valutatore di Sakana arriva a 0,772 con 82,05 dollari. C'è poi una verifica riportata da Mindverse. Secondo la testata, un annotatore ha confermato il segnale delle recensioni in 47 controlli su 50. Un esperto ha inoltre riesaminato 30 coppie in cui il giudice migliore sbagliava, e in tutte e 30 ha preferito l'idea umana. Da questi risultati gli autori ricavano un dubbio sui guadagni di novità dichiarati dai sistemi di ideazione automatica e chiedono metodi di valutazione più robusti. Resta un limite da tenere presente: i modelli testati non sono gli ultimi in circolazione, e non è detto che i risultati valgano per quelli più recenti.

Trovo istruttivo che il problema non stia solo nel modello che genera, ma anche in quello che dovrebbe controllarlo. Se basta togliere una frase dal prompt per trasformare un giudizio quasi perfetto in una moneta truccata, ogni grafico che promette idee «più originali» dovrebbe dichiarare anche le parole esatte con cui è stata posta la domanda. La novità, a quanto pare, dipende anche da come la si chiede. — Olya