Le juge qui change d'avis : Ai2 met à l'épreuve les modèles qui évaluent la nouveauté de la recherche

Beaucoup de systèmes qui se présentent comme des « scientifiques IA », ou qui génèrent automatiquement des idées de recherche, confient à un second modèle de langage le soin de décider si ce qu'ils produisent est vraiment nouveau. C'est sur ce verdict que reposent ensuite les progrès qu'ils revendiquent. Le 27 octobre 2026, Ai2 (Allen Institute for AI) a publié une étude qui mesure la fiabilité de cet étalon. L'article, « Old Ideas, Novel Problems: The Instability of LLM-Based Novelty Evaluation », est sur arXiv (2610.02022). La première version date du 1er octobre, la troisième du 26 octobre. Il s'agit d'un preprint qui ne semble pas encore avoir été relu par les pairs. Le benchmark est disponible sur Hugging Face sous licence ODC-BY, le code sur GitHub.

Comme référence, les auteurs n'ont pas utilisé l'acceptation des articles. Ils ont extrait des relectures d'ICLR 2026 sur OpenReview les passages où les relecteurs confirment ou contestent l'originalité d'un travail. Deux scénarios en sont nés. Le premier, Human-Only, oppose 154 idées très appréciées pour leur nouveauté, tirées des 10 % meilleurs articles acceptés, à 145 idées critiquées sur ce point, tirées des 10 % plus faibles parmi les refusés. Le second, Human+Generated, associe ces mêmes 154 idées humaines à 154 idées produites par un générateur LLM simple. Les auteurs jugent ces dernières moins nouvelles, mais reconnaissent qu'il s'agit d'une étiquette faible, non vérifiée idée par idée. Une partie des chiffres repose donc sur une hypothèse.

Les juges testés sont GPT-5.1, GPT-5.2, GPT-5.4, Claude Sonnet 4.5, Claude Opus 4.5 et Claude Opus 4.6, auxquels s'ajoutent GPT-5.6 Sol en mode agentique et deux évaluateurs spécialisés : Idea Novelty Checker et l'évaluateur d'AI Scientist de Sakana AI. Le résultat le plus frappant concerne GPT-5.4 sur les paires Human+Generated. Quand le prompt précise que l'une des deux idées est nouvelle, la précision atteint 93,5 %. Quand il demande seulement laquelle des deux l'est, elle tombe à 40,9 %, sous le niveau du hasard, et le verdict s'inverse sur plus de la moitié des paires. D'après l'abstract, cette seule modification peut déplacer la précision par paires de plus de 50 points. Sur le jeu Human-Only, l'écart se limite à environ 7 points, mais il atteint 21 pour Claude Opus 4.6. Quand on compare les idées de deux générateurs IA, entre un quart et un tiers des verdicts changent selon le prompt. Aucune formulation ne convient non plus à tous : supprimer une consigne contre les idées banales améliore certains juges et en dégrade d'autres. Ai2 le résume sur son blog par une phrase qui mérite d'être citée : « Judges that appear reliable on human-authored research may behave differently on AI-generated ideas ». Autrement dit, un juge qui paraît fiable sur la recherche écrite par des humains peut se comporter autrement face à des idées produites par une IA.

Le chapitre des coûts va lui aussi contre l'intuition. Le juge agentique GPT-5.6 Sol, capable d'effectuer des recherches, obtient 0,78 de macro-F1. Claude Opus 4.6 atteint 0,89 (le blog indique aussi 0,854 pour le même modèle dans une autre configuration ; le détail est dans l'article), pour un coût par décision environ dix fois inférieur. Un prompt simple sur Opus 4.6, avec un raisonnement faible et un vote majoritaire sur trois appels, atteint 0,854 pour un coût total de 2,59 dollars. Idea Novelty Checker plafonne à 0,642 en dépensant 30,66 dollars ; l'évaluateur de Sakana atteint 0,772 pour 82,05 dollars. Mindverse rapporte en outre une vérification : selon le média, un annotateur a confirmé le signal des relectures dans 47 contrôles sur 50, et un expert a réexaminé 30 paires où le meilleur juge se trompait, préférant l'idée humaine dans les 30 cas. Les auteurs en tirent un doute sur les gains de nouveauté annoncés par les systèmes d'idéation automatique et réclament des méthodes d'évaluation plus robustes. Une limite reste à garder en tête : les modèles testés ne sont pas les plus récents, et rien ne garantit que les résultats valent pour les nouveaux.

Ce que je trouve instructif, c'est que le problème ne tient pas seulement au modèle qui génère, mais aussi à celui qui devrait le contrôler. S'il suffit de retirer une phrase du prompt pour transformer un jugement presque parfait en pièce truquée, chaque graphique promettant des idées « plus originales » devrait aussi publier les mots exacts de la question posée. La nouveauté, semble-t-il, dépend aussi de la façon dont on la demande. — Olya