Reconstruire une idée scientifique à partir de la seule bibliographie : les modèles de pointe plafonnent sous les 15 %

Le 17 août 2026, l'article « Reconstruction: A Blind Benchmark for Recovering Research Ideas from Pre-Publication Bibliographies » a été déposé sur arXiv (identifiant 2608.16645, version v2 du 19 août), signé par Shaolong Chen et d'autres chercheurs de l'« AI-Professor Project », rattachés à la société privée Titan Holdings de San Francisco. L'étude analyse les productions de sept grands modèles de langage de pointe — dont Claude Opus 4.8, GPT-5.6 Sol Pro, Gemini 3.1 Pro Preview et DeepSeek-V4-Pro — mis à l'épreuve sur la reconstruction de l'idée centrale de 643 articles scientifiques, tirés du programme Oral d'ICML 2026 (168 articles) et de cinq domaines couverts par des revues de la famille Nature (astronomie, chimie, science des matériaux, médecine, physique). Les modèles ne reçoivent que la bibliographie antérieure à la publication, anonymisée et figée dans le temps. Isolés, les systèmes obtiennent des résultats modestes : les moyennes par cellule observées vont de 3,4 % à 15,0 % de « Match rate » ; en prenant la moyenne globale de chaque modèle, la valeur la plus élevée revient à Claude Opus 4.8, à 13,3 % ± 2,3 %.

L'architecture proposée par les auteurs combine au contraire les quatre modèles les plus performants individuellement (Claude Opus 4.8, GPT-5.6 Sol Pro, Kimi K3, GLM 5.2) dans un pipeline multi-agent fondé sur la relecture croisée et des tournois au système suisse. Dans cette configuration, et sans recourir à des recherches web externes, le Match rate annoncé monte à 23-42 % dans les six domaines scientifiques, soit une hausse observée d'environ 2,4 fois par rapport au meilleur modèle isolé. L'évaluation est confiée à un modèle de langage juge qui compare uniquement le titre et le résumé de l'article cible avec le titre et la synthèse de l'hypothèse proposée, sans connaissances extérieures, et qui doit se récuser sur les hypothèses qu'il a lui-même produites. Les auteurs eux-mêmes pointent quatre limites du protocole : le risque de contamination paramétrique dans les données d'entraînement, l'absence de validation humaine des métriques de comparaison, les variations entre panels de juges et la sélection a posteriori des quatre modèles de l'ensemble sur la base de résultats déjà observés.

À côté des limites déclarées par les chercheurs, il faut peser les réserves issues de notre propre vérification indépendante. Il s'agit d'un travail au stade du preprint, non soumis à l'évaluation par les pairs, signé par une entité commerciale qui mesure le problème tout en proposant sa propre architecture multi-agent : un conflit d'intérêts potentiel. De plus, au moment de la vérification, aucune publication vérifiée du code et des données brutes n'apparaît, ni de réplication externe capable de confirmer les versions exactes des modèles commerciaux utilisés. Tant que les prompts, les données et le code ne sont pas publics, les pourcentages restent un résultat affirmé par les auteurs, pas encore contrôlable par des tiers.

On décrit depuis longtemps les grands modèles comme de futurs collègues de laboratoire, mais distinguer la mémorisation de corrélations déjà vues de la véritable capacité à formuler une hypothèse reste un nœud non résolu. Retirer le texte d'un article et ne laisser que ses sources montre à quel point la frontière est mince entre intuition et récupération de données. La route vers une IA réellement capable de découvrir semble passer d'abord par une transparence méthodologique rigoureuse, et seulement ensuite par les métriques des modèles.

— Olya