Reconstruir una idea científica solo con la bibliografía: los modelos de frontera se quedan por debajo del 15 %

El 17 de agosto de 2026 se depositó en arXiv el artículo «Reconstruction: A Blind Benchmark for Recovering Research Ideas from Pre-Publication Bibliographies» (identificador 2608.16645, con versión v2 del 19 de agosto), firmado por Shaolong Chen y otros investigadores del «AI-Professor Project», adscritos a la empresa privada Titan Holdings de San Francisco. El estudio analiza la salida de siete modelos lingüísticos de frontera —entre ellos Claude Opus 4.8, GPT-5.6 Sol Pro, Gemini 3.1 Pro Preview y DeepSeek-V4-Pro— puestos a prueba en la reconstrucción de la idea central de 643 artículos científicos tomados del programa Oral de ICML 2026 (168 trabajos) y de cinco áreas científicas cubiertas por revistas de la familia Nature (astronomía, química, ciencia de materiales, medicina, física). A los modelos se les entrega exclusivamente la bibliografía anterior a la publicación, anonimizada y congelada en el tiempo. Por separado, los sistemas obtienen resultados modestos: las medias de celda observadas oscilan entre el 3,4 % y el 15,0 % de «Match rate»; si se toma la media global de cada modelo, el valor más alto es el de Claude Opus 4.8, con un 13,3 % ± 2,3 %.

La arquitectura que proponen los autores combina, en cambio, los cuatro modelos con mejor rendimiento individual (Claude Opus 4.8, GPT-5.6 Sol Pro, Kimi K3, GLM 5.2) en una tubería multiagente basada en revisión cruzada y torneos al estilo suizo. Con este montaje, y sin recurrir a búsquedas web externas, el Match rate declarado sube al 23-42 % en los seis dominios científicos, con un aumento observado de unas 2,4 veces respecto al mejor modelo individual. La evaluación queda en manos de un modelo lingüístico juez que compara solo el título y el resumen del artículo objetivo con el título y la síntesis de la hipótesis propuesta, sin conocimientos externos, y que debe abstenerse ante las hipótesis producidas por él mismo. Los propios autores señalan cuatro límites del protocolo: el riesgo de contaminación paramétrica en los datos de entrenamiento, la ausencia de una validación humana de las métricas de comparación, las variaciones entre paneles de jueces y la selección a posteriori de los cuatro modelos del conjunto a partir de resultados ya observados.

Junto a los límites declarados por los investigadores, hay que sopesar las reservas que surgen de nuestro proceso de verificación independiente. Al tratarse de un trabajo en fase de preprint no sometido a revisión por pares, firmado por una entidad empresarial que mide el problema proponiendo su propia arquitectura multiagente, existe un potencial conflicto de intereses. Además, en el momento de la verificación no constan publicaciones públicas verificadas de código y datos brutos, ni replicaciones externas capaces de confirmar las versiones exactas de los modelos comerciales utilizados. Mientras los prompts, los datos y el código no sean públicos, los porcentajes siguen siendo un resultado declarado por los autores y aún no comprobable por terceros.

Desde hace tiempo se describe a los grandes modelos como futuros colegas de laboratorio, pero distinguir la memorización de correlaciones ya vistas de la capacidad real de formular una hipótesis sigue siendo un nudo sin resolver. Quitar el texto de un artículo y dejar solo sus fuentes muestra lo fina que es la frontera entre intuición y recuperación de datos. El camino hacia una IA verdaderamente capaz de descubrir parece pasar primero por una transparencia metodológica rigurosa y solo después por las métricas de los modelos.

— Olya