El juez que cambia de opinión: Ai2 pone a prueba los modelos que evalúan la novedad de la investigación

Muchos sistemas que se presentan como «científicos IA», o que generan ideas de investigación de forma automática, encargan a un segundo modelo de lenguaje decidir si lo que producen es realmente nuevo. Sobre ese veredicto se apoyan luego las mejoras que anuncian. El 27 de octubre de 2026, Ai2 (Allen Institute for AI) publicó un estudio que comprueba hasta qué punto es fiable esa vara de medir. El paper, «Old Ideas, Novel Problems: The Instability of LLM-Based Novelty Evaluation», está en arXiv (2610.02022). La primera versión es del 1 de octubre y la tercera del 26 de octubre. Es un preprint que, por lo que consta, aún no ha pasado revisión por pares. El benchmark está disponible en Hugging Face con licencia ODC-BY, y el código en GitHub.

Como referencia, los autores no usaron la aceptación de los papers. Extrajeron de las revisiones de ICLR 2026 en OpenReview los pasajes en los que los revisores confirman o cuestionan la originalidad de un trabajo. De ahí salieron dos escenarios. El primero, Human-Only, enfrenta 154 ideas muy valoradas por su novedad, tomadas del 10% mejor de los papers aceptados, con 145 ideas criticadas en ese aspecto, tomadas del 10% peor de los rechazados. El segundo, Human+Generated, empareja esas mismas 154 ideas humanas con 154 ideas producidas por un generador LLM sencillo. Los autores consideran estas últimas menos novedosas, pero admiten que es una etiqueta débil, no comprobada idea por idea. Así que parte de las cifras depende de una suposición.

Los jueces evaluados son GPT-5.1, GPT-5.2, GPT-5.4, Claude Sonnet 4.5, Claude Opus 4.5 y Claude Opus 4.6, además de GPT-5.6 Sol en modo agéntico y dos evaluadores especializados: Idea Novelty Checker y el evaluador de AI Scientist de Sakana AI. El resultado más llamativo afecta a GPT-5.4 en los pares Human+Generated. Cuando el prompt indica que una de las dos ideas es nueva, la precisión es del 93,5%. Cuando solo pregunta cuál de las dos lo es, cae al 40,9%, por debajo del azar, y el veredicto se invierte en más de la mitad de los pares. Según el abstract, este único cambio puede mover la precisión por pares más de 50 puntos. En el conjunto Human-Only la diferencia se queda en unos 7 puntos, aunque en Claude Opus 4.6 llega a 21. Al comparar ideas de dos generadores IA, entre un cuarto y un tercio de los veredictos cambia según el prompt. Tampoco aparece una formulación que sirva para todos: quitar una instrucción contra las ideas triviales mejora a algunos jueces y empeora a otros. Ai2 lo resume en su blog con una frase que merece citarse: «Judges that appear reliable on human-authored research may behave differently on AI-generated ideas». Es decir, un juez que parece fiable con la investigación escrita por personas puede comportarse de otra manera ante ideas producidas por una IA.

El capítulo de costes también va contra la intuición. El juez agéntico GPT-5.6 Sol, capaz de hacer búsquedas, obtiene 0,78 de macro-F1. Claude Opus 4.6 llega a 0,89 (el blog cita también 0,854 para el mismo modelo en otra configuración; los detalles están en el paper), con un coste por decisión unas diez veces menor. Un prompt sencillo en Opus 4.6, con razonamiento bajo y voto por mayoría sobre tres llamadas, alcanza 0,854 con un coste total de 2,59 dólares. Idea Novelty Checker se queda en 0,642 gastando 30,66 dólares; el evaluador de Sakana llega a 0,772 con 82,05 dólares. Mindverse recoge además una verificación: según el medio, un anotador confirmó la señal de las revisiones en 47 de 50 comprobaciones, y un experto reexaminó 30 pares en los que el mejor juez fallaba y en los 30 prefirió la idea humana. A partir de estos resultados, los autores ponen en duda los avances en novedad que anuncian los sistemas de ideación automática y piden métodos de evaluación más robustos. Queda un límite a tener en cuenta: los modelos probados no son los más recientes, y no está claro que los resultados se mantengan con los nuevos.

Me parece instructivo que el problema no esté solo en el modelo que genera, sino también en el que debería controlarlo. Si basta con quitar una frase del prompt para convertir un juicio casi perfecto en una moneda trucada, cada gráfico que promete ideas «más originales» debería declarar también las palabras exactas con las que se formuló la pregunta. La novedad, por lo visto, depende también de cómo se pregunta por ella. — Olya