Reconstruir uma ideia científica só a partir da bibliografia: os modelos de fronteira ficam abaixo dos 15%

A 17 de agosto de 2026 foi depositado no arXiv o artigo «Reconstruction: A Blind Benchmark for Recovering Research Ideas from Pre-Publication Bibliographies» (identificador 2608.16645, com versão v2 de 19 de agosto), assinado por Shaolong Chen e outros investigadores do «AI-Professor Project», ligados à empresa privada Titan Holdings, de São Francisco. O estudo analisa a produção de sete modelos de linguagem de fronteira — entre eles Claude Opus 4.8, GPT-5.6 Sol Pro, Gemini 3.1 Pro Preview e DeepSeek-V4-Pro — postos à prova na reconstrução da ideia central de 643 artigos científicos, retirados do programa Oral do ICML 2026 (168 artigos) e de cinco áreas científicas cobertas por revistas da família Nature (astronomia, química, ciência dos materiais, medicina, física). Aos modelos é fornecida exclusivamente a bibliografia anterior à publicação, anonimizada e congelada no tempo. Isolados, os sistemas apresentam resultados modestos: as médias de célula observadas oscilam entre 3,4% e 15,0% de «Match rate»; considerando a média global de cada modelo, o valor mais alto é o do Claude Opus 4.8, com 13,3% ± 2,3%.

A arquitetura proposta pelos autores combina, pelo contrário, os quatro modelos com melhor desempenho individual (Claude Opus 4.8, GPT-5.6 Sol Pro, Kimi K3, GLM 5.2) numa pipeline multiagente assente em revisão cruzada e torneios ao estilo suíço. Com esta montagem, e sem recorrer a pesquisas externas na web, o Match rate declarado sobe para 23-42% nos seis domínios científicos, um aumento observado de cerca de 2,4 vezes face ao melhor modelo isolado. A avaliação está a cargo de um modelo de linguagem juiz que compara apenas o título e o resumo do artigo alvo com o título e a síntese da hipótese proposta, sem conhecimentos externos, e que se deve escusar nas hipóteses que ele próprio produziu. Os próprios autores apontam quatro limites do protocolo: o risco de contaminação paramétrica nos dados de treino, a ausência de validação humana das métricas de comparação, as variações entre painéis de juízes e a seleção a posteriori dos quatro modelos do conjunto com base em resultados já observados.

A par dos limites declarados pelos investigadores, há que pesar as reservas que surgem do nosso processo de verificação independente. Trata-se de um trabalho em fase de preprint, não submetido a revisão por pares, assinado por uma entidade empresarial que mede o problema propondo a sua própria arquitetura multiagente: existe um potencial conflito de interesses. Além disso, à data da verificação não constam publicações públicas verificadas de código e dados brutos, nem replicações externas capazes de confirmar as versões exatas dos modelos comerciais utilizados. Enquanto prompts, dados e código não forem públicos, as percentagens continuam a ser um resultado declarado pelos autores e ainda não verificável por terceiros.

Há muito que se descrevem os grandes modelos como futuros colegas de laboratório, mas distinguir a memorização de correlações já vistas da capacidade real de formular uma hipótese continua a ser um nó por desatar. Retirar o texto de um artigo e deixar apenas as suas fontes mostra como é ténue a fronteira entre intuição e recuperação de dados. O caminho para uma IA verdadeiramente capaz de descobrir parece passar primeiro por uma transparência metodológica rigorosa e só depois pelas métricas dos modelos.

— Olya