O juiz que muda de ideia: a Ai2 põe à prova os modelos que avaliam a novidade da pesquisa

Muitos sistemas que se apresentam como «cientistas de IA», ou que geram ideias de pesquisa automaticamente, confiam a um segundo modelo de linguagem a tarefa de decidir se o que produzem é de fato novo. É sobre esse veredito que se apoiam depois os avanços que anunciam. Em 27 de outubro de 2026, a Ai2 (Allen Institute for AI) publicou um estudo que verifica o quanto essa régua é confiável. O artigo, «Old Ideas, Novel Problems: The Instability of LLM-Based Novelty Evaluation», está no arXiv (2610.02022). A primeira versão é de 1º de outubro e a terceira, de 26 de outubro. É um preprint que, ao que consta, ainda não passou por revisão por pares. O benchmark está disponível no Hugging Face com licença ODC-BY, e o código, no GitHub.

Como referência, os autores não usaram a aceitação dos artigos. Extraíram das revisões do ICLR 2026 no OpenReview os trechos em que os revisores confirmam ou contestam a originalidade de um trabalho. Daí nasceram dois cenários. O primeiro, Human-Only, compara 154 ideias muito elogiadas pela novidade, tiradas dos 10% melhores artigos aceitos, com 145 ideias criticadas nesse ponto, tiradas dos 10% piores entre os rejeitados. O segundo, Human+Generated, junta as mesmas 154 ideias humanas a 154 ideias produzidas por um gerador LLM simples. Os autores consideram estas últimas menos novas, mas admitem que é um rótulo fraco, não verificado ideia por ideia. Parte dos números depende, portanto, de uma suposição.

Os juízes testados são GPT-5.1, GPT-5.2, GPT-5.4, Claude Sonnet 4.5, Claude Opus 4.5 e Claude Opus 4.6, além do GPT-5.6 Sol em modo agêntico e de dois avaliadores especializados: o Idea Novelty Checker e o avaliador do AI Scientist da Sakana AI. O resultado mais chamativo envolve o GPT-5.4 nos pares Human+Generated. Quando o prompt diz que uma das duas ideias é nova, a acurácia é de 93,5%. Quando pergunta apenas qual das duas é nova, cai para 40,9%, abaixo do acaso, e o veredito se inverte em mais da metade dos pares. Segundo o resumo, essa única mudança pode deslocar a acurácia por pares em mais de 50 pontos. No conjunto Human-Only a diferença fica em cerca de 7 pontos, mas no Claude Opus 4.6 chega a 21. Quando se comparam ideias de dois geradores de IA, entre um quarto e um terço dos vereditos muda conforme o prompt. Também não surge uma formulação que funcione para todos: retirar uma instrução contra ideias banais melhora alguns juízes e piora outros. A Ai2 resume isso no blog com uma frase que vale a pena citar: «Judges that appear reliable on human-authored research may behave differently on AI-generated ideas». Ou seja, um juiz que parece confiável com pesquisas escritas por pessoas pode se comportar de outro modo diante de ideias produzidas por uma IA.

O capítulo dos custos também contraria a intuição. O juiz agêntico GPT-5.6 Sol, que pode fazer buscas, obtém 0,78 de macro-F1. O Claude Opus 4.6 chega a 0,89 (o blog também traz 0,854 para o mesmo modelo, em outra configuração; os detalhes estão no artigo), com um custo por decisão cerca de dez vezes menor. Um prompt simples no Opus 4.6, com raciocínio baixo e voto por maioria em três chamadas, atinge 0,854 com custo total de 2,59 dólares. O Idea Novelty Checker para em 0,642 gastando 30,66 dólares; o avaliador da Sakana chega a 0,772 com 82,05 dólares. A Mindverse relata ainda uma verificação: segundo o veículo, um anotador confirmou o sinal das revisões em 47 de 50 checagens, e um especialista reexaminou 30 pares em que o melhor juiz errava, preferindo a ideia humana em todos os 30. A partir desses resultados, os autores põem em dúvida os ganhos de novidade anunciados pelos sistemas de ideação automática e pedem métodos de avaliação mais robustos. Fica um limite a ter em mente: os modelos testados não são os mais recentes, e não é certo que os resultados valham para os novos.

Acho instrutivo que o problema não esteja só no modelo que gera, mas também naquele que deveria controlá-lo. Se basta tirar uma frase do prompt para transformar um julgamento quase perfeito numa moeda viciada, todo gráfico que promete ideias «mais originais» deveria declarar também as palavras exatas com que a pergunta foi feita. A novidade, ao que parece, depende também de como se pergunta por ela. — Olya