De rechter die van mening verandert: Ai2 test de modellen die de nieuwheid van onderzoek beoordelen

Veel systemen die zich presenteren als ‘AI-wetenschappers’, of die automatisch onderzoeksideeën genereren, laten een tweede taalmodel bepalen of wat ze produceren echt nieuw is. Op dat oordeel rusten vervolgens de verbeteringen die ze claimen. Op 27 oktober 2026 publiceerde Ai2 (Allen Institute for AI) een studie die nagaat hoe betrouwbaar die maatstaf is. Het paper, ‘Old Ideas, Novel Problems: The Instability of LLM-Based Novelty Evaluation’, staat op arXiv (2610.02022). De eerste versie dateert van 1 oktober, de derde van 26 oktober. Het is een preprint die voor zover bekend nog niet door vakgenoten is beoordeeld. De benchmark staat op Hugging Face onder een ODC-BY-licentie, de code op GitHub.

Als referentie gebruikten de auteurs niet de acceptatie van papers. Ze haalden uit de ICLR 2026-reviews op OpenReview de passages waarin reviewers de originaliteit van een werk bevestigen of betwisten. Zo ontstonden twee scenario's. Het eerste, Human-Only, zet 154 ideeën die om hun nieuwheid werden geprezen, uit de beste 10% van de geaccepteerde papers, tegenover 145 ideeën die op dat punt werden bekritiseerd, uit de zwakste 10% van de afgewezen papers. Het tweede, Human+Generated, koppelt dezelfde 154 menselijke ideeën aan 154 ideeën van een eenvoudige LLM-generator. De auteurs beschouwen die laatste als minder nieuw, maar geven toe dat het een zwak label is dat niet idee voor idee is gecontroleerd. Een deel van de cijfers hangt dus af van een aanname.

De geteste rechters zijn GPT-5.1, GPT-5.2, GPT-5.4, Claude Sonnet 4.5, Claude Opus 4.5 en Claude Opus 4.6, aangevuld met GPT-5.6 Sol in agentmodus en twee gespecialiseerde beoordelaars: Idea Novelty Checker en de beoordelaar van AI Scientist van Sakana AI. Het opvallendste resultaat betreft GPT-5.4 op de Human+Generated-paren. Zegt de prompt dat een van de twee ideeën nieuw is, dan is de nauwkeurigheid 93,5%. Vraagt hij alleen welke van de twee nieuw is, dan zakt die naar 40,9%, onder kansniveau, en kantelt het oordeel bij meer dan de helft van de paren. Volgens de abstract kan deze ene wijziging de paarsgewijze nauwkeurigheid met meer dan 50 punten verschuiven. Op de Human-Only-set blijft het verschil steken op ongeveer 7 punten, maar bij Claude Opus 4.6 loopt het op tot 21. Bij het vergelijken van ideeën van twee AI-generatoren verandert tussen een kwart en een derde van de oordelen als de prompt verandert. Een formulering die voor iedereen werkt, bestaat evenmin: een instructie tegen banale ideeën schrappen maakt sommige rechters beter en andere slechter. Ai2 vat het op zijn blog samen in een zin die het citeren waard is: ‘Judges that appear reliable on human-authored research may behave differently on AI-generated ideas’. Kortom: een rechter die betrouwbaar lijkt bij onderzoek van mensen, kan zich anders gedragen bij ideeën die een AI heeft bedacht.

Ook het hoofdstuk over kosten gaat tegen de intuïtie in. De agentische rechter GPT-5.6 Sol, die zelf kan zoeken, haalt 0,78 macro-F1. Claude Opus 4.6 komt op 0,89 (de blog noemt voor hetzelfde model in een andere configuratie ook 0,854; de details staan in het paper), tegen ongeveer een tiende van de kosten per beslissing. Een eenvoudige prompt op Opus 4.6, met laag redeneerniveau en een meerderheidsstemming over drie aanroepen, haalt 0,854 voor in totaal 2,59 dollar. Idea Novelty Checker blijft op 0,642 steken en kost 30,66 dollar; de beoordelaar van Sakana komt op 0,772 voor 82,05 dollar. Mindverse meldt daarnaast een controle: volgens het medium bevestigde een annotator het signaal uit de reviews in 47 van de 50 gevallen, en een expert bekeek 30 paren waarin de beste rechter zich vergiste opnieuw en koos in alle 30 voor het menselijke idee. Op basis hiervan trekken de auteurs de nieuwheidswinst die systemen voor automatische ideevorming claimen in twijfel en vragen ze om robuustere evaluatiemethoden. Eén beperking blijft: de geteste modellen zijn niet de nieuwste, en het is niet gezegd dat de resultaten ook voor recentere modellen gelden.

Ik vind het leerzaam dat het probleem niet alleen bij het genererende model ligt, maar ook bij het model dat het zou moeten controleren. Als het schrappen van één zin uit de prompt een bijna perfect oordeel verandert in een vervalste muntworp, dan zou elke grafiek die ‘originelere’ ideeën belooft ook de exacte woorden moeten vermelden waarmee de vraag is gesteld. Nieuwheid hangt kennelijk ook af van hoe je ernaar vraagt. — Olya