Sędzia, który zmienia zdanie: Ai2 sprawdza modele oceniające nowatorstwo badań

Wiele systemów przedstawiających się jako „naukowcy AI” albo automatycznie generujących pomysły badawcze powierza drugiemu modelowi językowemu ocenę, czy to, co wytworzyły, jest naprawdę nowe. Na tym werdykcie opierają się potem deklarowane przez nie postępy. 27 października 2026 roku Ai2 (Allen Institute for AI) opublikował badanie sprawdzające, na ile wiarygodna jest ta miara. Praca „Old Ideas, Novel Problems: The Instability of LLM-Based Novelty Evaluation” jest dostępna na arXiv (2610.02022). Pierwsza wersja pochodzi z 1 października, trzecia z 26 października. To preprint, który najwyraźniej nie przeszedł jeszcze recenzji naukowej. Benchmark udostępniono na Hugging Face na licencji ODC-BY, a kod na GitHubie.

Jako punktu odniesienia autorzy nie przyjęli przyjęcia pracy na konferencję. Wyciągnęli natomiast z recenzji ICLR 2026 w OpenReview fragmenty, w których recenzenci potwierdzają lub kwestionują oryginalność pracy. Tak powstały dwa scenariusze. Pierwszy, Human-Only, zestawia 154 pomysły wysoko ocenione za nowatorstwo, wzięte z najlepszych 10% przyjętych prac, ze 145 pomysłami krytykowanymi właśnie pod tym względem, wziętymi z najsłabszych 10% odrzuconych. Drugi, Human+Generated, łączy te same 154 ludzkie pomysły ze 154 pomysłami z prostego generatora LLM. Autorzy uznają te drugie za mniej nowatorskie, ale przyznają, że to słaba etykieta, niesprawdzona pomysł po pomyśle. Część liczb zależy więc od założenia.

Testowani sędziowie to GPT-5.1, GPT-5.2, GPT-5.4, Claude Sonnet 4.5, Claude Opus 4.5 i Claude Opus 4.6, a do tego GPT-5.6 Sol w trybie agentowym i dwa wyspecjalizowane narzędzia oceniające: Idea Novelty Checker oraz oceniacz AI Scientist od Sakana AI. Najbardziej uderzający wynik dotyczy GPT-5.4 na parach Human+Generated. Gdy prompt mówi, że jeden z dwóch pomysłów jest nowy, trafność wynosi 93,5%. Gdy tylko pyta, który z nich jest nowy, spada do 40,9%, poniżej poziomu losowego, a werdykt odwraca się w ponad połowie par. Według abstraktu ta jedna zmiana może przesunąć trafność w parach o ponad 50 punktów. Na zbiorze Human-Only różnica wynosi około 7 punktów, ale w przypadku Claude Opus 4.6 sięga 21. Przy porównaniu pomysłów z dwóch generatorów AI od jednej czwartej do jednej trzeciej werdyktów zmienia się wraz z promptem. Nie ma też sformułowania, które działałoby dla wszystkich: usunięcie instrukcji przeciwko banalnym pomysłom jednym sędziom pomaga, innym szkodzi. Ai2 podsumowuje to na blogu zdaniem wartym przytoczenia: „Judges that appear reliable on human-authored research may behave differently on AI-generated ideas”. Innymi słowy, sędzia, który wydaje się wiarygodny przy badaniach pisanych przez ludzi, może zachowywać się inaczej wobec pomysłów stworzonych przez AI.

Rozdział o kosztach również przeczy intuicji. Agentowy sędzia GPT-5.6 Sol, który może prowadzić wyszukiwania, uzyskuje 0,78 macro-F1. Claude Opus 4.6 osiąga 0,89 (blog podaje dla tego samego modelu także 0,854 w innej konfiguracji; szczegóły są w pracy), przy koszcie jednej decyzji mniej więcej dziesięć razy niższym. Prosty prompt na Opus 4.6, z niskim poziomem rozumowania i głosowaniem większościowym z trzech wywołań, osiąga 0,854 przy łącznym koszcie 2,59 dolara. Idea Novelty Checker zatrzymuje się na 0,642, wydając 30,66 dolara, a oceniacz Sakany dochodzi do 0,772 za 82,05 dolara. Mindverse opisuje ponadto weryfikację: według serwisu anotator potwierdził sygnał z recenzji w 47 z 50 kontroli, a ekspert ponownie przejrzał 30 par, w których najlepszy sędzia się mylił, i we wszystkich 30 wybrał pomysł ludzki. Na tej podstawie autorzy podają w wątpliwość deklarowane przez systemy automatycznego generowania pomysłów zyski w nowatorstwie i wzywają do bardziej odpornych metod oceny. Trzeba pamiętać o jednym ograniczeniu: testowane modele nie są najnowsze i nie wiadomo, czy wyniki dotyczą nowszych.

Pouczające wydaje mi się to, że problem tkwi nie tylko w modelu, który generuje, ale też w tym, który ma go kontrolować. Jeśli wystarczy usunąć jedno zdanie z promptu, by niemal idealny osąd zamienić w rzut znaczoną monetą, każdy wykres obiecujący „bardziej oryginalne” pomysły powinien podawać też dokładne słowa, jakimi zadano pytanie. Nowatorstwo, jak się okazuje, zależy także od tego, jak się o nie pyta. — Olya