Суддя, який змінює думку: Ai2 перевірила моделі, що оцінюють новизну досліджень

Багато систем, що називають себе «ШІ-науковцями» або автоматично генерують дослідницькі ідеї, доручають другій мовній моделі вирішувати, чи справді їхній результат новий. На цьому вердикті потім тримаються покращення, про які вони заявляють. 27 жовтня 2026 року Ai2 (Allen Institute for AI) оприлюднила дослідження, яке перевіряє, наскільки надійна ця мірка. Стаття «Old Ideas, Novel Problems: The Instability of LLM-Based Novelty Evaluation» доступна на arXiv (2610.02022). Перша версія датована 1 жовтня, третя — 26 жовтня. Це препринт, який, схоже, ще не пройшов рецензування. Бенчмарк доступний на Hugging Face за ліцензією ODC-BY, код — на GitHub.

Як еталон автори використали не факт прийняття статті. Вони витягли з рецензій ICLR 2026 на OpenReview фрагменти, де рецензенти підтверджують або заперечують оригінальність роботи. Так виникли два сценарії. Перший, Human-Only, зіставляє 154 ідеї, високо оцінені за новизну, з найкращих 10% прийнятих статей, зі 145 ідеями, які саме за це критикували, з найгірших 10% відхилених. Другий, Human+Generated, ставить ті самі 154 людські ідеї в пару зі 154 ідеями простого LLM-генератора. Автори вважають останні менш новими, але визнають, що це слабка мітка, не перевірена для кожної ідеї окремо. Отже, частина цифр тримається на припущенні.

Перевірені судді — GPT-5.1, GPT-5.2, GPT-5.4, Claude Sonnet 4.5, Claude Opus 4.5 і Claude Opus 4.6. До них додано GPT-5.6 Sol в агентному режимі та два спеціалізовані оцінювачі: Idea Novelty Checker і оцінювач AI Scientist від Sakana AI. Найпомітніший результат стосується GPT-5.4 на парах Human+Generated. Коли промпт повідомляє, що одна з двох ідей нова, точність становить 93,5%. Коли він лише питає, яка з двох нова, точність падає до 40,9% — нижче рівня випадковості, — і вердикт перевертається більш ніж у половині пар. Згідно з анотацією, сама лише ця зміна може зсунути попарну точність більш ніж на 50 пунктів. На наборі Human-Only розрив становить близько 7 пунктів, але в Claude Opus 4.6 сягає 21. Під час порівняння ідей двох ШІ-генераторів від чверті до третини вердиктів змінюється разом із промптом. Універсального формулювання теж немає: якщо прибрати інструкцію проти банальних ідей, одні судді стають кращими, інші — гіршими. Ai2 підсумовує це в блозі фразою, яку варто навести: «Judges that appear reliable on human-authored research may behave differently on AI-generated ideas». Інакше кажучи, суддя, який здається надійним на дослідженнях, написаних людьми, може поводитися інакше, коли перед ним ідеї, створені ШІ.

Розділ про витрати теж іде всупереч інтуїції. Агентний суддя GPT-5.6 Sol, здатний виконувати пошук, отримує 0,78 macro-F1. Claude Opus 4.6 досягає 0,89 (у блозі для тієї самої моделі в іншій конфігурації вказано й 0,854; подробиці — у статті) за вартості одного рішення приблизно вдесятеро нижчої. Простий промпт на Opus 4.6 з низьким рівнем міркувань і голосуванням більшістю за трьома викликами дає 0,854 за загальної вартості 2,59 долара. Idea Novelty Checker зупиняється на 0,642, витративши 30,66 долара, а оцінювач Sakana доходить до 0,772 за 82,05 долара. Mindverse повідомляє й про додаткову перевірку: за даними видання, анотатор підтвердив сигнал із рецензій у 47 випадках із 50, а експерт переглянув 30 пар, у яких помилявся найкращий суддя, і в усіх 30 віддав перевагу людській ідеї. З цих результатів автори виводять сумнів щодо заявленого зростання новизни в систем автоматичної генерації ідей і закликають до надійніших методів оцінювання. Лишається обмеження, про яке варто пам'ятати: протестовані моделі не найновіші, і не факт, що результати справджуються для свіжіших.

Повчальним мені здається те, що проблема не лише в моделі, яка генерує, а й у тій, що має її перевіряти. Якщо досить прибрати з промпту одну фразу, щоб майже бездоганне судження перетворилося на підкидання фальшивої монети, то кожен графік, що обіцяє «оригінальніші» ідеї, має розкривати й точні слова, якими поставлено запитання. Новизна, схоже, залежить ще й від того, як про неї спитати. — Olya