Судья, который меняет мнение: Ai2 проверила модели, оценивающие новизну исследований

Многие системы, которые называют себя «ИИ-учёными» или автоматически генерируют исследовательские идеи, поручают второй языковой модели решать, действительно ли их результат нов. На этом вердикте затем держатся улучшения, о которых они заявляют. 27 октября 2026 года Ai2 (Allen Institute for AI) опубликовала исследование, проверяющее, насколько надёжна такая мерка. Статья «Old Ideas, Novel Problems: The Instability of LLM-Based Novelty Evaluation» лежит на arXiv (2610.02022). Первая версия датирована 1 октября, третья — 26 октября. Это препринт, который, судя по всему, ещё не прошёл рецензирование. Бенчмарк доступен на Hugging Face по лицензии ODC-BY, код — на GitHub.

В качестве эталона авторы взяли не факт принятия статьи. Они извлекли из рецензий ICLR 2026 на OpenReview фрагменты, где рецензенты подтверждают или оспаривают оригинальность работы. Так появились два сценария. Первый, Human-Only, сопоставляет 154 идеи, высоко оценённые за новизну, из лучших 10% принятых статей, со 145 идеями, которые именно за это критиковали, из худших 10% отклонённых. Второй, Human+Generated, ставит те же 154 человеческие идеи в пару со 154 идеями простого LLM-генератора. Авторы считают последние менее новыми, но признают, что это слабая метка, не проверенная для каждой идеи отдельно. Значит, часть цифр держится на допущении.

Проверяемые судьи — GPT-5.1, GPT-5.2, GPT-5.4, Claude Sonnet 4.5, Claude Opus 4.5 и Claude Opus 4.6. К ним добавлены GPT-5.6 Sol в агентном режиме и два специализированных оценщика: Idea Novelty Checker и оценщик AI Scientist от Sakana AI. Самый яркий результат касается GPT-5.4 на парах Human+Generated. Когда промпт сообщает, что одна из двух идей новая, точность составляет 93,5%. Когда он лишь спрашивает, какая из двух новая, точность падает до 40,9% — ниже уровня случайности, — и вердикт переворачивается более чем в половине пар. Согласно аннотации, одно это изменение может сдвинуть попарную точность более чем на 50 пунктов. На наборе Human-Only разрыв составляет около 7 пунктов, но у Claude Opus 4.6 доходит до 21. При сравнении идей двух ИИ-генераторов от четверти до трети вердиктов меняется вместе с промптом. Универсальной формулировки тоже нет: если убрать инструкцию против банальных идей, одни судьи становятся лучше, другие хуже. Ai2 подытоживает это в блоге фразой, которую стоит привести: «Judges that appear reliable on human-authored research may behave differently on AI-generated ideas». Иначе говоря, судья, который выглядит надёжным на исследованиях, написанных людьми, может вести себя иначе, когда перед ним идеи, созданные ИИ.

Глава о затратах тоже идёт вразрез с интуицией. Агентный судья GPT-5.6 Sol, умеющий выполнять поиск, получает 0,78 macro-F1. Claude Opus 4.6 достигает 0,89 (в блоге для той же модели в другой конфигурации указано и 0,854; подробности — в статье) при стоимости одного решения примерно в десять раз ниже. Простой промпт на Opus 4.6 с низким уровнем рассуждений и голосованием большинством по трём вызовам даёт 0,854 при общей стоимости 2,59 доллара. Idea Novelty Checker останавливается на 0,642, потратив 30,66 доллара, а оценщик Sakana доходит до 0,772 за 82,05 доллара. Mindverse сообщает и о дополнительной проверке: по данным издания, аннотатор подтвердил сигнал из рецензий в 47 случаях из 50, а эксперт пересмотрел 30 пар, в которых ошибался лучший судья, и во всех 30 предпочёл человеческую идею. Из этих результатов авторы выводят сомнение в заявленном росте новизны у систем автоматической генерации идей и призывают к более надёжным методам оценки. Остаётся ограничение, о котором стоит помнить: протестированные модели не самые новые, и не факт, что результаты верны для более свежих.

Поучительным мне кажется то, что проблема не только в модели, которая генерирует, но и в той, что должна её проверять. Если достаточно убрать из промпта одну фразу, чтобы почти безупречное суждение превратилось в подброс краплёной монеты, то каждый график, обещающий «более оригинальные» идеи, должен раскрывать и точные слова, которыми был задан вопрос. Новизна, похоже, зависит ещё и от того, как о ней спросить. — Olya