생각을 바꾸는 심사위원: Ai2, 연구의 새로움을 평가하는 모델을 시험하다

‘AI 과학자’를 표방하거나 연구 아이디어를 자동으로 생성하는 시스템 상당수는, 자신이 만든 결과물이 정말 새로운지를 두 번째 언어 모델에게 판단하게 한다. 이들이 내세우는 개선 성과도 그 판정 위에 서 있다. 2026년 10월 27일 Ai2(Allen Institute for AI)는 이 잣대가 얼마나 믿을 만한지 검증한 연구를 발표했다. 논문 「Old Ideas, Novel Problems: The Instability of LLM-Based Novelty Evaluation」은 arXiv(2610.02022)에 올라와 있다. 첫 버전은 10월 1일, 세 번째 버전은 10월 26일에 나왔다. 아직 동료 심사를 거치지 않은 것으로 보이는 프리프린트다. 벤치마크는 ODC-BY 라이선스로 Hugging Face에, 코드는 GitHub에 공개돼 있다.

저자들은 논문 채택 여부를 기준으로 삼지 않았다. 대신 OpenReview에 있는 ICLR 2026 심사평에서 심사자가 연구의 독창성을 인정하거나 문제 삼은 대목을 추출했다. 여기서 두 가지 시나리오가 나왔다. 첫 번째인 Human-Only는 채택 논문 상위 10%에서 뽑은, 새로움으로 높이 평가받은 아이디어 154개와 탈락 논문 하위 10%에서 뽑은, 바로 그 점을 비판받은 아이디어 145개를 비교한다. 두 번째인 Human+Generated는 같은 인간 아이디어 154개를 단순한 LLM 생성기가 만든 아이디어 154개와 짝짓는다. 저자들은 후자를 덜 새롭다고 간주하지만, 아이디어 하나하나 확인하지 않은 약한 레이블이라는 점을 인정한다. 따라서 수치의 일부는 가정에 기대고 있다.

시험 대상 심사위원은 GPT-5.1, GPT-5.2, GPT-5.4, Claude Sonnet 4.5, Claude Opus 4.5, Claude Opus 4.6이다. 여기에 에이전트 모드의 GPT-5.6 Sol과 두 개의 전용 평가기, Idea Novelty Checker와 Sakana AI의 AI Scientist 평가기가 더해졌다. 가장 눈에 띄는 결과는 Human+Generated 쌍에서의 GPT-5.4다. 프롬프트가 두 아이디어 중 하나가 새롭다고 알려 주면 정확도는 93.5%다. 어느 쪽이 새로운지만 물으면 40.9%로 떨어져 우연 수준보다 낮아지고, 절반이 넘는 쌍에서 판정이 뒤집힌다. 초록에 따르면 이 변경 하나만으로 쌍별 정확도가 50포인트 넘게 움직일 수 있다. Human-Only 세트에서는 격차가 약 7포인트에 그치지만, Claude Opus 4.6은 21포인트에 이른다. 서로 다른 두 AI 생성기의 아이디어를 비교하면 프롬프트에 따라 판정의 4분의 1에서 3분의 1이 바뀐다. 모두에게 통하는 문구도 없다. 평범한 아이디어를 경계하라는 지시를 빼면 어떤 심사위원은 나아지고 어떤 심사위원은 나빠진다. Ai2는 블로그에서 인용할 만한 한 문장으로 이를 요약한다. “Judges that appear reliable on human-authored research may behave differently on AI-generated ideas”. 즉, 사람이 쓴 연구에서 믿을 만해 보이는 심사위원도 AI가 만든 아이디어 앞에서는 다르게 행동할 수 있다는 것이다.

비용 부분도 직관과 어긋난다. 검색을 할 수 있는 에이전트형 심사위원 GPT-5.6 Sol의 macro-F1은 0.78이다. Claude Opus 4.6은 0.89에 이르며(블로그에는 다른 설정에서 같은 모델의 수치로 0.854도 나온다. 자세한 내용은 논문 참고), 판정당 비용은 약 10분의 1이다. Opus 4.6에 단순한 프롬프트를 쓰고 추론 수준을 낮춰 세 번 호출한 뒤 다수결을 하면 총 2.59달러로 0.854에 도달한다. Idea Novelty Checker는 30.66달러를 쓰고 0.642에 머물렀고, Sakana의 평가기는 82.05달러로 0.772를 기록했다. Mindverse는 추가 검증도 전한다. 이 매체에 따르면 한 주석자가 50건 중 47건에서 심사평의 신호를 확인했다. 또 한 전문가가 최고 성능의 심사위원이 틀린 30쌍을 다시 검토했는데, 30건 모두에서 인간의 아이디어를 택했다. 저자들은 이 결과를 근거로 자동 아이디어 생성 시스템이 주장하는 새로움의 향상에 의문을 제기하고, 더 견고한 평가 방법을 요구한다. 염두에 둘 한계도 있다. 시험한 모델들은 최신 모델이 아니며, 결과가 더 새로운 모델에도 들어맞는다는 보장은 없다.

내가 배울 점이 많다고 느끼는 부분은, 문제가 생성하는 모델에만 있는 게 아니라 그것을 검사해야 할 모델에도 있다는 것이다. 프롬프트에서 문장 하나를 지우는 것만으로 거의 완벽한 판정이 조작된 동전 던지기로 바뀐다면, ‘더 독창적인’ 아이디어를 약속하는 모든 그래프는 질문에 쓴 정확한 문구까지 밝혀야 한다. 새로움은 아무래도 어떻게 묻느냐에도 달려 있는 모양이다. — Olya