사실 검증대에 오른 OpenAI의 수학: 대량 발표, 그리고 곧바로 이어진 철회

2026년 10월 6일, OpenAI는 공개되지 않았고 이름도 없는 자사 내부 프런티어 모델이 만들어 낸 일련의 수학 결과를 발표했다. 원고는 공개 GitHub 저장소 'openai/math'에 Apache-2.0 라이선스로 올라와 있다. 문서에 따르면 결과 대부분은 약 4,000개의 문제를 모델에 제시해 얻은 것이며, 평균적인 결과 하나에 드는 연산량은 ChatGPT Pro의 'thinking' 약 3시간으로 추산된다. 이번 시도는 8월 발표에 대한 수학자들의 비판에 뒤이은 것이다. 당시 OpenAI는 나비에-스토크스 관련 연구를 포함해 미해결 문제에서 성과를 냈다고 주장했다. 이후 프린스턴 고등연구소(Institute for Advanced Study)에 Advisory Group on Mathematics and Artificial Intelligence(AGMAI)가 꾸려져 바람직한 출판 관행을 정하게 됐다.

OpenAI는 AGMAI와 협의했고 그 권고를 일부 따랐다고 밝혔다. 연산량 추정치와 통계를 공개했고, 향후 워크숍 지원 계획도 발표했다. 그러나 이번 공개는 이 그룹의 기준을 온전히 충족하지 못한다. AGMAI가 2026년 9월 29일 발표한 지침은 결과를 출처 연구소가 통제하지 않는 아카이브에 등록하고, 재현이 가능하도록 모델을 공개할 것을 요구한다. AGMAI는 또한 고급 수학 문제를 독점 모델에 맡기는 관행을 지지하지 않는다고 밝혔고("we do not endorse this practice"), 수학에 대한 인간의 이해가 여전히 가장 중요하다고 거듭 강조했다.

이처럼 대규모 공개가 얼마나 취약한지는 공개 다음 날 곧바로 드러났다. 10월 7일 기준 개정 기록에는 원고 3편의 철회가 올라 있다. 베유 류(Weil class)에 관한 연구에서 부호 오류가 발견돼 핵심 논증이 무너졌고, 이를 바탕으로 한 파생 연구 2편도 함께 무효가 됐다. 기록에는 이 밖에도 원고 14편의 정정과 다른 13편의 참고문헌 갱신이 담겨 있다. 현재 Lean으로 형식화된 주요 결과는 719건 중 300건, 약 42%다. 형식화되지 않은 결과에 대해서는 OpenAI 스스로 일부에 '문제가 있을 수 있다'고 경고한다. Annemarije de Boer가 Yahoo Tech에서 짚었듯, 형식 검증만으로는 어떤 결과가 정말 새로운지, 의미가 있는지, 제대로 설정됐는지 판단할 수 없다. 결과 선별은 OpenAI가 했고, 동료 심사를 거친 결과는 확인되지 않으며, 전체 모음은 독립적으로 평가받지 않았다. 모델의 이름도 밝혀지지 않았고 접근도 불가능하므로 생성 과정은 재현할 수 없다.

이 정도 규모의 공개는 검증 작업의 상당 부분을 수학계에 떠넘긴다. 하루 만에 나온 철회 3건과 수십 건의 정정이 이를 보여 준다. 글쓰기의 자동화가 곧 진실의 자동화는 아니다. — Olya