코드를 실행하는 일과 학습을 다시 쓰는 일 사이의 거리

2026년 8월 20일 arXiv에 프리프린트 「AI4AI-Bench: Benchmarking LLM Agents in Algorithmic Design for Recursive Self-Improvement」이 등록됐다. 저자는 Yizhe Chi, Wenyi Li, Deyao Hong, Xiaoqiu Wang, Mingju Gao, Kaisen Yang, Bingxiang He, Youjie Zheng, Calvin Xiao와 교신저자 Qinhuai Na다. 논문에서 Navers Lab, Einsia.AI, 칭화대학 소속을 밝힌 저자들은, 코딩 에이전트가 하이퍼파라미터 조정이나 데이터 처리에 머무르지 않고 모델의 학습 알고리즘 자체 — 즉 목적함수나 갱신 규칙 — 를 다시 쓸 수 있는지 평가하는 도구 모음을 제안한다. 벤치마크는 OpenR1, RAGEN, DPO, Model Soup을 비롯한 10개 알고리즘 계열을 각각 담은, 동결된 연구 저장소 10곳에 기반한다. 테스트 인프라 코드는 GitHub 저장소 Einsia/AI4AI-Bench에 Apache-2.0 라이선스로 공개됐지만, 이 연구는 여전히 동료 심사를 거치지 않은 프리프린트이며 명시된 소속에 대한 별도의 기관 발표도 없다.

저자들이 설명한 절차에 따르면, 각 에이전트는 B300 GPU 한 장에서 4시간 동안 코드를 살펴보고 수정하면서 자신의 아이디어를 빠른 지표로 시험한다. 이후 소스 패치만이 깨끗한 컨테이너에 적용돼 최대 12시간 동안 처음부터 다시 학습되고, 채점은 에이전트에게 감춰진 고정 평가기가 맡는다. 측정에는 정규화된 척도가 쓰였다. 0.1은 출발점 알고리즘, 1.0은 과제의 최적값을 뜻한다. 0은 쓸 수 없는 모델을 가리키고, 0.1 미만이면 에이전트가 원래 있던 코드를 더 나쁘게 만들었다는 의미다. 논문에서 저자들이 밝힌 바로는, 총 290회 시행에서 평가된 6개 시스템의 평균은 0.166이었다. 최고점은 Claude Opus 5의 0.250이었고, GPT-5.6 Sol 0.191, Kimi K3 0.174, Claude Sonnet 5 0.145, GPT-5.6 Terra 0.135, GPT-5.6 Luna 0.117이 뒤를 이었다. 가장 뛰어난 시스템조차 저장소에 이미 있던 알고리즘과 과제의 최적값 사이 거리의 5분의 1도 메우지 못한 셈이다. 논문에 따르면 제출물 대부분은 모델이 학습하는 방식에 아예 손대지 않았고, 실제로 알고리즘 층위에 개입한 소수의 평균은 0.226으로 나머지의 0.126을 앞섰다. 저자들은 추론 노력을 키우자 알고리즘 층위 개입 비율이 8%에서 64%로 올랐고 평균도 0.094에서 0.196으로 상승했다고 밝히면서, 그 상승은 설계 능력이 더 뛰어나서라기보다 깊은 코드를 고치려는 성향이 반영된 결과라고 해석한다. 벤치마크 개발자들이 직접 수행한 측정이고, 연산 비용에 대한 독립 감사나 제3자 순위표도 없는 만큼, 공개된 지표는 당사자의 주장으로 읽어야 한다.

이 벤치마크의 결과는 프린스턴대학에서 진행된 별개의 연구와도 나란히 놓인다. 2026년 8월 18일 MIT Technology Review는 연구자 Peter Kirgis와 Sayash Kapoor가 이끈 실험을 전했다. Claude Opus 4.8 기반 에이전트에 엿새와 API 크레딧, 연산 자원을 주고 NeurIPS 2026에 투고된 논문에서 뽑아낸 미공개 과학 문제 두 건을 맡긴 실험이다. 매체에 따르면 시스템이 만들어낸 두 편의 논문은 원래 연구의 저자들이 학회 심사위원처럼 평가한 끝에 모두 탈락했다. 에이전트는 공학적 과제에서는 유능했지만 창의적 판단에서는 부족했다. 이 시도에 대해 연구자 Sayash Kapoor는 MIT Technology Review에 이렇게 말했다. “이 논문들은 최상위 AI 학회의 수준에 이르기에는 한참 모자랐다.”

공개된 숫자가 독립적인 검증을 견뎌낸다면, 기존 인프라를 재구성하는 일과 새로운 학습 규칙을 발명하는 일 사이의 거리는 여전히 넓다. 다만 저자들 스스로 밝힌 한계도 함께 봐야 한다. 이 결과는 2026년 8월에 쓸 수 있었던 모델과 하네스를 찍은 사진일 뿐, 이후 버전에 대해서는 아무것도 말해주지 않는다. — Olya