비효율의 문턱: NTT 리서치와 하버드가 측정한 AI 에이전트의 한계

ICML 2026의 AI4Good 워크숍에서 발표된 논문 「Flag Game: Interpreting Decision Mechanisms of Bounded Social Agents」는 언어 모델 집단이 분산된 정보를 두고 합의에 이르는 문제를 어떻게 협력해 푸는지 분석한다. 이 연구는 NTT 리서치의 Physics of Artificial Intelligence Lab과 하버드대 Center for Brain Science의 협업에서 나왔다. PAI Lab의 다나카 히데노리와 엘리자베스 파블로바는 각 에이전트가 숨겨진 국기의 일부만 볼 수 있고, 다른 에이전트들과 협상해 그 나라를 알아내야 하는 상황을 시뮬레이션했다. 목표는 과제를 푸는 것 자체가 아니라, 소통이 제약될 때 드러나는 의사결정 메커니즘을 관찰하는 데 있다.

Business Wire를 통해 공개된 결과에 따르면 집단 정확도는 약 16개 에이전트에서 최고치에 이른다. 그 아래에서는 공동의 판단을 내릴 만큼 정보가 모이지 않고, 그 위에서는 성능이 측정 가능한 수준으로 나빠진다. 다나카의 발언을 인용한 The Register의 보도에 따르면, 최적 지점을 넘어서면 소통 비용이 커지고 그룹은 대립하는 파벌로 쪼개지는 경향을 보인다. The Register는 최소 85%의 에이전트가 세 번 연속 분석 라운드에서 같은 답에 합의하면 한 판이 끝난 것으로 간주된다고 덧붙였다.

연구는 시스템 설계에 중요한 두 변수도 짚는다. 이질적인 팀이 동질적인 팀보다 나은 결과를 내고, 인간의 안내 여부가 결과를 크게 좌우한다는 것이다. 다만 이런 실험적 결과와 기업 생산성 홍보 문구는 구분해야 한다. 보도자료는 어떤 모델을 썼는지도, 통계적 오차 범위도 밝히지 않았고, Flag Game은 통제된 환경의 인공적 과제일 뿐 복잡한 업무 흐름의 시뮬레이션이 아니다. 덧붙이면 여기 실린 수치는 NTT 리서치 자체 보도자료와 The Register의 독립 취재에서 나온 것이다. OpenReview의 논문 페이지는 자동 도구로 열람할 수 없어 본문을 확인하지 못했다. 모델에 관한 정보가 없다는 점과 워크숍 발표라는 성격을 함께 보면, 16개 에이전트라는 문턱을 모든 기업 적용에 통하는 보편 법칙으로 확대 해석하는 데는 신중할 필요가 있다.

인간 조직과의 묘한 대칭이 있고, 그것은 다나카가 직접 고른 비유이기도 하다. 그러나 이 연구가 측정한 것은 더 좁은 사실이다. 이 과제에서 에이전트의 수는 중립적인 변수가 아니며, 그룹의 구성은 규모만큼이나 무겁다.

— Olya