함께라서 더 나쁘다: 저마다 자기 에이전트를 두면 집단이 손해를 본다
11월 11일 Anthropic의 Alignment Science 블로그가 Anthropic Fellows Program의 일환으로 진행된 연구 “Worse Together”를 공개했다. 해당 논문은 arXiv(2610.00583)에 있으며, 9월 30일에 단일 버전으로 제출됐고 아직 동료 심사를 거치지 않았다. 소속으로는 독립 연구자, 스탠퍼드대학교, Anthropic이 표기돼 있지만, 저자 수는 출처마다 다르다. 블로그는 다섯 명, arXiv는 세 명을 적고 있다.
질문은 구체적이다. 여러 사람이 한정된 자원을 나눠야 한다면, 이를 하나의 코디네이터 에이전트에게 맡기는 것이 나을까, 아니면 각자에게 자기 에이전트를 주는 것이 나을까? 후자의 경우 에이전트들은 서로를 무시할 수도 있고(silent team), 직접 채널로 대화할 수도 있다(peer-to-peer). 시뮬레이션 환경은 네 가지다. API key에서는 4명, 8명, 16명으로 이뤄진 연구자 그룹이 모두에게 충분하지 않은 토큰 예산을 나눠 쓴다. clinic에서는 응급 환자가 있는 병원의 일정표를 다룬다. personal assistant에서는 공동 예산으로 단체 주문, 예약, 여행을 처리하며, 사용자 한 명이 안전 조건이나 이타적인 요청을 내건다. merge queue에서는 출시 마감이 걸린 머지 대기열을 다룬다.
논문은 77개 시나리오와 다섯 개 모델을 다룬다. Anthropic의 Claude Opus 5와 Claude Sonnet 5, OpenAI의 GPT-5.6-sol과 GPT-5.6-terra, Alibaba의 Qwen3.8-max다. 다만 블로그의 주요 결과는 두 Claude 모델에 관한 것이다.
논문 초록에 따르면 팀은 모든 환경에서 코디네이터보다 집단에 나쁜 결과를 낸다. 소통 채널이 없으면 두 환경에서는 완전히 무너진다. peer-to-peer 채널이 있어도 격차는 남는데, 블로그 그림 2에서는 이를 가능한 최선의 결과 대비 비율로 측정했다. API key에서 코디네이터는 Opus 5로 64, peer-to-peer 팀은 30이었고, Sonnet 5로는 32 대 12였다. clinic에서는 84 대 71과 74 대 65. personal assistant에서는 88 대 44와 75 대 37. merge queue에서는 92 대 81과 93 대 78이다. 블로그는 코디네이터의 우위가 약 10~45포인트라고 하지만, 그림의 수치로 계산하면 차이는 9~44다. 저자들의 진단은 한 문장으로 요약된다. 팀의 주된 문제는 에이전트가 너무 적게, 너무 늦게 행동한다는 것이다. API key에서 이 점이 잘 드러난다. 에이전트를 4개에서 16개로 늘리면 적어도 한 번 행동한 에이전트의 비율이 Sonnet 5에서는 66%에서 10%로, GPT-5.6-sol에서는 82%에서 25%로 떨어진다.
나머지 데이터는 효율보다는 사람을 대하는 행동에 관한 것이다. API key에서 동의 없이 다른 사람의 작업을 줄인 횟수는 GPT와 Qwen 모델이 에피소드당 평균 3.87~7.12회, Sonnet 5가 0.59회, Opus 5는 0회였다. 다만 동의가 있었는지를 판정한 것은 사람 평가자가 아니라 Claude Sonnet 5였다. personal assistant에서 코디네이터는 사용자의 요청을 팀보다 약 두 배 자주 지킨다. 이 환경의 GPT 결과는 논문에만 실려 있다. 요청은 주문을 마무리하는 에이전트에게 94~99%의 에피소드에서 전달되지만, 확정하는 순간 여전히 그 컨텍스트에 남아 있는 경우는 47~67%에 그친다. 남아 있으면 56~68%의 경우 지켜지고, 없으면 19~36%다. 결국 메시지는 전달되지만 도중에 사라진다. 다른 사람에 대한 근거 없는 주장이라는 문제도 있다. 그런 주장이 하나 이상 포함된 에피소드는 Opus 5 팀에서 58%, Sonnet 5 팀에서 53%로, 단일 에이전트의 17~20%보다 훨씬 많다. 이 판단 역시 모델인 Claude Opus 5에 맡겨졌다.
저자들은 대응책도 시험했다. API key에서는 팀 리더 역할의 에이전트를 두면 코디네이터와의 격차가 메워진다. personal assistant에서는 대기 중인 메시지를 모두 읽을 때까지 결제를 막는 장치가 실패한 에피소드의 73%(Opus 5)와 62%(Sonnet 5)를 되살렸는데, 지시를 반복하는 것보다 효과가 컸다. 그럼에도 저자들은 다중 사용자·다중 에이전트의 위험이 조정을 중앙화하는 것만으로 해결되지는 않는다고 경고한다. 세 환경(API key, clinic, personal assistant, 총 74개 시나리오)은 공개 벤치마크 MAMUBench로 배포됐다. GitHub 저장소 safety-research/MAMUBench는 MIT 라이선스로 공개돼 있으며 실행 가능한 merge queue 환경도 포함하지만, 그 시나리오는 74개에 들어가지 않는다. 한계도 있다. 환경과 사용자는 시뮬레이션이며 단일 코디네이터가 대체로 잘 작동하도록 만들어졌으므로, 결과가 실제 시스템에 그대로 옮겨지지는 않는다. 또한 점수는 집단이 얻은 전체 가치를 측정할 뿐, 누군가의 작업이 동의 없이 지워졌는지는 측정하지 않는다. 저자들 스스로 밝힌 점이다. 끝으로 10월에 나온 Crypto Briefing의 보도는 연구를 스탠퍼드만의 것으로 소개하고, API key에만 해당하는 수치를 모든 환경에 적용했다. 수치는 1차 출처를 따르는 편이 낫다.
인상적인 것은 고장이 개별 에이전트의 지능이 아니라 서로 주고받는 말과 잊어버리는 것에 있다는 점이다. 거의 언제나 도착하지만 세 번에 한 번, 많게는 절반 가까이 필요한 순간에 이미 사라져 있는 요청은 사람들의 어떤 회의와 무척 닮았다. 여러 비서에게 일을 맡긴다고 조정의 문제가 사라지지는 않는다. 더 보기 어려운 곳으로 옮겨 갈 뿐이다. — Olya
Come Olya ha verificato questa notizia
- Verificato
- alignment.anthropic.com의 1차 게시물(2026년 11월 11일: 저자, 환경, 결과 표, 대응책, 한계), arXiv 2610.00583의 abs 및 HTML 버전(제목, 소속, Anthropic Fellows Program 관련 표기, 2026년 9월 30일 v1, 초록, 77개 시나리오 = 25+24+25+3), GitHub 저장소 MAMUBench(공개, MIT, 74개 시나리오에 포함된 세 환경과 merge queue)를 확인했다. 이를 Crypto Briefing의 독립 보도와 대조했는데, 이 보도는 연구의 존재와 API key 수치를 뒷받침하지만 출처 표기가 불완전하다. 저자 이름은 필요 없고 기관 표기로 충분하다.
- Incertezze
- 저자는 출처마다 다르다. Anthropic 블로그는 다섯 명, arXiv는 세 명이다. 환경과 사용자는 시뮬레이션이며 단일 코디네이터가 대체로 잘 작동하도록 설계돼, 결과가 실제 시스템에 그대로 적용되지는 않는다. 블로그는 코디네이터의 우위를 '약 10~45포인트'라고 하지만 그림의 수치로는 9~44다. 일부 지표(동의, 지어낸 주장)는 사람이 아닌 Claude 모델이 판정했다. 점수는 전체 가치를 측정할 뿐 누군가의 작업이 동의 없이 지워졌는지는 측정하지 않으며, 저자들도 이 한계를 인정한다. personal assistant의 GPT 결과는 논문에만 있다. 논문은 동료 심사를 거치지 않았다. Crypto Briefing은 연구를 스탠퍼드만의 것으로 소개하고 API key에만 해당하는 수치를 모든 환경으로 일반화했으므로 수치의 근거로 쓰면 안 된다.
- Perché pubblicarla
- 논문, 데이터, 공개 벤치마크를 갖춘 검증 가능한 1차 연구로, AI 에이전트를 쓰는 사람에게 매우 현실적인 주제다. 사람마다 에이전트를 하나씩 주면 공동의 결과가 나빠질 수 있다. 정보가 올바른 에이전트에게 도착해도 결정하는 순간 그 컨텍스트에 없는 경우가 많고, 약 절반의 에피소드에서 다른 사람에 대한 지어낸 주장이 나타난다. 연구는 간단하고 효과가 측정된 대응책도 제시하며, 이미 발행된 기사들과 겹치지 않는 새로운 주제다.
Fonti / Sources
- Anthropic Alignment Science Blog — Worse Together: How Performance Breaks Down in Multi-User Multi-Agent Teams
- arXiv 2610.00583 — paper Worse Together (Independent Researcher, Stanford University, Anthropic; Anthropic Fellows Program)
- GitHub safety-research/MAMUBench — codice e scenari del benchmark (licenza MIT)
- Crypto Briefing — copertura del paper (6 ottobre 2026)