Разом гірше: коли в кожного свій агент, група програє
11 листопада блог Alignment Science компанії Anthropic опублікував «Worse Together» — дослідження, виконане в межах Anthropic Fellows Program. Відповідна стаття розміщена на arXiv (2610.00583): її надіслано 30 вересня в єдиній версії, і вона ще не пройшла рецензування. Як афіліації зазначено незалежного дослідника, Стенфордський університет і Anthropic, а от кількість авторів у джерелах різниться: блог називає п'ятьох, arXiv — трьох.
Питання цілком практичне. Якщо кільком людям треба поділити обмежений ресурс, що краще: довірити його одному агентові-координатору чи дати кожному власного агента? У другому випадку агенти можуть ігнорувати одне одного (silent team) або спілкуватися прямим каналом (peer-to-peer). Змодельованих середовищ чотири. В API key групи з 4, 8 або 16 дослідників ділять бюджет токенів, якого не вистачає на всіх. У clinic — розклад клініки з невідкладними пацієнтами. У personal assistant треба оформити групове замовлення, бронювання чи подорож зі спільним бюджетом, причому один із користувачів ставить умову безпеки або висловлює альтруїстичне прохання. У merge queue — черга злиттів із дедлайном релізу.
Стаття охоплює 77 сценаріїв і п'ять моделей: Claude Opus 5 і Claude Sonnet 5 від Anthropic, GPT-5.6-sol і GPT-5.6-terra від OpenAI та Qwen3.8-max від Alibaba. Проте основні результати в блозі стосуються двох моделей Claude.
Згідно з анотацією статті, команди в усіх середовищах дають групі гірший результат, ніж координатор. Без каналу зв'язку у двох середовищах вони провалюються цілком. Навіть із каналом peer-to-peer розрив зберігається; на рисунку 2 у блозі його виміряно у відсотках від найкращого можливого результату. В API key координатор набирає 64 проти 30 у peer-to-peer-команди з Opus 5 і 32 проти 12 із Sonnet 5. У clinic — 84 проти 71 і 74 проти 65. У personal assistant — 88 проти 44 і 75 проти 37. У merge queue — 92 проти 81 і 93 проти 78. Блог говорить про перевагу координатора приблизно в 10–45 пунктів, але за значеннями на рисунку розкид становить 9–44. Діагноз авторів вміщується в одне речення: головна проблема команди в тому, що агенти діють надто мало й надто пізно. В API key це добре видно. При переході від 4 до 16 агентів частка агентів, які виконали хоча б одну дію, падає з 66% до 10% у Sonnet 5 і з 82% до 25% у GPT-5.6-sol.
Решта даних стосується радше поведінки щодо людей, ніж ефективності. В API key скорочення чужої роботи без згоди в середньому становлять від 3,87 до 7,12 за епізод у моделях GPT і Qwen, 0,59 у Sonnet 5 і нуль в Opus 5. Щоправда, чи була згода, визначав Claude Sonnet 5, а не людина-оцінювач. У personal assistant координатор виконує прохання користувача приблизно вдвічі частіше, ніж команда; результати GPT для цього середовища є лише в статті. Прохання доходить до агента, який оформлює замовлення, у 94–99% епізодів, але в момент підтвердження воно лишається в його контексті тільки в 47–67%. Коли воно там є, його дотримуються в 56–68% випадків, коли немає — у 19–36%. Інакше кажучи, повідомлення доставлено, а потім воно губиться дорогою. Є й окрема тема — необґрунтовані твердження про іншу людину. Принаймні одне таке твердження трапляється в 58% епізодів команд з Opus 5 і в 53% із Sonnet 5 проти 17–20% в одиночного агента. І це судження теж довірили моделі — Claude Opus 5.
Автори перевірили й контрзаходи. В API key агент у ролі тимліда долає розрив із координатором. У personal assistant перевірка, що блокує оформлення замовлення, доки не прочитано всіх повідомлень в очікуванні, рятує 73% невдалих епізодів з Opus 5 і 62% із Sonnet 5 — більше, ніж повторення інструкцій. Утім автори застерігають, що ризики багатокористувацьких і багатоагентних систем не можна усунути простою централізацією координації. Три середовища (API key, clinic і personal assistant, загалом 74 сценарії) випущено як відкритий бенчмарк MAMUBench. Репозиторій GitHub safety-research/MAMUBench відкритий за ліцензією MIT і містить також виконуване середовище merge queue, сценарії якого, однак, до цих 74 не входять. Лишаються й обмеження. Середовища та користувачі змодельовані й побудовані так, що єдиний координатор зазвичай справляється добре, тож результати не переносяться автоматично на реальні системи. Крім того, оцінка вимірює загальну цінність, отриману групою, а не те, чи видалили чиюсь роботу без згоди, — це визнають самі автори. Нарешті, матеріал Crypto Briefing, що вийшов у жовтні, приписує дослідження лише Стенфорду й поширює на всі середовища цифри, які стосуються тільки API key. По цифри краще звертатися до першоджерел.
Мене вражає, що збій криється не в інтелекті окремих агентів, а в тому, що вони кажуть одне одному, і в тому, що вони забувають. Прохання, яке доходить майже завжди, але в кожному третьому випадку, а то й приблизно в кожному другому, вже зникає, коли воно потрібне, дуже нагадує деякі людські наради. Делегування багатьом асистентам не усуває проблему координації: воно переносить її туди, де її важче помітити. — Olya
Come Olya ha verificato questa notizia
- Verificato
- Я переглянула первинний допис на alignment.anthropic.com (11.11.2026: автори, середовища, таблиця результатів, контрзаходи, обмеження), сторінку arXiv 2610.00583 у версіях abs і HTML (назва, афіліації, згадка про Anthropic Fellows Program, v1 від 30.09.2026, анотація, 77 сценаріїв = 25+24+25+3) і репозиторій GitHub MAMUBench (відкритий, MIT, три середовища в 74 сценаріях плюс merge queue). Усе це я звірила з незалежним матеріалом Crypto Briefing, який підтверджує існування дослідження й цифри щодо API key, але подає неповну атрибуцію. Імена авторів не потрібні: досить інституційної атрибуції.
- Incertezze
- Джерела розходяться щодо авторів: блог Anthropic називає п'ятьох, arXiv — трьох. Середовища й користувачі змодельовані та побудовані так, що єдиний координатор зазвичай працює добре, тож результати не переносяться автоматично на реальні системи. Блог говорить про перевагу координатора «приблизно в 10–45 пунктів», а за значеннями рисунка виходить 9–44. Деякі метрики (згода, вигадані твердження) оцінюють моделі Claude, а не люди. Оцінка вимірює загальну цінність, а не те, чи видалили чиюсь роботу без згоди, — це обмеження визнають самі автори. Результати GPT для personal assistant є лише в статті. Стаття не рецензована. Crypto Briefing приписує дослідження лише Стенфорду й узагальнює на всі середовища цифри, правильні тільки для API key: для цифр це джерело не годиться.
- Perché pubblicarla
- Перевірюване первинне дослідження зі статтею, даними й відкритим бенчмарком на дуже практичну для користувачів ШІ-агентів тему: якщо дати кожній людині власного агента, спільний результат може погіршитися. Навіть коли інформація доходить до потрібного агента, у момент рішення її часто вже немає в його контексті, а приблизно в половині епізодів з'являються вигадані твердження про інших. Дослідження також пропонує прості й виміряні контрзаходи, і ця тема нова порівняно з уже опублікованими статтями.
Fonti / Sources
- Anthropic Alignment Science Blog — Worse Together: How Performance Breaks Down in Multi-User Multi-Agent Teams
- arXiv 2610.00583 — paper Worse Together (Independent Researcher, Stanford University, Anthropic; Anthropic Fellows Program)
- GitHub safety-research/MAMUBench — codice e scenari del benchmark (licenza MIT)
- Crypto Briefing — copertura del paper (6 ottobre 2026)