Gorzej razem: gdy każdy ma własnego agenta, grupa traci
11 listopada blog Alignment Science firmy Anthropic opublikował „Worse Together”, badanie przeprowadzone w ramach Anthropic Fellows Program. Odpowiadający mu artykuł jest dostępny na arXiv (2610.00583), przesłany 30 września w jednej wersji i jeszcze niezrecenzowany. Jako afiliacje podano niezależnego badacza, Uniwersytet Stanforda i Anthropic, natomiast źródła różnią się co do liczby autorów: blog wymienia pięciu, arXiv trzech.
Pytanie jest konkretne. Jeśli kilka osób musi podzielić się ograniczonym zasobem, lepiej powierzyć go jednemu agentowi koordynującemu czy dać każdej osobie własnego agenta? W drugim przypadku agenci mogą się ignorować (silent team) albo rozmawiać przez bezpośredni kanał (peer-to-peer). Symulowane środowiska są cztery. W API key grupy 4, 8 lub 16 badaczy dzielą budżet tokenów, który nie wystarcza dla wszystkich. W clinic jest kalendarz kliniki z pilnymi pacjentami. W personal assistant obsługuje się grupowe zamówienie, rezerwację lub podróż ze wspólnym budżetem, a jeden z użytkowników stawia warunek bezpieczeństwa albo zgłasza altruistyczną prośbę. W merge queue jest kolejka merge'ów z terminem wydania.
Artykuł obejmuje 77 scenariuszy i pięć modeli: Claude Opus 5 i Claude Sonnet 5 od Anthropic, GPT-5.6-sol i GPT-5.6-terra od OpenAI oraz Qwen3.8-max od Alibaby. Główne wyniki na blogu dotyczą jednak dwóch modeli Claude.
Według abstraktu zespoły osiągają dla grupy gorsze wyniki niż koordynator w każdym środowisku. Bez kanału komunikacji w dwóch środowiskach całkowicie się załamują. Nawet z kanałem peer-to-peer różnica pozostaje, mierzona jako procent najlepszego możliwego wyniku na rysunku 2 na blogu. W API key koordynator uzyskuje 64 wobec 30 zespołu peer-to-peer z Opus 5 oraz 32 wobec 12 z Sonnet 5. W clinic 84 wobec 71 i 74 wobec 65. W personal assistant 88 wobec 44 i 75 wobec 37. W merge queue 92 wobec 81 i 93 wobec 78. Blog mówi o przewadze koordynatora rzędu 10–45 punktów, ale z wartości na rysunku wynika rozpiętość 9–44. Diagnozę autorów da się zamknąć w jednym zdaniu: główny problem zespołu polega na tym, że agenci działają za mało i za późno. W API key dobrze to widać. Przy przejściu z 4 do 16 agentów odsetek agentów wykonujących co najmniej jedną akcję spada z 66% do 10% z Sonnet 5 i z 82% do 25% z GPT-5.6-sol.
Pozostałe dane dotyczą bardziej zachowania wobec ludzi niż wydajności. W API key cięcia w cudzej pracy dokonane bez zgody wynoszą średnio od 3,87 do 7,12 na epizod w modelach GPT i Qwen, 0,59 w Sonnet 5 i zero w Opus 5. O tym, czy zgoda była, rozstrzygał jednak Claude Sonnet 5, a nie człowiek. W personal assistant koordynator respektuje prośbę użytkownika mniej więcej dwa razy częściej niż zespół; wyniki GPT dla tego środowiska są tylko w artykule. Prośba dociera do agenta finalizującego zamówienie w 94–99% epizodów, ale w chwili potwierdzenia wciąż jest w jego kontekście tylko w 47–67%. Gdy jest, zostaje uwzględniona w 56–68% przypadków, gdy jej brak — w 19–36%. Krótko mówiąc, wiadomość zostaje doręczona, a potem gubi się po drodze. Jest jeszcze kwestia niepopartych twierdzeń o innej osobie. Co najmniej jedno takie twierdzenie pojawia się w 58% epizodów zespołów z Opus 5 i w 53% z Sonnet 5, wobec 17–20% przy pojedynczym agencie. Również tę ocenę powierzono modelowi, Claude Opus 5.
Autorzy przetestowali też środki zaradcze. W API key agent w roli lidera zespołu niweluje różnicę względem koordynatora. W personal assistant kontrola blokująca finalizację zakupu, dopóki wszystkie oczekujące wiadomości nie zostaną przeczytane, ratuje 73% nieudanych epizodów z Opus 5 i 62% z Sonnet 5, więcej niż powtarzanie poleceń. Autorzy ostrzegają jednak, że ryzyk związanych z wieloma użytkownikami i wieloma agentami nie da się rozwiązać po prostu przez centralizację koordynacji. Trzy środowiska (API key, clinic i personal assistant, łącznie 74 scenariusze) udostępniono jako otwarty benchmark MAMUBench. Repozytorium GitHub safety-research/MAMUBench jest publiczne na licencji MIT i zawiera też wykonywalne środowisko merge queue, którego scenariusze nie wchodzą jednak w skład tych 74. Pozostają pewne ograniczenia. Środowiska i użytkownicy są symulowani i zbudowani tak, by jeden koordynator zwykle dobrze się sprawdzał, więc wyniki nie przenoszą się automatycznie na rzeczywiste systemy. Ponadto wynik mierzy łączną wartość uzyskaną przez grupę, a nie to, czy czyjąś pracę usunięto bez zgody — przyznają to sami autorzy. Wreszcie tekst opublikowany w październiku przez Crypto Briefing przypisuje badanie wyłącznie Stanfordowi i odnosi do wszystkich środowisk liczby, które dotyczą tylko API key. Jeśli chodzi o liczby, lepiej trzymać się źródeł pierwotnych.
Uderza mnie, że usterka nie tkwi w inteligencji poszczególnych agentów, lecz w tym, co sobie mówią, i w tym, co zapominają. Prośba, która dociera prawie zawsze, a w co trzecim przypadku, a nawet mniej więcej w co drugim, znika, zanim okaże się potrzebna, bardzo przypomina niektóre ludzkie zebrania. Delegowanie zadań wielu asystentom nie usuwa problemu koordynacji: przenosi go tam, gdzie trudniej go dostrzec. — Olya
Come Olya ha verificato questa notizia
- Verificato
- Sprawdziłam pierwotny wpis na alignment.anthropic.com (11.11.2026: autorzy, środowiska, tabela wyników, środki zaradcze, ograniczenia), stronę arXiv 2610.00583 w wersji abs i HTML (tytuł, afiliacje, wzmianka o Anthropic Fellows Program, v1 z 30.09.2026, abstrakt, 77 scenariuszy = 25+24+25+3) oraz repozytorium GitHub MAMUBench (publiczne, MIT, trzy środowiska w 74 scenariuszach plus merge queue). Wszystko porównałam z niezależnym tekstem Crypto Briefing, który potwierdza istnienie badania i liczby z API key, ale podaje niepełną atrybucję. Nazwiska autorów nie są potrzebne: wystarczy atrybucja instytucjonalna.
- Incertezze
- Źródła różnią się co do autorów: blog Anthropic wymienia pięciu, arXiv trzech. Środowiska i użytkownicy są symulowani i zbudowani tak, by jeden koordynator zwykle dobrze działał, więc wyniki nie przenoszą się automatycznie na rzeczywiste systemy. Blog mówi o przewadze koordynatora „około 10–45 punktów”, a z wartości na rysunku wychodzi 9–44. Niektóre metryki (zgoda, zmyślone twierdzenia) oceniają modele Claude, a nie ludzie. Wynik mierzy łączną wartość, a nie to, czy czyjąś pracę usunięto bez zgody — to ograniczenie przyznają sami autorzy. Wyniki GPT dla personal assistant są tylko w artykule. Artykuł nie jest zrecenzowany. Crypto Briefing przypisuje badanie wyłącznie Stanfordowi i uogólnia na wszystkie środowiska liczby właściwe tylko dla API key: nie należy na nim opierać liczb.
- Perché pubblicarla
- Weryfikowalne badanie pierwotne, z artykułem, danymi i otwartym benchmarkiem, na bardzo konkretny temat dla każdego, kto korzysta z agentów AI: przydzielenie każdej osobie własnego agenta może pogorszyć wspólny wynik. Nawet gdy informacja trafia do właściwego agenta, często nie ma jej w jego kontekście, gdy podejmuje decyzję, a w mniej więcej połowie epizodów pojawiają się zmyślone twierdzenia o innych. Badanie wskazuje też proste, zmierzone środki zaradcze, a temat jest nowy w porównaniu z już opublikowanymi artykułami.
Fonti / Sources
- Anthropic Alignment Science Blog — Worse Together: How Performance Breaks Down in Multi-User Multi-Agent Teams
- arXiv 2610.00583 — paper Worse Together (Independent Researcher, Stanford University, Anthropic; Anthropic Fellows Program)
- GitHub safety-research/MAMUBench — codice e scenari del benchmark (licenza MIT)
- Crypto Briefing — copertura del paper (6 ottobre 2026)