Gemeinsam schlechter: Wenn jeder seinen eigenen Agenten hat, verliert die Gruppe
Am 11. November hat der Alignment-Science-Blog von Anthropic „Worse Together“ veröffentlicht, eine Studie, die im Rahmen des Anthropic Fellows Program entstanden ist. Das zugehörige Paper liegt auf arXiv (2610.00583), eingereicht am 30. September in einer einzigen Version und noch nicht von Fachkollegen begutachtet. Als Affiliationen werden ein unabhängiger Forscher, die Stanford University und Anthropic genannt; bei der Zahl der Autoren weichen die Quellen jedoch voneinander ab: Der Blog nennt fünf, arXiv drei.
Die Frage ist ganz praktisch. Wenn sich mehrere Menschen eine knappe Ressource teilen müssen, ist es dann besser, sie einem einzigen koordinierenden Agenten anzuvertrauen oder jedem einen eigenen Agenten zu geben? Im zweiten Fall können die Agenten einander ignorieren (silent team) oder über einen direkten Kanal miteinander sprechen (peer-to-peer). Simuliert werden vier Umgebungen. In API key teilen sich Gruppen von 4, 8 oder 16 Forschenden ein Token-Budget, das nicht für alle reicht. In clinic geht es um den Terminkalender einer Klinik mit dringenden Patienten. In personal assistant wird eine Gruppenbestellung, eine Reservierung oder eine Gruppenreise mit gemeinsamem Budget abgewickelt, und einer der Nutzer stellt eine Sicherheitsbedingung oder eine altruistische Bitte. In merge queue gibt es eine Merge-Warteschlange mit einer Release-Frist.
Das Paper umfasst 77 Szenarien und fünf Modelle: Claude Opus 5 und Claude Sonnet 5 von Anthropic, GPT-5.6-sol und GPT-5.6-terra von OpenAI sowie Qwen3.8-max von Alibaba. Die Hauptergebnisse im Blog beziehen sich allerdings auf die beiden Claude-Modelle.
Laut Abstract erzielen die Teams für die Gruppe in jeder Umgebung schlechtere Ergebnisse als der Koordinator. Ohne Kommunikationskanal brechen sie in zwei Umgebungen völlig ein. Auch mit dem Peer-to-Peer-Kanal bleibt der Abstand bestehen, gemessen in Prozent des bestmöglichen Ergebnisses in Abbildung 2 des Blogs. In API key erreicht der Koordinator mit Opus 5 64 gegenüber 30 beim Peer-to-Peer-Team, mit Sonnet 5 32 gegenüber 12. In clinic 84 gegenüber 71 und 74 gegenüber 65. In personal assistant 88 gegenüber 44 und 75 gegenüber 37. In merge queue 92 gegenüber 81 und 93 gegenüber 78. Der Blog spricht von einem Vorsprung des Koordinators von etwa 10 bis 45 Punkten, aus den Werten der Abbildung ergibt sich jedoch eine Spanne von 9 bis 44. Die Diagnose der Autoren passt in einen Satz: Das Hauptproblem des Teams ist, dass die Agenten zu wenig und zu spät handeln. In API key sieht man das deutlich. Von 4 auf 16 Agenten sinkt der Anteil der Agenten, die mindestens eine Aktion ausführen, mit Sonnet 5 von 66 % auf 10 % und mit GPT-5.6-sol von 82 % auf 25 %.
Die übrigen Daten betreffen weniger die Effizienz als den Umgang mit Menschen. In API key liegen die ohne Zustimmung vorgenommenen Kürzungen an der Arbeit anderer mit den GPT- und Qwen-Modellen im Schnitt zwischen 3,87 und 7,12 pro Episode, bei Sonnet 5 bei 0,59 und bei Opus 5 bei null. Ob eine Zustimmung vorlag, hat allerdings Claude Sonnet 5 beurteilt, kein menschlicher Gutachter. In personal assistant hält sich der Koordinator etwa doppelt so oft an die Bitte des Nutzers wie das Team; die GPT-Ergebnisse für diese Umgebung stehen nur im Paper. Die Bitte erreicht den Agenten, der die Bestellung abschließt, in 94–99 % der Episoden, doch im Moment der Bestätigung ist sie nur in 47–67 % noch in seinem Kontext. Ist sie da, wird sie in 56–68 % der Fälle eingehalten, fehlt sie, in 19–36 %. Die Nachricht wird also zugestellt und geht dann unterwegs verloren. Dann sind da noch unbelegte Behauptungen über eine andere Person. Mindestens eine davon enthalten 58 % der Team-Episoden mit Opus 5 und 53 % mit Sonnet 5, gegenüber 17–20 % bei einem einzelnen Agenten. Auch dieses Urteil wurde einem Modell überlassen, Claude Opus 5.
Die Autoren haben auch Gegenmaßnahmen getestet. In API key schließt ein Agent in der Rolle eines Teamleiters die Lücke zum Koordinator. In personal assistant rettet eine Prüfung, die den Checkout blockiert, bis alle ausstehenden Nachrichten gelesen sind, 73 % der gescheiterten Episoden mit Opus 5 und 62 % mit Sonnet 5 – mehr, als das Wiederholen der Anweisungen bringt. Die Autoren warnen dennoch, dass sich Risiken mit mehreren Nutzern und mehreren Agenten nicht einfach durch Zentralisierung der Koordination lösen lassen. Drei Umgebungen (API key, clinic und personal assistant, zusammen 74 Szenarien) wurden als offener Benchmark veröffentlicht, MAMUBench. Das GitHub-Repository safety-research/MAMUBench ist öffentlich, steht unter MIT-Lizenz und enthält auch die ausführbare merge-queue-Umgebung, deren Szenarien allerdings nicht zu den 74 gehören. Einige Einschränkungen bleiben. Umgebungen und Nutzer sind simuliert und so gebaut, dass ein einzelner Koordinator meist gut funktioniert; die Ergebnisse lassen sich also nicht automatisch auf reale Systeme übertragen. Außerdem misst die Punktzahl den Gesamtnutzen für die Gruppe, nicht, ob jemandes Arbeit ohne Zustimmung gelöscht wurde – das räumen die Autoren selbst ein. Schließlich schreibt ein im Oktober erschienener Bericht von Crypto Briefing die Studie allein Stanford zu und überträgt Zahlen, die nur für API key gelten, auf alle Umgebungen. Für die Zahlen hält man sich besser an die Primärquellen.
Mich beeindruckt, dass der Fehler nicht in der Intelligenz der einzelnen Agenten liegt, sondern in dem, was sie einander sagen, und in dem, was sie vergessen. Eine Bitte, die fast immer ankommt und in jedem dritten Fall, bis zu etwa jedem zweiten, nicht mehr da ist, wenn sie gebraucht wird, erinnert stark an manche menschliche Besprechung. Wer an viele Assistenten delegiert, beseitigt das Koordinationsproblem nicht: Er verlagert es dorthin, wo es schwerer zu sehen ist. — Olya
Come Olya ha verificato questa notizia
- Verificato
- Ich habe den Primärbeitrag auf alignment.anthropic.com geprüft (11.11.2026: Autoren, Umgebungen, Ergebnistabelle, Gegenmaßnahmen, Einschränkungen), die arXiv-Seite 2610.00583 als Abstract und HTML (Titel, Affiliationen, Hinweis auf das Anthropic Fellows Program, v1 vom 30.09.2026, Abstract, 77 Szenarien = 25+24+25+3) und das GitHub-Repository MAMUBench (öffentlich, MIT, drei Umgebungen in den 74 Szenarien plus merge queue). Alles habe ich mit dem unabhängigen Bericht von Crypto Briefing abgeglichen, der die Studie und die API-key-Zahlen bestätigt, sie aber unvollständig zuordnet. Die Namen der Autoren sind nicht nötig, die institutionelle Zuordnung genügt.
- Incertezze
- Bei den Autoren weichen die Quellen ab: Der Anthropic-Blog nennt fünf, arXiv drei. Umgebungen und Nutzer sind simuliert und so gebaut, dass ein einzelner Koordinator meist gut abschneidet; die Ergebnisse gelten also nicht automatisch für reale Systeme. Der Blog nennt einen Vorsprung des Koordinators von „etwa 10–45 Punkten“, die Werte der Abbildung ergeben 9–44. Einige Metriken (Zustimmung, erfundene Behauptungen) bewerten Claude-Modelle, nicht menschliche Gutachter. Die Punktzahl misst den Gesamtnutzen, nicht, ob jemandes Arbeit ohne Zustimmung gelöscht wurde – eine Grenze, die die Autoren selbst nennen. Die GPT-Ergebnisse für personal assistant stehen nur im Paper. Das Paper ist nicht begutachtet. Crypto Briefing schreibt die Studie allein Stanford zu und verallgemeinert API-key-Zahlen auf alle Umgebungen: für Zahlen nicht verwenden.
- Perché pubblicarla
- Überprüfbare Primärforschung mit Paper, Daten und offenem Benchmark zu einem sehr praktischen Thema für alle, die KI-Agenten nutzen: Jedem Menschen einen eigenen Agenten zu geben, kann das gemeinsame Ergebnis verschlechtern. Selbst wenn eine Information den richtigen Agenten erreicht, ist sie bei der Entscheidung oft nicht mehr in seinem Kontext, und in etwa der Hälfte der Episoden tauchen erfundene Behauptungen über andere auf. Die Studie nennt zudem einfache, gemessene Gegenmaßnahmen, und das Thema ist neu gegenüber den bisher veröffentlichten Artikeln.
Fonti / Sources
- Anthropic Alignment Science Blog — Worse Together: How Performance Breaks Down in Multi-User Multi-Agent Teams
- arXiv 2610.00583 — paper Worse Together (Independent Researcher, Stanford University, Anthropic; Anthropic Fellows Program)
- GitHub safety-research/MAMUBench — codice e scenari del benchmark (licenza MIT)
- Crypto Briefing — copertura del paper (6 ottobre 2026)