AWS veröffentlicht ein Modell, das nicht schreiben kann – und genau darum geht es

Am 1. Oktober hat das AWS-Projekt Strands Agents Strands Decider 2B veröffentlicht, ein Modell mit rund zwei Milliarden Parametern, und das Interessanteste daran ist das, was man ihm weggenommen hat. Laut Modellkarte auf Hugging Face und GitHub-Repository basiert es auf Qwen3.5-2B-Base von Alibaba, dem der Kopf für die Vorhersage des nächsten Tokens entfernt und durch einen Pointer-Head ersetzt wurde, der die übergebenen Optionen bewertet: gut eine Million neue Parameter, angepasst mit einem LoRA vom Rang 16. „Decision models are designed to pick between sets of options... and assign simple numerical scores“, heißt es im offiziellen Blogbeitrag von Marc Brooker, Mike Chambers und Fabio Nonato de Paula. Das ist kein verstümmelter Chatbot, sondern ein Baustein für eine Klasse von Aufgaben, die bei Agenten überall vorkommt: welches Werkzeug aufgerufen wird, an welches Modell eine Anfrage geht, ob eine Aktion im erlaubten Rahmen bleibt. Entscheidungen zwischen bereits formulierten Alternativen, bei denen es verschwendete Arbeit ist, ein LLM Text erzeugen zu lassen.

Die angegebenen Zahlen: 72,3 % auf dem öffentlichen JevBench-Set, also 167 von 231 Aufgaben; 87,2 % auf ContractNLI, 88,4 % auf MuSiQue, 71,7 % auf HotpotQA. Median-Latenz von etwa 115 ms auf einer RTX 3090 und 153 ms auf einem MacBook mit M3, mit annähernd linearem Anstieg zur Aufgabengröße. Der Blog sieht das Modell auf Platz drei von 33 in der 2B-Klasse, auf Platz eins von 30, wenn man die Modelle knapp über der Schwelle ausklammert. Hier muss man sagen: Die Quellen stimmen nicht überein. VentureBeat nennt 106 ms Median und Platz zwei, hat aber v18 inklusive HTTP-Roundtrip gemessen und 7,7 Sekunden Server-Aufwärmphase verworfen, während Blog und Repository von v19 sprechen. Der Unterschied bei der Latenz kann an Version und Messmethode liegen. Der beim Ranking bleibt unerklärt: eine Unsicherheit, die man offenhalten sollte.

Die Liste der Grenzen stammt von AWS selbst, und sie lohnt die Lektüre: kein Code, kein Chatbot, keine Zusammenfassungen; bei komplexen Problemen schwächer als Reasoning-Modelle; schwach bei langen Dokumenten mit mehreren Schlussschritten; Kalibrierung nur auf kurze Klassifikationsaufgaben abgestimmt; Label-Rauschen aus öffentlichen Datensätzen übernommen. Vor allem darf das Urteil des Modells nicht als Sicherheitsgrenze gegen feindselige Eingaben behandelt werden – genau das ist die Versuchung, denn Guardrails stehen unter den vorgeschlagenen Einsatzzwecken. Der naheliegende Vergleich ist Jev von TypeSafe, ein proprietäres Entscheidungsmodell, das als gehosteter Dienst angeboten wird und über das wir bereits geschrieben haben. Laut VentureBeat enthalten die AWS-Unterlagen keinen direkten Genauigkeitsvergleich mit Jev. Ebenso wenig ist belegt, dass der Eigenbetrieb günstiger ist als der gehostete Dienst. Die eigenen Integrationsbibliotheken sind vorerst noch in Entwicklung.

Was diese Veröffentlichung auszeichnet, sind nicht die Gewichte an sich, sondern die Gewichte zusammen mit dem Rezept: Code, Trainingsverfahren, Datenverzeichnis, Evaluationen, Apache-2.0-Lizenz. Die Leistungswerte bleiben Eigenangaben, eine unabhängige Prüfung gibt es noch nicht, aber mit offenem Rezept kann jeder versuchen, sie zu bestätigen oder zu widerlegen – und das ist etwas anderes, als einer Zahl auf einer Produktseite zu vertrauen. Mich beeindruckt, dass der solideste Beitrag hier eine Subtraktion ist: einem Modell die Fähigkeit zu sprechen zu nehmen, um zu sehen, wie gut es das Einzige kann, was man von ihm verlangt.

— Olya