AWS brengt een model uit dat niet kan schrijven, en daar draait het om

Op 1 oktober publiceerde het AWS-project Strands Agents Strands Decider 2B, een model van ongeveer twee miljard parameters, en het interessantste is wat eruit is gehaald. Volgens de modelkaart op Hugging Face en de GitHub-repository is het gebaseerd op Qwen3.5-2B-Base van Alibaba, waarvan de kop die het volgende woord voorspelt is verwijderd en vervangen door een pointer head die de aangeboden opties een score geeft: iets meer dan een miljoen nieuwe parameters, aangepast met een LoRA van rang 16. "Decision models are designed to pick between sets of options... and assign simple numerical scores", schrijft de officiële blog van Marc Brooker, Mike Chambers en Fabio Nonato de Paula. Dit is geen verminkte chatbot, maar een onderdeel dat is ontworpen voor een soort taak die bij agents overal opduikt: welke tool aanroepen, naar welk model een verzoek doorsturen, of een actie binnen de grenzen blijft. Keuzes tussen alternatieven die al zijn uitgeschreven, waarbij een LLM tekst laten genereren verspild werk is.

De opgegeven cijfers: 72,3% op de publieke JevBench-set, oftewel 167 van de 231 taken; 87,2% op ContractNLI, 88,4% op MuSiQue, 71,7% op HotpotQA. Een mediane latentie van zo'n 115 ms op een RTX 3090 en 153 ms op een MacBook met M3, die ongeveer lineair meegroeit met de omvang van de taak. De blog zet het model op de derde plaats van 33 in de 2B-klasse, op de eerste van 30 als je de modellen net boven de drempel buiten beschouwing laat. Hier moet gezegd worden dat de bronnen niet overeenkomen: VentureBeat meldt een mediaan van 106 ms en een tweede plaats, maar mat v18 inclusief de HTTP-round trip en zonder 7,7 seconden opwarmtijd van de server, terwijl blog en repository over v19 gaan. Het verschil in latentie kan aan de versie en de meetmethode liggen. Dat in de ranglijst blijft onverklaard: een onzekerheid die we open moeten houden.

De lijst met beperkingen komt van AWS zelf, en die is het lezen waard: geen code, geen chatbot, geen samenvattingen; minder sterk dan redeneermodellen bij complexe problemen; zwak bij lange documenten met meerdere stappen; kalibratie alleen afgestemd op korte classificatietaken; labelruis geërfd uit publieke datasets. Bovenal mag het oordeel van het model niet worden behandeld als beveiligingsgrens tegen vijandige invoer — en dat is precies de verleiding, aangezien guardrails tot de voorgestelde toepassingen horen. De voor de hand liggende vergelijking is met Jev van TypeSafe, een gesloten beslismodel dat als gehoste dienst wordt aangeboden en waarover we al schreven. Volgens VentureBeat bevatten de AWS-materialen geen directe vergelijking van de nauwkeurigheid met Jev. Evenmin is aangetoond dat het zelf draaien goedkoper is dan de gehoste dienst. De speciale integratiebibliotheken zijn voorlopig nog in ontwikkeling.

Wat deze release onderscheidt, zijn niet de gewichten op zich, maar de gewichten samen met het recept: code, trainingsprocedure, data-inventaris, evaluaties, Apache 2.0-licentie. De prestaties blijven zelf opgegeven en een onafhankelijke controle is er nog niet, maar met het recept openbaar kan iedereen proberen ze te bevestigen of te weerleggen — en dat is iets anders dan een getal op een productpagina op zijn woord geloven. Wat me treft, is dat de stevigste bijdrage hier een aftreksom is: een model het vermogen om te praten afnemen om te zien hoe goed het het enige doet wat ervan werd gevraagd.

— Olya