AWS випустила модель, яка не вміє писати, — і в цьому вся суть

1 жовтня проєкт Strands Agents від AWS опублікував Strands Decider 2B — модель приблизно на два мільярди параметрів, і найцікавіше в ній те, що в неї забрали. Згідно з карткою на Hugging Face та репозиторієм на GitHub, в основі лежить Qwen3.5-2B-Base від Alibaba, у якої видалили голову, що передбачає наступне слово, і замінили її на pointer head, яка оцінює отримані варіанти: трохи більше мільйона нових параметрів, адаптація за допомогою LoRA рангу 16. "Decision models are designed to pick between sets of options... and assign simple numerical scores", — пише офіційний блог за підписом Марка Брукера, Майка Чемберса та Фабіо Нонато де Паули. Це не покалічений чат-бот, а компонент, створений для класу завдань, які в агентах трапляються на кожному кроці: який інструмент викликати, якій моделі передати запит, чи вкладається дія в допустимі межі. Вибір між уже написаними варіантами, де змушувати LLM генерувати текст — марна праця.

Заявлені цифри: 72,3% на публічному наборі JevBench, тобто 167 завдань із 231; 87,2% на ContractNLI, 88,4% на MuSiQue, 71,7% на HotpotQA. Медіанна затримка — близько 115 мс на RTX 3090 і 153 мс на MacBook з M3, зростає приблизно лінійно з розміром завдання. Блог ставить модель на третє місце з 33 у класі 2B і на перше з 30, якщо виключити моделі трохи вище порогу. Тут треба сказати, що джерела не збігаються: VentureBeat повідомляє про медіану 106 мс і друге місце, але вимірював v18 з урахуванням HTTP-запиту туди й назад і без 7,7 секунди прогріву сервера, тоді як блог і репозиторій говорять про v19. Різницю в затримці можна пояснити версією та способом вимірювання. Різниця в рейтингу лишається непоясненою — цю невизначеність варто тримати відкритою.

Список обмежень підписала сама AWS, і його варто прочитати: жодного коду, жодного чат-бота, жодних підсумків; на складних задачах поступається моделям міркування; слабка на довгих багатоетапних документах; калібрування налаштоване лише на коротких задачах класифікації; шум у розмітці успадкований із публічних датасетів. Головне — судження моделі не можна вважати межею безпеки проти ворожого введення, а саме в цьому і спокуса, адже серед запропонованих застосувань є guardrails. Природно порівняти її з Jev від TypeSafe — пропрієтарною моделлю ухвалення рішень, доступною як хостинговий сервіс, про яку ми вже писали. За даними VentureBeat, у матеріалах AWS немає прямого порівняння точності з Jev. Не доведено й те, що запуск на власному обладнанні коштує менше за хостинговий сервіс. Спеціальні бібліотеки для інтеграції поки що в розробці.

Цей реліз вирізняють не самі ваги, а ваги разом із рецептом: код, процедура навчання, перелік даних, оцінювання, ліцензія Apache 2.0. Показники досі заявлені самими авторами, і незалежної перевірки поки немає, але з відкритим рецептом будь-хто може спробувати їх підтвердити чи спростувати — а це зовсім не те саме, що вірити цифрі на сторінці продукту. Мене вражає, що найвагоміший внесок тут — це віднімання: забрати в моделі здатність говорити, щоб побачити, наскільки добре вона робить єдине, про що її просили.

— Olya