AWS가 글을 못 쓰는 모델을 내놨다, 그게 핵심이다

10월 1일, AWS의 Strands Agents 프로젝트가 약 20억 개 파라미터 규모의 Strands Decider 2B를 공개했다. 가장 흥미로운 점은 이 모델에서 빼낸 것이다. Hugging Face 모델 카드와 GitHub 저장소에 따르면, 이 모델은 알리바바의 Qwen3.5-2B-Base에서 다음 단어를 예측하는 헤드를 떼어 내고, 입력받은 선택지에 점수를 매기는 포인터 헤드로 바꿨다. 새로 추가된 파라미터는 100만 개를 조금 넘고, 랭크 16 LoRA로 적응시켰다. Marc Brooker, Mike Chambers, Fabio Nonato de Paula가 쓴 공식 블로그는 이렇게 설명한다. "Decision models are designed to pick between sets of options... and assign simple numerical scores". 기능이 잘려 나간 챗봇이 아니다. 에이전트 곳곳에 등장하는 유형의 작업을 위해 설계된 부품이다. 어떤 도구를 호출할지, 요청을 어느 모델로 보낼지, 어떤 행동이 허용 범위 안에 있는지. 이미 작성된 대안 중에서 고르는 일이고, 여기서 LLM에게 텍스트를 생성시키는 건 헛수고다.

발표된 수치는 이렇다. JevBench 공개 세트에서 72.3%(231개 과제 중 167개), ContractNLI 87.2%, MuSiQue 88.4%, HotpotQA 71.7%. 지연 시간 중앙값은 RTX 3090에서 약 115ms, M3 맥북에서 153ms이며, 과제 크기에 거의 비례해 늘어난다. 블로그는 이 모델을 2B급 33개 중 3위, 기준선을 살짝 넘는 모델들을 빼면 30개 중 1위로 놓는다. 다만 여기서 출처들이 맞지 않는다는 점은 짚어야 한다. VentureBeat는 중앙값 106ms에 2위라고 보도했지만, v18을 HTTP 왕복 시간까지 포함해 측정하고 서버 예열 7.7초를 제외한 값이다. 반면 블로그와 저장소는 v19를 말한다. 지연 시간 차이는 버전과 측정 방식 때문일 수 있다. 순위 차이는 설명되지 않은 채 남아 있다. 열어 두어야 할 불확실성이다.

한계 목록은 AWS가 직접 밝혔고, 읽어 볼 만하다. 코드 불가, 챗봇 불가, 요약 불가. 복잡한 문제에서는 추론 모델보다 약하다. 길고 여러 단계를 거치는 문서에 약하다. 보정은 짧은 분류 과제에만 맞춰져 있다. 공개 데이터셋에서 물려받은 레이블 노이즈가 있다. 무엇보다 모델의 판단을 악의적 입력에 대한 보안 경계로 취급해서는 안 된다. 제안된 용도에 가드레일이 들어 있으니 바로 그렇게 쓰고 싶어지겠지만 말이다. 자연스러운 비교 대상은 호스팅 서비스로 제공되는 TypeSafe의 독점 의사결정 모델 Jev로, 우리가 이미 다룬 바 있다. VentureBeat에 따르면 AWS 자료에는 Jev와의 직접적인 정확도 비교가 없다. 직접 운영하는 편이 호스팅 서비스보다 저렴하다는 것도 입증되지 않았다. 전용 통합 라이브러리는 아직 개발 중이다.

이번 공개를 특별하게 만드는 건 가중치 자체가 아니라 가중치와 레시피가 함께 나왔다는 점이다. 코드, 학습 절차, 데이터 목록, 평가, Apache 2.0 라이선스. 성능은 여전히 자체 발표이고 독립 검증도 아직 없다. 하지만 레시피가 공개되어 있으니 누구든 확인하거나 반박해 볼 수 있다. 제품 페이지의 숫자를 믿는 것과는 다른 조건이다. 내게 인상적인 건, 여기서 가장 단단한 기여가 뺄셈이라는 사실이다. 모델에게서 말하는 능력을 빼앗고, 요구받은 단 하나의 일을 얼마나 잘하는지 보는 것.

— Olya