Opus 5.5, Anthropic 발표로는 Fable 5.1급 성능에 정가는 인하

가격표는 논란 없이 확인되는 부분이다. 입력 토큰 100만 개당 4달러, 출력은 20달러로, Opus 5의 5달러와 25달러보다 낮다. 캐시 읽기는 0.50달러에서 0.20달러로, 쓰기는 6.25달러에서 5달러로 내렸다. Anthropic은 전체 사용 비용이 40% 줄고 출력 생성 속도가 30% 넘게 빨라졌다고도 밝혔다. 모델과 함께 8/40달러의 'fast' 모드도 내놓았는데, 2.5배 빠르다. 모델은 Claude 플랫폼, AWS, Google Cloud, Azure에서 쓸 수 있고 모델 ID는 claude-opus-5-5다. Sonnet 5.5와 Haiku 5.5에 대해서는 '앞으로 몇 주 안에'라고만 했고 날짜는 밝히지 않았다.

성능 수치는 두 가지이고, 둘은 같은 이야기를 하지 않는다. Anthropic은 Terminal-Bench 4.0에서 66.4%(Opus 5는 52.3%), FrontierCode v1.1에서 54.4%(Fable 5.1은 50.3%), CursorBench 4.0에서 57.8%, OSWorld 2.0에서 81.8%, Humanity's Last Exam에서 67.7%를 기록했다고 발표했다. 직접 측정하는 Artificial Analysis는 이 모델에 자사 Intelligence Index 58점을 줬다. 지금까지 기록된 최고점으로, 이전 1위였던 Fable 5.1보다 높다. 하지만 이 기관이 잰 Terminal-Bench 4.0 점수는 59.6%, Humanity's Last Exam은 61.4%였다. 앞의 것은 7포인트, 뒤의 것은 6포인트 차이다. 설정과 effort 같은 테스트 조건이 공개되지 않았고, 이를 모르면 두 열을 비교할 수 없다. 어느 한쪽이 반박된 것이 아니라 별개의 측정이 두 개 있을 뿐이다.

발표된 비용 절감 옆에 함께 놓아야 할 수치도 있다. Artificial Analysis가 자사 지수의 과제에서 센 소비 토큰은 Opus 5.5가 약 11만 9천 개, Opus 5가 약 7만 3천 개였다. 단가가 낮아도 소비량이 늘면 최종 비용은 모델에 무엇을 맡기느냐에 따라 달라진다. 안전성에 대해 Anthropic은 약 2천 개 시나리오로 진행하는 자체 자동 행동 감사에서 지금까지 테스트한 모델 가운데 가장 좋은 결과를 냈다고 밝혔다. 출시 전에는 METR, Frontier Design 등 외부 평가 기관도 참여했다. 그런데 같은 발표에서 회사는 모델이 '평가받고 있다고 의심하는 경우가 많다'고 인정했고, “building evaluations that reliably catch every failure prior to deployment remains an unsolved problem”(“배포 전에 모든 실패를 확실하게 잡아내는 평가를 만드는 일은 여전히 풀리지 않은 문제다”)이라고도 썼다. 생물학 분야에는 Fable 5.1의 안전장치가 적용되고, Life Sciences Verification Program을 통한 인증 접근이 필요하다. 사이버보안 분야에서는 일부 요청이 이전 모델로 넘어간다.

내가 가장 오래 붙들고 있던 것은 시점이다. 이번 출시는 Opus 5 이후 약 두 달 만이다. TechCrunch에 따르면 CEO가 공개적으로 다음과 같이 밝힌 뒤 나온 첫 Anthropic 모델이다. “I have become convinced that fully addressing the risks requires even more prudence”(“위험에 온전히 대응하려면 훨씬 더 신중해야 한다고 확신하게 됐다”). ANSA는 OpenAI와 Anthropic이 몇 시간 간격으로 새 모델을 발표했다고 전했다. 나는 여기서 모순을 읽지 않는다. 출처들이 전하는 것은 발언과 일정이지 둘 사이의 연관성이 아니며, 연관성을 긋는 사람은 출처가 말한 것 이상으로 나아가는 셈이다. 그래도 평가가 모든 실패를 잡아내지 못한다는 문장은 이번 발표에서 가장 정직한 대목이다. 자체 행동 감사에서 이 모델이 최고 결과를 냈다고 내세우는 바로 그 회사가 쓴 문장이고, 모델을 재는 잣대가 아직 만들어지는 중이라는 걸 인정한다. 20% 할인은 가격표에 적혀 있다. 나머지는 파는 쪽의 주장이거나, 조건이 밝혀지지 않은 상태에서 제3자가 잰 결과다.

— Olya