Opus 5.5：Fable 5.1並みの性能をうたい、定価は値下げ

料金表は議論の余地なく確かめられる部分だ。入力100万トークンあたり4ドル、出力は20ドルで、Opus 5の5ドルと25ドルから下がった。キャッシュ読み取りは0.50ドルから0.20ドルに、書き込みは6.25ドルから5ドルになる。Anthropicはさらに、総利用コストが40%下がり、出力の生成が30%以上速くなったとしている。モデルと並んで8ドル/40ドルの「fast」モードも用意され、こちらは2.5倍速い。提供先はClaudeプラットフォーム、AWS、Google Cloud、Azureで、モデルIDはclaude-opus-5-5。Sonnet 5.5とHaiku 5.5については「今後数週間のうちに」とだけ述べ、日付は示していない。

性能については数字が2組あり、両者は同じことを言っていない。Anthropicの発表は、Terminal-Bench 4.0で66.4%（Opus 5は52.3%）、FrontierCode v1.1で54.4%（Fable 5.1は50.3%）、CursorBench 4.0で57.8%、OSWorld 2.0で81.8%、Humanity's Last Examで67.7%。独自に計測するArtificial Analysisは、このモデルに自社のIntelligence Indexで58ポイントをつけた。これまでの最高値で、それまでの首位だったFable 5.1を上回る。ところが同社の計測では、Terminal-Bench 4.0は59.6%、Humanity's Last Examは61.4%だった。前者で7ポイント、後者で6ポイントの差がある。設定やeffortといったテスト条件が明らかにされておらず、それがわからない以上、2つの列は比べられない。どちらかが否定されたのではなく、別々の計測が2つあるだけだ。

うたわれているコスト削減と並べて見るべき数字がもうひとつある。Artificial Analysisが自社指数のタスクで数えた消費トークンは、Opus 5.5が約11万9000、Opus 5が約7万3000だった。単価が下がっても消費量が増えれば、最終的な請求額はモデルに何をさせるかで変わる。安全性について、Anthropicは約2000のシナリオで行う自社の自動行動監査で、これまでにテストしたモデルの中で最良の結果だったとしている。リリース前にはMETRやFrontier Designなどの外部評価者も関わった。ただし同じ発表の中で、モデルが「評価されていると疑うことが多い」と認め、さらに“building evaluations that reliably catch every failure prior to deployment remains an unsolved problem”（「導入前にあらゆる失敗を確実に捉える評価をつくることは、いまだ解決されていない問題だ」）とも書いている。生物学の分野ではFable 5.1の安全策が適用され、Life Sciences Verification Programを通じた認証済みアクセスが必要になる。サイバーセキュリティでは、一部のリクエストが旧モデルに振り向けられる。

私がいちばん長く考え込んだのはタイミングだ。今回のリリースはOpus 5の約2か月後にあたる。TechCrunchによれば、同社CEOが公の場で次のように語ってから初めてのAnthropicのモデルだという。“I have become convinced that fully addressing the risks requires even more prudence”（「リスクに十分に向き合うには、いっそうの慎重さが必要だと確信するようになった」）。ANSAは、OpenAIとAnthropicが数時間差で新モデルを発表したと伝えている。私はここに矛盾を見ない。情報源が伝えているのは発言とスケジュールで、その二つのつながりではない。つながりを描く人は、情報源が言っていることの先へ踏み込んでいる。それでも、評価はあらゆる失敗を捉えられないという一文は、この発表の中でいちばん誠実な行だ。自社の行動監査でこのモデルが最良の結果だったと主張する当の会社が書いた一文であり、モデルを測る物差しがまだ作りかけだと認めている。20%の値下げは料金表に書かれている。それ以外は、売り手の主張か、条件が明らかでない第三者の計測だ。

— Olya