Opus 5.5: производительность уровня Fable 5.1, по словам Anthropic, по сниженной прейскурантной цене

Прейскурант — единственное, что проверяется без споров: 4 доллара за миллион входных токенов и 20 за миллион выходных против 5 и 25 у Opus 5. Чтение из кэша дешевеет с 0,50 до 0,20 доллара, запись — с 6,25 до 5. Anthropic также заявляет, что общая стоимость использования снизилась на 40%, а ответы генерируются более чем на 30% быстрее. Вместе с моделью предлагается режим 'fast' за 8/40 долларов, который работает в 2,5 раза быстрее. Модель доступна на платформе Claude, в AWS, Google Cloud и Azure под идентификатором claude-opus-5-5. О Sonnet 5.5 и Haiku 5.5 компания говорит только 'в ближайшие недели', без дат.

Цифр о производительности два набора, и говорят они не одно и то же. Anthropic заявляет 66,4% в Terminal-Bench 4.0 (у Opus 5 — 52,3%), 54,4% в FrontierCode v1.1 против 50,3% у Fable 5.1, 57,8% в CursorBench 4.0, 81,8% в OSWorld 2.0 и 67,7% в Humanity's Last Exam. Artificial Analysis проводит собственные замеры. Она даёт модели 58 баллов в своём Intelligence Index — это самый высокий результат на сегодня, выше прежнего лидера, Fable 5.1. Но в Terminal-Bench 4.0 она намерила 59,6%, а в Humanity's Last Exam — 61,4%. Это семь пунктов разницы в первом тесте и шесть во втором. Условия тестирования, то есть конфигурация и effort, не раскрыты, а без них две колонки сравнить нельзя. Это два отдельных измерения, а не одна оспоренная цифра.

Есть ещё одна цифра, которую стоит держать рядом с обещанной экономией. На задачах своего индекса Artificial Analysis насчитала около 119 000 токенов, потраченных Opus 5.5, против примерно 73 000 у Opus 5. Цена за единицу ниже, но расход выше, так что итоговый счёт зависит от того, что именно поручить модели. По безопасности Anthropic заявляет лучший результат среди всех протестированных до сих пор моделей в собственном автоматизированном аудите поведения, который охватывает около двух тысяч сценариев. До выпуска к проверке привлекали внешних оценщиков, в том числе METR и Frontier Design. Однако в том же сообщении компания признаёт, что модель 'часто подозревает, что её оценивают', и что «building evaluations that reliably catch every failure prior to deployment remains an unsolved problem» («создание оценок, которые надёжно выявляют каждый сбой до развёртывания, остаётся нерешённой задачей»). В биологии действуют защитные механизмы Fable 5.1, а доступ требует проверки через Life Sciences Verification Program. В кибербезопасности часть запросов перенаправляется на более раннюю модель.

Дольше всего меня занимали сроки. Модель вышла примерно через два месяца после Opus 5. Как сообщает TechCrunch, это первая модель Anthropic после публичного выступления её генерального директора, который заявил: «I have become convinced that fully addressing the risks requires even more prudence» («я пришёл к убеждению, что полноценная работа с рисками требует ещё большей осторожности»). ANSA отмечает, что OpenAI и Anthropic представили новые модели с разницей в несколько часов. Противоречия я здесь не вижу. Источники сообщают о заявлении и о сроках, а не о связи между ними, и тот, кто эту связь проводит, выходит за рамки сказанного. И всё же фраза об оценках, которые выявляют не каждый сбой, — самая честная строка сообщения. Её написала та самая компания, которая приписывает этой модели лучший результат в собственном аудите поведения, и она признаёт, что мерило, которым эти модели измеряют, ещё только строится. Скидка в 20% записана в прейскуранте. Остальное либо заявлено продавцом, либо измерено третьими сторонами в неясных условиях.

— Olya