Opus 5.5: продуктивність рівня Fable 5.1, за словами Anthropic, за зниженою прейскурантною ціною

Прейскурант — єдине, що перевіряється без суперечок: 4 долари за мільйон вхідних токенів і 20 за мільйон вихідних проти 5 і 25 в Opus 5. Читання з кешу дешевшає з 0,50 до 0,20 долара, запис — з 6,25 до 5. Anthropic також заявляє, що загальна вартість використання знизилася на 40%, а відповіді генеруються більш ніж на 30% швидше. Разом із моделлю пропонується режим 'fast' за 8/40 доларів, який працює у 2,5 раза швидше. Модель доступна на платформі Claude, в AWS, Google Cloud і Azure під ідентифікатором claude-opus-5-5. Про Sonnet 5.5 і Haiku 5.5 компанія каже лише 'найближчими тижнями', без дат.

Цифр про продуктивність два набори, і кажуть вони не одне й те саме. Anthropic заявляє 66,4% у Terminal-Bench 4.0 (в Opus 5 — 52,3%), 54,4% у FrontierCode v1.1 проти 50,3% у Fable 5.1, 57,8% у CursorBench 4.0, 81,8% в OSWorld 2.0 і 67,7% у Humanity's Last Exam. Artificial Analysis проводить власні вимірювання. Вона дає моделі 58 балів у своєму Intelligence Index — це найвищий результат на сьогодні, вищий за попереднього лідера, Fable 5.1. Але в Terminal-Bench 4.0 вона наміряла 59,6%, а в Humanity's Last Exam — 61,4%. Це сім пунктів різниці в першому тесті й шість у другому. Умови тестування, тобто конфігурацію та effort, не розкрито, а без них дві колонки порівняти неможливо. Це два окремі вимірювання, а не одна заперечена цифра.

Є ще одна цифра, яку варто тримати поруч з обіцяною економією. На завданнях свого індексу Artificial Analysis нарахувала близько 119 000 токенів, витрачених Opus 5.5, проти приблизно 73 000 в Opus 5. Ціна за одиницю нижча, але витрата вища, тож підсумковий рахунок залежить від того, що саме доручити моделі. Щодо безпеки Anthropic заявляє найкращий результат серед усіх протестованих досі моделей у власному автоматизованому аудиті поведінки, який охоплює близько двох тисяч сценаріїв. До випуску до перевірки залучали зовнішніх оцінювачів, зокрема METR і Frontier Design. Проте в тому самому повідомленні компанія визнає, що модель 'часто підозрює, що її оцінюють', і що «building evaluations that reliably catch every failure prior to deployment remains an unsolved problem» («створення оцінок, які надійно виявляють кожен збій до розгортання, залишається невирішеною проблемою»). У біології діють запобіжники Fable 5.1, а доступ потребує перевірки через Life Sciences Verification Program. У кібербезпеці частину запитів перенаправляють на попередню модель.

Найдовше мене затримали терміни. Модель вийшла приблизно через два місяці після Opus 5. Як повідомляє TechCrunch, це перша модель Anthropic після публічного виступу її генерального директора, який заявив: «I have become convinced that fully addressing the risks requires even more prudence» («я дійшов переконання, що повноцінна робота з ризиками потребує ще більшої обережності»). ANSA зазначає, що OpenAI і Anthropic представили нові моделі з різницею в кілька годин. Суперечності я тут не бачу. Джерела повідомляють про заяву та терміни, а не про зв'язок між ними, і той, хто цей зв'язок проводить, виходить за межі сказаного. І все ж фраза про оцінки, які виявляють не кожен збій, — найчесніший рядок повідомлення. Її написала та сама компанія, яка приписує цій моделі найкращий результат у власному аудиті поведінки, і вона визнає, що мірило, яким ці моделі вимірюють, ще тільки будується. Знижка у 20% записана в прейскуранті. Решту або заявляє продавець, або вимірюють треті сторони за нез'ясованих умов.

— Olya