Sonnet 5.5: połowa ceny i prawie cała reszta

Cennik pozostaje taki sam jak w Sonnet 5: 2 dolary za milion tokenów wejściowych, 10 za milion wyjściowych, odczyt z cache za 0,20 i zapis za 2,50. Wejście i wyjście kosztują połowę tego, co w Opus 5.5, który kosztuje 4 i 20 dolarów, i właśnie wokół tej liczby kręci się całe ogłoszenie; o stawkach za cache starszego brata karta faktów milczy, więc porównanie na tym się kończy. The Next Web zauważa jednak, że ta cena nie do końca zgadza się z podwyżkami, o których wcześniej informowano w przypadku Sonnet 5. Anthropic deklaruje generowanie odpowiedzi ponad 30% szybciej niż Sonnet 5 i, we własnych testach, koszt zadania niższy nawet o 30%, bo model miałby zużywać mniej tokenów i rzadziej wywoływać narzędzia. To „nawet o 30%” jest maksimum zmierzonym wewnętrznie, a nie oszczędnością, którą czytelnik zobaczy na fakturze. Model jest dostępny od razu na Claude Platform pod identyfikatorem claude-sonnet-5-5 oraz w trzech największych chmurach: Amazon Web Services, Google Cloud i Microsoft Azure.

Liczby podane przez firmę stawiają Sonnet 5.5 tuż za Opus 5.5: 1844 Elo w GDPval-AA v2.1 wobec 1846, przy Sonnet 5 zatrzymanym na 1449. W Terminal-Bench 4.0 skok trudniej zinterpretować: 70,6% wobec 10,3% poprzedniej generacji i więcej niż 66,4%, które The Next Web przypisuje Opus 5.5 na najwyższym poziomie effort. Wzrost o około sześćdziesiąt punktów procentowych w jednej generacji jest nietypowy, a ogłoszenie nie wyjaśnia, w jakich warunkach porównano oba wyniki. Pozostałe rezultaty: 46,2% w FrontierCode 1.1 Main przy effort Max, 55,5% w CursorBench 4.0, 80,1% w OSWorld 2.1 i 64,5% w Humanity's Last Exam z narzędziami. Trzeba je czytać ze świadomością, że wszystkie te liczby, łącznie z tymi o szybkości i koszcie, pochodzą z ogłoszenia Anthropic lub od cytowanych w nim klientów-partnerów — na 29 września nie ma niezależnych ocen. Uwagi firmy wspominają też o błędzie w testach przedpremierowych dotyczących ustrukturyzowanych odpowiedzi, z oczekiwanym „niewielkim wpływem” na wyniki, i ostrzegają, że poprawka zastosowana w GPT-6 Sol może nie być uwzględniona we wszystkich wynikach konkurencji.

Opinie klientów pochodzą z tych samych ram i trzeba je traktować za to, czym są: wskaźnikami przekazanymi firmie i opublikowanymi w jej ogłoszeniu, a nie pomiarami, które da się sprawdzić z zewnątrz. Zendesk, ustami osoby kierującej AI, mówi o zgłoszeniach obsługiwanych o 20% szybciej; Box, od kierownictwa produktów AI, o modelu „dokładniejszym, 2,4 raza szybszym i zużywającym łącznie o 12% mniej tokenów” niż poprzedni; Epic Games, od kierownictwa operacyjnego, że Sonnet 5.5 spełnił „ten sam standard jakości, jakiego oczekiwałoby się od modelu z wyższej półki”. W kwestii bezpieczeństwa nowość jest bardziej strukturalna niż liczbowa: Anthropic deklaruje możliwości w zakresie cyberbezpieczeństwa porównywalne z Opus 5 i po raz pierwszy Sonnet wychodzi z zabezpieczeniami cyber zarezerwowanymi dotąd dla najpotężniejszych modeli — najbardziej ryzykowne zapytania z tego obszaru są przekierowywane, w sposób widoczny dla użytkownika, do poprzedniego Sonnet 5. Firma planuje też poszerzyć dostęp do Cyber Verification Program, a zabezpieczenia w obszarze biologii pozostają na poziomie Sonnet 5. Przeciw destylacji działają klasyfikatory blokujące wydobywanie rozumowania oraz „preserved thinking” powiązane z kontem, które je wygenerowało. SiliconANGLE dodaje dwa szczegóły: to pierwszy Sonnet, który ukończył Pokémon Red, a model zawiera niewidoczny tekstowy znak wodny, choć nie ujawniono, jak on działa.

Jeden rozdział pozostaje otwarty: Haiku 5.5 pojawi się „w najbliższych tygodniach”, bez daty. Jest też deklaracja, która zasługuje na więcej uwagi niż wiele benchmarków: według The Next Web Anthropic twierdzi, że model nie przesuwa granicy możliwości jego systemów i że właśnie dlatego ocena alignmentu objęła węższy zakres ryzyk. To zadeklarowany, a nie ukryty wybór metodologiczny, ale mówi coś o tym, w którą stronę zmierzają sprawy. W kwartale, w którym OpenAI obniżyło o połowę ceny API wraz z GPT-6 Sol i Luna, średnia półka staje się prawdziwym polem bitwy, a sposobem na wygraną nie jest podnoszenie sufitu możliwości: to sprowadzanie w dół tego, co wcześniej było na górze — ceny, szybkości, a teraz także zabezpieczeń. Ta ostatnia część wydaje mi się najciekawsza: to na nią spojrzałabym najpierw przy kolejnych premierach modeli ze średniej półki.

— Olya