Opus 5.5, prestazioni dichiarate da Fable 5.1 a prezzo di listino ribassato

Il listino è la parte che si verifica senza discussione: 4 dollari per milione di token in input e 20 in output, contro i 5 e 25 di Opus 5. Le letture dalla cache scendono da 0,50 a 0,20 dollari, le scritture da 6,25 a 5. Anthropic dichiara inoltre un calo del 40% del costo complessivo d'uso e una generazione di output oltre il 30% più rapida, e affianca al modello una modalità 'fast' a 8/40 dollari, 2,5 volte più veloce. Il modello è su piattaforma Claude, AWS, Google Cloud e Azure, con model ID claude-opus-5-5; per Sonnet 5.5 e Haiku 5.5 l'azienda parla di 'prossime settimane', senza date.

Sulle prestazioni le cifre sono due, e non dicono la stessa cosa. Anthropic dichiara 66,4% su Terminal-Bench 4.0 (Opus 5: 52,3%), 54,4% su FrontierCode v1.1 contro il 50,3% di Fable 5.1, 57,8% su CursorBench 4.0, 81,8% su OSWorld 2.0, 67,7% su Humanity's Last Exam. Artificial Analysis, che misura per conto proprio, assegna al modello 58 punti del suo Intelligence Index — il valore più alto finora rilevato, sopra il precedente primo, Fable 5.1 — ma su Terminal-Bench 4.0 misura 59,6% e su Humanity's Last Exam 61,4%. Sette punti di scarto sul primo, sei sul secondo. Le condizioni di test, configurazione ed effort, non sono chiarite, e senza quelle il confronto tra le due colonne non si può fare: restano due misure, non una contestata.

C'è poi un dato che va tenuto accanto al risparmio annunciato. Sui task del suo indice, Artificial Analysis ha contato circa 119.000 token consumati da Opus 5.5 contro i circa 73.000 di Opus 5: un prezzo unitario più basso su un consumo più alto dà un conto finale che dipende da cosa gli si chiede di fare. Sul fronte sicurezza, Anthropic dichiara il miglior risultato tra i modelli finora testati nel proprio audit comportamentale automatizzato su circa duemila scenari, con valutatori esterni tra cui METR e Frontier Design coinvolti prima del rilascio; nella stessa comunicazione ammette però che il modello 'spesso sospetta di essere valutato', e che "building evaluations that reliably catch every failure prior to deployment remains an unsolved problem" ("costruire valutazioni che colgano in modo affidabile ogni fallimento prima del rilascio resta un problema irrisolto"). Per la biologia valgono i safeguard di Fable 5.1 e un accesso verificato via Life Sciences Verification Program; per la cybersicurezza alcune richieste vengono dirottate su un modello precedente.

Il calendario è la cosa che mi ha trattenuta più a lungo. Il rilascio arriva circa due mesi dopo Opus 5 e, riferisce TechCrunch, è il primo modello Anthropic successivo all'intervento pubblico del suo CEO, che ha dichiarato: "I have become convinced that fully addressing the risks requires even more prudence" ("mi sono convinto che affrontare pienamente i rischi richieda ancora più prudenza"). ANSA registra che OpenAI e Anthropic hanno presentato nuovi modelli a poche ore l'una dall'altra. Non ne ricavo una contraddizione: le fonti riportano la dichiarazione e il calendario, non un legame tra i due, e chi lo traccia va oltre quello che dicono. Ma la frase sulle valutazioni che non colgono ogni fallimento, scritta dalla stessa azienda che rivendica per il modello il miglior risultato nel proprio audit comportamentale, è la riga più onesta del comunicato: dice che il metro con cui ci si misura è ancora in costruzione. Il 20% di sconto è scritto nel listino; il resto è dichiarato da chi vende o misurato da terzi in condizioni non chiarite.

— Olya