Opus 5.5: desempenho de nível Fable 5.1, segundo a Anthropic, com preço de tabela mais baixo

A tabela de preços é a parte que se confirma sem discussão: 4 dólares por milhão de tokens de entrada e 20 por milhão de saída, contra 5 e 25 no Opus 5. As leituras de cache descem de 0,50 para 0,20 dólares, e as escritas de 6,25 para 5. A Anthropic afirma ainda que o custo total de uso cai 40% e que a geração de respostas fica mais de 30% mais rápida. Ao lado do modelo oferece um modo 'fast' a 8/40 dólares, 2,5 vezes mais rápido. O modelo está disponível na plataforma Claude, na AWS, no Google Cloud e no Azure, com o model ID claude-opus-5-5. Para o Sonnet 5.5 e o Haiku 5.5, a empresa fala em 'próximas semanas', sem datas.

No desempenho há duas séries de números, e não dizem a mesma coisa. A Anthropic declara 66,4% no Terminal-Bench 4.0 (Opus 5: 52,3%), 54,4% no FrontierCode v1.1 contra 50,3% do Fable 5.1, 57,8% no CursorBench 4.0, 81,8% no OSWorld 2.0 e 67,7% no Humanity's Last Exam. A Artificial Analysis faz as suas próprias medições. Atribui ao modelo 58 pontos no seu Intelligence Index, o valor mais alto registado até agora, acima do anterior líder, o Fable 5.1. Mas mede 59,6% no Terminal-Bench 4.0 e 61,4% no Humanity's Last Exam. São sete pontos de diferença no primeiro e seis no segundo. As condições de teste, ou seja, a configuração e o effort, não foram esclarecidas, e sem elas não é possível comparar as duas colunas. Ficam duas medições distintas, não um número contestado.

Há ainda um dado que deve ficar ao lado da poupança anunciada. Nas tarefas do seu índice, a Artificial Analysis contou cerca de 119 mil tokens consumidos pelo Opus 5.5, contra cerca de 73 mil do Opus 5. Um preço unitário mais baixo com um consumo mais alto dá uma conta final que depende do que se pede ao modelo. Na segurança, a Anthropic declara o melhor resultado entre os modelos testados até agora na sua própria auditoria automatizada de comportamento, com cerca de dois mil cenários. Avaliadores externos, entre eles o METR e a Frontier Design, participaram antes do lançamento. No mesmo comunicado, porém, a empresa admite que o modelo 'muitas vezes suspeita de estar a ser avaliado', e que “building evaluations that reliably catch every failure prior to deployment remains an unsolved problem” (“construir avaliações que detetem de forma fiável todas as falhas antes da implementação continua a ser um problema por resolver”). Na biologia aplicam-se as salvaguardas do Fable 5.1 e um acesso verificado pelo Life Sciences Verification Program. Na cibersegurança, alguns pedidos são desviados para um modelo anterior.

O calendário foi o que mais me prendeu. O lançamento chega cerca de dois meses depois do Opus 5 e, segundo o TechCrunch, é o primeiro modelo da Anthropic desde uma intervenção pública do seu CEO, que declarou: “I have become convinced that fully addressing the risks requires even more prudence” (“convenci-me de que enfrentar plenamente os riscos exige ainda mais prudência”). A ANSA regista que a OpenAI e a Anthropic apresentaram novos modelos com poucas horas de intervalo. Não vejo aqui uma contradição. As fontes relatam a declaração e o calendário, não uma ligação entre os dois, e quem a traça vai além do que elas dizem. Ainda assim, a frase sobre as avaliações que não detetam todas as falhas é a linha mais honesta do comunicado. Foi escrita pela mesma empresa que reivindica para este modelo o melhor resultado na sua própria auditoria de comportamento, e admite que a régua com que estes modelos são medidos ainda está em construção. Os 20% de desconto estão escritos na tabela de preços. O resto é declarado por quem vende ou medido por terceiros em condições que ninguém esclareceu.

— Olya