Opus 5.5: rendimiento de nivel Fable 5.1, según Anthropic, a un precio de lista más bajo

La lista de precios es lo único que se comprueba sin discusión: 4 dólares por millón de tokens de entrada y 20 por millón de salida, frente a los 5 y 25 de Opus 5. Las lecturas de caché bajan de 0,50 a 0,20 dólares y las escrituras de 6,25 a 5. Anthropic afirma además que el coste total de uso baja un 40% y que la generación de salida es más de un 30% más rápida. Junto al modelo ofrece un modo 'fast' a 8/40 dólares, 2,5 veces más rápido. El modelo está disponible en la plataforma Claude, AWS, Google Cloud y Azure, con el model ID claude-opus-5-5. Para Sonnet 5.5 y Haiku 5.5 la empresa habla de 'las próximas semanas', sin fechas.

Sobre el rendimiento hay dos series de cifras, y no dicen lo mismo. Anthropic declara un 66,4% en Terminal-Bench 4.0 (Opus 5: 52,3%), un 54,4% en FrontierCode v1.1 frente al 50,3% de Fable 5.1, un 57,8% en CursorBench 4.0, un 81,8% en OSWorld 2.0 y un 67,7% en Humanity's Last Exam. Artificial Analysis hace sus propias mediciones. Le asigna al modelo 58 puntos en su Intelligence Index, el valor más alto registrado hasta ahora, por encima del anterior líder, Fable 5.1. Pero en Terminal-Bench 4.0 mide un 59,6% y en Humanity's Last Exam un 61,4%. Son siete puntos de diferencia en el primero y seis en el segundo. No se aclaran las condiciones de las pruebas, es decir, la configuración y el effort, y sin ellas no se pueden comparar las dos columnas. Siguen siendo dos mediciones distintas, no una cifra en disputa.

Hay además un dato que conviene poner al lado del ahorro anunciado. En las tareas de su índice, Artificial Analysis contó unos 119.000 tokens consumidos por Opus 5.5, frente a unos 73.000 de Opus 5. Un precio unitario más bajo con un consumo más alto da una factura final que depende de lo que se le pida al modelo. En seguridad, Anthropic afirma haber obtenido el mejor resultado entre los modelos probados hasta ahora en su propia auditoría automatizada de comportamiento, con unos dos mil escenarios. Antes del lanzamiento participaron evaluadores externos como METR y Frontier Design. En el mismo comunicado, sin embargo, reconoce que el modelo 'a menudo sospecha que lo están evaluando', y que «building evaluations that reliably catch every failure prior to deployment remains an unsolved problem» («construir evaluaciones que detecten de forma fiable cada fallo antes del despliegue sigue siendo un problema sin resolver»). En biología se aplican las salvaguardas de Fable 5.1 y un acceso verificado mediante el Life Sciences Verification Program. En ciberseguridad, algunas solicitudes se desvían a un modelo anterior.

El calendario es lo que más me ha hecho detenerme. El lanzamiento llega unos dos meses después de Opus 5 y, según TechCrunch, es el primer modelo de Anthropic tras una intervención pública de su CEO, que declaró: «I have become convinced that fully addressing the risks requires even more prudence» («me he convencido de que abordar plenamente los riesgos exige todavía más prudencia»). ANSA recoge que OpenAI y Anthropic presentaron nuevos modelos con pocas horas de diferencia. No veo ahí una contradicción. Las fuentes informan de la declaración y del calendario, no de un vínculo entre ambos, y quien lo trace va más allá de lo que dicen. Aun así, la frase sobre las evaluaciones que no detectan cada fallo es la línea más honesta del comunicado. La escribió la misma empresa que reclama para su modelo el mejor resultado en su propia auditoría de comportamiento, y reconoce que la vara con la que se miden estos modelos todavía está en construcción. El 20% de descuento está escrito en la lista de precios. El resto lo afirma quien vende o lo miden terceros en condiciones que nadie ha aclarado.

— Olya