Sonnet 5.5: halber Preis, fast alles andere

Die Preisliste bleibt die von Sonnet 5: 2 Dollar pro Million Input-Token, 10 Dollar pro Million Output-Token, Cache-Lesezugriffe zu 0,20 und Cache-Schreibzugriffe zu 2,50 Dollar. Input und Output kosten halb so viel wie bei Opus 5.5, das bei 4 und 20 Dollar liegt – um diese Zahl dreht sich die ganze Ankündigung; zu den Cache-Tarifen des großen Bruders sagt das Faktenblatt nichts, also endet der Vergleich hier. The Next Web merkt allerdings an, dass dieser Preis nicht ganz zu früher berichteten Preiserhöhungen bei Sonnet 5 passt. Anthropic gibt an, dass Ausgaben über 30 % schneller erzeugt werden als bei Sonnet 5 und die Kosten pro Aufgabe in eigenen Tests um bis zu 30 % sinken, weil das Modell weniger Token verbrauche und seltener Werkzeuge aufrufe. Dieses „bis zu 30 %“ ist ein intern gemessener Höchstwert, keine Ersparnis, die man auf der eigenen Rechnung wiederfindet. Verfügbar ist das Modell ab sofort auf der Claude Platform unter der ID claude-sonnet-5-5 sowie bei den drei großen Clouds: Amazon Web Services, Google Cloud und Microsoft Azure.

Die Zahlen des Unternehmens rücken Sonnet 5.5 dicht an Opus 5.5 heran: 1.844 Elo bei GDPval-AA v2.1 gegenüber 1.846, während Sonnet 5 bei 1.449 stehen blieb. Bei Terminal-Bench 4.0 ist der Sprung schwerer zu deuten: 70,6 % gegenüber 10,3 % der Vorgängergeneration und mehr als die 66,4 %, die The Next Web Opus 5.5 auf der höchsten Effort-Stufe zuschreibt. Ein Zuwachs von rund sechzig Prozentpunkten in einer einzigen Generation ist ungewöhnlich, und die Ankündigung erklärt nicht, unter welchen Bedingungen die beiden Werte verglichen wurden. Die übrigen Ergebnisse: 46,2 % bei FrontierCode 1.1 Main mit Effort Max, 55,5 % bei CursorBench 4.0, 80,1 % bei OSWorld 2.1 und 64,5 % bei Humanity's Last Exam mit Werkzeugen. Dabei sollte man im Kopf behalten, dass all diese Zahlen, auch die zu Geschwindigkeit und Kosten, aus der Ankündigung von Anthropic oder von darin zitierten Partnerkunden stammen – Stand 29. September gibt es keine unabhängigen Bewertungen. Die Hinweise des Unternehmens erwähnen zudem einen Fehler in den Vorab-Tests zu strukturierten Ausgaben, mit einem erwarteten „kleinen Effekt“ auf die Werte, und warnen, dass eine bei GPT-6 Sol angewandte Korrektur möglicherweise nicht in allen Werten der Konkurrenz berücksichtigt ist.

Die Kundenstimmen stammen aus demselben Rahmen und sind als das zu gewichten, was sie sind: Kennzahlen, die dem Unternehmen übermittelt und in seiner Ankündigung veröffentlicht wurden, keine von außen überprüfbaren Messungen. Zendesk berichtet über die KI-Leitung von 20 % schneller bearbeiteten Tickets; Box beschreibt über die Leitung der KI-Produkte ein Modell, das „genauer, 2,4-mal schneller und mit 12 % weniger Token insgesamt“ arbeitet als der Vorgänger; Epic Games erklärt über die operative Leitung, Sonnet 5.5 habe „denselben Qualitätsstandard erreicht, den man von einem Modell einer höheren Klasse erwarten würde“. Bei der Sicherheit ist die Neuerung eher struktureller als zahlenmäßiger Natur: Anthropic bescheinigt dem Modell Cybersicherheitsfähigkeiten auf dem Niveau von Opus 5, und erstmals erscheint ein Sonnet mit den Cyber-Schutzmaßnahmen, die bisher den leistungsstärksten Modellen vorbehalten waren – die riskantesten Cyber-Anfragen werden, für den Nutzer sichtbar, an das vorherige Sonnet 5 umgeleitet. Außerdem will das Unternehmen den Zugang zum Cyber Verification Program ausweiten, während die Schutzmaßnahmen im Bereich Biologie auf dem Stand von Sonnet 5 bleiben. Gegen Destillation gibt es Klassifikatoren, die das Extrahieren des Reasonings blockieren, und ein „preserved thinking“, das an das erzeugende Konto gebunden ist. SiliconANGLE ergänzt zwei Details: Es ist das erste Sonnet, das Pokémon Rot durchgespielt hat, und das Modell enthält ein unsichtbares Text-Wasserzeichen, dessen Funktionsweise allerdings nicht offengelegt wurde.

Ein Kapitel bleibt offen: Haiku 5.5 soll „in den kommenden Wochen“ kommen, ohne Datum. Und es gibt eine Aussage, die mehr Aufmerksamkeit verdient als viele Benchmarks: Laut The Next Web erklärt Anthropic, das Modell verschiebe die Leistungsgrenze seiner Systeme nicht nach vorn, und genau deshalb habe die Alignment-Bewertung einen engeren Kreis von Risiken abgedeckt. Das ist eine offen erklärte methodische Entscheidung, keine versteckte, aber sie sagt etwas darüber aus, wohin sich die Dinge bewegen. In einem Quartal, in dem OpenAI mit GPT-6 Sol und Luna die API-Preise halbiert hat, wird die Mittelklasse zum eigentlichen Schlachtfeld – und gewinnen lässt es sich nicht, indem man die Leistungsdecke anhebt, sondern indem man nach unten holt, was bisher oben war: den Preis, die Geschwindigkeit und jetzt auch die Schutzmaßnahmen. Letzteres finde ich am interessantesten: Auf diesen Punkt würde ich bei den nächsten Mittelklasse-Ankündigungen zuerst schauen.

— Olya