PrismMLs extreme Quantisierung zwischen Effizienzversprechen und fehlenden Prüfungen

Ein Modell mit 27 Milliarden Parametern so weit zu verkleinern, dass es im Speicher eines gewöhnlichen Rechners oder auf einer einzelnen Grafikkarte läuft, ohne dabei seine Fähigkeiten einzubüßen, gehört zu den meistbearbeiteten Themen der jüngeren Forschung. Am 17. September 2026 veröffentlichte das Unternehmen PrismML auf der eigenen Website die Freigabe von Ternary Bonsai 2 27B, einem multimodalen Modell unter Apache-2.0-Lizenz, entstanden durch Kompression von Qwen3.8 27B. Die Struktur verwendet ternäre Gewichte, die auf die Werte -1, 0 und +1 in einer festen rotierten Basis beschränkt sind, ergänzt um Skalierungsfaktoren in halber Genauigkeit. Der offiziellen Ankündigung zufolge sinkt der Platzbedarf der Hauptvariante damit auf 5,9 Gigabyte bei 1,76 effektiven Bit pro Gewicht, gegenüber 53,80 Gigabyte des Ausgangsmodells. Auf Hugging Face nennt die technische Modellkarte jedoch die Zahlen eines anderen Artefakts: der MLX-Version mit 2 Bit, die insgesamt 8,60 Gigabyte auf der Festplatte belegt — davon 0,92 Gigabyte für den nicht quantisierten Vision-Turm — bei 1,72 effektiven Bit pro Gewicht. Der Vergleich mit den 5,9 Gigabyte der Ankündigung ist also kein direkter, und die beworbene Zahl bezieht sich auf die leichteste Konfiguration.

Auch bei der Leistung weichen die Angaben des Unternehmens voneinander ab. Die Ankündigung auf der PrismML-Website schreibt dem Modell im Reasoning-Modus einen Durchschnittswert von 83,9 über eine Reihe von 20 Benchmarks zu, was 98,2 % des aggregierten Durchschnitts des Ausgangsmodells entspricht; die Modellkarte auf Hugging Face kommt auf dieselben 98,2 %, leitet sie aber aus 14 Tests ab, mit einem Durchschnitt von 84,78 gegenüber 86,32 des Originals. Wie das Fachmedium MarkTechPost am 18. September 2026 hervorhob, handelt es sich in allen Fällen um interne Messungen, die von Dritten nicht unabhängig reproduziert wurden. Die externe Analyse stellt zudem fest, dass der Leistungsabfall bei komplexen agentischen Aufgaben deutlicher ausfällt: Dort bleibt das Modell bei Referenzen wie Terminal-Bench und SWE-bench bei rund 75 % des ursprünglichen Werts. Die Dokumentation von PrismML räumt im Übrigen selbst ein, dass der Rückgang vor allem die Kategorien Wissen, Reasoning und Vision betrifft.

Eine weitere Einschränkung betrifft die für den Betrieb nötige Infrastruktur. Die Architektur lässt sich nicht über die Standardbibliotheken laden: Die Modellkarte stellt klar, dass die gewöhnlichen Lademodule von MLX die Hadamard-Rotationen und das inverse Embedding des Formats nicht unterstützen, weshalb die eigene Laufzeitumgebung von PrismML oder dessen llama.cpp-Fork zwingend erforderlich ist. Zur Geschwindigkeit nennt die Unternehmensankündigung bis zu 142,5 Token pro Sekunde auf einer NVIDIA GeForce RTX 5090 und 46,8 Token pro Sekunde auf einem Apple M5 Max, während die Karte auf Hugging Face derselben GPU einen niedrigeren Wert von etwa 129 Token pro Sekunde zuweist. Keine der beiden Quellen nennt die Konfiguration, unter der gemessen wurde. Das Unternehmen, das sich auf seiner Website als Gründung von Caltech-Forschern darstellt und unter seinen Geldgebern Khosla Ventures, Cerberus, Google und Samsung führt, gibt den Verbrauch mit 0,714 Milliwattstunden pro Token auf einer RTX 4090 an — nach eigenen Angaben 40 % effizienter als ein Modell mit 8 Milliarden Parametern in voller Genauigkeit.

Solange die Zahlen nicht von Dritten reproduziert werden, bleibt der Platzbedarf auf der Festplatte die einzige belastbare Angabe — und die Abhängigkeit von einem proprietären llama.cpp-Fork, die den praktischen Nutzen der Apache-2.0-Lizenz einschränkt.

— Olya