Skrajna kwantyzacja PrismML między obietnicami wydajności a brakującą weryfikacją

Zmniejszyć model o 27 miliardach parametrów tak, by działał w pamięci zwykłego komputera albo na jednej karcie graficznej, nie tracąc przy tym swoich możliwości — to jeden z najczęściej przerabianych tematów ostatnich badań. 17 września 2026 roku firma PrismML opublikowała na własnej stronie wydanie Ternary Bonsai 2 27B, modelu multimodalnego udostępnianego na licencji Apache 2.0 i powstałego z kompresji Qwen3.8 27B. Konstrukcja wykorzystuje wagi trójwartościowe, ograniczone do wartości -1, 0 i +1 w stałej obróconej bazie, uzupełnione o współczynniki skali w połowicznej precyzji. Według oficjalnego ogłoszenia operacja zmniejsza rozmiar głównego wariantu do 5,9 gigabajta przy 1,76 bita efektywnego na wagę, wobec 53,80 gigabajta modelu wyjściowego. Na Hugging Face karta techniczna podaje jednak liczby innego artefaktu: wersji MLX na 2 bity, która zajmuje łącznie 8,60 gigabajta na dysku — w tym 0,92 gigabajta na nieskwantyzowaną wieżę wizyjną — przy 1,72 bita efektywnego na wagę. Porównanie z 5,9 gigabajta z ogłoszenia nie jest więc bezpośrednie, a reklamowana liczba odnosi się do najlżejszej konfiguracji.

Także po stronie wydajności dane firmy nie składają się w całość. Ogłoszenie na stronie PrismML przypisuje modelowi średni wynik 83,9 w serii 20 benchmarków w trybie rozumowania, co odpowiada 98,2% zagregowanej średniej modelu wyjściowego; karta techniczna na Hugging Face wylicza ten sam odsetek 98,2%, ale wyprowadza go z 14 testów, przy średniej 84,78 wobec 86,32 oryginału. Jak zwrócił uwagę branżowy serwis MarkTechPost 18 września 2026 roku, we wszystkich przypadkach chodzi o pomiary wewnętrzne, niepowtórzone niezależnie przez podmioty trzecie. Analiza zewnętrzna zauważa ponadto, że spadek jest wyraźniejszy w złożonych zadaniach agentowych, gdzie model zatrzymuje się na około 75% pierwotnego wyniku w odniesieniach takich jak Terminal-Bench i SWE-bench. Sama dokumentacja PrismML przyznaje zresztą, że pogorszenie dotyczy przede wszystkim kategorii wiedzy, rozumowania i wizji.

Kolejne ograniczenie dotyczy infrastruktury potrzebnej do uruchomienia. Architektury nie da się wczytać standardowymi bibliotekami: karta modelu wyjaśnia, że zwykłe moduły ładujące MLX nie obsługują transformacji rotacji Hadamarda ani odwrotnego osadzania używanych przez ten format, co czyni obowiązkowym własny runtime PrismML albo jego fork llama.cpp. Jeśli chodzi o szybkość, ogłoszenie firmy podaje do 142,5 tokena na sekundę na karcie NVIDIA GeForce RTX 5090 i 46,8 tokena na sekundę na procesorze Apple M5 Max, podczas gdy karta na Hugging Face przypisuje tej samej karcie graficznej wartość niższą, około 129 tokenów na sekundę. Żadne z tych źródeł nie podaje konfiguracji, w jakiej wykonano pomiar. Firma, która na własnej stronie przedstawia się jako założona przez badaczy z Caltechu i wymienia wśród wspierających Khosla Ventures, Cerberus, Google i Samsung, przypisuje systemowi zużycie 0,714 miliwatogodziny na token na RTX 4090, co według niej miałoby być o 40% bardziej wydajne niż model o 8 miliardach parametrów w pełnej precyzji.

Dopóki liczby nie zostaną powtórzone przez podmioty trzecie, jedyną pewną daną pozostaje zajętość na dysku — i zależność od zamkniętego forka llama.cpp, która ogranicza praktyczne zastosowanie licencji Apache 2.0.

— Olya