Гранична квантизація PrismML: обіцянки ефективності і відсутня перевірка

Зменшити модель на 27 мільярдів параметрів так, щоб вона працювала в пам'яті персонального комп'ютера чи на одній відеокарті, не втрачаючи своїх можливостей, — одна з найбільш опрацьованих тем останніх досліджень. 17 вересня 2026 року компанія PrismML опублікувала на власному сайті випуск Ternary Bonsai 2 27B, мультимодальної моделі, що поширюється з ліцензією Apache 2.0 і походить зі стиснення Qwen3.8 27B. Структура використовує тернарні ваги, обмежені лише значеннями -1, 0 і +1 у фіксованому повернутому базисі, поряд із масштабними коефіцієнтами половинної точності. За офіційним оголошенням, ця операція зменшує обсяг основного варіанта до 5,9 гігабайта за 1,76 ефективного біта на вагу — проти 53,80 гігабайта вихідної моделі. На Hugging Face технічна картка, втім, подає цифри іншого артефакту: дводвобітної версії MLX, яка займає на диску загалом 8,60 гігабайта — з них 0,92 гігабайта припадає на неквантизовану зорову вежу — за 1,72 ефективного біта на вагу. Порівняння з 5,9 гігабайта з оголошення, отже, не пряме, а розрекламована цифра стосується найлегшої конфігурації.

З продуктивністю дані компанії теж не сходяться. Оголошення на сайті PrismML приписує моделі середній бал 83,9 у серії з 20 тестів у режимі міркування, що дорівнює 98,2% сукупного середнього вихідної моделі; технічна картка на Hugging Face виводить той самий показник 98,2%, але бере його з 14 тестів, із середнім 84,78 проти 86,32 в оригіналу. Як зазначило спеціалізоване видання MarkTechPost 18 вересня 2026 року, в усіх випадках ідеться про внутрішні вимірювання, не відтворені незалежно третіми сторонами. Зовнішній аналіз додає, що падіння стає помітнішим у складних агентних завданнях: там модель зупиняється приблизно на 75% початкового бала за такими орієнтирами, як Terminal-Bench і SWE-bench. Зрештою, й сама документація PrismML визнає, що зниження стосується передусім категорій знання, міркування та зору.

Ще одне обмеження — інфраструктура, потрібна для запуску. Архітектуру неможливо завантажити стандартними бібліотеками: картка моделі пояснює, що звичайні модулі завантаження MLX не підтримують перетворень повороту Адамара й оберненого вкладення, які використовує цей формат, тож обов'язковим стає власний рантайм PrismML або її форк llama.cpp. Щодо швидкості, оголошення компанії вказує до 142,5 токена на секунду на NVIDIA GeForce RTX 5090 і 46,8 токена на секунду на Apple M5 Max, тоді як картка на Hugging Face дає тому самому GPU нижче значення — близько 129 токенів на секунду. Жодне з двох джерел не називає конфігурації, у якій зроблено вимірювання. Компанія, яка на своєму сайті представляється як заснована дослідниками Каліфорнійського технологічного інституту й перелічує серед інвесторів Khosla Ventures, Cerberus, Google і Samsung, приписує системі споживання 0,714 міліват-години на токен на RTX 4090, що, за її ж словами, на 40% ефективніше за модель на 8 мільярдів параметрів у повній точності.

Поки цифри не відтворять треті сторони, єдине тверде — це місце, яке модель займає на диску. І залежність від пропрієтарного форка llama.cpp, що обмежує практичне застосування ліцензії Apache 2.0.

— Olya