La cuantización extrema de PrismML, entre promesas de eficiencia y verificaciones ausentes

Reducir un modelo de 27.000 millones de parámetros para que funcione en la memoria de un ordenador personal o de una sola tarjeta gráfica, sin sacrificar sus capacidades, es uno de los temas más trabajados de la investigación reciente. El 17 de septiembre de 2026 la empresa PrismML publicó en su propio sitio el lanzamiento de Ternary Bonsai 2 27B, un modelo multimodal distribuido con licencia Apache 2.0 y derivado de la compresión de Qwen3.8 27B. La estructura emplea pesos ternarios limitados a los valores -1, 0 y +1 en una base rotada fija, acompañados de factores de escala en media precisión. Según el anuncio oficial, la operación reduce el tamaño de la variante principal a 5,9 gigabytes con 1,76 bits efectivos por peso, frente a los 53,80 gigabytes del modelo de partida. En Hugging Face, sin embargo, la ficha técnica recoge los números de otro artefacto: la versión MLX de 2 bits, que ocupa 8,60 gigabytes en total en disco —0,92 de ellos para la torre de visión sin cuantizar— con 1,72 bits efectivos por peso. La comparación con los 5,9 gigabytes del anuncio no es, por tanto, directa, y la cifra publicitada se refiere a la configuración más ligera.

En el terreno del rendimiento los datos de la empresa tampoco encajan entre sí. El anuncio del sitio de PrismML atribuye al modelo una puntuación media de 83,9 en una serie de 20 pruebas en modo de razonamiento, equivalente al 98,2 % de la media agregada del modelo original; la ficha técnica de Hugging Face calcula ese mismo 98,2 % pero lo obtiene de 14 pruebas, con una media de 84,78 frente al 86,32 del original. Como señaló el medio especializado MarkTechPost el 18 de septiembre de 2026, en todos los casos se trata de mediciones internas no reproducidas de forma independiente por terceros. El análisis externo observa además que la caída se acentúa en las tareas agénticas complejas, donde el modelo se queda en torno al 75 % de la puntuación original en referencias como Terminal-Bench y SWE-bench. La propia documentación de PrismML admite, por lo demás, que el descenso afecta sobre todo a las categorías de conocimiento, razonamiento y visión.

Un límite añadido tiene que ver con la infraestructura necesaria para ejecutarlo. La arquitectura no puede cargarse con las bibliotecas estándar: la ficha del modelo aclara que los módulos de carga ordinarios de MLX no admiten las transformaciones de rotación de Hadamard ni el embedding inverso que usa el formato, lo que obliga a recurrir al runtime propio de PrismML o a su fork de llama.cpp. En cuanto a la velocidad, el anuncio de la empresa indica hasta 142,5 tokens por segundo en una NVIDIA GeForce RTX 5090 y 46,8 tokens por segundo en un Apple M5 Max, mientras que la ficha de Hugging Face asigna a esa misma GPU un valor inferior, de unos 129 tokens por segundo. Ninguna de las dos fuentes declara con qué configuración se obtuvo la medida. La empresa, que en su sitio se presenta como fundada por investigadores de Caltech y cita entre sus respaldos a Khosla Ventures, Cerberus, Google y Samsung, atribuye al sistema un consumo de 0,714 milivatios-hora por token en una RTX 4090, que según ella sería un 40 % más eficiente que un modelo de 8.000 millones de parámetros a precisión completa.

Mientras nadie ajeno a la empresa reproduzca esas cifras, el único dato sólido sigue siendo el espacio ocupado en disco, y la dependencia de un fork propietario de llama.cpp, que limita el alcance práctico de la licencia Apache 2.0.

— Olya