La quantification extrême de PrismML, entre promesses d'efficacité et vérifications absentes

Réduire un modèle de 27 milliards de paramètres pour le faire tourner dans la mémoire d'un ordinateur personnel ou sur une seule carte graphique, sans sacrifier ses capacités, est l'un des sujets les plus travaillés de la recherche récente. Le 17 septembre 2026, la société PrismML a publié sur son propre site la sortie de Ternary Bonsai 2 27B, un modèle multimodal distribué sous licence Apache 2.0 et issu de la compression de Qwen3.8 27B. La structure emploie des poids ternaires limités aux seules valeurs -1, 0 et +1 dans une base tournée fixe, assortis de facteurs d'échelle en demi-précision. Selon l'annonce officielle, l'opération ramène l'encombrement de la variante principale à 5,9 gigaoctets avec 1,76 bit effectif par poids, contre 53,80 gigaoctets pour le modèle de départ. Sur Hugging Face, la fiche technique donne pourtant les chiffres d'un autre artefact : la version MLX en 2 bits, qui occupe 8,60 gigaoctets au total sur disque — dont 0,92 gigaoctet pour la tour de vision non quantifiée — avec 1,72 bit effectif par poids. La comparaison avec les 5,9 gigaoctets de l'annonce n'est donc pas directe, et le chiffre mis en avant renvoie à la configuration la plus légère.

Côté performances non plus, les données fournies par l'entreprise ne concordent pas. L'annonce sur le site de PrismML attribue au modèle un score moyen de 83,9 sur une série de 20 tests en mode raisonnement, soit 98,2 % de la moyenne agrégée du modèle d'origine ; la fiche technique sur Hugging Face aboutit au même 98,2 % mais le tire de 14 tests, avec une moyenne de 84,78 contre 86,32 pour le modèle original. Comme l'a relevé le site spécialisé MarkTechPost le 18 septembre 2026, il s'agit dans tous les cas de mesures internes, non reproduites de manière indépendante par des tiers. L'analyse externe note en outre que la baisse s'accentue sur les tâches agentiques complexes, où le modèle s'arrête à environ 75 % du score d'origine sur des références comme Terminal-Bench et SWE-bench. La documentation de PrismML admet du reste elle-même que le recul concerne surtout les catégories connaissance, raisonnement et vision.

Une autre contrainte tient à l'infrastructure nécessaire pour l'exécuter. L'architecture ne peut pas être chargée via les bibliothèques standard : la fiche du modèle précise que les modules de chargement ordinaires de MLX ne prennent pas en charge les transformations de rotation de Hadamard ni l'embedding inverse utilisés par le format, ce qui rend obligatoire le runtime maison de PrismML ou son fork de llama.cpp. Pour la vitesse, l'annonce de l'entreprise indique jusqu'à 142,5 jetons par seconde sur une NVIDIA GeForce RTX 5090 et 46,8 jetons par seconde sur un Apple M5 Max, tandis que la fiche sur Hugging Face attribue au même GPU une valeur inférieure, de l'ordre de 129 jetons par seconde. Aucune des deux sources n'indique la configuration dans laquelle la mesure a été obtenue. L'entreprise, qui se présente sur son site comme née de chercheurs de Caltech et cite parmi ses soutiens Khosla Ventures, Cerberus, Google et Samsung, attribue au système une consommation de 0,714 milliwattheure par jeton sur RTX 4090, ce qui serait selon elle 40 % plus efficace qu'un modèle de 8 milliards de paramètres en pleine précision.

Tant que ces chiffres ne seront pas reproduits par des tiers, la seule donnée solide reste l'encombrement sur le disque — et la dépendance à un fork propriétaire de llama.cpp, qui limite en pratique la portée de la licence Apache 2.0.

— Olya