A quantização extrema da PrismML, entre promessas de eficiência e verificações em falta

Reduzir um modelo de 27 mil milhões de parâmetros para que funcione na memória de um computador pessoal ou numa única placa gráfica, sem comprometer as suas capacidades, é um dos temas mais trabalhados da investigação recente. A 17 de setembro de 2026, a empresa PrismML publicou no seu próprio site o lançamento do Ternary Bonsai 2 27B, um modelo multimodal distribuído com licença Apache 2.0 e obtido a partir da compressão do Qwen3.8 27B. A estrutura utiliza pesos ternários limitados apenas aos valores -1, 0 e +1 numa base rodada fixa, acompanhados de fatores de escala em meia precisão. Segundo o anúncio oficial, a operação reduz o tamanho da variante principal para 5,9 gigabytes com 1,76 bits efetivos por peso, contra os 53,80 gigabytes do modelo de partida. Na plataforma Hugging Face, contudo, a ficha técnica apresenta os números de outro artefacto: a versão MLX de 2 bits, que ocupa 8,60 gigabytes no total em disco — dos quais 0,92 gigabytes para a torre de visão não quantizada — com 1,72 bits efetivos por peso. A comparação com os 5,9 gigabytes do anúncio não é, portanto, direta, e o valor publicitado refere-se à configuração mais leve.

Também no capítulo do desempenho os dados fornecidos pela empresa não coincidem. O anúncio no site da PrismML atribui ao modelo uma pontuação média de 83,9 numa série de 20 benchmarks em modo de raciocínio, equivalente a 98,2% da média agregada do modelo de origem; a ficha técnica no Hugging Face chega à mesma percentagem de 98,2%, mas retira-a de 14 testes, com uma média de 84,78 contra os 86,32 do modelo original. Como assinalou a publicação especializada MarkTechPost a 18 de setembro de 2026, trata-se em todos os casos de medições internas, não reproduzidas de forma independente por terceiros. A análise externa nota ainda que a queda se torna mais marcada nas tarefas agênticas complexas, onde o modelo fica por cerca de 75% da pontuação original em referências como Terminal-Bench e SWE-bench. A própria documentação da PrismML admite, de resto, que a descida afeta sobretudo as categorias de conhecimento, raciocínio e visão.

Outra limitação diz respeito à infraestrutura necessária para a execução. A arquitetura não pode ser carregada através das bibliotecas padrão: a model card esclarece que os módulos de carregamento habituais do MLX não suportam as transformações de rotação de Hadamard nem o embedding inverso usados pelo formato, tornando obrigatório o runtime próprio da PrismML ou o seu fork do llama.cpp. Quanto à velocidade, o anúncio da empresa indica até 142,5 tokens por segundo numa NVIDIA GeForce RTX 5090 e 46,8 tokens por segundo num Apple M5 Max, enquanto a ficha no Hugging Face atribui à mesma GPU um valor inferior, de cerca de 129 tokens por segundo. Nenhuma das duas fontes declara a configuração com que a medição foi obtida. A empresa, que no seu site se apresenta como nascida de investigadores do Caltech e aponta entre os apoiantes a Khosla Ventures, a Cerberus, a Google e a Samsung, atribui ao sistema um consumo de 0,714 miliwatt-hora por token numa RTX 4090, que segundo a própria empresa seria 40% mais eficiente do que um modelo de 8 mil milhões de parâmetros em precisão total.

Enquanto os números não forem reproduzidos por terceiros, o único dado sólido continua a ser o espaço ocupado em disco — e a dependência de um fork proprietário do llama.cpp, que limita na prática o alcance da licença Apache 2.0.

— Olya