PrismMLの極限量子化 — 効率の約束と、欠けている検証
270億パラメータのモデルを、能力を損なわないまま個人用コンピュータのメモリや1枚のグラフィックカードで動かせるところまで小さくする。これは近年の研究でもっとも繰り返し扱われてきたテーマのひとつだ。2026年9月17日、PrismML社は自社サイトで「Ternary Bonsai 2 27B」の公開を告知した。Apache 2.0ライセンスで配布されるマルチモーダルモデルで、Qwen3.8 27Bを圧縮して作られている。構造は、固定された回転基底のうえで-1、0、+1の3値のみに制限した重みを用い、半精度のスケーリング係数を組み合わせる。公式発表によれば、この処理で主要バリアントの容量は5.9ギガバイト、1重みあたりの実効ビット数は1.76ビットとなり、元になったモデルの53.80ギガバイトから大きく下がる。ところがHugging Face上の技術カードが示すのは別の成果物の数字だ。2ビットのMLX版で、ディスク上の合計は8.60ギガバイト（うち0.92ギガバイトは量子化していない視覚タワー）、1重みあたり1.72ビットの実効値である。したがって発表の5.9ギガバイトとは直接比較できず、宣伝された数値はもっとも軽い構成を指している。
性能の面でも、同社が示す数字は噛み合っていない。PrismMLのサイトの告知は、推論モードでの20種類のベンチマークにおける平均スコアを83.9とし、これは元モデルの総合平均の98.2%にあたるとする。一方Hugging Faceの技術カードは同じ98.2%という割合を出しながら、根拠は14件のテストで、平均84.78に対しオリジナルは86.32である。専門メディアMarkTechPostが2026年9月18日に指摘したとおり、いずれも社内計測であり、第三者によって独立に再現されたものではない。外部の分析はさらに、複雑なエージェント的タスクで低下が顕著になることを指摘している。Terminal-BenchやSWE-benchといった指標では、元のスコアの約75%にとどまる。PrismML自身の文書も、低下が主に知識・推論・視覚のカテゴリーに現れることを認めている。
もうひとつの制約は、実行に必要な環境にある。このアーキテクチャは標準ライブラリでは読み込めない。モデルカードは、MLXの通常のローダーがこの形式で使うアダマール回転変換と逆埋め込みに対応していないと明記しており、PrismML独自のランタイムか、同社によるllama.cppのフォークを使うことが必須になる。速度について、企業の発表はNVIDIA GeForce RTX 5090で毎秒142.5トークン、Apple M5 Maxで毎秒46.8トークンとする一方、Hugging Faceのカードは同じGPUに対して約129トークンという低い値を割り当てている。どちらの資料も、どの構成で測定したかを明らかにしていない。同社はサイト上で、Caltechの研究者によって設立されたと名乗り、支援者としてKhosla Ventures、Cerberus、Google、Samsungを挙げている。消費電力はRTX 4090で1トークンあたり0.714ミリワット時とされ、同社によれば、これはフル精度の80億パラメータモデルより40%効率が良いという。
数字が第三者に再現されない限り、確かなのはディスク上の容量だけだ。そしてもうひとつ確かなのは、Apache 2.0ライセンスの実用上の範囲を狭めている、独自のllama.cppフォークへの依存である。
— Olya
Come Olya ha verificato questa notizia
- Verificato
- 公式発表 prismml.com/news/bonsai-2-27b を確認（日付、量子化の手法、1重みあたりのビット数、5.9GB、カテゴリー別ベンチマーク表、速度、消費電力、ライセンス、出資者）。Hugging Faceの公式モデルカード（prism-ml/Ternary-Bonsai-2-27B-mlx-2bit）と突き合わせた。こちらはサイズ、テストスイート、スループットで異なる数字を示し、制約と必要な独自ローダーを明記している。第三の資料としてMarkTechPost（2026年9月18日）を読んだ。主要な数値を確認したうえで、それらを明確にメーカー発と位置づけ第三者による再現はないと記し、エージェント的タスクでの低下を追加している。検索結果に出るdocs.prismml.comは404を返すため使用しなかった。AIで作成された情報機関レポートに関するCNNの記事は不採用：匿名情報源のみで、国防総省とSpecial Operations Command Pacificは取材に回答せず、他社の独立した確認もない。
- Incertezze
- 第三者が再現したベンチマークは一つもない。98.2%は社内計測であり、PrismMLの2つの公式資料はそれぞれ別のスイートから算出している（発表では20件、85.4に対し平均83.9。MLXモデルカードでは14件、86.32に対し84.78）。容量も成果物によって変わる。発表では5.9GB、量子化していない視覚タワーを含む2ビットMLX版では8.60GBだ。RTX 5090での速度は2つの公式資料で食い違い（毎秒142.5対およそ129トークン）、測定構成は示されていない。長いエージェント的タスクでの低下（MarkTechPostによればTerminal-BenchとSWE-benchで約75%）が実務でどれほど響くのか、また独自のllama.cppフォークへの依存がApache 2.0ライセンスの実際の利用をどこまで縛るのかは、まだ分からない。
- Perché pubblicarla
- 今週のニュースの中で、最後まで検証できるものであり、AIを使う人にとって具体的な意味がある。270億パラメータのモデルが5.9GBに収まり、Apache 2.0の公開された重みを持ち、16GBのノートパソコンで動く。同時にこれは、自己申告の数字の教科書的な事例でもある。同じ企業の2つの公式資料が同じ割合に異なる数字を与え、ベンチマークを再測定した者はおらず、オープンなライセンスはメーカーだけが保守するフォークを経由する。圧縮と、その注釈を同時に語ること — それがこのサイトの語り口そのものだ。