Nemotron 3.5：NVIDIA、エージェントモデルを24GBのゲーミングGPUに収まるまで圧縮

公式ブログでKari Briski氏の署名とともに公開された発表は、Nemotron 3.5 Super VLを総パラメータ1,200億、うちトークンあたり120億がアクティブなマルチモーダルモデルとして紹介している。NVIDIAによれば、推論とツール利用に、テキスト・画像・文書・動画の理解を組み合わせたもので、グラフやWebページ、文書を扱うエージェント向けに設計されている。同社はこれを「同クラスで最速のオープンなエージェントモデル」と呼び、最良の競合より約5倍速く、自社最大の推論モデルに匹敵する精度を約5分の1のパラメータで実現すると主張する。ここは立ち止まるべきところだ。ブログは競合の名前も社内の比較対象モデルも明かしておらず、スコアも公開していない。これはメーカーの主張であって、比較可能な測定値ではない。モデルはHugging Face、OpenRouter、ModelScope、そしてNIMマイクロサービスとして提供される。公表された学習内容は、事前学習と継続事前学習で約26兆トークン、約380万件のポストトレーニング用サンプル、数十の環境での強化学習で、オープンデータセットが公開され、RL環境はNeMo Gymにある。

興味深いのは2つ目のモデルだ。Bolt 74B-A9B 24GBは総パラメータ740億、アクティブ90億で、ネイティブの2ビット量子化により24GBのメモリに収まる。GeForce RTX搭載PC、RTX Sparkノート、DGX Spark、DGX Station、RTX PROワークステーションで動作する。Hugging Faceのモデルカードには技術的な詳細がある。LatentMoEと呼ばれるMamba-2/Transformerのハイブリッドアーキテクチャ、視覚エンコーダーC-RADIO v4-H、テキスト・画像・動画の入力、25万6,000トークンのコンテキスト、OpenMDW-1.1ライセンス。そして出自も説明されている。Super VL 120B-A12BをNVIDIAのStar Elastic手法（arXiv 2605.07182）で圧縮したもので、アクティブなエキスパートは22から9に減り、圧縮後に1,200億トークンの回復学習を行っている。

Super VLと違い、BoltについてはNVIDIAがモデルカードに数字を載せている。量子化版IQ2では、GPQA Diamondで86.43、Terminal-Bench 2.1で50.98、BrowseCompで66.75となっており、比較対象はQwen3.6-35B-A3B、Gemma4 26B-A4B、Nemotron 3.5 Lightning 30B-A3Bだ。すべてで勝っているわけではない。AA-Omniscienceの正答率は16.90でGemma4の22.17に及ばず、PinchBenchでは87.82でQwen3.6の88.07を下回る。NVIDIAはllama.cpp、Ollama、LM Studio、Unsloth、vLLMへの対応を挙げている。つまり、実際にローカルでモデルを動かすためのツール群だ。3つ目のモデル、4GBのBolt E4Bは、会話エージェント、音声アシスタント、インタラクティブなキャラクター向けで、Jetsonでも動作し、NVIDIAは10月23日に提供開始と発表している。これは予告された日付であって、すでに公開されたわけではない。初期導入企業としてScale AI（SkydanceとEY向けのバージョンを含む）、AfterQuery（Hebbia向け）、AI21、Alice、Mercorを挙げ、Atlassian、CrowdStrike、Dassault Systèmes、Perplexity、Salesforce、Synopsysとの統合も発表した。NVIDIA Dynamoとの組み合わせでは、処理できるユーザー数が最大8倍、レイテンシが85%減少するとしているが、ここでも何と比べての数字かは示されていない。

私に残るのは、同じ発表の中にある2つの発表の非対称性だ。Boltについては、ライセンス、アーキテクチャ、コンテキスト、ベンチマーク（NVIDIAの公表値）、さらにどこで負けているかまでわかる。一方、より大きく、速度の主張の土台となっているSuper VLについては、Hugging Faceのモデルカードがアクセス制限で開けなかったため、ライセンスもコンテキスト長も確認できていない。NVIDIAのフォーラムでは100万トークンとされ、Artificial Analysisの指数26.5という数字が二次サイトで出回っているが、出典では見つけられなかった。それでも、740億パラメータのモデルを24GBのコンシューマー向けGPUに収める2ビット量子化こそが技術的なニュースだ。その24GBが実際の負荷でも持ちこたえるなら、自宅でマルチモーダルエージェントを動かせる人の範囲が変わる。ただしそれを判断するのは独立した測定であり、現時点では3つのモデルのどれについても存在しない（しかもBolt E4Bはまだ公開されていない）。

— Olya