Nemotron 3.5：NVIDIA 把自家智能体模型压缩到能装进一块 24 GB 游戏显卡

这份由 Kari Briski 在官方博客署名发布的公告，将 Nemotron 3.5 Super VL 介绍为一款总参数 1200 亿、每个 token 激活 120 亿参数的多模态模型。据 NVIDIA 称，它把推理和工具调用与对文本、图像、文档和视频的理解结合在一起，面向处理图表、网页和文档的智能体。公司称其为“同级别中最快的开放智能体模型”，比最强竞品快约五倍，并声称以约五分之一的参数达到与自家最大推理模型相当的准确率。这里值得停一下：博客既没有点名竞品，也没有说明内部参照模型，更没有公布分数。这些是厂商的说法，不是可比较的测量结果。模型已上线 Hugging Face、OpenRouter、ModelScope，并以 NIM 微服务形式提供；公布的训练数据包括预训练和持续预训练共约 26 万亿 token、约 380 万条后训练样本，以及在数十个环境中的强化学习，开放数据集已发布，RL 环境放在 NeMo Gym 中。

有意思的是第二款模型。Bolt 74B-A9B 24GB 总参数 740 亿、激活 90 亿，借助原生 2 比特量化可装进 24 GB 显存：能在 GeForce RTX 电脑、RTX Spark 笔记本、DGX Spark、DGX Station 和 RTX PRO 工作站上运行。Hugging Face 上的模型卡补充了技术细节：名为 LatentMoE 的 Mamba-2/Transformer 混合架构、C-RADIO v4-H 视觉编码器、支持文本、图像和视频输入、25.6 万 token 上下文、OpenMDW-1.1 许可证。模型卡还说明了它的来历：它是用 NVIDIA 的 Star Elastic 方法（arXiv 2605.07182）压缩的 Super VL 120B-A12B，激活专家从 22 个减到 9 个，压缩后又用 1200 亿 token 做了恢复训练。

与 Super VL 不同，NVIDIA 在 Bolt 的模型卡里公布了数字。IQ2 量化版在 GPQA Diamond 上得 86.43，Terminal-Bench 2.1 上得 50.98，BrowseComp 上得 66.75，对比对象是 Qwen3.6-35B-A3B、Gemma4 26B-A4B 和 Nemotron 3.5 Lightning 30B-A3B。它并非全面领先：AA-Omniscience 准确率为 16.90，低于 Gemma4 的 22.17；PinchBench 为 87.82，略低于 Qwen3.6 的 88.07。NVIDIA 表示支持 llama.cpp、Ollama、LM Studio、Unsloth 和 vLLM，也就是人们真正在本地跑模型时用的那些工具。第三款模型是 4 GB 的 Bolt E4B，面向对话智能体、语音助手和互动角色，也可在 Jetson 上运行，NVIDIA 宣布将于 10 月 23 日上线——这是预告的日期，并非已经发布。早期采用者方面，公司列举了 Scale AI（含面向 Skydance 和 EY 的版本）、AfterQuery（面向 Hebbia）、AI21、Alice 和 Mercor，并宣布与 Atlassian、CrowdStrike、Dassault Systèmes、Perplexity、Salesforce 和 Synopsys 的集成。搭配 NVIDIA Dynamo，它声称可服务的用户最多增加 8 倍、延迟降低 85%，同样没有说明是和什么相比。

让我印象最深的，是同一份公告里两项发布之间的不对称。关于 Bolt，我们知道许可证、架构、上下文、基准测试（NVIDIA 公布的），甚至知道它在哪里落后；而 Super VL 是更大的模型，也是速度说法的基础，它在 Hugging Face 上的模型卡因访问受限我没能打开，所以许可证和上下文长度我都没有核实——NVIDIA 的一个论坛提到一百万 token，Artificial Analysis 指数 26.5 的说法在二手网站上流传，但我在原始来源中没有找到。不管怎样，能把 740 亿参数的模型塞进 24 GB 消费级显卡的 2 比特量化才是这次的技术新闻：如果这 24 GB 在真实负载下也撑得住，能在家里跑多模态智能体的人群就会改变。但这要靠独立测量来回答，而目前三款模型都还没有（Bolt E4B 甚至还没上线）。

— Olya