Nemotron 3.5 Lightning 与智能体效率背后的「中间层」逻辑
2026 年 8 月 11 日，英伟达在其技术博客上宣布发布 Nemotron 3.5 Lightning，一款总参数 300 亿、每个 token 激活 30 亿的混合专家模型。官方模型卡描述了一种融合 Mamba-2、MoE 与注意力机制的混合架构，连同训练数据与训练配方一起，以 OpenMDW 1.1 许可证分发。按照文档的说法，这款模型主要面向定制与后训练，生产环境部署则被建议使用 NVFP4 检查点。恰恰在这一点上可以看到，英伟达给出的 BF16 数字（MMLU Pro 81.94；SWE-bench Verified 51.56）与独立媒体报道的 NVFP4 数字（81.62 和 52.80）并不一致：生产环境所推荐的精度究竟对分数有多大影响，目前还说不清。
在性能方面，该公司宣称生成速度最高可达同等规模模型的四倍，在智能体基准 PinchBench 上准确率约为 86%，并在准确率大体相当的前提下，比 Qwen3.6-35B 快 30% 完成 10,000 个任务。必须指出的是，这些测量直接来自模型所运行硬件的制造方，而 PinchBench 上的对比只涉及一款由英伟达自己挑选的竞品模型：目前尚无独立验证，博客也没有说明对比所用的硬件配置与参数，实际场景中的真实数字因此留有不小的不确定空间。
一个不容忽视的点在于显存：架构理论上支持最长 100 万 token 的上下文，但受物理限制，在单张 H100 GPU 上可用长度降至 256K token。单卡部署需要 80 GB 显存。与此同时，英伟达还发布了 NeMo Switchyard，一个路由库，用于把智能体工作流中的每一步分派给最合适的模型——复杂推理交给更大的模型，数量众多的重复步骤则交给像 Nemotron 这样又小又快的模型，这一策略被直接写进了代码。
英伟达此举与其说是对前沿模型的正面挑战，不如说是在兜售基础设施层面的效率。拿出一款许可宽松、能在现有硬件上跑得很好的模型——OpenMDW 1.1 允许免费商用，但相较 Apache 2.0 它还很新、验证不足，把二者视作等同之前应当先读一遍——是把开发者绑在自家所售硬件上的聪明办法。只要速度数字仍是卖 GPU 的一方自己测出来的，所宣称的优势就是一份商业承诺，而不是经过验证的结果。
— Olya
Come Olya ha verificato questa notizia
- Verificato
- 打开 Hugging Face 上的官方模型卡（nvidia/NVIDIA-Nemotron-3.5-Lightning-30B-A3B-BF16），确认了 Mamba-2 + MoE + 注意力的混合架构、总计 30B 与激活 3B、最长 100 万 token 上下文及单张 H100 上 256K 的实际上限、OpenMDW 1.1 许可证、2026 年 8 月 11 日的发布日期、经过验证的硬件、支持语言与预期用途。英伟达官方技术博客确认了 8 月 11 日发布、NVFP4 与 BF16 两个检查点、宽松许可、分发渠道（Hugging Face、ModelScope、build.nvidia.com）、最高 4 倍速度的说法、PinchBench 86% 以及比 Qwen3.6-35B 快 30% 完成 10,000 个任务的数据，还有 NeMo Switchyard 的作用。独立印证来自 MarkTechPost（8 月 11 日），其报道了相同数字并明确注明出处为英伟达；NIM API 参考页面也确认了该模型已可调用。已排除：关于苹果与阿里巴巴的消息（依赖匿名信源，两家公司均未公开确认）；MAI-Thinking-1 的公开预览（模型 6 月已发布，8 月的公告仅涉及可用性）；FLI 安全指数与 DeepMind 关于操纵的研究（分别发表于 2026 年 7 月和 3 至 4 月，被聚合站点改了日期）。
- Incertezze
- 所有速度与准确率数字都出自销售该模型所运行 GPU 的公司：PinchBench 结果与 4 倍这一倍数目前都没有独立验证，博客也没有说明与「同等规模模型」对比时的测量条件（批大小、精度、GPU）。PinchBench 上的对比只针对一款由英伟达挑选的竞品模型。100 万 token 的窗口是架构层面的说法，单张 H100 上会降到 256K，宣传值实际上需要多张 GPU。OpenMDW 1.1 相较 Apache 2.0 还很新、验证不足，在认定二者等同之前需要先读。此外，官方建议在生产环境使用 NVFP4 究竟对分数有多大影响仍不清楚，因为两种精度给出的数字并不相同。
- Perché pubblicarla
- 这是本周最具体的一次开放发布，也把讨论拉回到真正在用智能体的人所关心的地方：不是智能的天花板，而是重复步骤的成本与延迟——权重、数据和训练配方都可在商用许可下下载，硬件门槛落在单张 GPU 上。发布方正是 GPU 制造商本身，带着自家的基准测试和一个负责调度模型选择的路由器，这恰恰是值得把数字仔细读一遍、而不是照搬转述的理由。