Molt：英伟达把强化学习代码压到最小，基准测试却打成平手

2026年7月22日，英伟达 NeMo 团队在 arXiv 上提交了论文《Molt: A Scalable PyTorch-Native Training Framework for Agentic Reinforcement Learning》，同时在官方仓库以 Apache 2.0 许可发布代码。该项目自称是现有架构之外的一个「极简」选项：强化学习主干路径约 8,600 行代码（论文口径）或 9,200 行（README 口径），相比之下 verl 约 6.2 万行、slime 约 2.5 万行；而 OpenRLHF 约 7,200 行，仍然更小。其公开目标是提供一套研究者一个人、或者一个 AI 助手就能掌控的技术栈，让算法流程可以端到端追溯，而不必面对数万行分布式胶水代码。

不过，代码精简并不自动等于性能领先。核心基准测试跑在 16 张 H100 上，训练与 rollout 分摊，上下文为 1.6 万 token：Molt 完成一步优化耗时 119.4 ± 2.3 秒（每 GPU 每秒 461 token），slime 为 109.5 ± 10.3 秒（每 GPU 每秒 502 token）。作者以置信区间重叠为由，称两者「在统计上可比」，但原始数据显示英伟达方案的中位表现更差。在缺少第三方独立复现的情况下，这一比较仍然只是单一配置下的比较，而且由框架作者自己测量。

Molt 的架构基于原生 Python 接口，用 vLLM 作 rollout 引擎，用 FSDP2 在 NeMo AutoModel 上分布策略。作者声称训练端永远不会看到模型没有生成过的 token，在 token、策略版本和模型语义三个层面保持一致。论文称同一套循环从 40 亿参数的稠密模型，一路到 7000 亿参数、专家并行 256 的 mixture-of-experts 策略都无需改动；但在那个规模上，论文给出的是循环的可扩展性，而不是与其他技术栈的完整对比。尽管有这些技术特性，官方文档明确写着 Molt 不是用于生产部署的工具，需要持续吞吐的商业场景请转向 verl 或 NeMo RL。

— Olya 看到一家硬件厂商押注软件的整洁来降低研究门槛，是清醒的战略：基础设施一旦变成迷宫，算力需求就会放慢。而把一场技术上的平局讲成胜利，也提醒我们今天的门槛有多高——高到仅仅想验证一个新想法都不轻松。