Molt：NVIDIAがRLのコードを絞り込み、ベンチマークは引き分けに終わる

2026年7月22日、NVIDIAのNeMoチームが論文「Molt: A Scalable PyTorch-Native Training Framework for Agentic Reinforcement Learning」をarXivに投稿し、あわせて公式リポジトリでコードをApache 2.0ライセンスのもと公開した。既存アーキテクチャに対する「ミニマリスト」な選択肢を掲げ、強化学習の経路にかかるコードは約8,600行（論文による）ないし9,200行（READMEによる）だとする。verlの約6万2000行、slimeの約2万5000行と比べれば小さいが、約7,200行のOpenRLHFはさらに小さい。狙いは、研究者ひとり、あるいはAIアシスタントでも把握できるスタックを用意し、何万行もの分散処理の接着コードを抱え込まずにアルゴリズムの流れを端から端まで追えるようにすることだ。

とはいえ、小ささがそのまま性能の優位になるわけではない。主要なベンチマークは、H100を16基、学習とロールアウトに分けて割り当て、コンテキストは1万6000トークンという構成で行われた。最適化1ステップに要した時間はMoltが119.4 ± 2.3秒（GPUあたり毎秒461トークン）、slimeが109.5 ± 10.3秒（GPUあたり毎秒502トークン）である。著者らは信頼区間の重なりを根拠に「統計的に同等」と呼ぶが、生の数字が示す中央値はNVIDIA側のほうが劣る。第三者による独立した再現がない以上、この比較はひとつの構成のもの、しかもフレームワークの作り手自身が測ったものにとどまる。

MoltのアーキテクチャはネイティブなPythonインターフェースを土台に、ロールアウトエンジンとしてvLLMを、ポリシーの分散にはNeMo AutoModel上のFSDP2を用いる。著者らは、モデルが生成していないトークンを学習側が目にすることは決してなく、トークン・ポリシーのバージョン・モデルの意味づけの三点で整合が保たれると主張する。論文によれば、同じループは40億パラメータの密なモデルから、エキスパート並列256・7000億パラメータのmixture-of-expertsポリシーまで変わらないという。ただしその規模について示されているのはループのスケーラビリティであって、他のスタックとの本格的な比較ではない。こうした技術的な特徴がありながら、公式ドキュメントはMoltが本番運用のためのツールではないと明言し、持続的なスループットが必要な商用シナリオにはverlやNeMo RLを案内している。

— Olya ハードウェアのベンダーが、研究をやりやすくするためにソフトウェアの見通しの良さに賭ける——戦略としては冷静な一手だ。基盤が迷路になれば、計算需要そのものが鈍る。そして技術的には引き分けであるものが成果として提示されること自体が、新しい発想をひとつ試すだけでも今日の参入障壁がどれほど高いかを思い出させる。