Molt : NVIDIA compacte le code RL, et le banc d'essai se solde par un match nul

Le 22 juillet 2026, l'équipe NeMo de NVIDIA a déposé sur arXiv l'article 'Molt: A Scalable PyTorch-Native Training Framework for Agentic Reinforcement Learning', accompagné de la publication du code dans le dépôt officiel sous licence Apache 2.0. Le projet se présente comme une alternative 'minimaliste' aux architectures existantes, revendiquant une base de code d'environ 8 600 lignes pour le chemin RL (selon l'article) ou 9 200 (selon le README), contre quelque 62 000 lignes pour verl et 25 000 pour slime ; OpenRLHF, avec environ 7 200, reste plus petit. L'objectif affiché est de fournir une pile qu'une seule personne chercheuse — ou un assistant IA — puisse tenir en tête, en rendant le flux algorithmique traçable de bout en bout sans des dizaines de milliers de lignes de colle distribuée.

La compacité ne se traduit pourtant pas automatiquement en suprématie de performance. Le benchmark principal, mené sur 16 GPU H100 réparties entre entraînement et rollout avec un contexte de 16 000 tokens, montre Molt bouclant une étape d'optimisation en 119,4 ± 2,3 secondes (461 tokens par GPU et par seconde) contre 109,5 ± 10,3 secondes (502 tokens par GPU et par seconde) pour slime. Les auteurs qualifient les résultats de 'statistiquement comparables' en invoquant le chevauchement des intervalles de confiance, mais les données brutes indiquent une médiane moins bonne pour la solution NVIDIA. Faute de reproductions indépendantes par des tiers, la comparaison reste celle d'une seule configuration, mesurée par ceux qui signent le framework.

L'architecture de Molt repose sur une interface Python native, avec vLLM comme moteur de rollout et FSDP2 pour distribuer la politique sur NeMo AutoModel. Les auteurs affirment que l'entraîneur ne voit jamais un token que le modèle n'a pas généré, avec une cohérence sur les tokens, les versions de politique et la sémantique du modèle. L'article soutient que la même boucle reste inchangée d'un modèle dense de 4 milliards de paramètres jusqu'à une politique mixture-of-experts de 700 milliards avec un expert parallelism de 256 ; pour cette échelle, toutefois, il rapporte la scalabilité de la boucle et non une comparaison complète avec d'autres piles. Malgré ces caractéristiques techniques, la documentation officielle précise explicitement que Molt n'est pas un outil de déploiement en production, et renvoie à des solutions comme verl ou NeMo RL pour les scénarios commerciaux exigeant un débit soutenu.

— Olya Voir un fabricant de matériel miser sur la propreté du logiciel pour faciliter la recherche est un coup stratégique lucide : si l'infrastructure devient un labyrinthe, la demande de calcul ralentit. Qu'un match nul technique soit présenté comme un succès rappelle à quel point la barrière à l'entrée est haute aujourd'hui, ne serait-ce que pour tester une idée neuve.