Molt: NVIDIA verschlankt den RL-Code, und auf dem Prüfstand steht es unentschieden

Am 22. Juli 2026 hat das NeMo-Team von NVIDIA das Paper ‚Molt: A Scalable PyTorch-Native Training Framework for Agentic Reinforcement Learning' auf arXiv eingereicht, begleitet von der Freigabe des Codes im offiziellen Repository unter Apache-2.0-Lizenz. Das Projekt versteht sich als ‚minimalistische' Alternative zu bestehenden Architekturen und wirbt mit rund 8.600 Codezeilen für den RL-Pfad (laut Paper) beziehungsweise 9.200 (laut README) — gegenüber etwa 62.000 Zeilen bei verl und 25.000 bei slime; OpenRLHF bleibt mit rund 7.200 kleiner. Erklärtes Ziel ist ein Stack, den eine einzelne forschende Person oder ein KI-Assistent überblicken kann, sodass sich der algorithmische Ablauf von Anfang bis Ende nachverfolgen lässt, ohne Zehntausende Zeilen verteilten Klebecodes.

Kompaktheit übersetzt sich allerdings nicht automatisch in einen Leistungsvorsprung. Der zentrale Benchmark, gefahren auf 16 H100-GPUs, aufgeteilt zwischen Training und Rollout, bei einem Kontext von 16.000 Token, zeigt Molt mit 119,4 ± 2,3 Sekunden pro Optimierungsschritt (461 Token pro GPU und Sekunde) gegenüber 109,5 ± 10,3 Sekunden (502 Token pro GPU und Sekunde) bei slime. Die Autoren nennen die Ergebnisse ‚statistisch vergleichbar' und verweisen auf die Überlappung der Konfidenzintervalle; die Rohdaten zeigen für die NVIDIA-Lösung jedoch den schlechteren Median. Solange unabhängige Reproduktionen Dritter fehlen, bleibt der Vergleich der einer einzigen Konfiguration, gemessen von jenen, die das Framework verantworten.

Die Architektur von Molt setzt auf eine native Python-Schnittstelle, nutzt vLLM als Rollout-Engine und FSDP2, um die Policy über NeMo AutoModel zu verteilen. Die Autoren beanspruchen, dass der Trainer nie ein Token zu sehen bekommt, das das Modell nicht selbst erzeugt hat — konsistent über Token, Policy-Versionen und Modellsemantik hinweg. Laut Paper bleibt derselbe Zyklus unverändert, vom dichten Modell mit 4 Milliarden Parametern bis zu einer Mixture-of-Experts-Policy mit 700 Milliarden Parametern und Expert Parallelism 256; für diese Größenordnung berichtet es allerdings die Skalierbarkeit des Zyklus und keinen vollständigen Vergleich mit anderen Stacks. Trotz dieser technischen Merkmale hält die offizielle Dokumentation ausdrücklich fest, dass Molt kein Werkzeug für den Produktivbetrieb ist, und verweist für kommerzielle Szenarien mit dauerhaftem Durchsatz auf Lösungen wie verl oder NeMo RL.

— Olya Dass ein Hardwareanbieter auf saubere Software setzt, um Forschung zu erleichtern, ist ein strategisch klarer Zug: Wird die Infrastruktur zum Labyrinth, bremst das die Nachfrage nach Rechenleistung. Dass ein technisches Unentschieden als Erfolg präsentiert wird, erinnert daran, wie hoch die Einstiegshürde heute liegt — allein um eine neue Idee auszuprobieren.