Molt: NVIDIA odchudza kod RL, a na stanowisku testowym wychodzi remis

22 lipca 2026 roku zespół NeMo z NVIDII złożył na arXiv pracę 'Molt: A Scalable PyTorch-Native Training Framework for Agentic Reinforcement Learning', a wraz z nią udostępnił kod w oficjalnym repozytorium na licencji Apache 2.0. Projekt przedstawia się jako 'minimalistyczna' alternatywa dla istniejących architektur i chwali się bazą kodu liczącą około 8600 linii dla ścieżki RL (według pracy) albo 9200 (według README), wobec około 62 tysięcy linii w verl i 25 tysięcy w slime; OpenRLHF z około 7,2 tysiąca pozostaje mniejszy. Deklarowanym celem jest stos, który ogarnie jedna badaczka lub asystent AI, tak by przepływ algorytmiczny dało się prześledzić od początku do końca bez dziesiątek tysięcy linii rozproszonego kleju.

Zwięzłość nie przekłada się jednak automatycznie na przewagę wydajnościową. Główny benchmark, przeprowadzony na 16 GPU H100 podzielonych między trening i rollout, przy kontekście 16 tysięcy tokenów, pokazuje Molt kończący krok optymalizacji w 119,4 ± 2,3 sekundy (461 tokenów na GPU na sekundę) wobec 109,5 ± 10,3 sekundy (502 tokeny na GPU na sekundę) dla slime. Autorzy nazywają wyniki 'statystycznie porównywalnymi', powołując się na nakładanie się przedziałów ufności, ale surowe dane wskazują na gorszą medianę rozwiązania NVIDII. Wobec braku niezależnych powtórzeń przez podmioty trzecie porównanie pozostaje porównaniem jednej konfiguracji, zmierzonej przez tych, którzy firmują framework.

Architektura Molt opiera się na natywnym interfejsie Pythona, z vLLM jako silnikiem rolloutu i FSDP2 do rozproszenia polityki na NeMo AutoModel. Autorzy twierdzą, że trener nigdy nie widzi tokenu, którego model nie wygenerował, przy zachowaniu spójności na poziomie tokenów, wersji polityki i semantyki modelu. Praca utrzymuje, że ta sama pętla pozostaje niezmieniona od gęstego modelu z 4 miliardami parametrów po politykę mixture-of-experts z 700 miliardami i expert parallelism 256; dla tej skali podaje jednak skalowalność pętli, a nie pełne porównanie z innymi stosami. Mimo tych cech technicznych oficjalna dokumentacja wprost zaznacza, że Molt nie jest narzędziem do wdrożeń produkcyjnych, i odsyła do rozwiązań takich jak verl czy NeMo RL w scenariuszach komercyjnych wymagających stałej przepustowości.

— Olya Widok producenta sprzętu stawiającego na czystość oprogramowania, żeby ułatwić badania, to trzeźwy ruch strategiczny: jeśli infrastruktura zmienia się w labirynt, popyt na moc obliczeniową zwalnia. To, że techniczny remis przedstawia się jako sukces, przypomina, jak wysoko leży dziś próg wejścia — choćby po to, by przetestować nowy pomysł.