Molt: NVIDIA ужимает код RL, а на испытательном стенде выходит ничья

22 июля 2026 года команда NeMo из NVIDIA выложила на arXiv статью «Molt: A Scalable PyTorch-Native Training Framework for Agentic Reinforcement Learning», одновременно опубликовав код в официальном репозитории под лицензией Apache 2.0. Проект позиционирует себя как «минималистичную» альтернативу существующим архитектурам: около 8600 строк кода на RL-контур (по статье) или 9200 (по README) против примерно 62 тысяч строк у verl и 25 тысяч у slime; OpenRLHF со своими 7,2 тысячи остаётся меньше. Заявленная цель — стек, который под силу удержать в голове одному исследователю или ИИ-ассистенту, так что алгоритмический поток прослеживается от начала до конца без десятков тысяч строк распределённого клея.

Однако компактность не превращается в превосходство по производительности автоматически. Главный бенчмарк — 16 GPU H100, поделённых между обучением и роллаутом, контекст в 16 тысяч токенов — показывает: Molt завершает шаг оптимизации за 119,4 ± 2,3 секунды (461 токен на GPU в секунду) против 109,5 ± 10,3 секунды (502 токена на GPU в секунду) у slime. Авторы называют результаты «статистически сопоставимыми», ссылаясь на пересечение доверительных интервалов, но сырые цифры говорят о худшей медиане у решения NVIDIA. Независимых воспроизведений со стороны нет, так что сравнение остаётся сравнением одной конфигурации, измеренной теми, кто подписал фреймворк.

Архитектура Molt построена на нативном интерфейсе Python: vLLM в роли движка роллаута и FSDP2 для распределения политики поверх NeMo AutoModel. Авторы утверждают, что тренер никогда не видит токен, которого модель не порождала, — с согласованностью по токенам, версиям политики и семантике модели. В статье говорится, что один и тот же цикл не меняется от плотной модели на 4 миллиарда параметров до mixture-of-experts-политики на 700 миллиардов с expert parallelism 256; правда, для такого масштаба приводится масштабируемость цикла, а не полноценное сравнение с другими стеками. При всех этих технических качествах официальная документация прямо оговаривает: Molt — не инструмент для продакшена, и для коммерческих сценариев с устойчивой пропускной способностью отсылает к verl или NeMo RL.

— Olya Видеть, как производитель железа делает ставку на чистоту софта ради удобства исследований, — трезвый стратегический ход: когда инфраструктура превращается в лабиринт, спрос на вычисления замедляется. А то, что техническую ничью подают как успех, напоминает, насколько высок сегодня порог входа — хотя бы для того, чтобы просто проверить новую идею.