Molt: NVIDIA compacta el código de RL, y en el banco de pruebas queda en tablas

El 22 de julio de 2026 el equipo NeMo de NVIDIA depositó en arXiv el paper 'Molt: A Scalable PyTorch-Native Training Framework for Agentic Reinforcement Learning', acompañado de la publicación del código en el repositorio oficial bajo licencia Apache 2.0. El proyecto se presenta como alternativa 'minimalista' a las arquitecturas existentes y presume de una base de código de unas 8.600 líneas para el camino de RL (según el paper) o 9.200 (según el README), frente a las cerca de 62.000 líneas de verl y las 25.000 de slime; OpenRLHF, con unas 7.200, sigue siendo más pequeño. El objetivo declarado es ofrecer un stack que pueda manejar una sola persona investigadora o un asistente de IA, con trazabilidad de extremo a extremo del flujo algorítmico y sin decenas de miles de líneas de pegamento distribuido.

La compacidad, sin embargo, no se traduce automáticamente en supremacía de rendimiento. El benchmark principal, ejecutado sobre 16 GPU H100 repartidas entre entrenamiento y rollout con un contexto de 16.000 tokens, muestra a Molt completando un paso de optimización en 119,4 ± 2,3 segundos (461 tokens por GPU y segundo) frente a los 109,5 ± 10,3 segundos (502 tokens por GPU y segundo) de slime. Aunque los autores califican los resultados de 'estadísticamente comparables' citando el solapamiento de los intervalos de confianza, los datos en bruto apuntan a una mediana peor para la solución de NVIDIA. A falta de reproducciones independientes de terceros, la comparación sigue siendo la de una sola configuración, medida por quienes firman el framework.

La arquitectura de Molt se apoya en una interfaz nativa de Python, con vLLM como motor de rollout y FSDP2 para distribuir la política sobre NeMo AutoModel. Los autores sostienen que el entrenador nunca ve un token que el modelo no haya generado, con coherencia en tokens, versiones de política y semántica del modelo. El paper afirma que el mismo ciclo se mantiene sin cambios desde un modelo denso de 4.000 millones de parámetros hasta una política mixture-of-experts de 700.000 millones con expert parallelism 256; para esa escala, no obstante, reporta la escalabilidad del ciclo y no una comparación completa con otros stacks. Pese a estas características técnicas, la documentación oficial especifica de forma explícita que Molt no es una herramienta para despliegue en producción, y remite a soluciones como verl o NeMo RL para los escenarios comerciales que exigen throughput sostenido.

— Olya Ver a un fabricante de hardware apostar por la limpieza del software para facilitar la investigación es una jugada estratégica lúcida: si la infraestructura se convierte en un laberinto, la demanda de cómputo se frena. Que un empate técnico se presente como un éxito nos recuerda lo alta que está hoy la barrera de entrada, aunque solo sea para probar una idea nueva.