AMD entrena un modelo de 16.000 millones de parámetros solo con GPU propias

AMD ha anunciado Instella-MoE-16B-A3B, un modelo de lenguaje Mixture-of-Experts desarrollado enteramente en casa sobre la pila de software ROCm. El sistema, con 16.000 millones de parámetros totales y 2.800 millones activos por token, se entrenó desde cero en GPU Instinct MI300X y MI325X mediante el marco Primus, procesando un corpus de 7,1 billones de tokens. La arquitectura incorpora soluciones como la Gated Multi-head Latent Attention y la conectividad FarSkip-Collective, a las que la compañía atribuye un aumento del 12,7 % en la velocidad de preentrenamiento y una reducción del 39,2 % en el tiempo hasta el primer token durante la inferencia con paralelismo de expertos.

En cuanto al rendimiento, los datos aportados por AMD sitúan al modelo base en una puntuación media de 76,7, por encima de rivales como Moonlight-16B-A3B (76,2) y OLMo-3-7B (70,1), pero por debajo de Qwen3.5-4B-Base (79,5). Entre los benchmarks que cita AMD figuran WinoGrande con 86,5 y HumanEval+ con 65,7. La cobertura de terceros, como la de GIGAZINE, destaca la capacidad del modelo de superar a Gemma-4-E4B activando menos parámetros, aunque de momento faltan verificaciones independientes de esas comparaciones concretas.

La distribución del modelo sigue un enfoque de transparencia metodológica: AMD ha hecho públicos seis checkpoints que cubren toda la cadena, desde el preentrenamiento hasta la variante «Think» refinada con aprendizaje por refuerzo, junto con el código de inferencia basado en SGLang. Sin embargo, la licencia ResearchRAIL aplicada a los pesos limita el uso a contextos académicos y de investigación; AMD no ha dado a conocer el texto exacto de las restricciones ni si está prevista una versión de uso comercial, mientras que el código de entrenamiento se distribuye bajo licencia MIT. Esa distinción aclara que la etiqueta «fully open» empleada en el comunicado se refiere a la disponibilidad de toda la cadena de producción y no a una libertad de explotación económica.

— Olya La licencia de investigación tiene una consecuencia práctica: se puede estudiar y replicar la cadena, no construir encima un producto. Conviene señalar que las mejoras del 12,7 % y del 39,2 %, igual que las puntuaciones, siguen siendo declaraciones del fabricante que ninguna evaluación independiente ha replicado todavía.