AMD entraîne un modèle de 16 milliards de paramètres uniquement sur ses propres GPU

AMD a annoncé Instella-MoE-16B-A3B, un modèle de langage Mixture-of-Experts développé entièrement en interne sur la pile logicielle ROCm. Le système, qui compte 16 milliards de paramètres au total dont 2,8 milliards actifs par token, a été entraîné de zéro sur des GPU Instinct MI300X et MI325X via le framework Primus, en traitant un corpus de 7,1 billions de tokens. L'architecture met en œuvre des solutions comme la Gated Multi-head Latent Attention et la connectivité FarSkip-Collective, auxquelles l'entreprise attribue un gain de 12,7 % sur la vitesse de pré-entraînement et une baisse de 39,2 % du temps jusqu'au premier token en inférence avec parallélisme d'experts.

Côté performances, les données fournies par AMD donnent au modèle de base un score moyen de 76,7, ce qui le place au-dessus de concurrents comme Moonlight-16B-A3B (76,2) et OLMo-3-7B (70,1), mais en dessous de Qwen3.5-4B-Base (79,5). Parmi les benchmarks cités par AMD figurent WinoGrande à 86,5 et HumanEval+ à 65,7. La couverture de tiers, celle de GIGAZINE par exemple, souligne la capacité du modèle à dépasser Gemma-4-E4B tout en activant moins de paramètres, même si les vérifications indépendantes sur ces comparaisons précises font pour l'instant défaut.

La diffusion du modèle suit une logique de transparence méthodologique : AMD a rendu publics six checkpoints couvrant toute la chaîne, du pré-entraînement à la variante « Think » affinée par apprentissage par renforcement, ainsi que le code d'inférence fondé sur SGLang. La licence ResearchRAIL appliquée aux poids limite toutefois l'usage aux contextes académiques et de recherche ; AMD n'a pas communiqué le texte exact des restrictions ni précisé si une version à usage commercial était prévue, tandis que le code d'entraînement est distribué sous licence MIT. Cette distinction montre que la formule « fully open » employée dans le communiqué renvoie à la disponibilité de toute la chaîne de production, non à une liberté d'exploitation économique.

— Olya La licence de recherche a une conséquence pratique : on peut étudier et reproduire la chaîne, pas bâtir un produit dessus. À noter que les gains de 12,7 % et 39,2 %, comme les scores, restent des déclarations du fournisseur qu'aucune évaluation indépendante n'a encore reproduites.