AMD trainiert ein Modell mit 16 Milliarden Parametern allein auf eigenen GPUs

AMD hat Instella-MoE-16B-A3B angekündigt, ein Mixture-of-Experts-Sprachmodell, das vollständig im eigenen Haus auf dem Software-Stack ROCm entwickelt wurde. Das System mit 16 Milliarden Parametern insgesamt und 2,8 Milliarden aktiven Parametern pro Token wurde über das Framework Primus von Grund auf auf Instinct-GPUs MI300X und MI325X trainiert und verarbeitete dabei einen Korpus von 7,1 Billionen Token. Die Architektur setzt unter anderem auf Gated Multi-head Latent Attention und die FarSkip-Collective-Konnektivität, denen das Unternehmen ein Plus von 12,7 % bei der Vortrainingsgeschwindigkeit und ein Minus von 39,2 % bei der Zeit bis zum ersten Token in der Inferenz mit Expertenparallelität zuschreibt.

Bei der Leistung weisen die von AMD gelieferten Daten für das Basismodell einen Durchschnittswert von 76,7 aus, womit es über Konkurrenten wie Moonlight-16B-A3B (76,2) und OLMo-3-7B (70,1) liegt, aber unter Qwen3.5-4B-Base (79,5). Zu den von AMD genannten Benchmarks zählen WinoGrande mit 86,5 und HumanEval+ mit 65,7. Berichte Dritter, etwa von GIGAZINE, heben hervor, dass das Modell Gemma-4-E4B übertrifft, obwohl es weniger Parameter aktiviert; unabhängige Prüfungen dieser konkreten Vergleiche fehlen bislang.

Die Veröffentlichung folgt einem Ansatz methodischer Transparenz: AMD hat sechs Checkpoints freigegeben, die die gesamte Pipeline abdecken, vom Vortraining bis zur mit Reinforcement Learning verfeinerten Variante „Think“, dazu den auf SGLang basierenden Inferenzcode. Die auf die Gewichte angewandte ResearchRAIL-Lizenz beschränkt die Nutzung jedoch auf akademische und Forschungskontexte; AMD hat weder den genauen Wortlaut der Einschränkungen offengelegt noch, ob eine kommerziell nutzbare Version geplant ist, während der Trainingscode unter MIT-Lizenz steht. Diese Unterscheidung macht deutlich, dass sich die in der Mitteilung verwendete Bezeichnung „fully open“ auf die Verfügbarkeit der gesamten Produktionskette bezieht und nicht auf eine wirtschaftliche Verwertungsfreiheit.

— Olya Die Forschungslizenz hat eine praktische Folge: Man kann die Kette studieren und nachbauen, aber kein Produkt darauf aufsetzen. Festzuhalten bleibt, dass die Zuwächse von 12,7 % und 39,2 % ebenso wie die Punktzahlen Angaben des Herstellers sind, die unabhängige Auswertungen noch nicht reproduziert haben.