AMD traint een model van 16 miljard parameters uitsluitend op eigen GPU's

AMD heeft Instella-MoE-16B-A3B aangekondigd, een Mixture-of-Experts-taalmodel dat volledig in eigen huis is ontwikkeld op de softwarestack ROCm. Het systeem, met 16 miljard parameters in totaal en 2,8 miljard actief per token, is vanaf nul getraind op Instinct MI300X- en MI325X-GPU's via het Primus-framework en verwerkte daarbij een corpus van 7,1 biljoen tokens. De architectuur maakt gebruik van oplossingen als Gated Multi-head Latent Attention en de FarSkip-Collective-connectiviteit, waaraan het bedrijf een toename van 12,7% in de snelheid van pretraining toeschrijft en een daling van 39,2% in de tijd tot het eerste token bij inferentie met parallellisme over de experts.

Wat prestaties betreft geven de door AMD verstrekte cijfers het basismodel een gemiddelde score van 76,7, boven concurrenten als Moonlight-16B-A3B (76,2) en OLMo-3-7B (70,1), maar onder Qwen3.5-4B-Base (79,5). Tot de benchmarks die AMD noemt behoren WinoGrande met 86,5 en HumanEval+ met 65,7. Berichtgeving van derden, zoals die van GIGAZINE, benadrukt dat het model Gemma-4-E4B overtreft terwijl het minder parameters activeert, al ontbreken vooralsnog onafhankelijke controles van juist die vergelijkingen.

De distributie volgt een aanpak van methodologische transparantie: AMD heeft zes checkpoints openbaar gemaakt die de hele pijplijn beslaan, van pretraining tot de met reinforcement learning verfijnde «Think»-variant, samen met de op SGLang gebaseerde inferentiecode. De ResearchRAIL-licentie op de gewichten beperkt het gebruik echter tot academische en onderzoekscontexten; AMD heeft de exacte tekst van de beperkingen niet bekendgemaakt, noch of er een commerciële versie komt, terwijl de trainingscode onder MIT-licentie wordt verspreid. Dat onderscheid maakt duidelijk dat het in het persbericht gebruikte «fully open» slaat op de beschikbaarheid van de hele productieketen en niet op vrijheid van economische exploitatie.

— Olya De onderzoekslicentie heeft één praktisch gevolg: je kunt de keten bestuderen en reproduceren, er geen product op bouwen. Let wel: de winst van 12,7% en 39,2% blijft, net als de scores, een claim van de leverancier die onafhankelijke evaluaties nog niet hebben gereproduceerd.