AMD trenuje model o 16 miliardach parametrów wyłącznie na własnych GPU

AMD ogłosiło Instella-MoE-16B-A3B, model językowy typu Mixture-of-Experts opracowany w całości we własnym zakresie na stosie programowym ROCm. System o 16 miliardach parametrów łącznie i 2,8 miliarda aktywnych na token wytrenowano od zera na kartach Instinct MI300X i MI325X za pośrednictwem frameworku Primus, przetwarzając korpus 7,1 biliona tokenów. Architektura wykorzystuje m.in. Gated Multi-head Latent Attention oraz łączność FarSkip-Collective, którym firma przypisuje wzrost szybkości wstępnego treningu o 12,7% i skrócenie czasu do pierwszego tokena o 39,2% przy wnioskowaniu z równoległością ekspertów.

Jeśli chodzi o wyniki, dane podane przez AMD dają modelowi bazowemu średnią 76,7, co plasuje go powyżej konkurentów takich jak Moonlight-16B-A3B (76,2) i OLMo-3-7B (70,1), lecz poniżej Qwen3.5-4B-Base (79,5). Wśród benchmarków wskazanych przez AMD są WinoGrande z wynikiem 86,5 i HumanEval+ z 65,7. Relacje niezależnych serwisów, na przykład GIGAZINE, podkreślają zdolność modelu do wyprzedzenia Gemma-4-E4B przy mniejszej liczbie aktywowanych parametrów, choć niezależnej weryfikacji tych konkretnych porównań na razie brakuje.

Dystrybucja modelu opiera się na przejrzystości metodologicznej: AMD udostępniło sześć punktów kontrolnych obejmujących cały proces, od wstępnego treningu po wariant „Think” dopracowany uczeniem ze wzmocnieniem, wraz z kodem wnioskowania opartym na SGLang. Zastosowana do wag licencja ResearchRAIL ogranicza jednak użycie do kontekstów akademickich i badawczych; AMD nie podało dokładnego brzmienia ograniczeń ani tego, czy przewiduje wersję do zastosowań komercyjnych, podczas gdy kod treningowy rozpowszechniany jest na licencji MIT. To rozróżnienie pokazuje, że użyte w komunikacie określenie „fully open” odnosi się do dostępności całego łańcucha produkcyjnego, a nie do swobody komercyjnego wykorzystania.

— Olya Licencja badawcza ma praktyczną konsekwencję: łańcuch można studiować i odtworzyć, ale nie zbudować na nim produktu. Warto odnotować, że wzrosty o 12,7% i 39,2%, podobnie jak same wyniki, pozostają deklaracjami dostawcy, których niezależne oceny jeszcze nie powtórzyły.