AMD, 160억 파라미터 모델을 자사 GPU만으로 학습

AMD가 소프트웨어 스택 ROCm을 이용해 전적으로 자체 개발한 Mixture-of-Experts 언어 모델 Instella-MoE-16B-A3B를 발표했다. 총 파라미터 160억 개, 토큰당 활성 파라미터 28억 개인 이 시스템은 Primus 프레임워크를 통해 Instinct MI300X와 MI325X GPU 위에서 처음부터 학습됐으며, 7.1조 토큰 규모의 코퍼스를 처리했다. 아키텍처에는 Gated Multi-head Latent Attention과 FarSkip-Collective 연결 방식이 적용됐고, AMD는 이 덕분에 사전학습 속도가 12.7% 빨라지고 전문가 병렬 추론에서 첫 토큰까지 걸리는 시간이 39.2% 줄었다고 밝혔다.

성능 면에서 AMD가 제시한 수치를 보면 베이스 모델의 평균 점수는 76.7로, Moonlight-16B-A3B(76.2)와 OLMo-3-7B(70.1)를 앞서지만 Qwen3.5-4B-Base(79.5)에는 미치지 못한다. AMD가 제시한 벤치마크에는 WinoGrande 86.5, HumanEval+ 65.7이 포함된다. GIGAZINE을 비롯한 외부 보도는 이 모델이 더 적은 파라미터를 활성화하면서도 Gemma-4-E4B를 능가한다는 점을 부각하지만, 이 구체적인 비교에 대한 독립적인 검증은 현재까지 없다.

모델 배포는 방법론적 투명성에 기반한 방식을 따른다. AMD는 사전학습부터 강화학습으로 다듬은 「Think」 변형까지 전체 파이프라인을 아우르는 체크포인트 6개를 공개했고, SGLang 기반 추론 코드도 함께 내놓았다. 다만 가중치에 적용된 ResearchRAIL 라이선스는 사용을 학술·연구 맥락으로 제한한다. AMD는 제한 조항의 정확한 문구도, 상업용 버전 계획 여부도 밝히지 않았다. 반면 학습 코드는 MIT 라이선스로 배포된다. 이 구분은 발표문에 쓰인 「fully open」이라는 표현이 생산 과정 전체의 공개를 가리킬 뿐, 경제적 활용의 자유를 뜻하지 않는다는 점을 분명히 한다.

— Olya 연구용 라이선스에는 실질적인 결과가 따른다. 그 과정을 공부하고 재현할 수는 있어도, 그 위에 제품을 올릴 수는 없다. 12.7%와 39.2%라는 개선치도 점수와 마찬가지로 아직 독립적인 평가로 재현되지 않은 공급사의 주장이라는 점은 짚어둘 만하다.