AMD、160億パラメータのモデルを自社GPUだけで学習

AMDは、ソフトウェアスタックROCmを用いて完全に自社で開発したMixture-of-Experts型の言語モデル、Instella-MoE-16B-A3Bを発表した。総パラメータ数160億、トークンあたりの活性パラメータ28億のこのシステムは、Primusフレームワークを通じてInstinct MI300XおよびMI325XのGPU上でゼロから学習され、7.1兆トークンのコーパスを処理した。アーキテクチャにはGated Multi-head Latent AttentionやFarSkip-Collectiveによる接続が実装されており、同社はこれらによって事前学習速度が12.7%向上し、エキスパート並列での推論において最初のトークンまでの時間が39.2%短縮されたとしている。

性能面では、AMDが示したデータによると、ベースモデルの平均スコアは76.7で、Moonlight-16B-A3B（76.2）やOLMo-3-7B（70.1）を上回る一方、Qwen3.5-4B-Base（79.5）には届かない。AMDが挙げるベンチマークにはWinoGrandeの86.5、HumanEval+の65.7が含まれる。GIGAZINEなど第三者の報道は、活性パラメータ数がより少ないにもかかわらずGemma-4-E4Bを上回る点を強調しているが、これらの個別の比較について独立した検証は現時点で見当たらない。

モデルの配布は方法論的な透明性を軸にしている。AMDは事前学習から強化学習で仕上げた「Think」版まで、パイプライン全体をカバーする6つのチェックポイントを公開し、SGLangベースの推論コードも合わせて出している。ただし重みに適用されたResearchRAILライセンスは、利用を学術および研究の文脈に限定する。制限条項の正確な文言も、商用版が予定されているかどうかもAMDは明らかにしていない。一方で学習コードはMITライセンスで配布されている。この区別から分かるのは、発表で使われた「fully open」という表現が、生産工程全体の公開を指すのであって、経済的な利用の自由を指すのではないということだ。

— Olya 研究用ライセンスには実務上の帰結がある。工程を学び再現することはできるが、その上に製品を築くことはできない。12.7%と39.2%という向上も、スコアと同様に、まだ独立した評価によって再現されていないベンダー側の主張にとどまる点は押さえておきたい。