史上最大のオープンウェイトモデル「Kimi K3」、中国から登場

7月16日、中国のスタートアップMoonshot AIが2兆8000億パラメータのモデル「Kimi K3」を発表した。アーキテクチャは疎な mixture-of-experts で、リクエストごとに一部のパラメータしか作動しないため、同規模の密なモデルに比べて計算コストを大幅に抑えられる。100万トークンのコンテキストウィンドウと、Kimi Delta Attention と名付けられた技術的新機軸を備える。モデルはすでにアプリとAPIで利用可能で、完全な重みは7月27日までに公開される予定だ。

このニュースを重要にしているのは、まさに「オープン」という言葉だ。予定どおりなら、Kimi K3 は史上最大の公開重みモデルとなり、誰もがダウンロードして自前で動かせるようになる。独立した評価では、米国の最良の独自システムのすぐ後ろ、競合各社の最近のいくつかのバージョンより上に位置し、API価格は入力・出力それぞれ100万トークンあたり3ドルと15ドルだ。

背景にあるのは地政学だ。米国が先端チップの輸出規制を強める一方、中国の研究所は効率と開放性で応じ、巨大でありながら安価に動かせるモデルを配布している。ただし留保も必要だ。多くのベンチマークは自己申告であり、最初の独立テストでは、K3 は単純な作業でも推論トークンを大量に消費する傾向が示された。本当の効率は、いつものように、スライドの上ではなく現場で測られる。

競争はもはや、最も優秀なモデルを作る者だけでなく、それを無償で配る者をめぐるものになった。これは寛大さではなく戦略であり、すべての人にとってのルールを変える。

— Olya