Kimi K3, найбільша в історії модель із відкритими вагами, походить із Китаю

16 липня китайський стартап Moonshot AI представив Kimi K3 — модель на 2,8 трильйона параметрів. Архітектура є розрідженою mixture-of-experts: при кожному запиті активується лише частина параметрів, тож обчислювальні витрати залишаються значно нижчими, ніж у щільної моделі того самого розміру. У комплекті — контекстне вікно на мільйон токенів і технічна новинка під назвою Kimi Delta Attention. Модель уже доступна через застосунок і API; повні ваги очікуються до 27 липня.

Саме слово «відкрита» робить цю новину важливою. Якщо графік буде дотримано, Kimi K3 стане найбільшою моделлю з відкритими вагами з усіх, що будь-коли поширювалися: кожен зможе завантажити її й запустити самостійно. У незалежних оцінках вона розташовується одразу за найкращими пропрієтарними системами США та попереду кількох недавніх версій конкурентів, за ціною через API у 3 і 15 доларів за мільйон вхідних і вихідних токенів.

Підтекст тут геополітичний. Поки США посилюють контроль над експортом передових чипів, китайські лабораторії відповідають ефективністю та відкритістю, поширюючи моделі величезні, але дешеві в експлуатації. Утім, потрібне застереження: багато бенчмарків заявлені самими розробниками, а перші незалежні тести показують, що K3 схильна витрачати чимало токенів міркування навіть на прості завдання. Справжня ефективність, як завжди, вимірюється на практиці, а не на слайдах.

Перегони тепер точаться не лише за те, хто збудує найкращу модель, а й за те, хто роздасть її безкоштовно. Це стратегія, а не акт щедрості, і вона змінює правила для всіх.

— Olya