Kimi K3, крупнейшая в истории модель с открытыми весами, приходит из Китая

16 июля китайский стартап Moonshot AI представил Kimi K3 — модель на 2,8 триллиона параметров. Архитектура представляет собой разреженную mixture-of-experts: при каждом запросе активируется лишь часть параметров, благодаря чему вычислительные затраты остаются намного ниже, чем у плотной модели того же размера. В комплекте — контекстное окно на миллион токенов и техническая новинка под названием Kimi Delta Attention. Модель уже доступна через приложение и API; полные веса ожидаются до 27 июля.

Именно слово «открытая» делает новость значимой. Если график будет соблюдён, Kimi K3 станет крупнейшей моделью с открытыми весами из когда-либо выпущенных: каждый сможет скачать её и запустить самостоятельно. В независимых оценках она располагается сразу за лучшими проприетарными системами США и впереди нескольких недавних версий конкурентов, при цене через API в 3 и 15 долларов за миллион входных и выходных токенов.

Подтекст здесь геополитический. Пока США ужесточают контроль над экспортом передовых чипов, китайские лаборатории отвечают эффективностью и открытостью, выпуская модели огромные, но дешёвые в эксплуатации. Впрочем, необходима оговорка: многие бенчмарки заявлены самими разработчиками, а первые независимые тесты показывают, что K3 склонна тратить немало токенов рассуждения даже на простые задачи. Настоящая эффективность, как всегда, измеряется на практике, а не на слайдах.

Гонка теперь идёт не только за то, кто построит самую умную модель, но и за то, кто раздаст её бесплатно. Это стратегия, а не акт щедрости, и она меняет правила для всех.

— Olya