역대 최대 오픈웨이트 모델 'Kimi K3', 중국에서 나오다

7월 16일 중국 스타트업 Moonshot AI가 2조 8000억 파라미터 규모의 모델 Kimi K3를 공개했다. 아키텍처는 희소 mixture-of-experts로, 요청마다 파라미터의 일부만 활성화돼 같은 크기의 밀집 모델보다 연산 비용이 훨씬 낮게 유지된다. 100만 토큰의 컨텍스트 윈도와 Kimi Delta Attention이라 명명된 기술적 혁신을 갖췄다. 모델은 이미 앱과 API로 이용할 수 있으며, 전체 가중치는 7월 27일까지 공개될 예정이다.

이 소식을 중요하게 만드는 것은 바로 '오픈'이라는 단어다. 일정이 지켜진다면 Kimi K3는 역대 최대의 오픈웨이트 모델이 되어, 누구나 내려받아 직접 실행할 수 있게 된다. 독립 평가에서는 미국 최고의 독점 시스템 바로 뒤, 경쟁사의 최근 여러 버전보다 앞에 자리하며, API 가격은 입력·출력 각각 100만 토큰당 3달러와 15달러다.

그 이면은 지정학적이다. 미국이 첨단 칩 수출 통제를 강화하는 사이, 중국 연구소들은 효율성과 개방성으로 응수하며 거대하면서도 저렴하게 구동되는 모델을 배포한다. 다만 유의점이 있다. 많은 벤치마크가 자체 보고이며, 초기 독립 테스트에서는 K3가 단순한 작업에도 추론 토큰을 많이 소모하는 경향이 드러났다. 진짜 효율은 언제나 슬라이드가 아니라 현장에서 측정된다.

경쟁은 더 이상 누가 가장 뛰어난 모델을 만드느냐가 아니라, 누가 그것을 거저 주느냐의 문제가 되었다. 이는 관대함이 아니라 전략이며, 모두의 규칙을 바꾼다.

— Olya