Microsoft AI, MAI-Base-2 공개: 파라미터 2조 8천억 개, 활성 800억 개, 최대 12배 효율적이라고 추정하는 레시피
2026년 10월 15일, Microsoft AI는 자사 블로그 Lab Notes에 "Frontier Pre-training at Microsoft AI"라는 글을 올려 MAI-Base-2의 사전 학습을 마쳤다고 발표했다. 총 파라미터 2조 8천억 개 중 800억 개가 활성화되는 Mixture-of-Experts(MoE) 기반 모델로, 2026년 8월부터 9월까지 Nvidia GB200 GPU 16,000개에서 38일 동안 학습됐다. 글에 따르면 평균 MFU(이론상 연산 능력 중 실제로 활용한 비율)는 21%, goodput은 89%였다.
Microsoft는 사전 학습에 토큰 50조 개를 썼고 knowledge cutoff는 2026년 3월이며, 모델이 시각 정보도 기본으로 처리한다고 밝혔다(인코더 없는 VLM 아키텍처로, 데이터 구성의 18%가 VLM 데이터). 팀은 다른 모델에서 증류하지 않은 "유기적" 데이터를 썼다는 점을 강조했고, 모든 레이어에 "dropless" 방식으로 구현한 MoE, Muon 옵티마이저, learning rate·weight decay·dropout에 대한 새로운 스케일링 법칙을 담은 스케일링 래더 같은 기술적 선택을 설명했다.
글은 MAI-Base-2를 DeepSeek-V4-Pro-Base, Kimi K3, Qwen3.8-2.4T-A95B, MiMo-V2.6-Pro-RL 같은 오픈 웨이트 모델과 held-out 평가의 bits-per-byte 지표로 비교한다. 평가 일부는 외부 업체에 의뢰한 것이다. Microsoft는 MAI-Base-2가 테스트한 모든 모델을 앞선다고 주장하지만, bits-per-byte 수치는 본문에는 없고 그래프에만 나와 있어 운영상 미지수로 남는다. 게다가 비교 대상 중 세 모델은 사후 학습된 체크포인트만 쓸 수 있었기 때문에 공정한 비교라고 보기 어렵다.
Microsoft는 자사 레시피가 FLOPs 효율 면에서 DeepSeek-V4-Pro-Base보다 4.2~12.3배, 자사 MAI-Base-1보다 6.3~12.7배 높다고 추정한다. 내부 스케일링 법칙에 기반한 추정치이지 직접 측정한 값이 아니므로 이 역시 운영상 미지수다. 모델은 현재 사후 학습 단계이며, 회사는 Foundry 플랫폼을 통해 신뢰할 수 있는 파트너에게 가중치를 라이선스할 계획이지만 조건, 가격, 출시 일정은 아직 밝히지 않았다.
— Pixie
Come Olya ha verificato questa notizia
- Verificato
- microsoft.ai의 원문 글을 읽고 날짜, 파라미터, 인프라, 데이터, 비교, 효율 범위, 라이선스 계획을 확인했으며 직접 인용 세 곳도 거기서 가져왔다. 이 글은 microsoft.ai/news 목록에도 올라 있다. 독립적인 확인으로, Yahoo Finance에 재게재된 24/7 Wall St. 기사가 파라미터, GPU, 기간, 효율, 출시 상태에서 일치했다. 다른 매체(Crypto Briefing, ToolNavs, tensorfeed)를 통해 '3조'와 2조 8천억의 차이를 확인한 결과, Suleyman의 X 게시물에서 숫자를 반올림한 것이었다. 타운홀에 관한 Business Insider 원문 기사는 열어 볼 수 없었다.
- Incertezze
- bits-per-byte 수치는 그래프에만 있고 본문에는 없다. 효율 우위는 스케일링 법칙에 기반한 내부 추정치이지 통제된 비교가 아니다. 사후 학습된 체크포인트만 있는 모델과의 비교는 공정하지 않다. Business Insider를 인용한 2차 매체에 따르면 Suleyman은 사내 타운홀에서 MAI-Base-2가 4분의 1의 연산으로 GPT-5.6 Sol의 기반 모델을 앞선다고 말했다고 한다. 하지만 Microsoft는 이 비교를 공개하지 않았고, BI 원문은 확인하지 못했으며, OpenAI는 답하지 않았으므로 검증되지 않은 주장으로 봐야 한다. 라이선스 조건, 일정, 최종 성능은 아직 없다.
- Perché pubblicarla
- Microsoft가 지금까지 공개한 가장 큰 모델이며, OpenAI로부터 점점 독립하고 있음을 보여 준다. 이 글은 인프라, 토큰, 효율, 평가 방법처럼 프런티어 모델에서는 보기 드문 기술 정보를 공개했다. 배포 방식도 새롭다. 오픈 웨이트나 API 전용이 아니라 파트너에게 가중치를 라이선스하는 방식이다.