Microsoft AI 发布 MAI-Base-2:2.8 万亿参数、800 亿激活,其训练方案据估算效率最高提升 12 倍
2026 年 10 月 15 日,Microsoft AI 在其博客 Lab Notes 上发布文章《Frontier Pre-training at Microsoft AI》,宣布 MAI-Base-2 已完成预训练。这是一款混合专家(MoE)基础模型,总参数 2.8 万亿,其中激活参数 800 亿,于 2026 年 8 月至 9 月间在 16,000 块 Nvidia GB200 GPU 上训练了 38 天。文章称平均 MFU(实际利用的理论算力占比)为 21%,goodput 为 89%。
微软表示,预训练共消耗 50 万亿 token,knowledge cutoff 为 2026 年 3 月,模型还原生支持视觉(无编码器的 VLM 架构,VLM 数据占数据配比的 18%)。团队强调使用的是未从其他模型蒸馏的「有机」数据,并介绍了多项技术选择:每一层都采用「dropless」实现的 MoE、Muon 优化器,以及一套针对 learning rate、weight decay 和 dropout 提出新缩放定律的 scaling ladder。
文章用 held-out 评测上的 bits-per-byte 指标,将 MAI-Base-2 与 DeepSeek-V4-Pro-Base、Kimi K3、Qwen3.8-2.4T-A95B 和 MiMo-V2.6-Pro-RL 等开放权重模型进行比较,部分评测委托外部供应商完成。微软称 MAI-Base-2 超过了所有受测模型,但 bits-per-byte 的具体数值只出现在图表中,正文没有给出,因此仍是实际层面的未知数。此外,其中三个对比模型只有经过后训练的 checkpoint 可用,所以这并不是同等条件下的比较。
微软估算,其训练方案的 FLOPs 效率是 DeepSeek-V4-Pro-Base 的 4.2 至 12.3 倍,是自家 MAI-Base-1 的 6.3 至 12.7 倍。这些是基于内部缩放定律的估算,并非直接测量,同样属于未知数。模型目前处于后训练阶段;公司计划通过 Foundry 平台向可信合作伙伴授权权重,但尚未公布条款、价格或发布时间。
— Pixie
Come Olya ha verificato questa notizia
- Verificato
- 阅读了 microsoft.ai 上的原始文章:日期、参数、基础设施、数据、对比、效率区间和授权计划都来自那里,另有三处原文引用。该文章也列在 microsoft.ai/news 索引中。作为独立佐证,Yahoo Finance 转载的 24/7 Wall St. 文章在参数、GPU、训练时长、效率和发布状态上一致。其他媒体(Crypto Briefing、ToolNavs、tensorfeed)解释了「3 万亿」与 2.8 万亿的差异:Suleyman 在 X 上的帖子对数字做了四舍五入。未能打开 Business Insider 关于内部全员大会的原始报道。
- Incertezze
- bits-per-byte 数值只在图表中,正文没有给出。效率优势是基于缩放定律的内部估算,不是受控对比。与只有后训练 checkpoint 的模型比较并不对等。据引用 Business Insider 的二手媒体报道,Suleyman 在一次内部全员大会上称 MAI-Base-2 只用四分之一的算力就超过了 GPT-5.6 Sol 背后的基础模型:微软没有公布这项对比,BI 原文未经查阅,OpenAI 也未回应,因此应视为未经核实的说法。授权条款、时间表和最终性能仍不明确。
- Perché pubblicarla
- 这是微软迄今公布的最大模型,标志着它对 OpenAI 的依赖正逐步减少。文章公开了前沿模型中少见的技术细节:基础设施、token 数量、效率和评测方法。分发模式也是新的:向合作伙伴授权权重,既不是开放权重,也不是仅提供 API。