跳到正文

微软 2.8 万亿参数模型完成预训练:6000 块 GB200 训 38 天,效率是 DeepSeek 的 4 到 12 倍

微软宣布完成新一代基础模型 MAI-Base-2 的预训练。混合专家架构,总参数 2.8 万亿,激活参数 800 亿,在 6000 块英伟达 GB200 组成的集群上跑了 38 天。整个训练过程中,平均浮点算力利用率 21%,核心环节有效吞吐量 89%。

微软自己给的对比是:这套预训练方法的算力效率是 DeepSeek-V4-Pro-Base 的 4 到 12.3 倍。

「不靠堆卡」的三个理由

官方把成功归因于三件事:科学化的规模化、模型与基础设施的协同设计、数据规模化。翻成普通话就是——训练配方、软硬协同、数据配比三条线同步调,而不是单纯多插卡。

21% 的平均 MFU 在万卡级集群上不算难看的数字。大集群的通病是通信和故障拖慢有效算力,能把有效吞吐稳在 89%,说明工程侧确实下了功夫。这也解释了为什么微软敢把「效率」当卖点,而不是只说「我们也有万亿模型」。

苏莱曼在员工大会上的那段话

微软 AI 主管穆斯塔法·苏莱曼在周四的内部员工大会上说得更直接:这个预训练基座的性能超过了目前驱动 GPT-5.6 Sol 的模型,而训练它用的算力只有 OpenAI 的四分之一。

他还提到,微软私下也把 MAI-Base-2 和 OpenAI 的模型做过对比测试,包括内部代号 Spud 的那一款,在衡量理解和预测信息模式的测试里微软表现更好。他补充说,这些比较基于微软掌握的关于 OpenAI 模型的技术信息。

这段话有立场。微软向 OpenAI 投资了上百亿美元,持股价值可能超过 1000 亿美元,任何对 OpenAI 的公开贬低都会影响这笔资产。所以苏莱曼选了「内部员工大会」这个场合——既传到了该听的人耳朵里,又没走到公开发布会那一步。

关系的裂痕

过去一年,两家的关系一直在松动。微软一边继续在 Azure 上卖 OpenAI 的模型、在 Copilot 里用 OpenAI 的模型,一边加速自研。MAI-Base-2 目前还在后训练阶段,没有对客户开放,官方说它在留出集上的预训练表现强于所有参测的开源权重模型。同时,下一代 MAI-Base-3 的筹备已经启动。

效率数字为什么重要

如果 4 到 12 倍这个区间站得住,行业竞争的落点会挪位置:从「谁有更多卡」变成「谁能把卡用得更满」。这对算力受限的一方是唯一能走的路,也是为什么 DeepSeek 的 MoE 和稀疏注意力路线一直被反复研究。

反过来看,微软拿 DeepSeek 当效率标尺这件事本身也说明,中国团队在「用更少的算力达到同样效果」这条赛道上,已经是别人绕不开的参照物。而效率之所以变成主题,是因为钱的那一头开始紧了——AI 数据中心交易的热潮刚迎来第一次压力测试。