MAI-Base-2 完成预训练：微软宣称 4–12 倍效率，却未公布模型

10 月 15 日流传的数字是“3T”。 MAI-Base-2，是微软 AI 的新自研基础模型，正是其背后的模型——而该公司自己的技术文章称其总参数为 2.8 万亿，活跃参数为 800 亿。这个舍入无关紧要；更有用的是同一篇文章写了什么、没写什么。MAI-Base-2 已完成预训练，目前正在进行后训练，并且没有附带任何检查点、价格、许可证或日期。标题中的宣称是，其预训练 FLOPs 效率相比 DeepSeek-V4-Pro-Base 有 4–12 倍优势，后者是唯一已发布的、参数超过一万亿的基础预训练检查点。关于这一宣称的一切都是厂商估算，而这篇文章异常明确地说明了它是如何得出的。这就是截至 2026 年 10 月 16 日公开记录所支持的内容——以及其中微软没有放进标题的两个数字。

微软实际发布了什么，以及没有发布什么

主要来源是 Microsoft AI 自己网站上的一篇 Lab Notes 帖子，日期为 2026 年 10 月 15 日，标题为“Microsoft AI 的前沿预训练”。Mustafa Suleyman 当天下午宣布了此事，并表示 MAI 如今已拥有“3T 参数权重级别的最先进预训练基础模型，完全由 MAI 内部构建”，最后以“后训练结果即将公布”收尾。这便是整篇报道的全部依据，而它只是一家公司在描述自己的工作——下文中的各项技术主张均未得到 MAI 以外任何人的复现，公开记录中也没有对该模型的独立评估。

尚不存在的，正是大多数读者想要的那部分：

• 权重——无。没有代码仓库，没有检查点，没有量化，没有任何形式的下载。

• 产品或 API——都没有。没有端点，没有定价页面，没有模型卡。

• 许可证——未提及。该帖称，拥有这一流水线"将使我们能够通过 Foundry 向可信赖的合作伙伴授权我们的模型权重"，这属于已表明的意向，而非正式宣布。

• 一个日期——训练后结果没有，Foundry 可用性没有，MAI-Base-3 也没有。

• 任何人都能重新运行的基准测试——一个也没有。评估范围虽有所描述，但原始分数并未以第三方可复现的形式公布。

所以，如今对 MAI-Base-2 的准确描述只有一个词：未完成。预训练——那个耗资巨大、历时数月、将原始文本和图像变成基础模型的阶段——已经完成。后训练是基础模型变成一个人可以与之交谈的东西的阶段，而这一阶段现在正在进行。这一区分之所以重要，是因为那些有意思的失败模式恰恰存在于这里，也因为基础检查点和对话模型并非可以相提并论的对象。

“4–12x more FLOPs-efficient”实际衡量的究竟是什么

这一说法将会被到处重复，因此值得精确地界定它的形态，因为它并不是一次正面交锋式的基准测试。

帖子中的定义是：微软使用每字节比特数（bits-per-byte）这一与分词器无关的指标，在留出文本上比较预训练模型——数值越低越好。留出代码来自 MAI 自己的代码库；STEM、数学和问答数据集则是委托外部供应商构建的，“以降低训练集污染的风险”，并且所有评估集都已针对训练数据进行去污染处理。这比大多数发布帖所给出的评估描述都更谨慎，但它仍然是公司在用自己的留出集给自己的成果打分。

效率数字是推导出来的，而不是直接测量的。对于四项留出评估中的每一项，MAI 都在其内部模型阶梯上拟合了每字节比特数相对于训练 FLOPs 的缩放定律，并将 MAI-Base-2 自身的最终性能纳入拟合，使匹配点落在拟合范围之内，而不是超出该范围，然后估算了其阶梯上的模型需要多少计算量才能匹配 DeepSeek-V4-Pro-Base。与该模型的实际训练计算量相比，答案是 FLOPs 效率高出 4.2–12.3 倍；与 6 月发布的 MAI-Base-1 相比，提升为 6.3–12.7 倍。标题中的“4–12 倍”就是第一个范围四舍五入后的结果。

关于这一点，有三件事值得牢记：

• 这是从拟合曲线得出的估计，而不是在受控条件下训练的两个模型。该帖子对此坦诚相告，包括一个细节：参考模型“训练所用的FLOPs仍显著少于MAI-Base-2”。

• 按规则，比较集范围很窄。符合资格的仅限于总参数至少达到一万亿的模型，且仅限于2026年10月之前可获得的前沿检查点。DeepSeek-V4-Pro-Base 是唯一符合资格的已发布基础预训练检查点。

• 与之对比的名称中，有三个只以经过后训练的检查点形式存在。Kimi K3、Qwen3.8-2.4T-A95B 和 MiMo-V2.6-Pro-RL 在报告时都附有厂商的明确说明：后训练可能影响了这些评测结果。拿一个全新的基础检查点与经过后训练的模型在下一词元预测指标上作比较，并非同类之间的公平较量，微软也直言这一点，而不是任由图表暗示相反的情况。

这些都不能说明该主张是错的。它们只是让它成为一个主张——一种在有人复现之前，读者应将其视为方向性指引的主张。

微软遗漏的算力数字

这篇帖子给出了计算 MAI-Base-2 训练运行所需的一切，然后却没有计算它。该训练运行在 2026 年 8 月和 9 月使用了 16,000 块 GB200 GPU，历时 38 天，平均模型 FLOPs 利用率为 21%，该利用率是相对于 GB200 在 BF16 下的理论 2.5 PFLOPS 归一化得到的。

把这些乘起来——16,000 个加速器，每个每秒 2.5 × 10¹⁵ FLOPs，乘以 38 天，再乘以 0.21——这次运行意味着大约 2.8 × 10²⁵ FLOPs 的训练算力。这个数字是我们根据该文章自身给出的输入算出来的，不是微软公布的数字。它是一个下界，因为文章自己对 MFU 的定义排除了花在重计算（rematerialization）和优化器上的 FLOPs。而且它远高于欧盟《人工智能法案》用作通用人工智能模型系统性风险推定的 10²⁵ FLOPs 门槛：大约是该门槛的两到三倍，且仅来自一次预训练运行。

需要明确这意味什么、不意味什么：对于无人能够访问的模型，并不附带任何义务。其相关性在于，算力总量是文中唯一一个由已公布输入通过算术得出、而非拟合估算得出的数字；而当继承这一基座的模型最终发布时——无论是通过微软自家产品，还是面向 Foundry 合作伙伴——监管机构将从这个数字开始入手。

模型里面实际上是什么

撇开效率之争不谈，这篇帖子相当详细地记述了三个工程问题，而这部分才具有持久的价值，无论谁在基准测试中胜出。

• 规模——一个拥有 800 亿激活参数和 2.8 万亿总参数的 MoE 基础模型，比 MAI-Base-1 更大且更稀疏。

• 每一层都采用混合专家（MoE）——MAI-Base-1 交替使用密集前馈块和 MoE 块，因为其 MoE 实现速度不够快，不足以支持更多 MoE。修复动态路由的内存碎片和单专家开销，并按专家组对计算与通信进行分组后，MoE 层的 MFU 从 24% 提升到 35%，这才使每一层都采用 MoE 成为时间最优的选择。

采用固定内存的无丢弃 MoE——与其丢弃溢出的 token，或按最坏情况过度分配，MAI 会将专家分组，并针对溢出运行额外的 dispatch-compute-collect 轮次，从同一组内的其他专家那里借用未使用的容量。在任意路由不均衡的情况下，内存占用都是静态的；这篇文章反对丢弃 token 的论据是，它会明显损害质量。

• 大规模下的 Muon——优化器会被重新分片、转换为 BF16、进行全对全交换、在本地完成正交化，然后返回。优化之后，它占平均训练迭代耗时的 2.1%，即 165 毫秒，而理论峰值为 55 毫秒；文章称该理论峰值受通信瓶颈限制。之所以选择 Muon 而非 AdamW，是为了获得更稳定的动态表现。

• 激活梯度裁剪——在选定的激活上进行裁剪，而不是在全局批归一化上进行，这使梯度范数保持在比 MAI-Base-1 紧得多的范围内，而且收益随规模增长。它还成了一种数据质量诊断工具：一个格式错误的训练样本，其许可证头在句子中途被截断，通过一个代码数据拉取请求追溯回去，暴露了一个此后已被修复的预处理缺陷。

• 数据——一个语料库，在去重训练 token 上比 MAI-Base-1 的语料库大约多 36%，为一个 50 万亿 token 的混合数据提供输入，知识截止日期为 2026 年 3 月。公司表示，该数据管道使用的是有机数据，未从其他模型蒸馏，并在内部处理；其专有爬虫遵守 robots.txt，并排除 USTR 恶名市场名单上的来源。

• 从一开始就具备视觉能力——与 MAI-Base-1 不同，该模型通过无编码器架构，原生地以视觉进行预训练。视觉-语言语料库包含 4.5 万亿个唯一词元，占 50 万亿词元混合数据的 18%，涵盖图像描述、图表理解、视觉定位、空间推理、医学理解、计算机使用以及乐谱识读。

还有超参数缩放定律，是以闭式形式公布的：最优学习率乘以权重衰减等于 17.04 除以训练步数，最优学习率是每个活跃参数的 token 数与步数的对数线性函数，而 dropout 是活跃参数对数的 sigmoid 函数。把这些公布出来，是这篇文章中可复用性最强的一件事——一架仅以层数来命名各级横档的缩放阶梯，其中隐藏大小固定为层数的 256/3 倍，查询头数等于层数四舍五入到最接近的 16 的倍数，这是其他实验室可以检验的配方。

为什么基础检查点不是产品，以及接下来会发生什么

MAI-Thinking-1 是 Microsoft 今年早些时候推出的推理模型，它是在 MAI-Base-1 之上进行后训练的。该帖子称，MAI-Base-2 如今是“我们下一代模型的基础”，这意味着人们实际能够使用的模型并不是 MAI-Base-2——而是 Microsoft 在其之上进行后训练的任何模型，而那个名称尚未公布。

分发渠道也已经确定，而且不是开放权重。所述计划是将权重“通过 Foundry 授权给可信合作伙伴”，这描述的是一条企业采购路径，而不是下载。帖子中没有任何内容承诺公开权重，而对数据溯源的强调以及没有蒸馏这一点，读起来正是在为那种授权方式打基础。

接下来是 MAI-Base-3。帖子中关于它的唯一一句话是"MAI-Base-3 的筹备工作已经在进行中"。没有参数，没有算力，没有数据，没有日期——与其说是信息，不如说是一个路线图信号。它真正确立的是节奏：MAI-Base-1 于 6 月发布，其继任者的预训练据报已于 10 月中旬完成，而下一个周期已经在筹备之中。在如此规模下，大致每四个月就推出一代基础模型，这才是帖子中比任何单独一行基准测试结果都更具分量的论断。

你今天可以呼叫的对象

MAI-Base-2 这件事里没有任何东西是可以调用的，而且值得直说：微软的 MAI 模型如今没有一个在 OrcaRouter 的目录中——我们不托管它们，何况基础检查点本来也不是一个对外提供服务的模型。那篇帖子确实给你的是一组对照对象，而这组对象中的大多数现在就能访问。微软在效率主张中所用的参照模型，即经过后训练的 DeepSeek V4 Pro，就在我们的目录中，Kimi K3 和 Qwen3.8-Max同样也在，它们正是 MAI-Base-2 被拿来对照衡量的两个开放权重模型。

这让该说法有了一个低成本的检验方式。 一个 API 覆盖 200 多个模型意味着，要比较你实际能调用的东西，无需再签一份合同或再接入一个 SDK；而且由于 OrcaRouter 以 0% 加价率原样透传供应商的标价而非加价转售，这些供应商中任何一家调整价格，当天就会在我们这边生效。如果你想先在这些模型的后期训练版本上运行工作负载，再决定是否要等待微软在 MAI-Base-2 之上推出的任何东西，那么这正是基座模型基准测试无法给你的对比——而当答案发生变化时，路由 DSL 让你通过配置而非改代码就能把流量在它们之间切换。

什么会改变这件作品？

四件事，按它们的重要程度排序。

首先是后训练结果。10月15日那篇帖子描述的一切都是一个预训练产物；其背后的模型是否擅长遵循指令、调用工具或进行长对话，则是一个独立的问题，而这个问题尚未在公开场合被提出。

第二种是任何形式的获取——附有价格的 Foundry 上架信息、合作伙伴公告，或附带许可证的权重文件。到那时，这便不再是一份研究报告，而变成了一项采购决策。

第三点是独立测量。在厂商自己的代码库上、使用厂商委托构建的 STEM 和数学数据集测得的每字节比特数，如今外部实验室无法核查。若第三方能够复现与 DeepSeek-V4-Pro-Base 的缩放定律对比，这一效率主张便可得到确证；在那之前，它只是一个可信、有充分记录的自报估计。

第四点是 MAI-Base-3 的细节。"准备工作正在进行中"是一句话，而不是一份规格，而再下一代才是四个月节奏能否守住的关键所在。

简明而准确的总结：微软已完成其最大自研模型的预训练，发布了一份技术细节异常详尽的说明，声称相较最佳开源基础检查点具有效率优势，披露了一次规模约 2.8 × 10²⁵ FLOPs 的训练运行——而这一算力数字所依据的算术推算，帖子本身并未给出——并且没有交付任何可供人使用的东西。

基准测试会过时，价格会变动，但失败记录不会：这一类模型背后有据可查的 AI 事故与智能体故障，均收录于OrcaRouter AI 事故档案库，其中每条记录都带有各自的来源、严重程度、置信度评级和争议标记。