MAI-Base-2 完成預訓練：Microsoft 的 4–12 倍效率宣稱，但少了模型

10 月 15 日流傳的數字是「3T」。MAI-Base-2，Microsoft AI 的新內部基礎模型，就是其背後的模型——而該公司自家的技術文章指出，它總共有 2.8 兆個參數，其中 800 億個為活躍參數。這個四捨五入無關緊要；更有用的是同一篇文章包含與不包含什麼。MAI-Base-2 已完成預訓練，目前正在進行後訓練，而且沒有檢查點、沒有價格、沒有授權，也沒有附上日期。主要宣稱是，其預訓練 FLOPs 效率具有 4–12 倍優勢，勝過 DeepSeek-V4-Pro-Base，而後者是唯一已發布、參數超過一兆的基礎預訓練檢查點。關於那項宣稱的一切都是廠商估計，而該文章對它是如何產生的異常明確。這是截至 2026 年 10 月 16 日公開紀錄所能支持的情況——以及其中兩個微軟沒有放進標題的數字。

微軟實際上發佈了什麼，以及它沒有發佈什麼

主要來源是 Microsoft AI 自家網站上的一篇 Lab Notes 文章，日期為 2026 年 10 月 15 日，標題為〈Microsoft AI 的前沿預訓練〉。Mustafa Suleyman 同日下午宣布此事，並表示 MAI 如今擁有「3T 參數權重級別、完全由 MAI 內部打造的最先進預訓練基礎模型」，最後以「後訓練結果即將公布」作結。這就是這則報導的全部依據，而它是一家公司在描述自身的工作——下文所述的技術主張未經 MAI 以外任何人重現，公開紀錄中也沒有對此模型的獨立評估。

尚未存在的那部分，正是大多數讀者最想要的：

• 權重 — 無。沒有儲存庫、沒有檢查點、沒有量化，亦無任何形式的下載。

• 產品或 API——都沒有。沒有端點、沒有定價頁面、沒有模型卡。

• 授權——未說明。該文章表示，擁有這條管道「將使我們能夠透過 Foundry 將我們的模型權重授權給可信賴的合作夥伴」，這是表明的意圖，而非一項公告。

• 日期——沒有提供後訓練結果的日期，沒有提供 Foundry 可用性的日期，也沒有提供 MAI-Base-3 的日期。

• 任何人都能重跑的基準測試——沒有。評估介面有描述，而原始分數並未以第三方能重現的形式公佈。

所以，今天對 MAI-Base-2 最準確的描述就是一個詞：未完成。預訓練——這個耗時數月、昂貴的階段，將原始文字和圖像轉化為基礎模型——已經完成。後訓練是基礎模型變成可以與人對話的東西的階段，而這個階段現在正在進行中。這個區別很重要，因為它正是有趣的失敗模式所在之處，也因為基礎檢查點和聊天模型不是可以互相比較的對象。

「4–12 倍更 FLOPs 高效」實際上衡量的是什麼

這是個將在各處被反覆引述的說法，因此值得精確釐清它的樣貌，因為它並不是一場正面對決的基準測試。

來自該貼文的定義：微軟使用 bits-per-byte 這種與分詞器無關的指標，在留出文本上比較預訓練模型——數值越低越好。留出的程式碼取自 MAI 自家的程式碼庫；STEM、數學與問答集則委託外部供應商製作，「以降低訓練集汙染的風險」，而且所有評估集都相對於訓練資料進行了去汙染處理。這是比大多數發布貼文所包含的更謹慎的評估描述，而這仍然是該公司在自己的留出集上為自己的工作打分。

效率數字是推導而來的，並非直接量測而得。針對四項留出評估中的每一項，MAI 都以其內部模型階梯為範圍，擬合了一條「每字節位元數（bits-per-byte）對訓練 FLOPs」的縮放定律，並將 MAI-Base-2 自身的最終效能納入擬合，使匹配點落在擬合範圍之內而非之外，然後估計其模型階梯上的模型需要多少運算量才能匹敵 DeepSeek-V4-Pro-Base。與該模型實際的訓練運算量相比，結果是 FLOPs 效率高出 4.2–12.3 倍；相較於六月推出的 MAI-Base-1，改善幅度為 6.3–12.7 倍。標題中的「4–12x」就是第一個範圍經四捨五入後的結果。

關於這件事，有三件事值得銘記：

• 這是根據擬合曲線得出的估計值，而非在受控條件下訓練的兩個模型。該文章對這一點很坦率，甚至提到參考模型「仍以顯著少於 MAI-Base-2 的 FLOPs 進行訓練」。

• 依規則，比較集很窄。只有總參數量至少達一兆的模型，且僅限於 2026 年 10 月前可取得的前沿檢查點，才符合資格。DeepSeek-V4-Pro-Base 是唯一符合資格的已發布基礎預訓練檢查點。

• 與之相比較的名稱中，有三個僅以訓練後檢查點的形式存在。 Kimi K3、Qwen3.8-2.4T-A95B 與 MiMo-V2.6-Pro-RL 的報告都附有廠商明確的但書，指出後訓練可能影響了評估結果。在下一詞預測指標上，拿全新的基礎檢查點與後訓練過的模型相比，並非同基準的較量，而 Microsoft 選擇明說這一點，而不是任由圖表暗示相反的情況。

這些都無法證明該說法是錯的。它只讓它成為一項主張——一種讀者應視為方向、直到有人重現它為止的主張。

微軟略而未提的那個算力數字

那篇文章提供了計算 MAI-Base-2 訓練執行所需的全部資訊，卻沒有實際把它算出來。該次執行使用 16,000 張 GB200 GPU，為期 38 天，時間是 2026 年 8 月和 9 月，平均模型 FLOPs 利用率為 21%，而該利用率是對照 GB200 在 BF16 下理論上的 2.5 PFLOPS 進行正規化。

把這些數字乘開——16,000 個加速器，每秒 2.5 × 10¹⁵ FLOPs，乘上 38 天，再乘上 0.21——這次運行意味著約 2.8 × 10²⁵ FLOPs 的訓練算力。這個數字是我們根據該文章自身輸入所做的算術結果，並非微軟公布的數字。這是一個下界，因為該文章自己對 MFU 的定義排除了花在重算與優化器上的 FLOPs。而且它遠高於歐盟《人工智慧法》用來推定通用人工智慧模型具系統性風險的 10²⁵ FLOPs 門檻：大約是該界線的兩到三倍，而且只是來自單一次預訓練運行。

說清楚這代表什麼、不代表什麼：對於沒有人能取用的模型，並不附帶任何義務。其重點在於，算力總量是文中唯一一個可從已公布輸入值直接計算得出、而非擬合推估的數字；而當繼承這個基礎的模型最終推出時——無論是透過微軟自家產品，或是提供給 Foundry 合作夥伴——這就會是監管機關的起算數字。

模型裡面實際上是什麼？

把效率論證拿掉，這篇貼文就是對三個工程問題相當詳盡的陳述，而無論誰在基準測試中勝出，這都是具有長遠價值的部分。

• Scale — 一個 MoE 基礎模型，具備 800 億個活躍參數與 2.8 兆個總參數，比 MAI-Base-1 更大且更稀疏。

• 每一層都採用混合專家（MoE）——MAI-Base-1 交替使用稠密前饋區塊與 MoE 區塊，因為其 MoE 實作速度不夠快，不足以正當化採用更多 MoE。修正動態路由的記憶體碎片化與各專家的額外開銷，並依每個專家群組將運算與通訊分組，使 MoE 層的 MFU 從 24% 提升到 35%，這正是讓每一層都採用 MoE 成為時間最佳選擇的原因。

• 固定記憶體的無丟棄 MoE — MAI 並非丟棄溢出的權杖，也不是為最壞情況過度配置，而是將專家分組，並針對溢出執行額外的分派-計算-收集回合，借用同一群組中其他專家未使用的容量。在任意路由不平衡的情況下，記憶體使用量都是靜態的；該文章反對丟棄權杖的論點在於，這會可量測地損害品質。

• 大規模下的 Muon —— 優化器會被重新分片、轉換為 BF16、以 all-to-all 交換、在本地正交化後再傳回。優化之後，它佔平均訓練迭代的 2.1%，即 165 毫秒，而理論峰值為 55 毫秒；該文指出後者受通訊瓶頸所限。Muon 之所以勝過 AdamW 而被採用，是為了獲得更穩定的動態。

• 激活梯度裁剪 — 在選定的激活上進行裁剪，而不是在全域批次正規化上，這將梯度範數保持在比 MAI-Base-1 更窄的範圍內，而且這種好處隨著規模擴大而增加。它還被證明是一種資料品質診斷工具：一個格式錯誤的訓練樣本，其授權標頭在句子中間被截斷，透過一個程式碼資料提取請求追溯回去，揭示了一個此後已被修復的前處理錯誤。

• 資料 — 一個在獨特訓練 token 上比 MAI-Base-1 多約 36% 的語料庫，餵入 50 兆 token 的混合資料，知識截止點為 2026 年 3 月。該公司表示，其資料管線使用的是有機資料，未從其他模型蒸餾，並在內部處理；且其專有爬蟲遵守 robots.txt，並排除 USTR 惡名市場清單上的來源。

• 從一開始就具備視覺能力——有別於 MAI-Base-1，此模型透過無編碼器架構，原生地以視覺進行預訓練。視覺語言語料庫包含 4.5 兆個不重複 token，並占 50 兆 token 混合資料的 18%，涵蓋圖像字幕生成、圖表理解、視覺定位、空間推理、醫療理解、電腦操作與樂譜閱讀。

此外還有以閉式解形式發表的超參數縮放定律：最佳學習率乘以權重衰減等於 17.04 除以訓練步數，最佳學習率遵循每個活躍參數的 token 數與步數的對數線性函數，而 dropout 是活躍參數對數的 sigmoid 函數。把這些發表出來，是這篇文章中最可重複使用的一項——一個縮放階梯，其階級僅以層數命名，其中隱藏層大小固定為層數的 256/3 倍，查詢頭數等於層數四捨五入至最接近的 16 的倍數，這是其他實驗室可以測試的配方。

為什麼基礎檢查點不是產品，以及接下來會發生什麼

MAI-Thinking-1 是微軟今年稍早推出的推理模型，它是在 MAI-Base-1 之上後訓練而成。該貼文寫道，MAI-Base-2 現在是「我們下一代模型的基礎」，這意味著人們實際能夠使用的模型不是 MAI-Base-2，而是微軟在其之上後訓練出的任何模型，而那個名稱尚未公布。

發佈管道也已確定，且並非開放權重。所述計畫是透過 Foundry 將權重授權給「受信任的合作夥伴」，這描述的是一條企業採購途徑，而非下載。文中沒有任何地方承諾公開權重，而對資料來源的重視以及未採用蒸餾的做法，讀起來正是在為這類授權方案奠定基礎。

接著是 MAI-Base-3。貼文提到它的只有一句話：「MAI-Base-3 的籌備工作已在進行中。」沒有參數、沒有算力、沒有資料、沒有時程——這是一個路線圖訊號，而非資訊。它真正確立的是節奏：MAI-Base-1 於六月發布，其後繼模型的預訓練據報已於十月中旬完成，而下一個週期也已在籌備之中。在這樣的規模下，大約每四個月產出一個基礎模型世代，才是這則貼文中比任何單一基準測試數據都更具份量的主張。

今天你可以稱之為什麼

MAI-Base-2 這件事裡沒有任何東西可供呼叫，而且值得直說：微軟的 MAI 模型目前都不在 OrcaRouter 的目錄上——我們不代管它們，而且無論如何，基礎檢查點並不是提供服務的模型。這篇文章確實給你一組比較對象，而其中大多數現在都能取得。微軟效率宣稱中的參考模型，也就是後訓練過的 DeepSeek V4 Pro，就在我們的目錄上，Kimi K3 和 Qwen3.8-Max也是，而這兩者是 MAI-Base-2 被拿來比較的開放權重模型中的兩個。

這讓那個說法有了低成本的驗證方式。一套 API 橫跨 200 多個模型意味著比較你實際能呼叫的項目，不需要第二份合約或第二套 SDK，而且因為 OrcaRouter 以 0% 加成將供應商的定價直接傳遞出去，而非在其上加價，這些供應商中任何一家的價格變動，當天就會在我們這邊生效。如果你想在決定是否等待 Microsoft 在 MAI-Base-2 之上推出什麼之前，先讓工作負載在這些模型的後訓練版本上運行，那正是基礎模型基準測試無法給你的比較——而路由 DSL 讓你能在答案改變時，透過設定而非程式碼在它們之間移轉流量。

什麼會改變這件作品？

四件事，按它們的重要性排序。

第一項是後訓練結果。10 月 15 日那篇文章所描述的一切，都是預訓練產物；其背後的模型是否擅長遵循指令、呼叫工具或進行長時間對話，則是另一個尚未在公開場合被提出的問題。

第二項是任何形式的取用——Foundry 上帶有價格的上架資訊、合作夥伴公告，或是附有授權條款的權重。到了那個時候，這就不再是一份研究報告，而會變成採購決策。

第三點是獨立量測。在供應商自家程式碼庫上的每字節位元數（bits-per-byte），連同供應商委託製作的 STEM 與數學資料集，並非外部實驗室今日所能查核。第三方若能重現與 DeepSeek-V4-Pro-Base 的縮放定律比較，便可確認這項效率主張；在那之前，這是一項可信、記錄完善、自我報告的估計。

第四項是 MAI-Base-3 的細節。「準備工作正在進行中」只是一句話，不是規格；而下下代正是四個月節奏能否維持的關鍵所在。

狹義而準確的摘要：微軟已完成其最大自有模型的預訓練，發表了一份異常技術性的說明交代其做法，聲稱相較於最佳開放基礎檢查點具有效率優勢，披露了一次約 2.8 × 10²⁵ FLOPs 的訓練運行，而該數字是透過貼文中並非由自己進行的運算得出，且未推出任何可供人使用的東西。

基準測試會過時，價格會波動，但失敗紀錄不會：這一類模型背後有據可查的 AI 事故與代理失誤，全都收錄於the OrcaRouter AI Incident Archive，其中每一筆紀錄都附有自己的來源、嚴重程度、可信度評級與爭議標記。