SkyRL 在八個節點上將 Mistral Large 4 的 AIME 成績提升了十一分：在 1T MoE 上進行 Day-0 RL 證明了什麼

Mistral Large 4 於 2026 年 10 月 6 日以 API 預覽形式發布，而其權重直到 10 月 29 日 14:51 UTC 才開放下載——這使得同日發表的強化學習報告，因作者未多加著墨的一個原因而值得注意：在那天下午之前，Mistral 之外沒有人有可發表的微調成果。該報告出自 NovaSky 的 SkyRL 團隊。八個 NVIDIA GB200 節點、在 NVFP4 檢查點上進行 LoRA 強化學習、由 vLLM 提供 rollout 服務，以及 AIME 2024 average@8 在 75 個訓練步驟內從約 64% 攀升至約 75%。在一個通常以零點幾分之差定勝負的基準測試上拿下十一分，要麼是本季度最有效的首日成果，要麼是最難以重現的成果，而這份報告照目前寫法，無法告訴你是哪一種。

它確實告訴你的內容是真的，也值得與它沒有告訴你的部分區分開來。硬體有具名。檢查點有具名。rollout 引擎有具名。訓練框架則被列為兩者之一。缺少的是獎勵函數、適配器秩、評估工具鏈，以及任何學習曲線——也就是另一個團隊若要嘗試相同訓練流程所需的四樣東西。所以這是一則附帶頭條數字的配方公告，而不是可供重現的套件。若把它當成前者來讀，它確實能提供有用資訊，說明在 2026 年底對一個兆級參數的專家混合模型進行後訓練要花多少成本。若把它當成後者來讀，你就會高估某一項任務上的某一個基準。

SkyRL 註記實際上寫了什麼

整段主張只需五行就能說完，所以這裡直接呈現，不加鋪陳：

• 硬體 — 8 個 NVIDIA GB200 節點，採租用而非自購，每個節點配備四顆 GPU，換算下來共 32 顆 Blackwell 晶片，以及約 6.1 TB 的總計 HBM（每顆 GPU 為 192 GB）。

• 檢查點——開放版本採用的 NVFP4 量化同款模型，共 610.1 GB、分為 32 個分片，而非 1,060.6 GB 的 FP8 母模型。這項選擇是關鍵所在：正是它讓 1T 模型得以裝進八個節點，還留有空間供啟用值、KV 快取，以及兩份 rollout 引擎權重使用。

• 方法 — 採用 LoRA 而非全參數 RL。只有適配器會接收到梯度，因此優化器狀態得以保持精簡，而凍結的基礎模型也能維持其量化形式。

• Loop — vLLM 負責產生 rollout；FSDP2 或 Megatron 負責訓練那一半。註記提供其中任一選項，這說明在撰寫結果時，訓練後端仍在替換中。

• 結果 — AIME 2024 average@8 在 75 個訓練步驟內從約 64% 提升至約 75%。

那份清單裡沒有任何一項是這次執行（run）的規格。沒有批次大小、沒有序列長度、沒有學習率、沒有策略梯度的群組大小，除了隱含的「AIME 答案可檢查」之外，也沒有說明獎勵是什麼。75 步這個數字很精確；但幾乎所有用來理解這個數字所需的資訊都不精確。

為什麼節點數量才是焦點，而不是 AIME 分數

一兆個參數這個數字，主要作用是嚇阻。FP8 檢查點是 1.06 TB，如果你有整座資料中心，這沒問題；如果只有一個機櫃，那就是個麻煩。NVFP4 檢查點把它減半到 610 GB，而 610 GB 是可以分散到八個節點上的量，不必靠分片技巧——那類技巧在通訊上付出的代價，比它們在記憶體上省下的還多。

這就是為什麼筆記裡有意思的那句話，並不是含有百分比的那一句。Hugging Face 已經為這個模型發布了一套監督式微調配方——透過 TRL 的 SFT trainer 使用 LoRA，在單一節點的八張 B300 GPU 上，基於 FP8 權重進行。因此，單節點 SFT 在權重發布還不到一天時，就已經有文件記載。沒有被記錄下來的是強化學習，而原因是結構性的：RL 需要一個與訓練器同時運行的推論引擎，以夠快的速度產生 rollout，才不會讓訓練所耗費的 GPU 時間被取樣所耗費的 GPU 時間比下去。SFT 讀取的是固定資料集。RL 則必須自行產生。

所以兩份公開配方之間的差異並不是八個節點對上一個節點。而是八個節點加上一套 serving stack，對上一個沒有 serving stack 的節點；而且這是在一項模型必須把三十道題各嘗試八次、才學得到東西的任務上。rollout 引擎才是新的成本重心，而把 vLLM 指名為生成器，正是這則筆記中其他團隊今天就能據以行動的部分。

人人都會做的比較，以及為何這種比較在兩個方向上都不公平

在發布權重之前，Mistral 已自行對這個模型進行強化學習（RL），而該公司對其具體安排說得很明確：大約是在 10 月 6 日預覽之後再多三週，並在法國算力上執行——公司以兆瓦而非 GPU 來描述這股算力，約 10 MW——而其他報導則把更廣泛的 RL 基礎設施規模放在 3,000 顆 GPU 等級。該次運行所公布的結果：

• Terminal-Bench 4.0 — 額外強化學習前為 28.3%，之後為 41%。

• BrowseComp — 之前 75%，之後 84.5%。

• B3 代理安全套件 — 之前 93.3%，之後 97.1%。

• 輸出長度——經過 RL 之後，每項任務的 token 數減少約 30%，對買家來說，這比任何準確度欄位都更重要。

把這一點放在 AIME 的 64 到 75 旁邊，誘惑就是去計算每提升一分所需的 GPU 小時比率。別這麼做，因為這兩次執行幾乎沒有共用任何變數。Mistral 的進步在於代理式終端機工作與瀏覽，由一家把獎勵設計掌握在內部的供應商量測，歷時三週。SkyRL 的進步則在競賽數學，由一位合作夥伴量測，使用租來的叢集，以及可由腳本驗證的獎勵。Terminal-Bench 上 13 分的提升與 AIME 上 11 分的提升，並不是同一項成就用不同單位表達；它們是不同的成就，只是恰好在規模上相近。

公允的解讀更狹隘，也更有用：在資料中心規模上進行三週的 RL，讓 Mistral 的終端分數提升十三分；而在八節點規模上進行數小時的 LoRA RL，則讓某位合作夥伴的數學分數提升十一分。這兩個數字說的是同一件事——這個檢查點對強化學習反應敏銳——而它們各自都無法說明對方的任何事。

AIME 2024 的 64 到 75 證明了什麼、又沒有證明什麼

先從算術講起，因為這是整件事中唯一不需要 GPU 就能核對的部分。AIME 2024 共有三十題。Average@8 表示每題取八次抽樣嘗試，因此回報的數字建立在 240 次完成之上。在這樣的樣本量下，接近 70% 的比例其抽樣誤差只有幾個百分點，這使得十一點的變動穩穩超出雜訊範圍。如果這兩個數字來自同一個測試框架，那麼該任務上的進步就是真實的。

這是最有力的說法，值得清楚地說出來，因為大多數零日主張甚至沒這麼好。現在來談限制：

• 這個模型沒有 Mistral 公布的 AIME 分數。64% 的基準線是 SkyRL 以其自家測試框架對基礎檢查點自行測得的結果，因此這個差值在內部是一致的，但在外部缺乏參照點——你無法拿它來對照廠商數據，因為根本不存在廠商數據。

• Average@8 不等於 pass@1。每題八次嘗試會美化任何取樣分佈寬廣的模型，而在競賽數學上，這兩個指標之間的差距通常為五到十五分。決定你是否會部署該模型的數字，是你在正式環境中給它的那一次嘗試。

• AIME 2024 已有兩年半歷史，且是後訓練資料中收錄比例最高的數學題集之一。2026 年的模型在其上取得好成績，只能證明這是一個可訓練的檢查點，並非對推理能力的定論。該筆記中沒有任何內容提及留存集或更新版本的評估。

• 一項任務、一次執行、一份獎勵。在可驗證的數學上做強化學習，是最容易的情形：獎勵既不需要評判者，也不需要評分標準，更不需要人。這個結果說明的是，這個模型在最廉價的強化學習訊號下能推進多遠；這確實是正確的第一個實驗，同時也是最不可遷移的一個。

重現它所需的條件，以及授權條款所允許的範圍

實用購物清單，是從這則筆記重建而來，而非由筆記本身所公布：

• NVFP4 檢查點 — 610 GB、32 個分片、無需申請開通，今天就能下載，不必通過 Hugging Face 帳號審核。

大約 32 張 Blackwell 等級的 GPU，橫跨八個節點，再加上互連網路，以免適配器同步侵蝕步驟時間。

• 適用於此架構、具備可用 NVFP4 路徑的 vLLM 建置版本。模型卡建議使用搭載官方容器的 vLLM，並將張量平行大小設為八，同時提到內嵌的推測解碼頭；廠商宣稱其吞吐量最高可達 1.9 倍——那個頭並不是 RL 迴圈所需的，但容器是。

• 適配器的秩與獎勵必須由你自行選擇，因為註記沒有說明。

授權問題比技術問題更容易釐清。Mistral 是以 Mistral Ecosystem Open-Weight License 發布此模型；這是一份修改過的 MIT 條文，允許商業使用、微調與衍生作品，且只有在以其為基礎經營模型即服務（model-as-a-service）業務時，才要求另外取得商業授權。內部微調、私有適配器、在租用節點上執行評估——這些全都落在授權範圍內。架設按 token 計費的 API 並販售你微調模型的存取權，則不在授權範圍內。若你的計畫屬於前者，授權不是你的問題。若是後者，它就是問題的全部，而且再多的 AIME 表現提升也改變不了這一點。

迴圈中之後會變得成本高昂的那一半

AIME 之所以是低成本案例，原因值得說明。其獎勵是一個答案字串，由腳本進行比對。沒有評審、沒有評分規準，流程中也沒有第二個模型，因此一次 rollout 的邊際成本就只有推理，別無其他。把同一套做法搬到代理式任務、開放式寫作，或任何以偏好評分的任務，獎勵就會變成一次模型呼叫——以 rollout 規模發出，每一步數千次，貫穿整個執行過程。這與訓練算力是截然不同的採購問題，也是多數團隊在預訂好 GPU 之後才發現的問題。

Mistral Large 4 本身不是我們提供的模型，所以本文並不是通往它的途徑——自行託管它意味著要使用 Hugging Face 儲存庫和供應商自己的 API。可路由的是這個迴圈的另一半。如果你的驗證器是評審模型而非指令碼，它就必須能在 rollout 量級下被呼叫：單一端點涵蓋 200+ 個模型，供應商列表價格直接傳遞、不額外加價，並且在單一評審端點於訓練步驟進行到一半時受到速率限制的情況下進行容錯移轉。你實際會用作評審的模型，都列在 OrcaRouter 模型目錄中，並附有上下文與價格。重點不是路由讓 RL 變便宜，而是獎勵訊號是 RL 執行中你無法排開的那一部分，所以它值得放在穩定介面之後。

接下來要看什麼

有三件事能讓這則有前景的筆記變成一個成果。SkyRL 團隊公布 adapter rank、獎勵定義和學習曲線，這將讓另一個團隊能嘗試同樣的訓練，而不是只能對它讚賞不已。第二個任務——理想上其獎勵不是字串比對——這將顯示該效果在與評審實際接觸後是否仍能成立。以及對已釋出的 checkpoint 進行獨立的 AIME 或更難數學評估，因為 64% 的下限目前是合作夥伴自己的測量，而要消除這項保留意見，唯一的方法就是由其他人來測量它。

在此之前，誠實的總結很短。權重才發布一天，一位合作夥伴用 LoRA 轉接器在八個租用節點上把一項數學基準提升了十一點，而尚無人重現這個結果。這比大多數開放權重發布在首週所提供的更多，卻比標題所暗示的更少。