Ling-3.0-flash-base：螞蟻集團的低調檢查點發佈，現已正式

螞蟻集團的 inclusionAI 實驗室推送了Ling-3.0-flash-base及其他五個同系列 checkpoint 至 Hugging Face，日期為 2026 年 8 月 11 日，且未附帶任何公告。整整一週，六個儲存庫的下載量都掛零——實驗室以外似乎沒有人注意到。接著在 8 月 19 日，該實驗室的官方帳號公開介紹了這個系列，其中每張模型卡都在幾分鐘內獲得更新。這是一篇關於此次發布、彙整目前已知資訊的報導。先說重點：Ling-3.0-flash-base不是聊天模型，也無意成為聊天模型。它是 Ling-3.0-flash 的原始、對齊前基礎 checkpoint；Ling-3.0-flash 是一個具有 124B 參數的混合專家（Mixture-of-Experts）模型，活躍參數為 5.1B，以 MIT 授權釋出，供想要繼續訓練它、而非直接呼叫它的人使用。

時間線：沉默一週後，發布公告

順序很重要，因為它告訴你如何解讀本文中的其他一切。這六個儲存庫都是在 8 月 11 日建立的，而Ling-3.0-flash-base的權重——也就是本文標題所指的那個合併檢查點——於 8 月 12 日以一個「初始模型發布」提交的形式上線。這一切沒有任何部落格文章、社群貼文或公告伴隨。一週後進行研究時，六個儲存庫的下載次數仍全部顯示為零。

那份沉默在8月19日結束。螞蟻靈（Ant Ling）官方帳號公開宣布了檢查點集合，六個儲存庫的Hugging Face模型卡也在幾分鐘內相繼更新——時間戳幾乎完全對齊。因此，誠實的說法是：權重在低調中發布，公告遲了一週，而目前關於此次發布所能知道的一切，都來自模型卡本身以及一個簡短的訓練食譜儲存庫。除此之外，目前尚無任何內容經獨立驗證。

實際交付內容：六個檢查點、三個訓練階段

InclusionAI 將這次發布描述為 Ling-3.0 系列（其迄今為止最高效的語言基礎模型系列）的「訓練過程中的檢查點集合」。對於其中最小的兩個尺寸——Ling-3.0-tiny和Ling-3.0-flash——該實驗室發布了三個檢查點，每個訓練階段一個：

• 預訓練 — Ling-3.0-flash-base-30T 和 Ling-3.0-tiny-base-30T：已完成大規模預訓練；無中期訓練、無合併、無後期訓練。

• 中期訓練 — Ling-3.0-flash-base-midtrain 與 Ling-3.0-tiny-base-midtrain：已完成中期訓練階段；未進行檢查點合併，也未進行後期訓練。

• 合併 — Ling-3.0-flash-base和Ling-3.0-tiny-base：WSM 合併的基礎檢查點，由中期訓練權重產生，代表後期訓練之前的最終基礎狀態。

這六個都是基礎檢查點（base checkpoints）。沒有一個經歷過對齊階段——監督式微調、偏好最佳化、強化學習（RL）——也就是將基礎模型轉變為可供使用者直接使用的東西的階段。模型卡上以直白的措辭如此說明：不建議直接用於終端使用者的聊天部署、未經額外對齊與評估的安全關鍵應用，或未經後續訓練與任務特定驗證的生產用途。

什麼是基礎檢查點——以及為什麼 WSM 的轉折很重要

如果你只曾透過 API 使用模型，「基礎檢查點」（base checkpoint）聽起來可能像是你已熟悉模型的較小或較舊版本。其實都不是。基礎檢查點是預訓練階段產出的未對齊神經網路權重檔案；你實際使用的指令遵循、工具呼叫行為，是之後才疊加在其上的。釋出基礎檢查點，是實驗室將原始材料交給研究社群的方式，讓他們得以自行進行持續預訓練、微調、蒸餾與強化學習。

這個版本之所以比典型的基礎權重發布更有意思，在於其背後的訓練配方。InclusionAI 採用了一種它稱之為 Warmup-Stable and Merge（WSM）的技術，以加權檢查點合併取代了傳統訓練結束時的學習率衰減。簡言之：該實驗室不是讓學習率逐步調低來結束訓練，而是以穩定的學習率訓練，在最後階段保存檢查點，並以已學習的權重將它們合併。供應商在模型卡中闡述的動機如下：

• 由於沒有衰減階段來「固定」最終的資料組合，所產生的基礎模型更適合持續的預訓練與動態資料擴展。

• 由於合併配方可以在離線狀態下探索，團隊可以比較不同的衰減輪廓都無需重新執行昂貴的訓練，每一種

第二點正是使此次發佈成為研究產物而非單純新奇事物的關鍵：這些檢查點的全部意義在於它們勢必會被繼續訓練，而這套配方也正是為容受此過程而設計的。

Ling-3.0-flash-base 裡面有什麼

此架構與訓練後的 Ling-3.0-flash 完全相同，在該模型的廣泛報導中應該已經相當熟悉。從模型卡片和 config.json：

• 大小 — 據供應商所述，總參數為 124B（磁碟上的完整檢查點，含嵌入層，在 Hugging Face 上約為 127B），其中每個 token 啟動的5.1B 參數。

• Sparsity — 一個 1/64 稀疏 MoE：512 個路由專家，每個 token 啟動 8 個路由專家和 1 個共享專家。

• Attention — 一種原生混合線性設計：在42個Transformer層中，以5:1的重複模式包含35個Kimi Delta Attention (KDA)層和7個Gated MLA層。

• 上下文 — 該配置攜帶256K標記的位置嵌入（262,144），與後訓練的兄弟模型具有相同的原生上下文。

• 權重 — BF16，以 28 個 safetensors 分片提供（磁碟上約 255 GB），並搭配自訂的 bailing_hybrid 建模程式碼，這些程式碼隨附於儲存庫中。

• 授權 — MIT，無額外使用限制。

關於參數規模數字，有一點需要誠實提醒：供應商的模型卡上寫的是「Total 124B」，而這個數字廣為流傳——但如果把嵌入層也算進去，儲存庫上 safetensors 的總參數數量大約是 127.5B。124B 是非嵌入層的總數，這兩個數字並不互相矛盾；只是當你在側邊欄或下載器裡看到「127B」時，最好知道它指的是哪一個。

它適用於什麼，不適用於什麼

模型卡片的建議使用案例非常明確：

• 繼續預訓練

• 訓練中期

• 監督式微調用於領域適應

• 偏好優化與 RL 後訓練

• 蒸餾研究

• 長上下文與 MoE 系統研究

而其「不建議原樣使用」的清單同樣明確：直接部署給終端使用者的聊天應用、未經對齊的安全關鍵應用、未經後續訓練的生產環境使用。換句話說，這是供訓練模型的人使用的原材料，而非供人直接部署的模型。如果你沒有計畫要微調或預訓練任何東西，那麼這裡沒有什麼需要你下載的——這也完全沒有問題。

故事的另一半是無縫擴展的設計。InclusionAI 表示，Ling-3.0-tiny-base 與 Ling-3.0-flash-base採用相同的訓練配方，因此社群可以先在佔用 GPU 記憶體少得多的 tiny 檢查點上驗證持續預訓練或微調策略，然後再將同一套已驗證的配方擴展到更大的 flash 檢查點。這是一個刻意的流程設計選擇，而非發佈流程的偶然結果；對於任何真正想進行實驗的人來說，這是該模型系列中最有價值的特性。

硬體現實，以及大多數人真正想要的路線

無法迴避 flash 基礎權重的大小。BF16 約 255 GB 意味著在開始之前就需要一台高階多 GPU 節點（或記憶體最佳化的訓練配置）；基礎檢查點沒有官方的 FP8 或 FP4 量化——組織目錄中現有的量化變體是針對訓練後模型的。微調範例位於 inclusionAI/ling-cookbook GitHub 儲存庫中，該儲存庫明確地仍在開發中。如果持續預訓練不是您團隊的重點，基礎檢查點就不是您的切入點。

大多数阅读 Ling-3.0 系列相关内容的人根本不需要基础检查点——他们想要的是能对话的模型。这就是经过后训练的 Ling-3.0-flash，可通过供应商自己的 API 和多个第三方平台获取。当这样一款快速、新发布的开放权重模型出现时，要拿它与现有技术栈做对比，最省钱的办法就是把它和你已经在用的系统并排运行——而这正是路由器的用途：一个 API、一个密钥、自动故障转移，这样供应商的一次小故障也不会中断试用。OrcaRouter 以此方式连接 200 多个模型，并以 0% 加价直接传递供应商的标价，所以你看到的价格就是供应商自己的价格，而供应商的返佣当天就会落到我们这边。

什麼尚未確認

考量到就發布公告的時間而言，此版本才發布一天，未經證實的清單很長，應視為待辦事項清單，而非批評：

• 基礎檢查點沒有獨立的基準測試。模型卡內嵌了一張供應商基準測試圖表，將Ling-3.0-flash-base與預訓練的同類模型在數學、程式碼、推理、多語言和長上下文套件上進行比較——但這是供應商自己的評估，託管在內部圖片伺服器上，沒有方法論章節，也沒有第三方複現。

• 尚無社群重現版本。截至研究時間，全部六個儲存庫的下載次數皆為零，基本上沒有任何互動。該發布版本過新，尚無人能在這些權重之上發布獨立的微調或持續預訓練運行。

• 工具鏈尚處於早期階段。該 bailing_hybrid 架構隨附自訂建模程式碼，因此你依賴於 trust_remote_code 或依賴於已新增支援的框架。微調食譜明確地仍在進行中。

• 這項公告本身內容單薄。公開介紹僅以 X 貼文串和模型卡的形式發布；除了模型卡所載內容之外，沒有獨立的發布文件說明訓練資料、運算資源或確切的合併配方。

相比之下，經過後續訓練的姊妹模型確實有獨立的實績記錄：Ling-3.0-flash 經 Artificial Analysis 追蹤，Intelligence Index 為 38——這個數字來自排行榜，而非供應商。而這些目前對 Ling-3.0-flash-base 而言都還不存在；基礎檢查點未在任何地方提供服務，因此也不在任何排行榜上。這兩個成品處於完全不同的驗證階段，最好不要將它們混為一談。

誰應該現在就行動？

三個群體應以不同方式閱讀此文：

• 進行持續預訓練、領域 SFT 或蒸餾的研究人員——這就是為你推出的版本。WSM 合併基礎檢查點專為進一步訓練而打造，tiny-then-flash 配方則提供了一種在擴展之前驗證方法的低成本方式。從 Ling-3.0-tiny-base，證明配方可行，然後再移至 Ling-3.0-flash-base。

• 想要可用模型的工程師——您想要的是訓練後的 Ling-3.0-flash，而非此版本。基礎檢查點不會遵循指令，也未在任何地方提供服務；請勿將 API 用戶端指向它們。

• 其他人——有用的做法是觀察。接下來幾週值得關注的信號包括：基於這些權重進行的首次獨立微調、社群對供應商基準測試圖表的重現，以及第三方訓練堆疊是否會為 bailing_hybrid 架構提供一流水準的支援。

常見問題

Ling-3.0-flash-base 和 Ling-3.0-flash 之間有什麼區別？

Ling-3.0-flash是後訓練模型——透過監督式微調和強化學習對齊，能遵循指令、執行工具呼叫，並透過 API 提供服務。Ling-3.0-flash-base是相同架構在更早階段的版本：它是在任何後訓練之前最終合併的基礎檢查點，不會表現得像聊天模型。提供基礎模型是為了讓研究人員可以自行進行持續預訓練、微調或蒸餾，而不必從零開始。

為什麼實驗室會發布未經過後期訓練的檢查點？

因為後訓練正是大多數研究人員自己想要進行的步驟，而基礎檢查點是進行此工作的正確起點。分別發布預訓練、中間訓練與合併後的檢查點，能讓團隊選擇符合其工作的階段：從預訓練權重繼續預訓練，或從合併後的基礎模型進行微調與強化學習（RL）——而且，得益於 WSM，不會受到學習率衰減的限制；這種限制會使基礎模型在進一步訓練時變得脆弱。

我可以在消費級硬體上運行 Ling-3.0-flash-base 嗎？

實際上不行。BF16 權重分布在 28 個分片中，總共約 255 GB，且基礎檢查點沒有官方的量化版本。較小的兄弟模型Ling-3.0-tiny-base，才是為在較入門硬體上進行實驗而設計的——它與 flash checkpoint 共用訓練配方，因此經過驗證的實驗可以順利擴展。

Ling-3.0-flash-base 可以免費商業使用嗎？

是的——它是根據 MIT 授權發布的，沒有附加任何可接受使用條款。這涵蓋了研究用途，原則上也涵蓋了對權重及基於這些權重建構之任何微調模型的商業使用。它是一個基礎檢查點，所以這裡的「使用」指的是在其上進行訓練；該授權對託管 API 隻字未提，因為基礎模型本身並不存在此類 API。

底線

對大多數讀者而言，Ling-3.0-flash-base 是一個方向指標，而非產品：它說明了 Ling-3.0 家族的發展方向，以及實驗室期望社群如何在此基礎上繼續建構，但這裡沒有什麼是可以透過 API 呼叫的。對於實際從事持續預訓練、微調或蒸餾的少數人來說，這是一個真正有用的釋出——六個檢查點、MIT 授權、刻意設計成可進一步訓練，並提供一條以最小規模起步的路徑，讓實驗成本可負擔。要讓它從「有用的釋出」升級為「經過驗證的配方」，恰恰是今天所缺少的：由實驗室以外的人獨立重現 WSM 檢查點在持續訓練下能達到的效果。