權重已釋出，而且能裝進八張 Blackwell：深入剖析 Mistral Large 4 的首日 NVFP4 發布

過去一週發布的每篇自架指南，都在告訴你關於 Mistral Large 4 的同樣三件事：授權檔會回傳 404、不存在量化檢查點，而你寫的任何設定都只是從前一代模型借來的推測。截至 2026 年 10 月 29 日早上，這三點全都錯了。授權檔就在儲存庫裡——共 2,632 位元組——而且檢查點系列是真的：mistralai/Mistral-Large-4-1T-A52B，共 54 個 FP8 分片、1,060.6 GB，另有 NVFP4 同系列版本，共 32 個分片、610.1 GB。NVIDIA 的首日說明，也就是在同一句話裡祝賀 Mistral AI 團隊並提到 Hugging Face 上的 NVFP4 支援的那一篇，是這個故事最短的版本。有用的版本則是較長的那個：公開的配方實際上假設了什麼、價格在無人注意時發生了什麼變化，以及週二的自架建議中，哪些現在正明顯地誤導人。如果你想比較今天可路由的模型，而不是可下載的模型，OrcaRouter 模型目錄列出了我們服務的每個模型、其上下文視窗與每 token 價格，並為每條路由設定容錯移轉。

先從{{1}}日期{{/1}}談起，因為這正是大多數報導在兩個方向上都弄錯的部分。Mistral Large 4 於 2026 年 10 月 6 日作為 API 預覽發布——這是一個 1.05 兆參數的混合專家模型，每個 token 啟用 490 億個參數，若把嵌入層與輸出層計入則為 520 億；另有 16 億參數的視覺編碼器與 1M token 上下文視窗，價格為每百萬輸入 token 1.36 美元，每百萬輸出 token 4.18 美元。開放權重曾承諾於十月底前釋出。它們於 10 月 29 日 14:51 UTC 到來，比新聞報導所認定的 10 月 27 日晚了約兩天。這個時間差很重要，因為大量關於這個模型的文章都是在這段期間內寫成的。

今天早上 Hub 上實際上有什麼？

儲存庫的中繼資料比公告的說明文字更具資訊量，所以直接列在這裡：

• 主要檢查點 — mistralai/Mistral-Large-4-1T-A52B，54 個 safetensors 分片，磁碟上共 1,060.6 GB，標記為 fp8，儲存庫建立於 2026 年 9 月 30 日，權重最後寫入時間為 10 月 29 日 14:51 UTC，未設存取限制。

• 量化同源模型 — mistralai/Mistral-Large-4-1T-A52B-NVFP4，32 個分片，610.1 GB，儲存庫建立於 2026 年 10 月 15 日，並於今日 14:11 UTC 更新——比父儲存庫完成時間早了四十分鐘。

• 授權條款 — Mistral Ecosystem Open-Weight License，Mistral 將其描述為修改版 MIT 授權，且不附帶營收門檻。

• 架構，依據 params.json — 128 個專家，每個 token 路由其中四個，另加一個共享專家；72 層；隱藏大小 6,144；一個 30 層視覺塔，可接受高達 1,540 像素的影像；以及大多數層之間共享 KV。

• 對不上的數字——NVFP4 模型卡列出 39 種語言；公告則聲稱有 160+ 種。模型卡計算每個 token 啟用 490 億個參數；API 文件與廠商自己的表格卻說是 520 億個，而這是加上嵌入層與輸出層後的相同數字。Mistral 的文章將訓練歸功於 3,800 顆 Grace Blackwell GPU；幾家媒體將其四捨五入為 4,000 顆。這些都不致命，而每個差異都透露出哪份文件是由哪個團隊撰寫的。

610 GB 這個數字就是發行版

1.05 兆參數的模型，下載起來可不是任何人會輕描淡寫的那種規模。FP8 檢查點是 1,060.6 GB——在還沒有任何一個 token 的 KV 快取、活化值或碎片化之前，光權重就穩穩超過 1 TB。在八 GPU 的 Blackwell 節點上，這還裝得下，並剩下約 400 GB 的餘裕。在八張 H200 上，裝得下但幾乎沒有餘裕。NVFP4 檢查點則把這個數字降到 610.1 GB，而這項節省並非表面工夫：它關乎的是一個節點究竟是幾乎全被權重占滿，還是還能留下空間給模型所宣稱的 100 萬 token 上下文。

這個量化方案也比「4-bit」更為具體。根據這張卡片的說明，混合專家（MoE）權重採用 NVFP4，而線性層則維持 FP8，且 vLLM 的配置方案要求在 MLA 層使用 FP8 KV 快取。這是一套混合精度的服務堆疊，而非一概而論的降位轉換，而且它特別針對 Blackwell——B200、B300、GB200 與 GB300 就是被點名的型號。

對任何打算採購的人來說，有一個結果值得強調：官方配置方案仍要求八張 GPU。vLLM 公布時採用 tensor parallelism 8；SGLang 則採用 tp-size 4。這裡的量化主要不是為了減少節點數量，而是為了讓節點保留足夠記憶體，真正能夠服務長上下文；已公布的服務參數就是證據。

這份配方，逐一拆解每個旗標

這次發布與大多數開放權重模型的釋出不同之處在於，廠商隨附了 serving 指引，而不是把這件事留給社群自行處理。以下為官方公布的 vLLM 途徑：

• 映像 — vllm/vllm-openai:mistral-large-4

• 平行處理 — --tensor-parallel-size 8

• 快取 — --kv-cache-dtype fp8_ds_mla，並搭配 --gpu-memory-utilization 0.85

• 解析器 — --tool-call-parser mistral、--reasoning-parser mistral、--enable-auto-tool-choice

• 可選的推測 — --speculative-config '{"method": "dspark", "num_speculative_tokens": 3}'

SGLang 這條路徑的差異之處值得再讀一遍：

• 映像 — lmsysorg/sglang:mistral-large-4，使用 --tp-size 4 與 --mem-fraction-static 0.85

• 推測 — --speculative-algorithm DSPARK，在已發佈的命令中預設為開啟

• 服務限制 — --max-running-requests 64，並將推理與工具解析器皆設為 auto

三個警訊告訴你、但公告沒說的事

首先，DSpark 並不是一個獨立的模型。組態檔描述的是三個多詞元預測層，搭配一個小型循環草稿頭——馬可夫秩為 512——而這個草稿頭內嵌在檢查點本身之中。推測解碼通常意味著在大模型旁邊再跑一個較小的模型，並為它的記憶體付出代價。但在這裡，草稿頭已經包含在那 610 GB 之內，這也是為什麼推測功能的旗標只是一小段組態字串，而不是第二次部署。

第二點在於，注意力堆疊本質上是一個壓縮的故事。該設定包含一個稀疏索引器，在 32 個注意力頭上取 top-k 為 2,048，KV LoRA 秩為 512，並且在 72 層中的大多數層之間共享 KV——這種佈局已成為 DeepSeek 系模型中的標準做法。1M 上下文之所以可達，是因為注意力記憶體被積極共享，且 KV 快取採用 FP8，而不是因為模型有 TB 級的快取可揮霍。

第三個是算術。已發表的 YaRN 區塊將 512 個 token 的原生 RoPE 視窗擴展 2,048 倍，乘起來正好是 1,048,576——也就是宣稱的上下文長度。無論訓練排程看起來如何，你正在下載的設定是透過外推達到 1M 個 token；在你把一份 900,000 個 token 的文件丟給它，並假設模型以前看過這種形狀之前，這點值得知道。

價目表在指南撰寫期間發生了變動。

Mistral 的文件列出目前費率為每百萬輸入 token $0.70、每百萬快取輸入 $0.07，以及每百萬輸出 $2.10。10 月 6 日的公告則引用了 $1.36 與 $4.18 的牌價，並提供約為該價格一半的預覽折扣。把這兩份文件放在一起看，開放權重版本的發布不只是交付檔案——它將永久牌價調降至預覽期租用價位的水準。對任何依據十月公告編列預算的人來說，新的價目表大約是他們當初寫下數字的一半。

獨立評測呈現的結果，不如降價來得好看。Artificial Analysis 在其現行的 Intelligence Index（於 10 月 27 日重建的 v5 系列）上，給 Mistral Large 4 打了 26 分，指出完成一項 Index 任務需花費 2.06 美元，並測得每秒 161.3 個輸出 token，首個 token 耗時 1.42 秒。速度確實出色：每秒 161 個 token 超過比較組中位數的兩倍。但每項任務的成本則不然：2.06 美元落於同類模型的後四分之一，因為長時間推理的模型是把錢花在 token 上，而不是花在費率表上。

Mistral 自家的數字，以及它未公布的那一項

Mistral 發布文章中的每一項基準測試數據都出自 Mistral 自己，在引用其中任何一項之前，這一點值得先說明。Terminal-Bench 4.0 聲稱達到 41%，比預覽版高 13 個百分點，且根據該文章，這是開放權重模型的領先成績；FrontierCode 2.0 為 19.7%；AA Coding Agent Index 為 48%，被描述為實際上與 GLM-5.3 持平；BrowseComp 為 84.5%，而預覽版的監督式檢查點為 75%；FinWorkBench 為 73.3%，落後於 Kimi K3 的 77.3%；以及在惡意網路請求上平均 96.6% 的拒答率，而這正是該發布內容真正圍繞的核心數字。其中一些來自第三方評測框架——Cognition 的 FrontierCode、Artificial Analysis 的 Coding Agent Index、Surge Code 的人類偏好——但都是由 Mistral 執行並由 Mistral 報告。截至撰稿時，尚無任何一項被公開重現。

缺少的那個數字，正是自架者最需要的：在同一項評測下，NVFP4 相對 FP8 檢查點的品質表現。這張卡把量化說成能在「效能相近」的情況下減少記憶體占用，但那只是宣稱，不是實測。在有人發表同條件對照的實跑結果之前，誠實的說法是：610 GB 的檢查點是你裝得下的那個，而 1,060.6 GB 的檢查點則是有文獻紀錄可查的那個。

把廠商表格拿去對照 Artificial Analysis 所跑的同一組基準，情況就會改觀。AA 目前對 Mistral Large 4 的欄位——託管 API、高推理強度——顯示 Terminal-Bench 4.0 為 25%，比發布貼文中的 41% 低十六個百分點；FrontierCode 2.0 為 15%，而 Mistral 引用的數字是 19.7%。這兩者都是 Mistral 自己引用的測試框架。最可能的解釋是設定：發布數字可能來自特定的推理設定或特定的評估切片，而 AA 衡量的是公開 API 傳回的結果。不可接受的解釋是多數報導已採用的那一種——把兩個數字並列印出，彷彿它們衡量的是同一件事。

決定誰能供應它的授權條款

授權條款短到可以坐下來一次讀完，而真正關鍵的是關於「模型即服務」的那一條。要在這些權重上運行託管服務，必須向 Mistral 取得另行商業授權。但「模型即服務」的定義排除了內嵌式終端使用者產品，並且另行排除「僅將請求轉送至他人託管的模型」。這項例外比乍看之下更窄：它不允許你架設自己的推論服務並轉售，卻允許閘道將請求轉送至 Mistral 託管的推論服務，而無需成為被授權人。這種解讀在爭議中是否成立，是 Mistral 律師的問題，不是本部落格該回答的。

這就帶出了尷尬的部分。OrcaRouter 並未列出 Mistral Large 4——我們的 214 個模型目錄裡完全沒有 Mistral 端點——所以這個版本中的任何內容，今天都無法在這裡進行路由；任何聲稱並非如此的人，都是在騙你。目錄確實包含的，是這類上線推廣的另一半：一種路由 DSL，可以讓某個工作負載固定在一個模型上，並在不改程式碼的情況下切換；當端點效能下降時自動容錯移轉；以及 0% 加價的直通定價，讓供應商自身的費率變動在他們那邊生效的同一天，也反映到我們這邊。拉取 610 GB 並架起自家 vLLM 機器的團隊，幾乎總會在最初幾週內於其後保留一條託管路由，而這正是我們實際能營運的部分。

今晚誰應該開始下載？

如果你已經運行八張 Blackwell GPU，或者你有一條沒有任何託管端點能滿足的資料駐留規則，那麼今天早上，盤算已經改變，而且是朝對你有利的方向改變：權重有了，授權也有了，而且廠商交給你的是經過測試的服務指令，而不是一句建議。先拉取 NVFP4 檢查點——610.1 GB 是還能忍受的一晚，而且 vLLM 映像已鎖定版本。在你確定要把它納入生產路徑之前，先針對託管 API 執行你自己的評估，因為量化宣稱尚未經過測量，而廠商基準是廠商自己的。

如果你不運行這類硬體，這個版本目前還沒有任何東西適合你。一個 1T 模型、每個 token 有 490 億個活躍參數，這不是筆電能下載的檔案，也不是單卡實驗，而 FP8 檢查點就有一 TB。真正該傳到你耳裡的訊息是價格，不是檔案清單：託管 API 現在起價為 $0.70 和 $2.10，大約是十月公告讓你預期的一半，而這項改變你不需要擁有任何一張 GPU 就能用。

這個尚未解答的問題才是有趣的那個。一個能塞進 610 GB 的一兆參數模型，證明了 NVFP4 可以壓縮前沿規模的混合專家模型，而不改變其形狀。至於它能否在不改變其答案的情況下完成壓縮，將由接下來兩週的獨立運行來定論，而目前還沒有人發表過這一點——包括把它推出的人。