NVIDIA Nemotron Labs Dory 1.0 4B 登陸 Hugging Face，帶來四個檢查點，卻毫無公告

NVIDIA Nemotron Labs Dory 1.0 4B 現在已經在 Hugging Face 上，共有四種量化版本，而 NVIDIA 對此隻字未提。這個檢查點 nvidia/NVIDIA-Nemotron-Labs-Dory1.0-4B-MXFP8上架時附帶的模型卡把這個版本標記為「GA (10/16/2026)」；它的三個兄弟版本——NVIDIA-Nemotron-Labs-Dory1.0-4B-BF16、NVIDIA-Nemotron-Labs-Dory1.0-4B-NVFP4與NVIDIA-Nemotron-Labs-Dory1.0-4B-GGUF——則是在 2026 年 10 月 16 至 17 日午夜 UTC 前後同一個 36 分鐘的時間窗內被推送上去。NVIDIA 的開發者部落格上沒有相關貼文，Nemotron 研究著陸頁上也沒有任何條目，兩處都完全找不到任何提及名為 Dory 的模型。模型卡本身異常完整——有完整的基準測試表、兩款引擎的部署說明、一個校驗碼——但圍繞著它的行銷框架，也就是平常會告訴你某個模型存在的那些東西，卻完全付之闕如。

所以，值得精確釐清這件事允許你說什麼、又不允許你說什麼。可確知的是：權重存在、可供下載、授權條款已載明、架構描述詳細到足以重現，而且廠商公布了自家數據，並附註說明這些數據是自行測量的。尚未確認的是：這是 N​emotron Labs 系列家族的開端，還是單次實驗；是否會有論文或部落格文章發布；以及這些數據在別人的測試框架下是否站得住腳。N​VIDIA 並未將此定調為產品發布，因此本文也不這麼做。這是對一個一夜間出現的儲存庫的解讀。

儲存庫裡實際上有什麼？

這些產物是四個檢查點與一份模型卡。模型卡是實質性的文件，下方幾乎所有內容都來自它。

• 格式 — BF16（W16A16）、MXFP8（W8A16）、NVFP4（W4A16），以及供 llama.cpp 使用的 Q5_K_M GGUF 匯出檔。MXFP8 檢查點之所以成為本文主題，只是因為它帶有標準的儲存庫 ID；模型卡中的基準測試則是以 BF16 測量。

• 規模與形狀 — 總參數 4B，是稠密堆疊而非專家混合，分為一個 8 層輸入區塊、一個 20 層遞迴區塊和一個 8 層輸出區塊。

• 上下文 — 最高 256K token，並在 NVIDIA 隨卡提供的啟動指令下，於 vLLM 中驗證了 262,144 個位置。

• 授權 — OpenMDW 1.1，一套寬鬆、可再散布的模型授權，其條款文字可從卡片上的連結取得。卡片明確指出，該模型「已準備好可供商業或非商業使用」。

• 語言 — 僅限英文，不過預訓練資料涵蓋 43 種程式語言。

• 訓練預算——6 兆個預訓練 token，其中大約前 4.5 兆是以 NVFP4 原生執行，之後其餘部分才改用 BF16，接著是 3,000 億個 token 的上下文擴展階段。資料涵蓋 2013 年至 2025 年 12 月。後訓練是在 NVIDIA 精選的資料集上進行監督式微調，然後是以 GRPO 進行的多環境強化學習。

• 儲存庫活動——撰寫本文時，`main` 上有八次提交、兩位貢獻者，其中最新的一筆是 README 編輯。第一筆「上傳 Dory 4B MXFP8 檢查點與分詞器」是幾小時前的事。這不是一個已在公開場合靜靜放置數月、直到現在才被注意到的儲存庫；而是一個今天才被填入內容的儲存庫。

這張卡片有一點做對了，而大多數卡片都沒做到：它列出了 GGUF 匯出檔的確切位元組大小與 SHA-256，讓你能驗證自己下載的內容。3,673,288,864 位元組，雜湊值則印在啟動說明中。

架構就是值得關注的全部理由。

剝除基準測試表格後，關於 N​VIDIA N​emotron Labs Dory 1.0 4B 的有趣事實是：它並不是一個固定的模型。它是一個迴圈式（或潛在遞迴式）網路：20 層的遞迴區塊會在輸入與輸出區塊之間反覆套用，且輸入會在每次迴圈時重新注入。因此，同一個檢查點會因為你要求的迴圈次數不同而有不同行為，而這是在服務時而非訓練時選擇的。

三個後果隨之而來，全都出自模型卡，而非任何人的測試：

• 彈性推論運算 — 單一權重檔案即可支援多種運算預算。延遲優先時，迴圈次數設為 1；建議預設值為 2；當代理式任務的正確性比每秒 token 數更重要時，設為 4。無需重新訓練，也不必下載第二個檢查點並保持同步。

• Token 效率 —— NVIDIA 聲稱，每個 token 額外投入的運算會用於潛在推理，而非拉長可見的思維鏈，因此更高的迴圈次數能為同一項任務產生更少的輸出 token。這張顯示卡附上「輸出 token 倍率」圖表來佐證此說法。這項主張有直接的成本影響，這正是它值得被點出、而非被輕忽的原因。

• 記憶體效率高的循環機制 —— 這正是回應那個顯而易見質疑的關鍵。標準的循環做法會為每個迴圈保留一份獨立的 KV 快取，因此每多跑一次，記憶體就跟著增長。Dory 支援一種「末迴圈 KV 快取」模式，每個循環注意力層只保留單一份快取，並在每次傳遞時直接覆寫，無論你跑多少個迴圈，記憶體佔用量都大致維持在單一迴圈的水準。NVIDIA 表示，採用末迴圈快取的準確度與逐迴圈快取相當接近，輸出長度幾乎不變，並將此描述為其自身的一項實驗結果。

注意力堆疊是混合式的：交錯的滑動視窗層與全注意力層，這與 2026 年一票長上下文小型模型殊途同歸的整體模式如出一轍。這些單獨來看都不算稀奇。較為少見的是，把迴圈次數當成部署旋鈕，隨附在一個具備 256K 視窗的 4B 模型上。

基準表，解讀為廠商表

這裡的每一項數字，都是 NVIDIA 在模型卡所稱的「一致的測試框架（NeMo Gym / Nemo Evaluator SDK）」下產出的。沒有任何外部單位重現過其中任何一項；這個模型大約才推出一天，而這四個儲存庫的下載計數全都顯示為零。請把這些數字當成一種關於方向的說法，而不是記分板。

N​VIDIA 所選的比較組合本身就頗能說明問題：Qwen3.5-4B、Qwen3.5-9B、Gemma 4 26B A4B 與 Qwen3.6-35B-A3B。值得注意的是，兩個 4B 級別的比較對象都來自前一代 Q​wen，而其他每個比較對象都大得多。橫向閱讀這三種迴圈設定：

• SWE-bench Verified — 單次迴圈為 50.3，兩次為 59.5，四次為 61.8，相較之下 Qwen3.5-4B 為 54.7，Qwen3.5-9B 為 61.0，Gemma 4 26B A4B 為 57.40，Qwen3.6-35B-A3B 為 73.4。

• Terminal-Bench 2.1 — 12.5 / 18.1 / 22.2 對上 15、24、35 和 43。這是迴圈能換得最多效益的一列，也是 Dory 仍落後同場競爭者最遠的一列。

• τ³-bench（銀行業）— 11.6 / 12.89 / 14.69，對比 Qwen3.5-4B 的 5.03、Qwen3.5-9B 的 7.22、Gemma 4 26B A4B 的 13.66，以及 Qwen3.6-35B-A3B 的 9.54。Dory 在此大幅領先 4B 與 9B 的 Qwen 模型。

• GDPval-AA-V2（Elo）—— 815 / 946 / 967，對比 424、546、751.6 與 987。從一層迴圈到兩層的躍升是 131 Elo 分，這是整張表中最大的單一迴圈間變動。

• GPQA Diamond，無工具 — 69.19 / 72.41 / 72.16 對上 77.71、80.93、80.43 和 85.35。Dory 在這一項輸給每一個比較對象，包括 4B Q​wen。

• HLE，純文字、無工具 —— 8.25 / 10.89 / 10.43，對比 11.31、15.43、17.79 與 19.18。情況如出一轍。

• IFBench — 74.29 / 77.94 / 79，對比 53.83、59、77.89 與 57.44。指令遵循是 Dory 最強的相對結果；在四次迴圈時，它略勝 26B Gemma 4。

• AA-LCR — 63 / 71 / 73，相較於 64.7、68.4、64.6 與 68.5。長上下文檢索在採用迴圈後顯著提升，最終超越全部四個比較對象。

• AA-Omniscience（準確度）—— 10.03 / 10.08 / 10.03，對比 15.02、18.05、21.13 與 19.95。迴圈對已儲存的知識基本上毫無作用，這是預期中的結果，也是對表格其餘部分一項有用的健全性檢查。

模式本身的形狀才是關鍵。迴圈在代理式與工具使用任務上帶來的效益最大，在百科式回想上最小，而且無論在哪裡，第二圈迴圈的價值都遠高於第三圈與第四圈。這與該卡片自身建議預設採用兩圈迴圈一致。

NVIDIA 自家註腳中的四項但書

這是這張卡比大多數卡片更誠實的地方，卻也是略讀表格的讀者會被誤導的地方。

• AA 數據並非 Artificial Analysis 的數據。NVIDIA 與 AA 分數指數的比較，被明確標示為「在一致的評估框架下計算出的內部估計值」，且「可能與官方 Artificial Analysis (AA) 分數有所偏差」。它們是同一基準的內部量測，而非外部排名。

• 長上下文欄位採用混合式設定。就 AA-LCR 而言，卡上寫的是它使用了 AA-LCR v1.1 的修正答案鍵，但保留了較舊的評審模型，而非較新的那個。將修正後的答案鍵集與較舊的評審模型混用，會使該欄位可與 N​VIDIA 的其他列相比，卻不一定能與其他任何人的結果相比。

• 重複執行次數相當不一致。SciCode 執行八次，AA-LCR 十六次，AA-Omniscience 十次，GDP.pdf 五次，而 HLE、Terminal-Bench 4.0 與 GDPval-AA 變體則只執行一次。對於具有顯著變異的基準測試，只執行一次得到的只是點估計，不是分數。

• 表格中有一行以劍號標記，標明那是回報的數字，而非實測數據——Qwen3.6-35B-A3B 在 SWE-bench Verified 上的 73.4 分。這意味著，榜上看起來最大的那個數字，正是 N​VIDIA 自己沒有跑出來的那一個。

這一切都不代表這張表是錯的。它只是某個實驗室的內部快照，而誠實的解讀是：在 agentic 任務上，Dory 確實能與上一代 Qwen 的 4B 和 9B 模型一較高下，但仍落後於與它並列的 26B 和 35B 模型。

你今天可以執行的，以及你不能執行的

我們無法驗證此模型有任何來自 N​VIDIA 或任何其他人的託管端點。Dory 僅有權重，而模型卡中的兩條服務路徑都需要從未合併的 pull request 建置：

• vLLM — 支援功能在提取請求 60149 中「審查中」。在它進入正式發行版之前，請從該分支安裝 vLLM，然後使用會設定迴圈計數與 KV 快取模式的覆寫設定來提供服務。卡片指出，預編譯核心環境旗標可避免在本機進行 CUDA 建置。

• llama.cpp — 支援位於拉取請求 30306 中，而卡片固定的是特定修訂版本，而不是會變動的 PR 頂端，這對參考設定來說是正確的直覺。這些指示的目標是 Apple Silicon 上的原生 ARM64 macOS，而 GGUF 路徑預期的是上方列印之位元組大小的 Q5_K_M 匯出檔。

卡片中沒有任何內容顯示這兩個專案已經合併，而兩套引擎的發行說明中也都沒有任何條目顯示相反的情況。如果你這週想執行 Dory，那你得從 PR 自行建置。

值得留意的硬體筆記：NVIDIA 在 H100、B200、B300 與 DGX Spark 上進行測試，而唯一公布的效能數字是 Spark 上的量化加速，而非吞吐量數據。在該裝置上，MXFP8 相較於 BF16 分別展現 1.69× 與 1.84× 的加速，視輸入／輸出長度組合而定，而 NVFP4 則達到 2.17× 與 2.44×。建議的取樣設定為 temperature 1.0 搭配 top-p 0.95，且在 vLLM 路徑中推理功能一律開啟。

為什麼一個低調的 4B 發布仍值得你花上一個下午

一個沒有發布會就問世的模型，有趣之處在於它的主張可以用發布會主張做不到的方式來驗證。沒有主題演講宣稱在某個類別中勝出；只有一張卡宣稱一個具體、可證偽的機制——某個 4B 檢查點能在推論時隨著運算量擴展自身的準確率。你可以用迴圈次數旗標在一張 GPU 上測試這一點，而答案要嘛會出現在你自己的評估裡，要嘛不會。

這也是路由層存在的目的；與其含糊帶過，不如精確說明我們在這裡做了什麼。OrcaRouter 並不提供 NVIDIA Nemotron Labs Dory 1.0 4B——這個模型不在我們的目錄中，而在我們能確認的範圍內，任何地方都沒有它的託管端點。單一金鑰真正帶給你的是這場比較的另一半：你會拿來與自架 4B 模型對比的那些託管模型，只需透過一個 API、以供應商定價、0% 加價取得，因此自架實驗不需要第二份合約或第二套 SDK。自動容錯移轉涵蓋了你自己的 GPU 資源池飽和的那段空窗期，而路由 DSL 讓自架呼叫能與託管呼叫並列在同一個端點之後。如果你正在測試彈性深度是否值得那樣的維運複雜度，至少對照組只差一把金鑰。

什麼會讓這變成一個真正的故事？

三件事，目前都還不存在。

首先，一則公告。這張模型卡的日期是 10 月 16 日，而儲存庫是在一夜之間填入的；N​VIDIA 的開發者動態在 10 月 15 日發布了一則 N​emotron 貼文，但那篇完全是關於另一個模型。一篇部落格文章、一篇論文，或一個 N​emotron Labs 家族頁面隨時都可能出現，而且它很可能會包含這張模型卡未明說的訓練細節，以及該模型的預期定位。

第二，引擎支援。vLLM 和 llama.cpp 都還卡在尚未合併的 pull request 上。當其中一個合併時，「你可以執行它」就不再意味著「你可以從分支建置它」。

第三，也是最寶貴的，是一項獨立評估。最值得重現的說法，正是廠商所強調的那些：SWE-bench 與 Terminal-Bench 在不同迴圈次數下的變化，以及最後一輪迴圈 KV 快取能保持準確度的斷言。兩者都能用已公開發佈的工具來測試，而 NVIDIA 以外的任何人都尚未測試過其中任何一項。

今天準確的總結是這樣：四種格式的真實權重、寬鬆的授權、真正不尋常的架構、一條只以兩個開啟中的提取要求形式存在的服務路徑，以及一份基準測試表，而那是某個實驗室自己的測試框架，其注意事項就印在它自己的註腳裡。這是 N​VIDIA 今年發布的最有趣的 4B 模型，而該公司尚未決定要向任何人透露它。

這些都不是假設：像這次發布這類版本背後那些有紀錄的 AI 失效與代理事件，全都收錄在OrcaRouter AI Incident Archive，其中每筆條目都附有自己的來源、嚴重程度、信心等級與爭議標記。