一張為比較生成的 hero 卡片,眉標為「完成訓練的模型 vs 基礎檢查點」,標題為「Nemotron Labs Dory 1.0 4B vs LFM2.5 2.6B Base」,副標為「一款以完成後訓練、推理常時開啟的狀態出貨。另一款則是為了微調而打造。」,三張卡片分別寫著「Dory:4B / SFT + GRPO」、「LFM2.5 2.6B Base:2.69B / 僅預訓練」和「上下文:256K vs 128K」,頁腳則寫著「Dory 的數據為廠商自行回報且未經重現;基礎模型的分數不可轉移。」
Guides & Insights

NVIDIA Nemotron Labs Dory 1.0 4B 對比 LFM2.5 2.6B Base:一個已完成,另一個則刻意未完成

作者

Alistair Wren

發佈日期

最新模型 · 20查看全部模型 →
基準測試:Artificial Analysis · 每日更新
返回全部文章

NVIDIA Nemotron Labs Dory 1.0 4B 與 LFM2.5-2.6B-Base 都很小、都只支援文字、都能以 GGUF 格式下載,而且都是你自己執行的模型——而它們位於後訓練流程的兩端。Dory 是完整完成品:在 NVIDIA 精選資料集上進行監督式微調,接著以 GRPO 進行多環境強化學習,並且在推論服務路徑中永久開啟推理。LFM2.5-2.6B-Base 則是刻意未完成,在其模型卡上被描述為預訓練檢查點,僅建議用於需要大量微調的任務。Liquid AI 將該模型的最終版本另外以 LFM2.5-2.6B 形式推出,針對代理式工作負載進行後訓練。因此,誠實的說法不是「哪個 4B 等級模型比較好」,因為基礎檢查點和已完成的推理模型並不是在爭奪你技術堆疊中的同一個位置。有用的問題是:你買的是流程中的哪一半。

每個產出物實際上究竟是什麼

N​VIDIA N​emotron Labs Dory 1.0 4B是由 NVIDIA 發佈至 Hugging Face 的 4B 稠密模型,共有四種量化版本——BF16、MXFP8、NVFP4,以及 Q5_K_M GGUF 匯出檔——採用 OpenMDW 1.1 授權。其模型卡將此建置標記為「GA(2026/10/16)」,並描述一種迴圈式、潛在遞迴架構:一個 8 層輸入區塊、一個以可變次數套用的 20 層遞迴區塊,以及一個 8 層輸出區塊,搭配混合交錯的滑動視窗與完整注意力。上下文長度可達 256K tokens,語言僅限英文,而整個發佈上線時,NVIDIA 並未隨附任何公告。模型卡指出,在 vLLM 服務路徑中推理始終開啟,這既是關於機制的陳述,也同樣是關於意圖的陳述:這不是一個會替你補完文件的原始文字預測器,而是一個被配置成先思考再回答的模型。

LFM2.5-2.6B-Base是 Liquid AI 的 26.9 億參數預訓練檢查點,依該公司自家的 LFM 授權條款發布(標記為lfm1.0),並於 2026 年 8 月中更新。它是整個 2.6B 系列其餘模型的原始基礎檢查點。其架構混合了 22 個雙閘控短卷積區塊與 8 個分組查詢注意力層,以約 34 兆個 token 訓練而成,並在中期訓練階段將上下文延伸至 128K,涵蓋 128,000 個 token 的詞彙表與 16 種語言。模型卡明確指出了目標受眾:特定領域的助理、特定語言的工作、以專有資料進行訓練。由於其中沒有任何指令微調,因此也談不上有什麼聊天模板行為。

兩者都是文字輸入、文字輸出。相似之處大致也就到此為止。

規格對比,並排顯示

• 參數 — Dory 1.0 4B 是 4B 稠密堆疊。LFM2.5-2.6B-Base 是 2.69B。差距比名稱所暗示的還小,而且在合理的量化下,兩者都能輕鬆裝進單一消費級加速器。

• 後訓練 — Dory 具備 SFT,以及在數學、程式碼、科學、指令遵循、工具使用與結構化輸出方面的多環境 RL。LFM2.5-2.6B-Base 則依設計完全不具備這些。如果你需要一個開箱即可遵循指令的模型,那這兩者之中有一個是錯誤選擇,而它不是參數較少的那一個。

• 背景 — Dory 可達 256K tokens,在 NVIDIA 隨附的啟動指令下,已於 vLLM 中驗證 262,144 個位置。LFM2.5-2.6B-Base 支援 131,072 個 tokens,是透過中期訓練擴充達成的。Dory 的視窗大約是其兩倍;你是否有餘裕填滿它,取決於下文討論的 KV 快取行為。

• 語言 — Dory 僅支援英文,其預訓練資料涵蓋 43 種程式語言。LFM2.5-2.6B-Base 涵蓋 16 種自然語言,包括英文、阿拉伯文、中文、法文、德文、義大利文、日文、韓文、葡萄牙文、西班牙文、越南文、泰文、印尼文、印地文、俄文和波蘭文。對於英文以外的任何語言,這個維度會自行決定。

• 架構 — Liquid 陣營採用短卷積加注意力的混合架構;N​VIDIA 陣營則是迴圈式潛在遞迴正規化 G​PT,並交錯穿插滑動視窗注意力。兩者都背離了單純的 transformer 堆疊,而且背離的方向各不相同。

• 計算行為 — Dory 的深度是執行階段參數。迴圈次數 1、2 或 4 會在沒有第二個檢查點的情況下以計算換取準確度,而 N​VIDIA 建議預設為 2。LFM2.5-2.6B-Base 具有固定深度;其成本槓桿是量化,而在更廣泛的系列中,則是投機性草稿模型。

• 授權條款 — Dory 採用 OpenMDW 1.1,Liquid 檢查點則採用 LFM 授權條款。兩者都允許商業使用;Liquid 授權條款是該公司自訂,而非標準開源條文,值得實際閱讀,而非憑假設。

• 已發布的格式 — Dory:BF16、MXFP8、NVFP4、GGUF。LFM2.5-2.6B-Base:Hub 上的 BF16 權重,而 GGUF、ONNX 與 MLX 版本則可在該系列的其他地方取得。Liquid 生態系在此更為廣泛;Dory 的儲存庫才剛上線幾小時。

A generated two-column scoreboard titled 'Dory 1.0 4B vs LFM2.5 2.6B Base - the scoreboard'. The left column, 'Nemotron Labs Dory 1.0 4B', lists Parameters 4B dense; Post-training SFT plus GRPO; Context 256K; Languages English only; Formats BF16, MXFP8, NVFP4, GGUF; Reasoning always on in vLLM. The right column, 'LFM2.5 2.6B Base', lists Parameters 2.69B; Post-training none, base checkpoint; Context 128K; Languages 16; Formats BF16, plus family GGUF, ONNX, MLX; Reasoning not applicable. The footer reads 'Dory figures vendor-reported; base-checkpoint scores are not comparable on instruction benchmarks.'

微調是區分它們的關鍵軸心。

如果你考慮 {{1}}LFM2.5-2.6B-Base{{/1}} 的原因是打算用它來訓練——例如領域助理、專有語料庫、基礎模型已經會說的語言——那麼 {{2}}Dory 1.0 4B{{/2}} 就是個糟糕的替代品,原因與品質無關。微調一個完整後訓練的推理模型來執行狹窄任務,通常比微調基礎檢查點更困難,因為你是在對抗 RL 階段所植入的行為,而不是塑造一個空白的預測器。Liquid 的模型卡正是基於這個原因,建議將其基礎檢查點用於領域與語言特定工作,而涵蓋 16 種語言的 34 兆個預訓練 token,是比僅支援英語的模型更廣泛的起點。

但 Dory 的模型卡在微調方面保持沉默,而這種沉默本身就具有資訊量。它記錄了訓練流程,公開了格式,並提供兩個引擎的 serving 指示;對於適配器、LoRA 支援或微調配方則隻字未提。這是一個為了被部署服務、而非為了再訓練而發布的檢查點的特徵。把缺乏證據當成證據會是錯誤,但這種不對稱值得指出:一張卡向微調者推銷自己,另一張卡則向部署者推銷自己。

關於數字,還要誠實補充一點。Liquid 發布了一份完整評估表,對象是後訓練版 LFM2.5-2.6B,並與 Gemma 4 E2B、E4B 以及 Qwen3.5-4B、9B 對比;而這份表不能套用到基礎檢查點——基礎模型在指令遵循基準上取得分數,與後訓練模型在同一批基準上取得分數,兩者衡量的並不是同一件事。NVIDIA 則為 Dory 發布了一張基準表,對比 Qwen3.5-4B、Qwen3.5-9B、Gemma 4 26B A4B 與 Qwen3.6-35B-A3B,並以其自家測試框架測量,沒有獨立重現。Dory 與任一 LFM 檢查點都沒有共用的測試框架結果,也完全沒有公開發表的正面對決。

在真實硬體上執行它們

邊緣運算這塊正是兩者在實務上分歧最鮮明之處,而 Liquid 明顯勝出。LFM2.5 系列專為裝置端部署而打造——其中 2.6B 的 instruct 版本在 Apple M5 Max 上測得每秒 220 個 token,在 Ryzen AI Max+ 395 上為 113,記憶體用量低於 2.5 GB,並宣稱在手機等級裝置上約為每秒 30 個 token。該系列提供 ONNX 與 MLX 版本,還有一個 328M 的推測解碼草稿模型 DSpark,公司表示能在輸出完全相同的情況下帶來約 2.6 倍的解碼加速。如果你的目標裝置是筆電、迷你電腦或手機,LFM2.5-2.6B-Base 站在這條線正確的一側,而 Dory 顯然並非為此而設計。

Dory 的 serving 路徑較窄也較新。vLLM 支援正在一個公開的 pull request 中審查,在它合併之前,卡片會要你從該分支安裝 vLLM 並加上預編譯核心的旗標,然後用覆寫設定來啟動 serving,設定迴圈次數與 KV-cache 模式。llama.cpp 支援則在第二個公開的 pull request 中,附有釘選的 commit 以及針對 Apple Silicon 上原生 ARM64 macOS 的建置指示。NVIDIA 公布的加速數字是在 DGX Spark 上的量化加速比,而非吞吐量:視輸入/輸出長度組合而定,MXFP8 相較於 BF16 為 1.69× 與 1.84×,NVFP4 則為 2.17× 與 2.44×。

與之抗衡的設計——而且是貨真價實的制衡——就在記憶體設計上。標準的迴圈做法會為每一輪迴圈各保留一份獨立的 KV 快取,因此每多跑一趟,記憶體占用就往上攀升——這正是遞迴式架構在服務部署上格外棘手的常見原因。Dory 支援一種「最後一輪」KV 快取模式,每個遞迴注意力層只保留單一份快取,並在每一趟運算時覆寫它,無論迴圈次數多少,占用空間都大致維持在單輪的水準。NVIDIA 表示,準確率仍接近逐輪模式,輸出長度也幾乎不變。這項說法是 Dory 模型卡中最值得驗證的一點,因為若此言屬實,256K 視窗在超過一輪迴圈的情況下仍可負擔;若不然,彈性深度這項功能的實用性就遠不如聽起來那麼高。

A screenshot of the Hugging Face model card for nvidia/NVIDIA-Nemotron-Labs-Dory1.0-4B-MXFP8, captured October 17 2026, showing the NVIDIA organisation header, the model name, '4B params', the tags Model Card, datasets, English and arxiv 2606.19227, and the licence card reading 'License: openmdw'.

路由器在這裡會做什麼與不會做什麼

兩個模型都不在 OrcaRouter 的型錄上。NVIDIA Nemotron Labs Dory 1.0 4B 是僅有權重、且我們無法確認任何地方有託管端點的模型,而 LFM2.5-2.6B-Base 是微調檢查點,沒有平台會合理地直接提供服務——其後訓練過的兄弟模型才是應該放在 API 後面的那一個。我們的型錄上也同樣沒有任何託管的 LFM2.5 模型,所以準確的說法就是那個乏味的說法:就這個比較而言,一切都在你自己的硬體上執行。

而這正是路由層不再只是可有可無的管線、開始成為測試工具的時候。對基礎檢查點跑微調實驗,並在迴圈式 4B 上跑服務實驗,意味著兩套本機堆疊、兩組量化、兩組服務旗標,而且沒有乾淨的方法能將任一者與託管模型相比,而那些託管模型才是你應用程式的實際基準。OrcaRouter 就是為了後半段而存在:一組 API 金鑰就能觸及你會拿來做基準測試的託管模型,以供應商標價、0% 加成提供,因此對照組不需要有自己的 SDK 或自己的合約。路由 DSL 讓自行託管的端點與託管端點能位於單一呼叫之後,而當本機 GPU 資源池忙碌時,自動容錯移轉能讓長時間的評估執行持續運作。它不會告訴你,Liquid 的基礎檢查點經微調後,是否比 NVIDIA 的完成模型服務表現更好。它移除的是找出答案的設定成本。

A screenshot of the Hugging Face model card for LiquidAI/LFM2.5-2.6B-Base, captured October 17 2026, showing the Liquid AI organisation header, the model name, the Model card and Files info tabs, and the repository's license and download statistics.

在它們之間做選擇

如果你要買的是一個起點而不是答案,就選 LFM2.5-2.6B-Base:你有訓練資料、你需要一種 Dory 不會說的語言、你想在 Apple Silicon 或 NPU 上執行,或者你想要推測解碼路線,以及這個家族附帶的 ONNX 和 MLX 建置版本。它是更小、更快、更具多語言能力、與生態系連結更深的產物,而且它誠實承認自己尚未完成。

如果你要買的是一種已經部署上線的行為,那就選 N​VIDIA N​emotron Labs Dory 1.0 4B:你要的是一個訓練完成、內建工具呼叫與結構化輸出能力的推理模型,你只用英文,你的上下文很長,而且你願意今天就從某個分支自行建置 vLLM 或 llama.cpp,藉此換到一個傳統稠密模型給不了你的算力調節旋鈕。同時也要接受:你將會是 N​VIDIA 之外第一批實際跑它的人之一;它規格表上的每一個數字都是廠商提供的數字;而最後一迴圈 KV 快取的那項宣稱——也就是讓整套設計真正可行的那唯一一項功能——尚未經過驗證。

真正具有參考價值的比較,是 Dory 1.0 4B 對上經過後訓練的 LFM2.5-2.6B,但沒有人發表過這個結果。如果 Liquid 的 2.6B instruct 模型與 NVIDIA 的彈性深度 4B 模型在你的工作負載上最終只差幾個百分點,那麼決定因素就會是 2.69B 與 4B 之間的記憶體差距以及成熟度落差,而不是架構。那才是值得進行的實驗,而且現在進行起來比上週更便宜。

這些都不是假設:像這次發布這類版本背後那些有紀錄的 AI 失效與代理事件,全都收錄在OrcaRouter AI Incident Archive,其中每筆條目都附有自己的來源、嚴重程度、信心等級與爭議標記。