一張為比較而生成的精選卡片,引言為「以 4B 對抗三層產品線」,標題為「Nemotron Labs Dory 1.0 4B 對決 Qwen 3.8」,副標為「Qwen 3.8 並非單一模型:一個 27B 的開放權重版本,加上藏身 API 之後的 Flash 與 Max。」,以及三張卡片分別寫著「Dory:4B/僅文字」、「Qwen3.8-27B:27B/開放權重」和「已發布的正面對決:雙向皆無」,頁腳則寫著「僅為廠商自報數據;Dory 從未與 Qwen3.8 進行基準測試。」
Guides & Insights

NVIDIA Nemotron Labs Dory 1.0 4B 對上 Qwen 3.8:開放權重的 4B 迎戰阿里巴巴的三層產品線

作者

Elias Hawthorne

發佈日期

最新模型 · 20查看全部模型 →
基準測試:Artificial Analysis · 每日更新
返回全部文章

將 NVIDIA Nemotron Labs Dory 1.0 4B 拿來與「Qwen 3.8」比較,並不是一場對決——而是一種特定且深具啟發性的錯配。Qwen 3.8 並非單一模型;在開放權重這一端,它是Qwen3.8-27B,一個 27B 的稠密多模態模型,以 Apache 2.0 授權、具備 256K 上下文視窗;而在它之上,還有Qwen3.8-Flash與Qwen3.8-Max,兩者都更大,且都僅透過阿里巴巴的 API 提供。Dory 則是 NVIDIA 單一的 4B、純文字、僅支援英文的檢查點,以 OpenMDW 1.1 授權在 Hugging Face 上發布了四種量化版本,其模型卡標註「GA (10/16/2026)」,背後卻沒有任何發布公告。所以真正的問題不是 4B 能否打敗 27B,而是:一個你自己託管的彈性深度 4B,是否是更便宜的途徑,讓你達到原本得向 Qwen3.8 系列租用的那類任務層級——而兩個與決策最相關的事實是:Qwen3.8-27B 是開放權重的,因此兩個模型都能跑在你自己的硬體上;以及 Dory 自家的模型卡根本沒有與任何 Qwen3.8 模型做基準比較。

實際上是在比較什麼?

先從 Qwen 這邊開始,因為「Qwen 3.8」把三個不同的命題混為一談。

Qwen3.8-27B是阿里巴巴的開放權重稠密視覺語言模型,採用 Apache 2.0 授權,270 億參數、64 層、5,120 隱藏維度,原生上下文長度為 262,144 個詞元,模型卡指出可延伸至一百萬。它接受文字、圖像與影片輸入並回傳文字,在 16 個重複區塊中採用 Gated DeltaNet 與 Gated Attention 的混合架構,並以 Transformers 格式發佈,支援 vLLM、SGLang 與 TokenSpeed。在長長一串代理與視覺測試結果中,它在 LiveCodeBench v6 上報 90.3、GPQA Diamond 89.2、IFBench 79.5、Terminal-Bench 2.1 73.0。它自 2026 年 8 月中起公開發佈,已被下載數百萬次。

Qwen3.8-Flash與Qwen3.8-Max是託管層級。Flash 是具成本效益的多模態模型,上下文長度達百萬詞元;Max 則是阿里巴巴的旗艦模型,同樣支援百萬詞元,定位對標最強的專有模型。兩者皆未開放權重。你必須透過 API 才能存取。

NVIDIA Nemotron Labs Dory 1.0 4B是 4B。稠密、迴圈、潛在遞迴——一個 8 層輸入區塊、一個套用可變次數的 20 層遞迴區塊、一個 8 層輸出區塊——並採用交錯式滑動視窗與完整注意力的混合機制。文字進、文字出,僅支援英文,256K 上下文。以 6 兆個 token 預先訓練,其中前約 4.5 兆個原生採用 NVFP4,再加上 3,000 億 token 的上下文擴充,然後進行 SFT 與多環境 GRPO。就我們所能驗證,目前並不存在任何為其提供的託管端點。

有一點得講清楚,因為這常讓人搞混:N​VIDIA 以 BF16、MXFP8、NVFP4 和 Q5_K_M GGUF 格式發布 Dory。標準的儲存庫 ID 是 MXFP8 那個,但模型卡中的基準測試是在 BF16 上測量的。MXFP8 是相同權重的量化,不是不同的模型。

規格對比

• 參數 — Dory 1.0 4B 是 4B 稠密模型,並反覆套用一個循環區塊,因此在四次迴圈下,每個 token 的有效運算量會超過其參數量。Qwen3.8-27B 是 27B 稠密模型,並帶有視覺塔。兩者不在同一個量級,而且只有其中一個能放入小型記憶體部署。

• 模態 — Qwen3.8-27B 可接受圖像、影片以及文字。Dory 只接受文字。任何涉及圖像的工作負載,到此為止。

• 上下文 —— 兩者都標榜 256K。Qwen3.8-27B 的規格卡寫的是原生 262,144 個位置,可延伸至約一百萬;Dory 的則寫最高 256K,且在隨附的啟動指令下於 vLLM 中驗證了 262,144。Qwen3.8-Flash 與 Max 則都能直接達到一百萬個 token。

授權條款 — Qwen3.8-27B 採用 Apache 2.0,Dory 採用 OpenMDW 1.1。兩者皆對商業使用友善;Apache 2.0 是較為人熟悉的文本。

• 語言 — Qwen3.8-27B 在血統上具備多語言能力;Dory 僅支援英文,其預訓練資料中混合了 43 種程式語言。

• 運算行為 — 這是唯一一項 Dory 具備、而 Qwen3.8-27B 在結構上無法提供的特性。Dory 的深度是一項服務時參數:追求低延遲時用一個迴圈,兩個迴圈是 N​VIDIA 建議的預設值,四個迴圈則用於代理式準確度更重要的情況,全都來自同一個檢查點,並具備最後迴圈 KV 快取模式,旨在無論迴圈數多寡,都將快取記憶體維持在約略單一迴圈的大小。Qwen3.8-27B 的深度固定;其可調節的手段是量化與硬體。

• 格式 — Dory 提供四種量化,其中包括給 llama.cpp 使用的 GGUF。Qwen3.8-27B 有一個獨立的 FP8 儲存庫,以及一個非常龐大的量化與微調衍生生態系,而這就是數百萬次下載能換來的成果。

A generated two-column scoreboard titled 'Dory 1.0 4B vs Qwen 3.8 - the scoreboard'. The left column, 'Nemotron Labs Dory 1.0 4B', lists Parameters 4B dense; Modality text only; Context 256K; Licence OpenMDW 1.1; Depth runtime loop count; Hosted endpoint none confirmed. The right column, 'Qwen3.8-27B open weights', lists Parameters 27B dense; Modality text, image, video; Context 256K native; Licence Apache 2.0; Depth fixed; Hosted Flash and Max tiers, API only. The footer reads 'Dory and Qwen3.8 figures are vendor-reported; no head-to-head has been published.'

NVIDIA 自家表格所迴避的基準測試問題

這裡有個令人不太舒服的細節。NVIDIA 為 Dory 製作的基準測試表,將它與 Qwen3.5-4B、Qwen3.5-9B、Gemma 4 26B A4B 及 Qwen3.6-35B-A3B 相比。它採用的是前兩代 Qwen,完全沒有觸及 Qwen3.8。對一個 4B 模型來說,這是站得住腳的選擇——Qwen3.8-27B 的規模幾乎是它的七倍——但這也意味著,該製造商完全沒有發表過與當前 Qwen 世代的正面對決,無論是哪個方向。而阿里巴巴的 Qwen3.8-27B 模型卡,其基準測試的對象則是專有領域的前沿模型,而非一個 4B。

Dory 的卡確實公布的內容,相較於它較舊的對照產品,對於迴圈在哪裡划算這件事很誠實。橫向閱讀其三種迴圈設定,並與 Qwen3.5-4B 和 Qwen3.5-9B 對照:

• SWE-bench Verified — 50.3 / 59.5 / 61.8,相較於 54.7 和 61.0。在四次迴圈時,Dory 在這一行名義上勝過 9B Qwen。

• Terminal-Bench 2.1 — 12.5 / 18.1 / 22.2,對上 15 與 24。它兩者都輸,連 4B 也一樣。

• τ³-bench(銀行業)—— 11.6 / 12.89 / 14.69,相較於 5.03 與 7.22。Dory 是 4B Qwen 的兩倍以上,也大約是 9B 的兩倍。

• GPQA Diamond,不使用工具 — 69.19 / 72.41 / 72.16,對上 77.71 與 80.93。它兩者皆輸。

• IFBench — 74.29 / 77.94 / 79,對比 53.83 與 59。在指令遵循方面的一大勝利。

• AA-LCR — 對比 64.7 與 68.4,分別為 63 / 71 / 73。長上下文檢索在加入迴圈後大幅改善,最終取得領先。

• AA-Omniscience — 10.03 / 10.08 / 10.03 對比 15.02 與 18.05。儲存的知識幾乎不隨迴圈次數變動,而這是表格其餘部分都通過的健全性檢查。

那些數據中的每一項都是 NVIDIA 的,是在 NVIDIA 的測試框架上測得的,且重複次數均已揭露——SciCode 八次、AA-LCR 十六次、有幾項基準恰好一次——而這張卡將其形似 Artificial Analysis 的分數標為「內部估計」,可能與官方數字有所出入。這些全都沒有被重現。

現在把 Qwen3.8-27B 的規格卡擺到它旁邊。它回報的 GPQA Diamond 89.2、IFBench 79.5,以及 Terminal-Bench 2.1 的 73.0,全都高於 Dory 在同一組基準測試上的最佳數字,而這正是你對一個規模大上七倍、訓練流程新了兩代的模型所會預期的結果。在任何情境下,4B 都不可能在做得到位的 27B 面前,於知識或推理基準測試中勝出,而 Dory 也並未如此宣稱。Dory 宣稱的是另一回事:它在 4B 的規模下能達到約 9B 等級的代理式行為表現,而且你可以自行決定要在這個規模上投入多少算力。

部署:差距並不小,而且這與品質無關

Qwen3.8-27B 是一次正常的開放權重發布。採用 Transformers 格式,vLLM、SGLang 與 TokenSpeed 都列出支援,還有一個 FP8 版本,以及自八月以來已產出遠超一千種量化、數百個微調的生態系。如果你的技術堆疊能執行現代開放權重模型,就能執行這一個,而唯一真正的限制是記憶體——BF16 的 27B 稠密模型並非小機器能負擔的模型,但量化版本正是為此而生。

Dory 則恰恰相反。vLLM 支援正在一份公開的 pull request 中接受審查;在它合併之前,NVIDIA 會建議你使用 precompiled-kernel 旗標從該分支安裝 vLLM,然後以覆寫設定啟動,設定遞迴迴圈次數與 KV 快取模式。llama.cpp 支援則在第二份公開的 pull request 中,附有固定提交與 ARM64 macOS 建置說明。就我們能查證的範圍,Dory 在任何地方都沒有託管端點;本文撰寫時,這四個儲存庫的下載計數器都是零。已公布的速度數字僅限於 DGX Spark 上的量化加速——MXFP8 相較於 BF16 為 1.69 倍與 1.84 倍,NVFP4 為 2.17 倍與 2.44 倍,視輸入/輸出長度組合而定——而非吞吐量。

相較之下,Dory 這張卡上的記憶體宣稱,是唯一一項可能讓這種不便變得合理的工程設計。標準的遞迴迴圈會為每一輪迴圈儲存一份獨立的 KV 快取,因此記憶體會隨著每次傳遞而增長。Dory 的最後一輪 KV 快取模式會為每個遞迴注意力層保留一份快取,並在每次傳遞時覆寫它,使佔用空間在任何迴圈次數下都大致維持在單輪迴圈的大小,而 NVIDIA 表示其準確度仍接近逐迴圈模式。如果這在其他人的測量下依然成立,那麼一個具備 256K 視窗與四輪迴圈的 4B 模型,就能在原本無法負擔的硬體上變得實用。NVIDIA 以外沒有人驗證過。

A screenshot of the Hugging Face model card for nvidia/NVIDIA-Nemotron-Labs-Dory1.0-4B-MXFP8, captured October 17 2026, showing the NVIDIA organisation header, the model name, '4B params', the tags Model Card, datasets, English and arxiv 2606.19227, and the licence card reading 'License: openmdw'.

OrcaRouter 實際上在這項比較中位居何處

這是罕見的、我們能夠講得具體的比較,因為雙方在這裡的立足點並不相同。Qwen 這一邊在我們的目錄中:qwen/qwen3.8-27b是自行託管於 OrcaRouter 自家的基礎架構上,而qwen/qwen3.8-flash與qwen/qwen3.8-max則可作為託管端點取用,全部透過同一把 API 金鑰、以供應商定價、0% 加成提供。NVIDIA 這一邊則不然——NVIDIA Nemotron Labs Dory 1.0 4B 不在目錄中,且在我們所能確認的任何地方都沒有託管端點。

這種不對稱確實很有用,而不是顯得彆扭。支持小型自架模型的主張是一套成本論證,而成本論證需要它所要對抗的租用價格。Qwen3.8 的三個等級定價差異很大——27B 為每百萬輸入 token $0.33、每百萬輸出 $2.40,Flash 為 $0.15 與 $0.47,Max 為 $2.00 與 $6.00——所以「4B 能否取代它」這個問題的誠實答案會有三種,取決於你今天實際使用的是哪個等級。單一 OrcaRouter 金鑰就能觸及這三者,因此要為這個問題估價並不需要三個帳號。由於我們以不加價的方式直接傳遞供應商的定價,Qwen 的價格變動當天就會反映在這裡。而當你真正選定某個等級時,跨供應商的自動容錯移轉,以及讓你能把多個模型組合在單一呼叫之後的路由 DSL,意味著從代管 Qwen 切換到自架的 Dory,或反向切換,只是在同一個呼叫點改一項設定,而不是一次重構。我們不提供 Dory;我們是便宜衡量它將取代什麼的方法。

A screenshot of the OrcaRouter model page for qwen/qwen3.8-27b, captured October 17 2026, showing the model title 'Qwen 3.8 27B', a 'Self-Hosted' badge, and the Model Overview section describing a 27B dense natively multimodal model with reasoning, tool calling and long context.

裁決結果

如果你的工作負載是多模態、多語言或知識密集型——也就是任何模型需要「知道事情」而非「做事」的場景——Qwen3.8-27B 就是開放權重的那個答案,而且這場比較毫無懸念。它的規模是七倍,新了兩個世代,背後有龐大的衍生生態系支持,能在已支援它的引擎上運行,而且它自家的型號卡所宣稱的數字,Dory 在 GPQA 或指令基準上都望塵莫及。如果你根本不想自行託管 27B,那就改租用 Flash 或 Max。

Dory 1.0 4B 是押注在另一條軸線上。唯有當三件事對你而言成立時,它才值得你承受從分支建置的麻煩:任務僅限文字且僅限英文,它是代理式而非知識驅動,而且你真的會用運算調節鈕——在負載下跑一個迴圈,在講求準確度時跑四個,全部來自同一個檢查點,不必再下載一次。它的模型卡聲稱,這項押注在 τ³-Bench 與 4B 的指令遵循上能獲得回報,並且它揭露了足夠多關於那些數字如何產生的資訊,讓你得以適度地打折扣看待。

能讓一切塵埃落定的,是那項沒有人跑過的測試:Dory 1.0 4B 對上 Qwen3.8-27B,在共用的測試框架上,採用相同的量化,跑一組代理式任務集。NVIDIA 的表格完全跳過了當前的 Qwen 世代,而 Alibaba 的表格則沒有往下探一個量級。在有人發表那樣的比較之前,準確的立場是:這兩個模型中,一個是經過實證、有支援、被廣泛部署的 27B,另一個則是某天突然冒出來、裡面藏著一個有趣想法的 4B 儲存庫——而唯一能斷定這個想法值不值得投入打造的人,就是你自己,在你的任務集上。

這些都不是假設:像這次發布這類版本背後那些有紀錄的 AI 失效與代理事件,全都收錄在OrcaRouter AI Incident Archive,其中每筆條目都附有自己的來源、嚴重程度、信心等級與爭議標記。

本文中的比較1

根據本文內容識別 · 基準測試:Artificial Analysis · 每日更新