Nemotron 3.5 Bolt 24GB 對上 Qwen3.8-27B：兩者都塞得進 24GB——但只有一個會告訴你它花了多少代價

A neat story circulates about these two models: the N​VIDIA N​emotron 3.5 Bolt 74B-A9B 24GB fits in 24 gigabytes and Qwen3.8-27B does not. The first half is true and the second half is out of date. A​libaba published Qwen3.8-27B in August 2026 as a dense 27-billion-parameter vision-language model whose 16-bit weights run to roughly 56GB, and within days the community had produced four-bit builds of it at 16.46GB. Both models fit in 24GB today. The difference worth arguing about is that N​VIDIA designed the compression, published what it cost, and shipped it as the product — while the Q​wen side of that comparison is a build someone else made, with a bill nobody has totalled.

每個模型實際上是什麼

Bolt 是一款混合專家（mixture-of-experts）混合架構：總參數量 740 億，每個 token 啟用 90 億，Mamba-2 狀態空間層與專家層及注意力層交錯排列，另加上一組 C-RADIO v4-H 視覺編碼器。它之所以能以 24GB 的形式存在，是因為 NVIDIA 在占用空間預算的限制下執行了路由器導引的架構搜尋，接著將專家量化至每個元素 2.0625 位元，並以量化感知蒸餾修補隨之而來的損害。

Qwen3.8-27B 是稠密模型。每個 token 都會讀取全部 270 億個參數，而模型卡的架構章節描述了一個 64 層堆疊，其排列方式為十六次重複「三個閘控線性注意力區塊後接一個閘控全注意力區塊」，並以多個步驟訓練多 token 預測，原生上下文為 262,144 個 token，可延伸至一百萬個。它原生就能理解圖像與影片，並透過推理強度設定與一個可跨輪次保留推理脈絡的旗標，為每次請求提供思考控制。

不同的製作理念，而兩者都以開放權重形式在足夠寬鬆的授權條款下發布——Bolt 採用 OpenMDW-1.1，Qwen3.8-27B 則採用 Apache 2.0。

兩個壓縮，其中一個有記錄

這是比較中起決定作用的部分。

N​VIDIA's 24GB checkpoint is compressed by N​VIDIA, and the cost is published. The BF16 release of the same model carries a table with both columns side by side, so the price of 2-bit experts is visible line by line:

• GPQA Diamond — 在 2 位元下為 86.43，相較於 16 位元下的 88.83，損失 2.40 分。

• Terminal-Bench 2.1 — 50.98 對比 53.93，落差 2.95。

• BrowseComp — 66.75 對 70.00，落後 3.25。

• AA-LCR 長上下文推理 — 64.06 對 67.38，低了 3.32。

• HLE 不使用工具 — 25.30 對比 28.73，損失 3.43。

• {{1}}AA-Omniscience{{/1}} 準確度 — {{2}}16.90 對比 21.80，相差 4.90{{/2}}。

另外還有兩列往相反方向走：在 AA-Omniscience 的非幻覺項目上，壓縮模型得分 61.27，而全精度模型為 56.14；在 WebArena vision 上，這對模型則在一分以內不相上下。這些是廠商數據，尚未被重現，而它們仍是任何實驗室曾就 24GB 壓縮對自家模型造成什麼影響所發表過最完整的說明。

現在輪到 Qwen 這邊。Qwen3.8-27B 有一個 16.46GB 的四位元版本存在，由第三方發布，而且完全沒有附帶任何準確度測量數據。不是一個偏弱的測量——而是根本沒有。它下方的 9.83GB 和 7.27GB 版本，以及它上方的 21.98GB 版本，也是如此。無論一個 27B 稠密視覺語言模型在其權重被壓縮到四位元時會損失什麼，都沒有人為此發表過任何數字；這意味著讓其得以塞進記憶體的記憶體算術只是簡單的那一半，而能力問題則完全懸而未決。

這種不對稱，才是這場對決最誠實的樣貌。Bolt 會直接告訴你它的價格。Qwen3.8-27B 則要你付出一個必須自己估算的代價。

獨立小組，以及其涵蓋與不涵蓋的事項

Artificial Analysis 在其最大推理配置下，於完整模型層級對 Qwen3.8-27B 進行測量：智力指數為 34，在該評測面板的 141 個模型中名列第一；輸出速度約為每秒 41 個 token，在 63 個模型中排名第 51；而在其追蹤的供應商組合中，成本為每百萬輸入 token 0.50 美元、每百萬輸出 token 3.00 美元，該機構稱這對該規模的開放權重模型而言特別昂貴。它還指出該模型極為冗長，在指數測試執行期間生成了 2 億個 token。

同一個評測小組給 Bolt 的 Intelligence Index 分數為 21，在同級 67 個模型中排名第四，而速度與成本兩項數據皆從缺，因為目前沒有公開的 API 提供其服務。十三分是相當大的差距，而且兩者是以相同方式測量，這使這句話成為本文中最值得信賴的單一陳述。它同時附帶一項聽起來沒那麼嚴重、實際上卻更關鍵的但書：該小組自家的比較摘要稱 Qwen3.8-27B 明顯偏慢且極為冗長，因此勝在智慧的那個模型，正是你得等更久的那一個。

關於模態，這兩頁的不一致值得注意，因為規格面板與產品頁面並不相同。Qwen 廠商卡描述的是原生圖片與影片理解；分析面板在某些檢視中列出 Qwen3.8-27B 的文字、圖片與影片輸入，而 Bolt 則是文字與圖片。兩個模型都能看見。但兩者所見並不完全相同，而第三方對兩者的描述差異提醒我們：應對照模型卡來查核模態宣稱，而不是只看摘要列。

The vendor table on Q​wen's side

A​libaba 的模型卡很長，而它的 agentic 列項正是這款模型在 Bolt 旁邊之所以有趣的原因。Terminal Bench 2.1 拿到 73.0，SWE-bench Pro 拿到 61.7，GPQA Diamond 拿到 89.2，HLE 拿到 30.8，LiveCodeBench v6 拿到 90.3，OSWorld-Verified 拿到 84.3，AndroidWorld 拿到 81.9 —— 全部由 A​libaba 評估，多數情況是在 C​laude Code 的測試框架內，以 256,000 個詞元的上下文進行。

那些數字無法與 Bolt 的表格相比。不同的測試框架、不同的評估日期、不同的基準選擇，而就 Bolt 而言，其基準組的選擇部分是為了能在四位元下放入 24GB。唯一誠實的說法是，Qwen3.8-27B 公佈的代理分數高於 Bolt 公佈的代理分數，這兩組數字都來自打造這些模型的實驗室，而且這兩個實驗室都沒有執行過對方的基準測試套件。

有一個 Qwen 的數字值得因為另一個理由特別點出。它自家的成績卡承認 GPQA Diamond 為 89.2，而 Bolt 的成績卡則聲稱 86.43——近到只要評測框架有些差異，就可能讓任一方超前另一方。這是廠商表格用來解決爭論的尺度。但這不是你該用來斷定其中一項的尺度。

租用一台，以及你所繼承的延遲

Bolt 沒有端點。沒有速率可報，沒有供應商提供服務，也無法在你自己的流量上評估它——除非完成 N​VIDIA 的部署配方：釘選的 nightly vLLM 容器、執行時才取得的核心套件、推理剖析器外掛、b12x 後端、fp8 KV 快取，以及僅服務單一序列的併發度。

Qwen3.8-27B 可供下載，也能直接呼叫，而正是這樣的組合，讓這場對決真正有了實際可行的答案。我們在qwen/qwen3.8-27b自家基礎架構上提供服務，每百萬輸入 token 收費 0.33 美元，每百萬輸出 token 收費 2.40 美元。目錄條目列出 262,144 token 的上下文，支援文字、圖像與影片輸入；我們之所以能以此價格提供，是因為 OrcaRouter 以不加任何加價的方式直接轉出供應商牌價——若有供應商降價，這裡當天就會同步生效，而不必等到下一個計費週期。

然而，延遲值得如實引用，而非美化。在截至 2026 年 10 月 16 日的七天內，我們自己針對此模型的端點回報，首個 token 的 p50 時間為 10.00 秒、p95 為 10.00 秒，輸出速度為每秒 515 個 token，錯誤率為 2.1%。每日序列說明了整體情況：10 月 10 日為 1.42 秒，11 日為 1.65 秒，12 日為 2.83 秒，接著 13 日與 15 日為 10.00 秒，14 日為 1.91 秒。六天中有兩天觸及我們測量窗口的上限，三天則未觸及。

那不是個漂亮的數字，而它偏偏就是那個數字。它也是自動容錯移轉之所以是一項路由功能、而非一句口號的具體原因：首個 token 的等待時間星期一還好好的，星期三就變成十秒，這正是備援鏈存在的意義，而路由 DSL 的存在，就是為了讓「先試這個模型，一旦效能下滑就退回那一個」成為設定，而非應用程式碼。你自己擁有的模型——Bolt，或是在地端建置的 Qwen——沒有這種問題，也沒有這種選項。它每天都跟你的 GPU 一樣快，路徑上沒有第三方，卡住時也沒有第二個模型可以求助。

這實際上是如何解決的

沒有贏家可以交接，因為這兩個模型並非在爭奪同一個位置。

若你的限制是無法連網的機器，或是不能離開裝置的工作，Bolt 就是答案，而公開的壓縮成本就是入場代價。Qwen3.8-27B 並不會改變這件事，因為你無法靠下載就變出一套 NVIDIA 尚未打造並記錄下來的 24GB 部署——你只能用品質未經量測的四位元版本勉強近似，而且還得自行另外取得它的視覺投影器。

如果你的限制條件是每美元能換到多少能力，而且網路可用，那麼 Qwen3.8-27B 在唯一同時衡量這兩者的指標上領先十三個百分點，且是以公開費率、在你方法務團隊看過的授權條款下。4 位元本地建置是合理的第三條路，而這正是你應該預期要自行評估、而不是沿用別人表格的那一條。

兩個模型都留給你判斷的部分是一樣的：兩者都沒有針對彼此的獨立基準測試，兩家實驗室也都沒有測量過對方的模型，而圍繞它們流傳的首日意見，只是對廠商規格資料的解讀。把兩者都下載下來，跑你自己的任務，留下先完成的那一個。這是這場比較中，唯一不會由打造它們的兩家實驗室之一所發布的結果。

數字無法告訴你的是，這一切在實際運作中是否出了問題：針對此類模型有記錄的 AI 事件與代理故障，都收錄在the OrcaRouter AI Incident Archive，其中每筆條目都附有自己的來源、嚴重程度、可信度等級與爭議標記。