Nanbeige4.3-33B 對決 Nemotron 3.5 Lightning 30B A3B：教師對上執行者

NVIDIA Nemotron 3.5 Lightning 30B A3B 的輸出速度達每秒 294.9 個 token。Nanbeige4.3-33B 則完全沒有公開速度數據，因為沒有人提供它的服務。這兩項事實比起任何一列基準測試數據，更能說明這場對決：其中一個模型是經過工程設計的吞吐量產品，有費率表，也有單 GPU 部署方案；另一個則是 330 億參數的稠密檢查點，於 2026 年 10 月 24 日登上 Hugging Face，只有模型卡，沒有推論服務供應商。兩者都屬於「30B 級」。但它們不是同一類物件。

這項比較值得做，因為兩者鎖定的都是同一類買家——正在打造長時間運行的代理、需要執行大量小步驟，又不想背負前沿模型帳單的人。NVIDIA 的答案是壓低每個 token 的運算量。Nanbeige 的答案則是做出一個更大、更稠密的模型，讓它在代理式工作上好到只需要一個就夠。這是兩種相反的押注，而各自背後的證據在性質上也非常不同。

36 億個活躍參數就是全部的論點

Nemotron 3.5 Lightning 30B A3B 是一款混合式專家混合模型：總參數達 316 億，每個 token 啟用 36 億，分佈於 52 層——23 層 Mamba-2、23 層 MoE，以及 6 層注意力。它會路由至 128 個專家，並啟用其中 6 個，外加一個共享專家。這個架構讓它能在託管端點上維持約每秒 295 個 token，而稠密的 30B 級模型通常落在 40–80 的範圍。

Nanbeige4.3-33B 是稠密模型。全部 331 億個參數在每個 token 上都會參與運算。它沒有路由、沒有專家稀疏化，也沒有 Mamba 層。這是有意的選擇，並帶來明確的後果：每個 token 的成本約為 Lightning 的活躍運算量的九倍，而且模型在生成任何內容之前，需要約 66GB 的 BF16 權重（或 4-bit 下約 20GB）常駐記憶體。

抽象來說，兩種設計沒有優劣之分。稠密模型通常較容易微調，品質也較可預測；稀疏模型在相同名目規模下，通常服務成本更低、速度更快。問題在於你的工作負載欠缺的是哪一項特性。

每個模型被打造來做的事

NVIDIA 將 Lightning 定位為常駐代理的執行層——這個模型接收來自更大系統的計畫，並以低成本持續完成工具呼叫、檔案編輯與瀏覽器操作。它從 Nemotron 3 Ultra 蒸餾而來，預訓練階段即內建多 token 預測的投機解碼，並搭配獨立的草稿模型，且針對代理框架而非聊天場景進行調校。其公布的基準測試組合反映了這一點：PinchBench 85.4–86、BrowseComp 36.8–36.97、SWE-bench Verified 51.56–52.8、Terminal-Bench 2.1 約 23.5–24.6。

Nanbeige4.3-33B 被定位為教師模型。模型卡直接說明了這一點：它是 4.3 系列的旗艦，旨在蒸餾到較小的模型，例如尚未發布的 Nanbeige4.3-3B。其基準測試集也相應廣泛——涵蓋代理式編碼、代理式協作與推理的 20 列項目——而其建議設定則是自行執行模型時會採用的設定：張量平行大小 4、XML 工具呼叫、多輪工具使用時 preserve_thinking=true。

其中一個是他人系統中的元件。另一個則是某個系列模型的來源模型。這樣的定位幾乎解釋了以下所有差異。

他們共有的那唯一基準無法被減去

兩張卡都回報 Terminal-Bench 2.1。Nanbeige 聲稱 80.9。NVIDIA 公布的 Lightning 數值範圍大約是 23.5–24.6。表面上這是 56 點的差距，而這正是會被引用的數字。

它不應該如此。Terminal-Bench 衡量的是模型在代理腳手架內的表現，而兩家廠商所描述的並不是同一套腳手架。Nanbeige 的模型卡指出，其 Terminal-Bench 2.1 測試使用的是 Terminus 2，且其模型是在最高思考強度下，以共用的測試框架與共用的推論參數進行評估。NVIDIA 的數字則來自其自家內部測試框架，而該公司自己也標明這可能與第三方結果有所不同。一個獲得有利迴圈的稠密 33B 模型，與一個使用標準迴圈的 3.6B 活躍參數模型，即使兩者都沒有被不實呈現，分數也可能相差數十分。

誠實的解讀是方向性的，而非數值性的：Nanbeige 聲稱在代理式終端機效能上大幅更強，而這項說法雙方都未經證實。同樣的謹慎也適用於 GPQA Diamond（Nanbeige 89.5、Lightning 74.3–75.6）以及 AA-LCR（Nanbeige 84.0、Lightning 52.0–60.3）。這些差距大到其中部分差異很可能是真實能力，而非測試框架所致。但「很可能」這句話承擔了很大的分量，而且尚無第三方進行過這項比較。

沒有模糊空間的是獨立評測覆蓋情形。Artificial Analysis 在其 Intelligence Index 上給 Nemotron 3.5 Lightning 打了 13 分。它沒有 Nanbeige4.3-33B 的條目。一個模型有第二方意見；另一個只有模型卡。這種不對稱本身就是資訊，而且不利於那家表格更響亮的廠商。

紙上 1M 上下文，實際 256K

Artificial Analysis 將 Lightning 的上下文視窗列為 100 萬個 token。NVIDIA 自家的文件則較為保守：在單張 H100 上，262,144 個 token 是實務上的上限。這兩個數字都可能成立——架構支援更長的視窗，但你實際很可能用來執行它的硬體，無法從容容納這樣的長度。

Nanbeige4.3-33B 的 524,288 tokens 是稠密模型上經過訓練的視窗，而 KV 快取的記憶體成本會隨之增加。這張卡的 vLLM 與 SGLang 配置使用 0.8 的 GPU 記憶體使用率和張量平行規模 4，這表明預期部署方式並非單卡。

就 agent 工作而言，實際差異與其說在於上限，不如說在於長時間執行後還剩什麼。Lightning 的混合 Mamba 層設計用來在長序列下維持低廉的狀態成本；Nanbeige 的稠密注意力則不然。NVIDIA 也公布了 AA-LCR 為 52.0–60.3，這是長上下文推理分數，而 Nanbeige 在同一基準上公布 84.0。若你兩份表都信，Nanbeige 的長上下文推理強得多。若你只信獨立施測的那一份，Lightning 的是你唯一能查核的。

託管一個稠密 33B 模型的算術

這就是比較不再關於品質，而是關於利用率的地方。

Lightning 在託管端點上的定價為每百萬輸入 token 0.06 美元、每百萬輸出 token 0.20 美元。Nanbeige 沒有價目表，因為沒有任何供應商部署它；價目表上直接把這一點寫明。若要使用它，你得租用或購買 GPU，並依照四路張量平行的做法來設定。

純粹為了算術起見，假設四張 H100 等級的 GPU 每張每小時 2 美元——整個節點每小時 8 美元。若要與 Lightning 的輸出價格打平，該節點每小時必須產出四千萬個輸出 token，也就是約每秒持續 11,100 個 token。四張 GPU 上的稠密 33B 模型做不到這一點。即使 GPU 成本只有十分之一，損益兩平的吞吐量仍要超過每秒持續一千個 token，這是正經的服務營運，而不是附帶的小實驗。

結論並不是 Nanbeige 很貴，而是：自行託管稠密 33B 模型，只有在使用率極高且極其穩定時，才能勝過每百萬 token 0.20 美元的執行器——或者在工作無法離開你的基礎設施時；在後一種情況下，這場比較從來就不是關於價格。在流量突發或用量低時，託管的稀疏模型在成本上大幅勝出，甚至還輪不到品質進入討論。

路由器在雙模型系統中的定位

NVIDIA 所推銷的架構——前沿規劃器搭配廉價執行器——正是多數代理團隊最終都會採用的架構。而這也正是路由層天生就適合的形狀：我們的路由 DSL 將多個模型組合成單一呼叫，讓規劃器與執行器能位於同一個端點之後，而自動容錯移轉則可避免陷入困境的執行器演變成停滯不動的代理。

我們目前沒有提供 Nemotron 3.5 Lightning 30B A3B 或 Nanbeige4.3-33B，所以這不是在推銷其中任一項的供貨。這是一則關於整合成本會落在哪裡的說明。如果你自行託管 Nanbeige 作為規劃器，並呼叫託管模型作為執行器，那麼這個分工值得以路由規則來表達，而不是硬編碼在應用程式中——因為你希望放在每個位置的模型，會在這一季結束前就改變。

延遲預算比排行榜更具決定性

• 如果單一代理步驟必須在一秒內返回：Lightning。以每秒 295 個 token 計算，300 個 token 的回答約一秒就能完成；你自己硬體上的稠密 33B 做不到，而 Nanbeige 沒有可供基準測試的託管選項。

• 若該步驟是工作流程開頭的一段長時間推理：Nanbeige 在 GPQA、AA-LCR 與 agentic 各列上宣稱的領先幅度支持這一點——但須受上述測試框架注意事項的限制。

• 若作品為中文：Nanbeige。Lightning 已發行的語言為英文、西班牙文、法文、德文、義大利文及日文。

• 若作品為多語言歐洲版：Lightning。Nanbeige 僅列出英文與中文。

• 如果你沒有 GPU，也對它們提不起興趣：Lightning，毫無懸念。

• 如果資料無法離開您的網路：Nanbeige，那麼成本比較就變成基礎架構決策，而不是 token 價格的決策。

未解決的問題

Nanbeige4.3-33B 才問世兩天，還沒有任何託管服務方案。這個事實決定了本文的時效。如果有服務商採用它——而模型卡聲稱目前沒有任何服務商這麼做，這點值得關注——這項比較的成本面就會徹底改觀，因為以具競爭力的每 token 價格提供託管的稠密 33B，會在品質敏感的工作上削弱支持較小稀疏執行器的整套論點。

在那之前，站得住腳的立場很有限。Nemotron 3.5 Lightning 30B A3B 是你今天就能部署的模型，有公開價格、獨立評分，而且每 token 的算力約少九倍。Nanbeige4.3-33B 在紙面上聽起來能力更強，具備 512K 原生視窗，以及自行回報、尚無人重現的代理能力數字。如果你的代理受延遲與成本限制，選擇早已確定。如果它受品質限制，而且你自有硬體，這個選擇就值得測試——而這項測試尚未進行。