Nanbeige4.3-33B 獲得首個外部評分：20，與 Qwen3.8-27B 持平，但話量多了一倍

兩週以來，唯一能證明 Nanbeige4.3-33B 擅長任何事的證據，來自實驗室自己撰寫的一張二十行表格。到了11月5日，情況改變了：Artificial Analysis 將 Nanbeige4.3-33B 列入其 Intelligence Index v5.0.1，得分為20，與它給 Qwen3.8-27B 在最高推理設定下的分數相同——綜合分數為20，而 Qwen 模型在底層 v5.0 執行中為20.1。十分之一點小於同一檢查點兩次評估之間的雜訊，因此，在唯一同時衡量兩者的公開綜合評分上，兩者不相上下。

那就是這次發布一直在等的數字，而它是這項測量中最不有趣的部分。這項綜合評分掩蓋了一個兩半指向相反方向的模型：具代理能力的那一半遠遠領先它原本要擊敗的 Qwen 模型，而知識的那一半則明顯落後於它。它還掩蓋了一個事實：Nanbeige4.3-33B 花了 1.6 億個輸出 token 才達到那個 20——是其比較類別中位數模型消耗量的兩倍以上，也足以讓它在 Artificial Analysis 的冗長度指標上，於八個模型中排名墊底。

所以，對這次發布的誠實解讀不再是「未經證實」，而是「已獲證實，而且比廠商表格所暗示的更奇怪」。以下是獨立執行結果實際顯示的內容、它與 Nanbeige 自家數字一致的地方，以及唯一一個外部測量結果更高比實驗室自身宣稱

20 代表什麼，以及它不代表什麼

Artificial Analysis 在其同類比較中將 Nanbeige4.3-33B 列為九個模型之首，該類別的中位數為 10。該類別是它用來對比的九個規模相近的開放權重模型，而該網站另稱，在更廣泛的可比群體中收錄了 144 個模型。這兩個群體都值得同時記住：在與規模大致相當的開放權重模型相比時，它是已測量模型中最強的一個；而與整個領域相比——包括前沿閉源模型以及 Qwen、DeepSeek 和 Anthropic 的最佳模型——20 分是穩妥的中游成績。

那個介於「9 個中的第 1 名」與中段分數之間的落差值得緊抓不放，因為當一次發布被概括成「勝過 Qwen」時，正是這個落差會消失。一個 33B 開放權重模型在由規模數倍於它的模型所主導的綜合評比中落於中段，是真正的成就。這不是前沿成果，而這次發布的任何用語都不應暗示不然。

這個指數沒有包含的是價格。沒有價格，因為沒有託管端點：Artificial Analysis 記錄「沒有公開可用的 API」，該儲存庫在 Hugging Face 的推論供應商對應為空，而每個收錄該模型的追蹤器都顯示成本不可用。你的成本就是硬體。

模型的兩半彼此不一致。

Artificial Analysis 並不公布單一數字，而這款模型的可讀性正體現在各項子分數上。請把它們當作兩欄來讀。

• Terminal-Bench 4.0（Artificial Analysis harness）— Nanbeige4.3-33B 29.8%，在排行榜上所有配置中排名第 56。Qwen3.8-27B 在 xhigh 下於同一測試框架得分 5.6%。

• FrontierCode 2.0 — Nanbeige4.3-33B 10.7%，排名第 81。Qwen3.8-27B 在 xhigh 下得分 14.9%，因此程式碼品質基準的結果恰好相反。

• AA-Omniscience v1.1 — Nanbeige4.3-33B 淨得分為 −4.4，準確率 11.7%。Qwen3.8-27B 在 xhigh 下淨得分為 −6.4，準確率 17.3%。Qwen 知道的更多；Nanbeige 淨得分較好，因為它更常拒答。

• AA-Omniscience 非幻覺 — Nanbeige4.3-33B 81.8%，在全站排名第 7。Qwen3.8-27B 在 xhigh 下得分 71.4%。

• AutomationBench — Nanbeige4.3-33B 53.1%，排名第 82。 • AA-Briefcase v1.1 — 1,162，排名第 90。 • Terminal-Bench-Science 0.1 — 0.9%，排名第 89。

• HLE-Diamond — 6.9%，排名第 117。CritPt v2 困難子集 — 15.5%，排名第 85。GDP.pdf — 11.2%，排名第 135。

這些橫列之間的模式是一致的。當任務是「長時間操作終端機，而且不提前停止」時，這個模型的分數大約是 Qwen 模型的五倍。當任務是「知道某項事實」時，它落後；而當任務是「知道某項事實，或說出自己不知道」時，它領先排行榜上幾乎所有項目，非幻覺率達 81.8%。

這種組合並非調校上的偶然。當你把知識基準指向一個為生成代理軌跡而打造的模型時，這就是它呈現出來的樣子。一個會憑空捏造事實的教師模型，就是會毒害學生訓練資料的教師，因此在 Nanbeige 所說正在建構的流程中，校準比召回更重要。無論這種取捨是刻意為之還是自然湧現，它都是這次發布中最站得住腳的一點。

冗長問題其實是變相的成本問題

Artificial Analysis 報導，Nanbeige4.3-33B 在 Intelligence Index 上接受評估時，產生了 1.6 億個輸出 token。其比較類別中的中位模型產生了 7,770 萬個。在該網站的冗長度排名中，它位居末位，在該類別的 8 個模型中排名第 8，約為中位數的 2.06 倍。輸入量為 154 億個 token，這使輸出對輸入的比率達到 1.034%。

隨之而來有兩件事。第一，20 的購入成本很高。如果你在任何地方按 token 付費，一個在相同綜合分數下輸出兩倍 token 的模型，每單位實測能力的成本大約就是兩倍，而該指數並未對此進行標準化。第二，冗長首先是延遲問題，然後才是金錢問題：在自己 GPU 上運行的 33B 稠密模型若產生兩倍 token，完成任務所需時間就是兩倍。

Nanbeige 自己建議的設定說明了部分原因，但無法為全部問題開脫。模型卡要求推理與聊天有 262,144 個 token 的上限，代理式工作則為 65,536 個，且預設開啟思考。任何被告知可以思考二十五萬個 token 的模型，都會用掉其中一些。但同類中位數是公平的比較基準——同一指數背後的其他模型也是推理模型——而 2.06 倍的倍數在該控制下依然成立。

對於自行託管部署，實際可行的解法是設定預算，而不是更換模型：限制每項任務的 max new tokens 上限，並在 8K、16K 和 32K 下測量你自己的通過率，再假設模型卡的預設值適合你的工作負載。大多數代理式任務過了某個點後就不會再改善，而這個模型不會告訴你那個點在哪裡。

唯一一行外部執行結果優於廠商自身數值的資料列

Nanbeige 的模型卡宣稱，Nanbeige4.3-33B 在 Terminal-Bench 4.0 上取得 23.8，而 Qwen3.8-27B 為 6.3。Artificial Analysis 測得 29.8。這個獨立測出的數字比該實驗室自己公布的數字高出六分。

這很不尋常，值得明白說出來，因為這個產業的標準失敗模式恰恰相反——實驗室會報告自家測試骨架所產生的最佳數字，而外部重跑得到的結果通常更低。廠商低報自身的代理評分，可能意味著他們那邊用了不同的測試框架、刻意採取保守說法，或是表格是在最終檢查點之前建立的。這些情況都不糟；它們全都意味著廠商表格不是上限，也不應被當成上限來解讀。

不能因此推論每一列廠商資料都可信。Nanbeige 表格中最大的宣稱——DeepSWE 65.5 對上 Qwen 的 42.5、SWE-Atlas-QnA 50.8 對上 41.9——目前尚無獨立的對應結果，而且兩者都是對 scaffold 敏感的基準測試，其中 harness 的選擇對分數的影響大於模型品質。Terminal-Bench 結果所確立的事更狹窄，但也更有用：該宣稱的 agentic 方向是真實的。任何單一列上的幅度仍未經證實。

這會讓想要嘗試它的團隊處於什麼境地

存取方式沒有任何改變。沒有可呼叫的端點、沒有費率表，也沒有供應商清單——權重以 Apache 2.0 授權放在 Hugging Face 上，服務路徑則是在你自有硬體上使用 vLLM、SGLang 或 Transformers。bfloat16 檢查點為 66.3 GB，分成十四個分片；而在 512K 上下文下，光是 KV 快取就約達 104 GiB，這就是為什麼可用配置是四路張量平行，而不是單張大卡。

改變的是，你現在可以跳過盡職調查中最昂貴的部分。在本週之前，評估 Nanbeige4.3-33B 意味著要準備四張 GPU，才能弄清楚那些代理式宣稱在與中立測試框架接觸後是否站得住腳。Terminal-Bench 4.0 上的 29.8 回答了第一個問題——方向是對的——而冗長度數字則回答了一個沒人問的問題，也就是這個模型每完成一項任務會花掉你多少 token。

如果你想要一個今天就能實際呼叫的比較基準，Qwen3.8-27B 是自然的對照組：相同的綜合分數、公開的價格，以及 262K 的上下文視窗。它在 OrcaRouter 上運行，每百萬輸入 token 收費 $0.33，每百萬輸出 token 收費 $2.40，與目錄中其他模型使用同一把金鑰，供應商定價原樣傳遞、不加價。用同一條路由規則，將你的任務集分別跑在託管模型與自架模型上，是找出「自家硬體上的 33B 稠密檢查點是否勝過按 token 租用的 27B」最便宜的方法——而這是 Intelligence Index 無法替你回答的問題，因為它不知道你的任務是什麼，也不知道你的 GPU 成本是多少。

真正仍未知的事情範圍很窄。這個模型存在是為了教導的蒸餾目標 Nanbeige4.3-3B，是否繼承了任何校準特性。冗長問題是否會在學生模型身上延續，因為一個會輸出 2 倍 token 的小模型，是代價便宜得多的錯誤。以及無幻覺的結果在 Omniscience 測試框架之外是否依然成立，因為 81.8% 是個很驚人的數字，而驚人的數字值得在任何人據此建立流程之前再仔細檢視。