Nanbeige4.3-33B vs Qwen3.8 27B：審核「20 項中 18 項」的說法

Nanbeige4.3-33B 在 20 項基準中的 18 項擊敗 Qwen3.8-27B。這是本週在網路上流傳的說法，而就模型卡所寫的內容而言，技術上確實如此。但這也是一句帶有分母的話，而分母才是有趣的部分。在這 20 列中，19 列是以分數計分，1 列是美元金額；18 場勝利中有 4 場差距不到一分；而且至少有 3 個 Qwen 數字似乎是從 Qwen 自己公布的結果複製而來，而非由 Nanbeige 重新執行。這些都不會讓該說法變成假的，只會讓它比聽起來更狹隘。

這場對決很不尋常，因為 Nanbeige 選擇 Qwen3.8-27B 作為它的陪練對手。Qwen3.8-27B 於 2026 年 8 月中旬推出，是 277.8 億參數的稠密模型，採用 Apache 2.0 授權，輸入端支援多模態，而且——與 Nanbeige4.3-33B 不同——在 Artificial Analysis 智慧指數上有獨立的 34 分。因此，這是本批次中唯一一組對手擁有經核實分數、而受測對象沒有的比較。這種不對稱，是我們稽核這張表格時最好的工具。

誰撰寫了這項主張，以及分母包含哪些內容

這張表是 Nanbeige 的。它發布在 Nanbeige4.3-33B 的 Hugging Face 模型卡上，該儲存庫建立於 2026 年 10 月 24 日。沒有隨附的部落格文章、沒有發布活動，也沒有第三方重現。Qwen 欄中的每個數字，以及 Nanbeige 欄中的每個數字，都是由進行比較的實驗室產生或挑選的。

這 20 列涵蓋三個分組：代理式編碼（Terminal-Bench 2.1 與 4.0、DeepSWE、SWE-Bench Pro、SWE-Atlas-QnA、NL2Repo、Scicode、SkillsBench）、代理式協同作業（Automation Bench、JobBench、GDPval、Claw-Eval、Toolathlon-Verified、DeepPlanning、EnterpriseOps-Gym、YC-bench、Tau3-Bench），以及推理（GPQA Diamond、AIME 2026、AA-LCR）。相較於多數廠商說明卡，這裡更審慎地揭露了測試執行框架：Terminal-Bench 2.1 使用 Terminus 2，Terminal-Bench 4.0、DeepSWE 與 SWE-Atlas-QnA 使用 mini-swe-agent v2.4.6，NL2Repo 與 JobBench 使用 Claude Code，而 SWE-Atlas-QnA 則以 GPT-6 Sol 作為評審。這份揭露值得肯定 Nanbeige。這也是為什麼這項比較比單看勝場數更難解讀。

Nanbeige 輸掉的兩行

• SWE-Bench Pro — Qwen3.8-27B 61.7 對上 Nanbeige4.3-33B 60.3。Qwen 領先 1.4 分。

• GDPval — Qwen3.8-27B 為 86.4，對上 Nanbeige4.3-33B 的 84.8。Qwen 以 1.6 分領先。

這兩列正是「20 項中 18 項」標題默默略過的項目，而它們指向一致的方向。兩者都是衡量專業、具經濟價值工作的基準：SWE-Bench Pro 是較難的軟體工程變體，GDPval 則衡量真實職業任務的產出品質。Qwen 在兩者上都勝出，領先幅度以絕對值來說很小，但在兩個不同的任務家族中都很穩定。如果你是在為專業工作、而非為排行榜在這幾個模型之間做選擇，這兩列正是你最該加權重視的其中兩列，而它們也正是受測模型落敗的兩列。

Nanbeige 的模型卡並未解釋失利。它也不需要——廠商本來就有權公布自己勝出的表格。但讀者應該注意到，失利恰好集中在基準測試最接近「專業人士是否會接受這樣的輸出」之處，而勝出則集中在基準測試最接近「代理是否完成閉環」之處。

那些不過是四捨五入誤差的勝利

18 場勝利中有 4 場是以不到一分之差分出勝負。

• Tau3-Bench — 48.8 對 48.5。只差零點三分。

• GPQA Diamond — 89.5 對 89.2。十分之三。

• AIME 2026 — 95.2 對 94.5。十分之七。

• EnterpriseOps-Gym — 41.0 對 40.2。零點八分。

另外兩項的差距約在兩分以內：Toolathlon-Verified 為 70.4 對 68.5，AA-LCR 為 84.0 對 82.0。在這種規模與變異度的基準測試中，不到一分的差距並非優勢的證據，而是兩個模型處於同一水準區間的證據。對標題作公允的改寫會是「Nanbeige 在 20 項中明顯領先 12 項、持平 6 項、落後 2 項」——這仍是強勁的結果，而且更有用。

真正有力的論據，就在那些大幅領先的項目上。DeepSWE 的 65.5 對 42.5，是 23 分的差距。Terminal-Bench 4.0 的 23.8 對 6.3，是 17.5 分。Automation Bench 的 54.2 對 38.3，是 15.9 分。DeepPlanning 的 63.3 對 49.2，是 14.1 分。YC-bench 這項以美元計價的任務，回報是 $1,025,437 對 $641,290。這些都不是四捨五入造成的。它們說明 Nanbeige 在長時程、多步驟執行上更強——也就是模型必須在數十次工具呼叫之間讓計畫持續運作的那類工作。這是一套連貫的論述，也和該模型 512K 原生上下文及以代理為導向的建議設定相符。

這些欄位可能不是同一個實驗。

這項觀察讓整張表變得複雜。有三個 Qwen 數字與 Qwen 自己公布的數字完全吻合：Terminal-Bench 2.1 為 73.0、SWE-Bench Pro 為 61.7、GPQA Diamond 為 89.2。Qwen 這三項都有公布。Qwen 未公布的列——DeepSWE、SWE-Atlas-QnA、NL2Repo、JobBench、Automation Bench、DeepPlanning、YC-bench、Tau3、EnterpriseOps-Gym、Claw-Eval——正是 Nanbeige 差距最大的列。

這種模式與同一張表內採用兩種不同做法相符：對對手已公布的基準測試直接複製數字，對其未公布的基準測試則重新執行。這是推論，並非已揭露的事實——Nanbeige 的模型卡稱所有模型皆以最高思考強度、相同推論參數與評測框架進行評估，這會與複製的說法相悖。但三個獨立數值完全吻合，仍是值得指出的巧合；而如果 Qwen 欄是混合而成，那麼「20 項中的 18 項」在某些列上是拿 Nanbeige 的執行結果與 Qwen 的執行結果相比，在另一些列上則是拿 Nanbeige 的執行結果與 Nanbeige 自己的執行結果相比。

還有第二個更微妙的問題。Nanbeige 自家的模型是在其模型卡建議的測試框架中運行：XML 工具呼叫、preserve_thinking=true、用於代理式工作的 temperature 1.0。模型卡並未說明 Qwen3.8-27B 是採用其自身建議的設定，還是被直接放入 Nanbeige 的設定中。若是後者，DeepSWE 那 23 分的差距中，有一部分是設定差異，而非能力差異。這與套用於所有廠商比較的注意事項相同，而這並不是否定該結果的理由——而是要求在將其視為定論之前，必須進行中立重新測試的理由。

獨立分數只有一個模型才有

Artificial Analysis 在其 Intelligence Index 上為 Qwen3.8-27B 評分 34，該分數是在 xhigh 推理設定下測得，輸出速度為每秒 45.2 個 token。延遲因供應商而異：我們自己的頁面報告首個 token 時間的 p50 為 2.95 秒，而 Artificial Analysis 在其取樣的端點上測得 3.8 秒。該指數是十項評估的綜合結果，包括 Terminal-Bench 4.0、SciCode、AA-LCR、GDPval-AA 與 AutomationBench-AA——其中數項與 Nanbeige 自行報告的基準家族相同。

Nanbeige4.3-33B 沒有 Artificial Analysis 的條目。這不是什麼醜聞；這個模型才推出兩天。但這意味著，這項比較的兩邊在知識論上並不對等。Qwen 的 34 是別人測出來的數字。Nanbeige 在 Terminal-Bench 2.1 上的 80.9 則是 Nanbeige 自己測出來的數字。如果兩者都準確，Nanbeige 在同一個綜合評分上很可能會明顯高於 34——它在 Terminal-Bench 4.0 的 23.8 和 SciCode 的 52.6 都是表現強勁的項目。重點是，「很可能」正在承擔關鍵作用，而且在獨立評測者實際跑過這個模型之前，它會一直承擔下去。

這也是把「20 項中 18 項」的說法視為開場論點的實際理由。這項說法可以用具體且低成本的方式證偽：把 Nanbeige4.3-33B 提交給獨立評測者，並比較綜合分數。在做到這點之前，最強而誠實的說法是：Nanbeige 宣稱在長時程代理式工作上領先，但在專業輸出品質上略遜一籌；而且在這兩個模型中，只有一個曾由製造商以外的人檢驗過。

以任務計價，而非以 token 計價

這兩者之中，Qwen3.8-27B 是今天唯一能呼叫的。在 OrcaRouter 上，每百萬輸入 token 為 $0.33、每百萬輸出 token 為 $2.40，低於 Artificial Analysis 所列阿里巴巴第一方端點的 $0.50 與 $3.00。這一個是架在我們自家基礎設施上提供，而非依供應商牌價轉售，因此價格落在第一方定價之下；至於我們確實代為轉售的模型，0% 加價規則意味著你付的就是供應商的牌價。無論哪種情況，每 token 價格因路由不同而有相當差異，第一方端點未必就是便宜的那個。該模型除了文字之外也接受圖片與影片，並具備 262,144 個 token 的上下文視窗。

不過，用每個 token 的價格來做這項比較，是錯誤的單位。評測者指出，Qwen3.8-27B 異常耗費 token——在可比任務上，其 token 用量大約是 Qwen3.6-27B 的三倍——而 Artificial Analysis 估計，在 xhigh 設定下，每項 Intelligence Index 任務約需 1.01 美元。一個模型若在每 token 價格上勝出、卻在每項任務的 token 用量上落敗，仍可能是較昂貴的選擇。Nanbeige4.3-33B 則根本沒有每 token 價格：權重免費，沒有任何推論供應商部署它，而要運行它，意味著採用四 GPU 張量平行部署，且無論是否有流量進來都持續保持開啟。

這就是路由層發揮價值的地方。Qwen3.8-27B 目前可透過我們的金鑰存取；Nanbeige 則不行，而我們不會假裝它可以。你能做的是將 Qwen 保留為生產路徑，並把一部分真實流量導向自行託管的 Nanbeige 端點，以衡量任務完成情況與消耗的 token 數，而不是單靠一張表格。自動容錯移轉在這裡很重要：實驗端點若在執行中途失效，應降級至現有方案，而不是把代理程式也一起拖垮。如此一來，決策便取決於你自己的每項完成任務成本，因為這是唯一能誠實綜合兩個模型 token 行為的數字。

什麼會證偽這一點？

三項結果就能解決這個問題，而且其中沒有一項需要新模型。

• Nanbeige4.3-33B 的 Artificial Analysis 項目。若其落點接近或高於 34，廠商表格的方向即獲確認，而幅度則變得可爭議。若其落點遠低於此，則 18-of-20 的說法需要比評測框架選擇好得多的解釋。

• 在兩個模型各自建議的配置下，對 DeepSWE 與 Terminal-Bench 4.0 進行一次中立的重跑。這正是目前表格未執行的特定實驗，且它針對的是承載 Nanbeige 大部分領先幅度的那些列。

• 兩者都應公布「每完成一項任務的 token 用量」數據。單看每 token 價格，無法比較你自行託管的稠密 33B 模型與你租用的耗 token 27B 模型；但每完成一件工作的成本可以。

我們會捍衛的裁決

Nanbeige4.3-33B 可能是兩者中更強的長程代理模型。它在 DeepSWE、Terminal-Bench 4.0、Automation Bench 和 DeepPlanning 上的領先幅度太大，且方向過於一致，不可能完全是評測框架造成的假象，而 512K 原生上下文也符合這個說法。Qwen3.8-27B 可能是專業交付成果品質更強的模型，在衡量此項的兩列中都勝出，而且它無疑是更實用的一個：獨立評分、託管 API、多模態輸入，以及今天就能放進試算表的價格。

「20 項中拿下 18 項」是實打實的結果，卻被包裝成更了不起的成就。準確的說法是：一個來自無人獨立評測過的實驗室、才問世兩天的模型，宣稱在代理式執行上明顯領先、在一般推理上打成平手、在專業產出上略遜一籌——而對手已經推出十週，且是由製造者以外的人測量過。這確實是個有趣的說法，但還不足以成為切換的理由。