SWE-2 Flash 對決 North Mini Code：基準測試中的基準測試

這是一個令人不安的對照。SWE-2 Flash 是 2026 年 11 月 4 日發布的 276B 參數後訓練模型，有八列基準測試數據，卻無法呼叫。North Mini Code 是 Cohere 於 2026 年 6 月以 Apache 2.0 授權發布的 30B 參數模型，其基準測試表與 SWE-2 Flash 恰好零列重疊——而且還有一項 SWE-2 Flash 完全沒有的獨立評分。紙面上，較新、較大的模型全面勝出。就證據而言，兩者之中，較舊、較小的那個才是唯一由第三方實測過的模型。

那個反轉就是整篇文章的核心，而且它比分數比較更有用，因為分數比較實際上根本無法進行。

兩個參數預算相反的 MoE

兩者都是稀疏混合專家模型，建立在相同的成本論證之上：付費買的是活躍參數，而非總參數。它們位處這個範圍幾乎相反的兩端。

• 總參數量 — SWE-2 Flash 276B 與 North Mini Code 30B 對比

• 每個 token 的啟用參數 — SWE-2 Flash 12B 對比 North Mini Code 3B

• 專家配置 — SWE-2 Flash 繼承 Inkling-Small 的結構；North Mini Code 會路由至 128 個專家中的 8 個

• 背景 — SWE-2 Flash 未發布 對比 North Mini Code 256K，最高輸出 64K

• 最大輸出 — SWE-2 Flash 未公開版 對比 North Mini Code 64K

• 授權 — SWE-2 Flash 未公開，對比 North Mini Code Apache 2.0 的 BF16、FP8 與 W4A16

活躍參數相差九倍，這個數字解釋了其餘的一切。SWE-2 Flash 之所以能採用更大、訓練更慢、但每個 token 執行成本低廉的模型，是因為它只有 12B 會實際啟動。North Mini Code 的規模只有前者的一小部分，這就是為什麼 Cohere 能把它部署在筆電等級的環境，也是為什麼它的基準測試上限較低。

為什麼你不能把 89.2 放在 36.0 旁邊

接下來會流傳的比較是 Terminal-Bench：SWE-2 Flash 為 89.2，North Mini Code 為 36.0。53 分的差距本會讓這篇文章不成文章。但這不是有效的相減，原因很容易被忽略。

North Mini Code 報告「Terminal-Bench v2」為 36.0，「Terminal-Bench Hard」為 31.1。SWE-2 Flash 報告「Terminal-Bench 2.1」為 89.2，「Terminal-Bench 4.0」為 20.0。「v2」和「2.1」是相鄰的標籤，可能指向同一組任務，也可能不是；而且在所比較的資料中，兩家廠商都未說明任務數量、測試框架（harness）或評分慣例。

內部證據顯示，這些版本是截然不同的量測工具。SWE-2 Flash 自己在 Terminal-Bench 上的兩列成績相差 69 分——在 4.0 上是 20.0，在 2.1 上是 89.2。當同一個模型在名稱相同但編號不同的兩個基準上分別得到 20 分和 89 分時，版本本身就是那項量測。把 2.x 的分數拿來對比 v2 的分數，並把差異稱為能力差距，是這個比較領域中最常見的單一錯誤。

其他列看起來像是共用的，但其實並非如此。North Mini Code 回報的 SWE-bench Pro 為 40.2；SWE-2 Flash 回報的 SWE-Bench Pro v2 Hard 為 89.9。兩者屬於不同的基準版本，且是經過篩選的子集。North 回報的 SWE-bench Verified 為 67.6；SWE-2 Flash 則完全未回報 Verified。North 回報 SciCode 38.2 與 LiveCodeBench v6 70.3；SWE-2 Flash 這兩項皆未回報。

那就只剩下 DeepSWE 1.1，其中 SWE-2 Flash 報告 60.1，而 North Mini Code 則未報告任何數值。

只有其中一個擁有的獨立號碼。

North Mini Code 的 Artificial Analysis Intelligence Index 為 27.6，Coding Index 為 33.4。這些都是第三方測量結果，採用一致的方法論，並且是在任何人都能下載並重新執行的模型上取得。

SWE-2 Flash 沒有 Artificial Analysis 的收錄條目，因為 Artificial Analysis 是透過 API 來評測模型，而 SWE-2 Flash 沒有 API。所有附在它身上的數字——60.1、89.2、20.0，以及 FrontierCode 2.0 上的 24.0——都是 Cognition 自家的，產自一個未公開的評測框架，而且 FrontierCode 是 Cognition 自己的基準測試。這裡沒有任何內容說那些數字是錯的。它說的是，讀者無從分辨真實能力與寬鬆的輔助框架。

對一個六月推出的 30B 開放權重模型來說，AA Coding Index 33.4 算是中等分數——高於 GLM-4.7-Flash 的 25.9，低於 Qwen3.6 35B-A3B 的 35.2。它也是你能驗證的分數，這比一列你無法驗證的廠商數據更有價值。

速度，以及哪一項主張是可檢驗的

Cohere 回報其自有 API 每秒約可輸出 199 個 token，約為 Devstral Small 2 吞吐量的 2.8 倍。這是服務端點的實測數據：送出請求，輸出 token，任何有存取權限的人都能重現。

Cognition 報告指出，SWE-2 Flash 約為每秒 200 個 token，而 SWE-2 為 60 個 token；這些數據是透過以模擬速率重播縮短後的工作階段逐字稿所產生。這兩個數字彼此相差不到每秒一個 token，但意思完全不同。一個是吞吐量測量；另一個是示範模型在那樣的速度下會是什麼樣子。

這是整個比較中的規律。較舊的模型發表較不亮眼的主張，但附上更多方法；較新的模型發表看起來更好的主張，卻完全沒有附上方法。

North Mini Code 真正不足的地方

並非所有方面都對 Cohere 有利。North Mini Code 是程式碼編寫專家，而且表現就像這類專家：它在 GDPval-AA 上得分 14%，在 τ²-Bench Telecom 上得分 37%，這兩者都是非程式碼的代理式評估，通用模型在這些評估中會表現好得多。如果你的代理必須執行撰寫與測試程式碼以外的任何事——處理客戶工作流程、對業務流程進行推理——North Mini Code 就是錯誤的工具，而 SWE-2 Flash 更廣泛的基礎讓它更可能是較佳選擇。

它的上下文視窗已公布且很大——256,000 個 token，輸出上限為 64,000 個 token——不過可用視窗仍取決於服務堆疊。而一個 30B 模型（3B 活躍參數）的上限，低於 276B 模型（12B 活躍參數）；再多的方法論透明度也無法彌補這點。

成本，以及採用路由層的理由

North Mini Code 依 Apache 2.0 授權可免費下載，在 Cohere 自家 API 上提供託管費率，並可透過多個第三方平台取得。SWE-2 Flash 在 Devin 內可免費使用至 2026 年 11 月 30 日，之後未定價，且在可預見的未來都不會提供可下載形式。

兩者都不在 OrcaRouter 目錄中。Cohere 的模型只要有硬體，任何人都能自行託管；而 Cognition 的模型沒有可路由的端點——所以誠實的說法是，無論如何，這項決定都是在我們的目錄之外做出的。路由層真正改變的是出錯的代價。OrcaRouter 以 0% 加價原樣傳遞供應商定價，並自動容錯移轉，因此依單一模型 ID 撰寫的應用程式，並不是依單一供應商可用性撰寫的應用程式。對於一方可能在 12 月 1 日重新定價、另一方可能永遠無法呼叫的一對模型而言，這種可攜性正是值得投入工程的部分。

如何決定

如果你想使用一個能自行執行、檢查、量化與基準測試的模型，在這兩者之中，North Mini Code 是唯一選擇；其已公布的上下文視窗與 3B 活躍參數預算，讓它在中等硬體上也能實際運行。接受它較低的能力上限與狹窄的程式設計專注範圍。

如果你正在使用 Devin，而重點在於免費期間，那麼從 SWE-2 Flash 自身的數據來看，它是明顯更強的模型，而且在 11 月 30 日前試用它的成本為零。

你不該做的是把 89.2 放在 36.0 旁邊，然後得出任何結論。那些數字來自不同的量測工具，由不同的公司報告，而且是在一個版本號本身就是量測依據的基準測試系列上。關於這一對，唯一站得住腳的說法，反而是聽起來最不像結論的那一句：其中一個已被獨立評分，另一個則沒有，而這個差異比任一張表裡的任何一列都更大。