MAI Code 2 與 SWE-2 對決的標題卡。MAI Code 2 顯示為 Microsoft 在 GitHub Copilot 中的模型,沒有 API,每百萬個 token 的輸入價格為 $0.50、輸出價格為 $2.50,未公布通過率,也未公布權重。SWE-2 則顯示為 Cognition 在 Devin 中的模型,沒有按 token 計價,在 DeepSWE 1.1 上得分 73.0%,在 Terminal-Bench 2.1 上得分 92.8%,在 Terminal-Bench 4.0 上得分 27.3%。
Guides & Insights

MAI Code 2 與 SWE-2:同樣的兩項基準,卻只有其中一方公布

作者

jinhao.song

發佈日期

最新模型 · 20查看全部模型 →
基準測試:Artificial Analysis · 每日更新
返回全部文章

MAI Code 2 與 SWE-2在發布資料中提到的基準測試幾乎完全相同,而只有其中一個告訴你它得了多少分。微軟 2026 年 11 月 17 日的貼文列出 DeepSWE 1.1、Terminal Bench 2.1、SWE-Atlas 與 FrontierCode v1.1,接著回報比率:以 5% 的成本達到 Claude Opus 5.5 效能的 96%。Cognition 於 2026 年 9 月 10 日發布的 SWE-2 貼文,列出相同的前兩項基準測試,並印出每一項的數字:DeepSWE 1.1 為 73.0%、Terminal-Bench 2.1 為 92.8%、Terminal-Bench 4.0 為 27.3%。該記住的是第三個數字,因為那是微軟未回報的版本——它也顯示當終端機基準測試變得更難時,程式設計模型會發生什麼事。

這兩個模型還共享一項發布限制,使它們在此類別中顯得與眾不同:兩者都沒有公開的逐 token API。MAI Code 2 可在 GitHub Copilot 用戶端中選取使用。SWE-2 則在 Devin 內運行。這兩個模型都無法從你自己的程式碼中呼叫,其中一個還公布了自身數據。

沒有人會拿來當主打的標竿版本

Cognition 的表格是兩家廠商所發布過最有用的成果,而且不是因為 SWE-2 在上面贏了任何項目。它有用,是因為它呈現了同一個模型在相同基準測試的兩個版本上受測的結果。

• Terminal-Bench 2.1 — SWE-2 達 92.8%,相較於 Claude Fable 5.1 的 91.4%、GPT-6 Astra 的 89.9% 與 Kimi K3 的 88.3%

• Terminal-Bench 4.0 — SWE-2 為 27.3%,相較之下 Claude Fable 5.1 為 55.8%、GPT-6 Astra 為 57.9%,而 Kimi K3 為 21.5%

• DeepSWE 1.1 — SWE-2 達 73.0%,相較於 GPT-6 Astra 的 74.1%、GPT-5.6 Sol 的 72.7% 以及 Claude Fable 5.1 的 67.4%

FrontierCode 1.1 Main — SWE-2 為 50.0%,相較於 GPT-6 Astra 的 53.3% 與 Claude Fable 5.1 的 50.9%

把前兩行放在一起看。SWE-2 在 2.1 上排名第二,在 4.0 上卻是倒數第二,下滑約 65 分,而且它並非孤例:Kimi K3 在同一對版本之間掉了 67 分。能撐住的模型,都是針對長程任務調校過的。這不是某間實驗室的測試框架出了怪毛病——而是這個基準版本本身變難了,而這正是為什麼在 2026 年 11 月,「我們跑過 Terminal Bench 2.1」這句話,比在 9 月時更站不住腳。

微軟跑了 Terminal Bench 2.1。微軟未公布其分數。微軟對 4.0 什麼都沒公布。這三項事實合在一起意味著,買家無法判斷 MAI Code 2 是哪一種程式設計模型:是終端機任務變長時仍能撐得住的那種,還是撐不住的那種。

各供應商實際揭露了什麼

披露方面的差距比模型之間的價格差距還要大,因此值得直白地說明。

Cognition 發布了一張涵蓋七個模型、四項基準的表格,明確列出比較集合,並註明競爭模型是在 Cognition 自家 CLI 中、以其最佳推理努力運行;同時也誠實揭露一項被排除的資料:Claude Fable 5.1 在最大努力下於 FrontierCode 取得 50.3%,每項任務成本為 $12.83,低於其自身中等努力的結果,因此被從圖表中移除。廠商主動告訴你它刪掉了哪個資料點,就是給你用來對其表格打折扣的工具。

微軟公布了基準測試的名稱、測試框架——MSBench,其內部評估平台,透過停用子代理、並讓每個模型都以最高推理強度運行的 GitHub Copilot CLI 執行——以及這些基準測試平均得出的比率。它並未公布 MAI Code 2 在這四項基準測試中任何一項的通過率,沒有參數量,沒有輸出上限,除了那兩項比率之外,也沒有與具名競爭對手比較的對照表。截至 2026 年 11 月 18 日,Artificial Analysis 尚無該模型的紀錄,因此沒有第三方數據可供替代。

其中一則揭露讓你得以重現推理過程。另一則則要求你接受結論。

這兩個模型都不是端點,而這會改變購買決策。

SWE-2 沒有公布按 token 計價的價格,也沒有公開 API。Cognition 的文章表示,它已在 Devin Desktop 和 CLI 中提供,並將逐步推廣到 Devin Web 與 Fusion;文中唯一的成本數字是每項任務的基準測試成本——這種數字是你用來證明對手很貴的說法,而不是你據以計費的依據。

MAI Code 2 確實有價目表,由 GitHub 公布:每百萬輸入 token 為 $0.50,快取為 $0.025,輸出為 $2.50,促銷價持續至 2027 年 5 月 17 日,之後為 $1.00 / $0.05 / $5.00。它本身沒有自己的 API 介面。家族中較小的成員 MAI Code 2 Flash 是唯一擁有 API 介面的模型——在 Microsoft Foundry 中透過 OpenAI 相容的 Responses API 提供限量存取預覽。

• 價格 — MAI Code 2 為每百萬個 token $0.50 / $0.025 / $2.50,優惠至 2027 年 5 月 17 日;相較之下,SWE-2 未公布每 token 價格

• 使用權 — 在 Pro、Pro+、Max、Business 與 Enterprise 中提供 GitHub Copilot 席位,對比 Desktop 與 CLI 中的 Devin 訂閱

• 重量 — 未分配至兩側

• 背景脈絡——SWE-2 沒有已公布的上下文長度數字;相較之下,MAI Code 2 的 100 萬個權杖僅能在 Visual Studio Code 與 Copilot CLI 中使用

• 已公布的基準測試成績——MAI Code 2 一項都沒有,相較之下 SWE-2 有四項

• 獨立索引資料列 — 兩個模型都沒有

實際結論是,這兩者都是席位購買,而不是代幣購買,而且只有其中一個附有可供你建立模型的計量方式。如果你的財務團隊需要單位成本,MAI Code 2 能提供,SWE-2 則沒有。如果你的工程團隊需要知道該模型是否能在你的儲存庫上帶來改善,SWE-2 會提供比較表,MAI Code 2 則提供比率。

Microsoft's MAI Models page announcing MAI Code 2 and Code 2 Flash under the heading 'Everyday coding at scalable prices', tagged Nov 17, 2026 and Ignite, with the MAI Code 2 model entry below it.

每個模型被打造來做的事

微軟給 MAI Code 2 的簡報,談的是日常企業工作:把程式碼推上正式環境、深度除錯、多檔案實作、涵蓋整個儲存庫的推理,以及 UI 與儀表板。發布文章倒是直言不諱,說這些模型「明確尚未針對更棘手的問題進行調校,例如基礎科學研究與極長時程的代理式工作」——這句話擺在 Terminal Bench 2.1 的宣稱旁邊,顯得格外突兀,因為 Terminal-Bench 正是長時程的代理式基準測試。微軟自家的定位就說了:它並沒有針對這項基準所衡量的東西去做調校。

Cognition 對 SWE-2 的簡報則反其道而行:步驟更少、rollout 更便宜、模型是與執行它的代理共同設計的。該文章回報,在 SWE-2 medium 上每次執行的平均步驟降至 53,而 SWE-1.7 為 127;medium 的成本比 SWE-1.7 低 81%;首次真正編輯的中位數步驟為 18,對比為 48。這些是關於代理效率的工程主張,對 Devin 訂閱者而言,比任何基準測試榜單都更重要,因為它們決定一項任務會消耗多少每月額度。

所以這兩個模型再次針對不同的目標進行調校:一個是為了在 IDE 內處理日常任務,一個是為了自主代理中的步驟數量。兩者都不是對方的更好版本。

當兩個模型都無法路由時,路由器在何處發揮其價值

MAI Code 2 與 SWE-2 都不在 OrcaRouter 的目錄中,而且沒有誠實的方式可以暗示並非如此:一個是 Copilot 模型選擇器中的項目,另一個則位於 Devin 內部。路由層改變的不是對這兩個模型的存取權,而是建立比較的成本。對它們進行任何評估時,控制組必須是一個你能呼叫並測量的模型——Claude Opus 5.5、Kimi K3.1 Pro、Qwen3.8-Max、Gemini 4 Carbon——而這些模型都透過同一把金鑰提供,依供應商牌價計費,加價 0%,因此對它們執行基準測試時,會完全按供應商的費率計費。

這一點在這裡比在大多數對決中更重要,因為關於這兩個模型的有趣問題本質上是比較性的:一位日常開發者能否在你的程式碼上,以每次合併的成本擊敗前沿模型?你無法靠閱讀兩份由不同測試框架產生的供應商表格來回答這個問題。你可以讓可量測的模型,與貴團隊實際能存取的這兩個模型之一並行運行,並計算完成的任務數,而不是 token 數,來回答這個問題。自動容錯移轉能讓這項比較在執行途中遇到供應商速率限制時持續進行,而且由於定價是依牌價原樣傳遞,對照組的每項任務成本不會因為你用來量測它的那一層而膨脹。

在你能驗證的範圍內,該選哪一個?

你的團隊正在使用 Devin,而你希望每次 rollout 的步驟更少——SWE-2,而 Cognition 文章中提到的步驟數與成本降低數字,才是決定性的關鍵。

• 您的團隊正在使用 Copilot,而您想要便宜的 token 來進行例行修復——MAI Code 2 為 $0.50 和 $2.50,並以 2027 年 5 月加倍費率及促銷費率進行建模。

• 你需要用一個數字來為這個選擇辯護——SWE-2,因為它公布了四項,而另一個模型一項都沒公布。

• 你需要長時程的代理式工作;就現有證據來看,兩者皆非。Microsoft 表示並未為此進行調校;SWE-2 自己的表格顯示,當基準測試變得更難時,出現了 65 點的崩跌。

• 你需要一個以 token 為單位的成本模型 —— MAI Code 2,因為 SWE-2 沒有已公布的費率可供建模。

Cognition's 'Introducing SWE-2: Pushing the Pareto Frontier' post by the Cognition Team, dated 2026.09.10, with a lede reporting 50.0 percent on FrontierCode 1.1 Main, within one point of Fable 5.1 while being 64 percent cheaper, and describing RL scaled to the multi-trillion-parameter regime.

值得關注的是,微軟是否終究會公布那個能讓這項比較成真的數字。Terminal Bench 2.1 的通過率就能做到;Terminal Bench 4.0 的通過率則能一錘定音,因為那正是 SWE-2 自己的表格展示程式設計模型在任務變長時會是什麼樣子的版本。在其中一項出現之前,MAI Code 2 是一張附帶承諾的費率表,而 SWE-2 是一張附帶步數的表格,且只有其中一項能從廠商外部驗證。

Scoreboard comparing MAI Code 2 and SWE-2 across six dimensions. DeepSWE 1.1 not published versus 73.0 percent, Terminal-Bench 2.1 not published versus 92.8 percent, Terminal-Bench 4.0 not published versus 27.3 percent, price $0.50 and $2.50 per million tokens versus no per-token price, weights not distributed on both, and access via GitHub Copilot versus Devin only.

本文中的比較1

根據本文內容識別 · 基準測試:Artificial Analysis · 每日更新