MAI Code 2 与 SWE-2 对比的标题卡。MAI Code 2 显示为 Microsoft 的模型,集成在 GitHub Copilot 中,不提供 API,定价为每百万 token 输入 $0.50、输出 $2.50,未公布通过率,也未公开权重。SWE-2 显示为 Cognition 的模型,集成在 Devin 中,不按 token 计价,在 DeepSWE 1.1 上得分 73.0%,在 Terminal-Bench 2.1 上得分 92.8%,在 Terminal-Bench 4.0 上得分 27.3%。
Guides & Insights

MAI Code 2 vs SWE-2:同样的两个基准测试,只有其中一家公布了结果

作者

jinhao.song

发布日期

最新模型 · 20查看全部模型 →
基准测试:Artificial Analysis · 每日更新
返回全部文章

MAI Code 2和SWE-2在发布材料中列出的基准几乎完全相同,而只有其中一个公布了自己的得分。微软 2026 年 11 月 17 日的文章列出了 DeepSWE 1.1、Terminal Bench 2.1、SWE-Atlas 和 FrontierCode v1.1,然后报告了比率:以 5% 的成本达到 Claude Opus 5.5 性能的 96%。Cognition 于 2026 年 9 月 10 日发布的 SWE-2 文章列出了相同的前两个基准,并为每个基准给出了数字:DeepSWE 1.1 上 73.0%,Terminal-Bench 2.1 上 92.8%,Terminal-Bench 4.0 上 27.3%。第三个数字才是值得记住的那个,因为它是微软没有报告的版本——它展示了一个编码模型在终端基准变得更难时会发生什么。

这两个模型还有一个让它们在这一类别中显得不同寻常的分发限制:两者都没有公开的按 token 计费 API。MAI Code 2 可通过在 GitHub Copilot 客户端中选择它来访问。SWE-2 运行在 Devin 内部。这两个模型都无法从你自己的代码中调用,其中只有一个会公布自己的成绩数据。

无人主推的标杆版

Cognition 的表格是两家厂商发布过的最有用的材料,而且不是因为 SWE-2 在上面赢下了什么。它有用,是因为它展示了同一个模型在同一基准的两个版本上接受测量。

• Terminal-Bench 2.1 — SWE-2 达到 92.8%,相比之下 Claude Fable 5.1 为 91.4%,GPT-6 Astra 为 89.9%,Kimi K3 为 88.3%

• Terminal-Bench 4.0 — SWE-2 为 27.3%,相比之下 Claude Fable 5.1 为 55.8%,GPT-6 Astra 为 57.9%,Kimi K3 为 21.5%

• DeepSWE 1.1 — SWE-2 为 73.0%,相比之下 GPT-6 Astra 为 74.1%,GPT-5.6 Sol 为 72.7%,Claude Fable 5.1 为 67.4%

• FrontierCode 1.1 Main — SWE-2 为 50.0%,而 GPT-6 Astra 为 53.3%,Claude Fable 5.1 为 50.9%

把前两行放在一起读。SWE-2 在 2.1 上排名第二,在 4.0 上排名倒数第二,下降了约 65 分,而且并非个例:Kimi K3 在同一对版本上下降了 67 分。能保持住表现的模型,是那些针对长时程任务调优过的模型。这不是某个实验室评测框架的怪癖——而是基准版本本身变难了,也正是为什么在 2026 年 11 月,“我们跑了 Terminal Bench 2.1”这一说法比在 9 月时说服力更弱。

微软在 Terminal Bench 2.1 上跑过测试,却没有公布任何得分。对 4.0,微软同样只字未提。这三个事实放在一起意味着:买家无法判断 MAI Code 2 究竟属于哪一类编码模型——是那种在终端任务变长时依然扛得住的,还是那种扛不住的。

每家供应商实际披露了什么

信息披露上的差距比模型的价格还要大,因此值得直截了当地说明。

Cognition 发布了一张包含七个模型、四项基准的表格,明确说明了对比集合,并注明竞品模型是在 Cognition 自家的 CLI 中、以各自最高的推理强度运行的;同时它还坦诚披露了一处被排除在外的内容:Claude Fable 5.1 在最高强度下于 FrontierCode 上得分为 50.3%,单任务成本 12.83 美元,低于其自身中等强度的结果,因此被从图表中剔除。厂商主动告诉你它删掉了哪个数据点,就等于给了你对其表格打折扣的工具。

Microsoft 公布了基准名称、测试框架——MSBench,即其内部评估平台,通过 GitHub Copilot CLI 在禁用子代理、所有模型均以最高推理投入运行的条件下进行——以及这些基准平均后得出的比值。它没有公布 MAI Code 2 在这四项基准中任何一项上的通过率,没有参数规模,没有输出上限,除了这两个比值之外也没有与具名竞品的对比表。截至 2026 年 11 月 18 日,Artificial Analysis 上没有该模型的条目,因此没有第三方数据可供替代。

其中一项披露让你能够复现推理过程,另一项则要求你接受一个结论。

这两个模型都不是端点,而这会改变购买决策。

SWE-2 没有公布按 token 计价的价格,也没有公开 API。Cognition 的帖子称,它可在 Devin Desktop 和 CLI 中使用,并将逐步推广到 Devin Web 和 Fusion;文中唯一的成本数字是每项任务的基准测试成本——这种数字是用来表明竞争对手很贵的,而不是用来向你计费的。

MAI Code 2 确实有价目表,由 GitHub 发布:每百万输入 token 0.50 美元,缓存 0.025 美元,输出 2.50 美元,促销价持续至 2027 年 5 月 17 日,之后为 1.00 / 0.05 / 5.00 美元。它本身没有独立的 API 接口。作为该系列中体量较小的成员,MAI Code 2 Flash 是家族中唯一拥有 API 接口的模型——在 Microsoft Foundry 中通过兼容 OpenAI 的 Responses API 提供有限访问预览。

• 价格 — MAI Code 2 为每百万个 token 0.50 美元 / 0.025 美元 / 2.50 美元,促销价截至 2027 年 5 月 17 日;相比之下,SWE-2 未公布每 token 价格

• 访问权限 — 涵盖 Pro、Pro+、Max、Business 和 Enterprise 的 GitHub Copilot 席位,对比 Desktop 和 CLI 中的 Devin 订阅

• 权重 — 两侧均未分布

• 上下文 — SWE-2 未公布上下文长度数据,而 MAI Code 2 为 100 万 tokens,且仅在 Visual Studio Code 和 Copilot CLI 中可用

• 已公布的基准测试分数——MAI Code 2 一项都没有,而 SWE-2 有四项

• 独立索引行——两个模型都没有。

实际结论是,这两种购买都是按席位购买,而不是按 token 购买,并且其中只有一种附带可建模的计量方式。如果财务团队需要单位成本,MAI Code 2 能提供,SWE-2 不能。如果工程团队需要知道该模型能否在你们的代码仓库上带来改进,SWE-2 提供对比表,MAI Code 2 提供一个比率。

Microsoft's MAI Models page announcing MAI Code 2 and Code 2 Flash under the heading 'Everyday coding at scalable prices', tagged Nov 17, 2026 and Ignite, with the MAI Code 2 model entry below it.

每个模型的构建目的

微软对 MAI Code 2 的简介定位是日常企业工作:将代码投入生产、深度调试、多文件实现、全仓库推理、UI 和仪表板。发布文章坦率地指出,这些模型“明确尚未针对更困难的问题进行调优,例如基础科学研究和极长周期的智能体工作”——这句话与 Terminal Bench 2.1 的说法并列显得有些尴尬,因为 Terminal-Bench 是一个长周期智能体基准。微软自己的定位表明,它并没有针对该基准所衡量的内容进行调优。

Cognition 针对 SWE-2 的简要说明则反其道而行:更少的步骤、更低的 rollout 成本,以及与运行它的智能体协同设计的模型。该文章报告称,在 SWE-2 medium 上,每次运行的平均步骤数降至 53,而 SWE-1.7 为 127;medium 的成本比 SWE-1.7 低 81%;首次真正编辑所需步骤数的中位数为 18,而此前为 48。这些都是关于智能体效率的工程性主张,对 Devin 订阅用户而言,它们比任何基准测试成绩都更重要,因为它们决定了一项任务会消耗多少月度额度。

所以,这两个模型再次针对不同的目标进行调优:一个面向 IDE 中的日常任务,一个面向自主智能体中的步数。两者并不是彼此更好的版本。

当两个模型都无法路由时,路由器在何处体现其价值

MAI Code 2 和 SWE-2 都不在 OrcaRouter 的目录中,而且没有任何诚实的办法暗示并非如此:一个是 Copilot 模型选择器中的条目,另一个则在 Devin 内部。路由层改变的不是对这两个模型的访问,而是构建这项比较的成本。对它们进行任何评估时,对照组都必须是一个你可以调用并测量的模型——Claude Opus 5.5、Kimi K3.1 Pro、Qwen3.8-Max、Gemini 4 Carbon——而这些模型只需一个密钥,即可按提供商标价、0% 加价使用,因此针对它们运行基准测试时,计费完全按供应商的费率进行。

这一点在这里比在大多数对比中都更重要,因为关于这两个模型的有趣问题都是比较性的:一个日常编码者能否在你的代码上、按每次合并的成本击败前沿模型?你无法通过阅读两份由两个测试框架生成的厂商表格来回答这个问题。你可以通过让可度量模型与你团队实际能够接入的这两个模型中的任意一个并行运行,并统计已完成任务而不是 token 数来回答。当提供商在运行中途触发速率限制时,自动故障转移正是让这种比较得以继续运行的原因,并且由于定价按标价透传,对照组的每任务成本不会因为你用来测量它的这一层而被抬高。

鉴于你能核实的情况,该选哪一个?

• 你的团队正在使用 Devin,并且希望每次 rollout 的步骤更少——SWE-2;而 Cognition 文章中公布的步骤数和成本降低数据才是决定性因素。

• 你的团队正在使用 Copilot,并且希望为日常修复获得便宜的 token——MAI Code 2 的价格分别为 0.50 美元和 2.50 美元,按 2027 年 5 月翻倍费率和促销费率进行测算。

• 你需要用一个数字来为这一选择辩护——SWE-2,因为它公布了四项,而另一个模型一项也没公布。

• 你需要长周期智能体工作——就现有证据而言,两者都不行。微软表示并未针对此进行调优;SWE-2 自己的表格显示,当基准变得更难时会出现 65 分的暴跌。

• 你需要一个按 token 计费的成本模型——MAI Code 2,因为 SWE-2 没有已发布的费率可供建模。

Cognition's 'Introducing SWE-2: Pushing the Pareto Frontier' post by the Cognition Team, dated 2026.09.10, with a lede reporting 50.0 percent on FrontierCode 1.1 Main, within one point of Fable 5.1 while being 64 percent cheaper, and describing RL scaled to the multi-trillion-parameter regime.

值得关注的是,微软是否会公布那个能让这一比较真正成立的数字。Terminal Bench 2.1 的通过率就能做到;Terminal Bench 4.0 的通过率则能一锤定音,因为正是在这个版本中,SWE-2 自己的表格展示了当任务变长时,编码模型会是什么样子。在这两者之一出现之前,MAI Code 2 只是一张附带承诺的价目表,而 SWE-2 只是一张附带步数统计的表格,并且只有其中一个能从供应商外部进行核查。

Scoreboard comparing MAI Code 2 and SWE-2 across six dimensions. DeepSWE 1.1 not published versus 73.0 percent, Terminal-Bench 2.1 not published versus 92.8 percent, Terminal-Bench 4.0 not published versus 27.3 percent, price $0.50 and $2.50 per million tokens versus no per-token price, weights not distributed on both, and access via GitHub Copilot versus Devin only.

本文中的对比1

根据本文内容识别 · 基准测试:Artificial Analysis · 每日更新