SWE-2 Flash 对比 North Mini Code：基准中的基准

这是一个令人不安的对比。SWE-2 Flash 是 2026 年 11 月 4 日发布的 276B 参数后训练模型，有八行基准测试成绩，却根本无法调用。North Mini Code 是 Cohere 于 2026 年 6 月以 Apache 2.0 许可发布的 30B 参数模型，其基准测试表与 SWE-2 Flash 恰好零行重合——而且它还有一项 SWE-2 Flash 完全没有的独立评分。纸面上，更新、更大的模型处处胜出。证据上，两者之中只有更旧、更小的那个被第三方实测过。

这种倒置就是整篇文章的核心，而且它比分数比较更有用，因为分数比较实际上根本无从进行。

两个参数预算相反的 MoE

两者都是稀疏混合专家模型，围绕同一套成本逻辑构建：只为激活参数付费，而非总参数。它们几乎处于这一区间的两个极端。

• 总参数量 — SWE-2 Flash 276B 对比 North Mini Code 30B

• 每 token 活跃参数 — SWE-2 Flash 12B 对比 North Mini Code 3B

• 专家布局 — SWE-2 Flash 沿用 Inkling-Small 的结构；North Mini Code 路由至 128 个专家中的 8 个

• 背景 — SWE-2 Flash 未发布版 vs North Mini Code 256K，最大输出 64K

• 最大输出 — SWE-2 Flash（未发布）对比 North Mini Code 64K

• 许可证 — SWE-2 Flash 未公开，而 North Mini Code 在 BF16、FP8 和 W4A16 下采用 Apache 2.0

活跃参数上九倍的差距，正是解释其余一切的那个数字。SWE-2 Flash 之所以能承担一个更大、训练更慢但每 token 运行成本低廉的模型，是因为它只有 12B 被激活。North Mini Code 运行的参数量只是其一小部分，这就是为什么 Cohere 能把它部署在笔记本电脑级别的环境中，也是为什么它的基准测试上限更低。

为什么你不能把 89.2 放在 36.0 旁边

将会流传开的对比是 Terminal-Bench：SWE-2 Flash 为 89.2，North Mini Code 为 36.0。53 分的差距本会让这件事根本不成其为文章。但这不是一次有效的相减，原因很容易被忽略。

North Mini Code 报告称，“Terminal-Bench v2”为 36.0，“Terminal-Bench Hard”为 31.1。SWE-2 Flash 报告称，“Terminal-Bench 2.1”为 89.2，“Terminal-Bench 4.0”为 20.0。“v2”和“2.1”是相邻的标签，它们所指的可能是同一任务集，也可能不是；而且，在被比较的材料中，两家供应商均未说明任务数量、测试框架或评分约定。

内部证据表明，这些版本是截然不同的测量工具。SWE-2 Flash 自己的两行 Terminal-Bench 成绩相差 69 分——在 4.0 上是 20.0，在 2.1 上是 89.2。当同一个模型在两个名称相同但版本号不同的基准上分别得到 20 分和 89 分时，版本本身就是测量结果的决定因素。把 2.x 的分数与 v2 的分数放在一起比较，并把差异称为能力差距，是这个比较领域中最常见的错误。

其他行看起来像是共用的，但并非如此。North Mini Code 报告的 SWE-bench Pro 为 40.2；SWE-2 Flash 报告的是 SWE-Bench Pro v2 Hard，为 89.9。二者属于不同的基准代次，且后者是经过筛选的子集。North 报告的 SWE-bench Verified 为 67.6；SWE-2 Flash 则完全没有报告 Verified。North 报告 SciCode 38.2 和 LiveCodeBench v6 70.3；SWE-2 Flash 两者都未报告。

这样就剩下 DeepSWE 1.1，其中 SWE-2 Flash 报告 60.1，而 North Mini Code 没有报告任何数据。

只有其中一个拥有的独立编号

North Mini Code 的 Artificial Analysis Intelligence Index 为 27.6，Coding Index 为 33.4。这些是第三方测量结果，采用一致的方法论，测量对象是一个任何人都可以下载并重新运行的模型。

SWE-2 Flash 在 Artificial Analysis 中没有收录条目，因为 Artificial Analysis 通过 API 来评测模型，而 SWE-2 Flash 没有 API。与它相关的每一个数字——FrontierCode 2.0 上的 60.1、89.2、20.0、24.0——都来自 Cognition 自己，是在一个未公开的测试框架上得出的，而 FrontierCode 又是 Cognition 自家的基准测试。这并不是说这些数字有误，而是说读者无法区分真实能力与宽松的评测脚手架。

对于一款6月发布的30B开放权重模型来说，AA Coding Index 33.4分是个不算高的分数——高于GLM-4.7-Flash的25.9，低于Qwen3.6 35B-A3B的35.2。这也是一个你可以验证的分数，而这比一行你无法验证的厂商数据更有价值。

速度，以及哪项主张可核查

Cohere 报告称，其自有 API 上大约每秒输出 199 个 token，约为 Devstral Small 2 吞吐量的 2.8 倍。这是一项服务端点测量：请求发进去，token 吐出来，任何有访问权限的人都能复现。

Cognition 报告称，SWE-2 Flash 的速度约为每秒 200 个 token，而 SWE-2 为每秒 60 个 token；这些数据是通过以模拟速率回放缩短后的会话记录得出的。这两个数字彼此相差不到每秒一个 token，但含义完全不同。一个是吞吐量测量；另一个是展示模型在该速度下会是什么样子。

这就是整个对比中呈现出的模式。较旧的模型发布的主张没那么亮眼，但附带了更多方法；较新的模型发布的主张看起来更好，却没有任何方法支撑。

North Mini Code 真正薄弱的地方

并非一切都对 Cohere 有利。North Mini Code 是一款编程专用模型，其表现也确实像一位编程专家：它在 GDPval-AA 上得分 14%，在 τ²-Bench Telecom 上得分 37%，而这两项都是非编程类的智能体评估，通用模型在这些评估中会表现得好得多。如果你的智能体需要执行编写和测试代码之外的任何任务——处理客户工作流、对业务流程进行推理——那么 North Mini Code 就是错误的工具，而 SWE-2 Flash 更广泛的基础能力使其有望成为更好的选择。

它的上下文窗口已公布且规模很大——256,000 个 token，输出上限为 64,000 个 token——不过可用窗口仍取决于服务栈。而且，激活参数为 3B 的 30B 模型，其上限低于激活参数为 12B 的 276B 模型；再多的方法透明度也无法弥合这一差距。

成本，以及采用路由层的理由

North Mini Code 依据 Apache 2.0 可免费下载，在 Cohere 自有 API 上提供托管价格，并可通过多个第三方平台使用。SWE-2 Flash 在 Devin 内可免费使用至 2026 年 11 月 30 日，此后尚未定价，且在任何可预见的时间范围内都不会提供可下载形式。

两者都不在 OrcaRouter 的目录中。Cohere 的模型只要有硬件，任何人都可以自行托管；而 Cognition 的模型没有可供路由的端点——因此，诚实的说法是，无论哪种情况，这个决定都是在我们的目录之外做出的。而路由层真正改变的是判断出错的成本。OrcaRouter 按 0% 加价透传供应商标价并自动故障转移，因此，针对一个模型 ID 编写的应用，并不等同于针对某一家供应商的正常运行时间编写的应用。对于这样一对模型——一方可能在 12 月 1 日被重新定价，另一方可能永远无法调用——这种可移植性才是值得投入工程努力的部分。

如何决定

如果你想拥有一个可以自行运行、检查、量化和做基准测试的模型，那么在这一对选项中，North Mini Code 是唯一的选择；它公布的上下文窗口和 3B 活跃参数预算使其在普通硬件上也切实可行。接受较低的能力上限和狭窄的编码聚焦范围。

如果你身处 Devin 之中，而免费窗口正是关键所在，那么从 SWE-2 Flash 自身的数据来看，它是强得多的模型，优势幅度很大；而且在 11 月 30 日之前试用它的成本为零。

你不该做的是把 89.2 和 36.0 并排放在一起，然后得出任何结论。这些数字来自不同的工具，由不同的公司报告，而且它们所属的基准测试系列中，版本号本身就是衡量标准。关于这一对数字，唯一站得住脚的说法，恰恰是听起来最不像定论的那一句：其中一个已经过独立评分，另一个则没有，而这个差别比两张表中的任何一行都更大。