SWE-2 Flash 对比 SWE-2：0.2 个百分点的胜出究竟价值几何

Cognition 自己的对比表给SWE-2 Flash对SWE-2的，是恰好一项胜绩：在 FrontierCode 2.0 上以 24.0 对 23.8。区区 0.2 分，还是在 Cognition 自己的基准上，在一张 Cognition 为展示更小模型最佳表现而制作的表里。这也是本次发布中最有用的数字，因为它下面几行所做的事——也因为在折叠线上方的那一行悄然省略的内容。

给那些坐在办公桌前做决定、而不是一路读到结尾的人的简短版本：Flash 并不是一个更小的 SWE-2。它是来自不同基座的另一个模型，针对工作中边界明确的那一端做了调优，并且在同一款产品内定价只有五分之一。0.2 分的领先是真实的，但它的意义没有看上去那么大。

同一基准的两个版本彼此矛盾，而这本身就是第一个发现。

把两行 FrontierCode 并排放到一起，这张表就不再是一个小模型迎头赶上的故事了。

• FrontierCode 2.0 — SWE-2 Flash 24.0 对比 SWE-2 23.8

• FrontierCode 1.1 主线 — 45.5 对比 50.0

同一套测评工具，两个版本，结论却截然相反。在较新的版本上，Flash 以微弱优势领先；在较旧的版本上，它则落后 4.5 个百分点。这两行数据中，终有一行会出现在发布幻灯片上，另一行则不会；而选择哪一行，更能说明做展示的人是什么样的人，而不是模型本身。

有一种站得住脚的解读是：两行都成立，且并不矛盾：2.0 版更难，绝对分数会被压缩，而更新的任务集可能正好奖励 Flash 在后训练中被训练去做的事。还有一种不那么好看的解读：同一基准的两个版本之间出现 4.5 分的摆动，恰恰说明这个测量工具有多敏感，而 0.2 分的差距正落在这种敏感度之内。Cognition 没有公布置信区间，也没有重复运行结果，因此在现有信息下，无法把 24.0 与 23.8 之间的差异同噪声区分开来。可以说的结论更窄，但仍然有用——在 Cognition 最新的基准上，这两个模型是持平的，而不是拉开了差距。

十三个点分别位于何处

榜单其余部分并不接近，而差距的形状才是有信息量的部分。

• DeepSWE 1.1 — SWE-2 Flash 60.1 对比 SWE-2 73.0

• Terminal-Bench 4.0 — 20.0 对比 27.3

• SWE-Atlas QA — 50.0 对比 56.3

• Terminal-Bench 2.1 — 89.2 对比 92.8

• SWE-Bench Pro v2 Hard — 89.9 对 90.6

• ExploitBench — 34.8 对比 36.1

按任务赋予智能体的自由度对这些结果排序，就会出现一个规律。在 SWE-Bench Pro v2 Hard 上——一个定义明确、修复方案已定的问题——Flash 落后 0.7 分。在 Terminal-Bench 2.1 上落后 3.6 分。在 Terminal-Bench 4.0 上差距为 7.3 分，而在 DeepSWE 1.1 这一长时程任务行上为 12.9 分。任务越是要求模型决定下一步做什么，差距就越大。

这是一个看似合理的机制，但并非已被证实的机制。活跃参数只有十分之一的模型，维持一个长期计划的能力更弱，而长时程基准正是这一点最先显现的地方。但 Cognition 并没有像对 SWE-2 那样公布 Flash 的轮次计数、token 计数或逐任务细分——对 SWE-2，它报告过中等强度下平均步数从 127 降到 53——因此这个机制是从表格形态推断出来的，而非被展示出来的。把它当作一个假设：它是否符合你自己的经验，由你判断。

价格与速度，以 Cognition 唯一报价的货币衡量

这两个模型都没有按 token 计价，因为两者都没有端点。Cognition 公布的是一个比值：SWE-2 Flash 的成本是 SWE-2 的五分之一，运行速度则是后者的三倍，为 200 tok/s 对 60 tok/s。这两个数字都来自同一套回放方法——每个模型在 Terminal-Bench 4.0 的 gsea-proteomics 任务上的运行，均以模拟速率回放，并将记录缩短至相同长度——因此两者描述的都是预期的服务配置，而不是实测结果。

只要完成下一步，这个比率仍然是发布内容中最与决策相关的数字。每单位工作的价格并不等同于每个已解决任务的成本，而后者才是团队实际支付的费用。如果第五项是任务成本的五分之一——这是让该说法在订阅制产品中具有意义的唯一解读——那么算术就很直接。

• 在 DeepSWE 1.1 上——Flash 以五分之一的成本完成了 82% 的任务量；即使是在它表现最差的那一行，每个已解决任务的成本也大约便宜 4.1 倍。

• 在 FrontierCode 2.0 上——它以五分之一的成本解决了略多的任务，这意味着每个已解决任务的成本大约低 5 倍。

• 在 Terminal-Bench 4.0 上——它以五分之一的成本完成了 73% 的任务量，平均每解决一个任务的成本约低 3.7 倍。

那些数字中的每一个都假设第五个适用于任务成本，而不是 token 成本，并且假设解决率能迁移到你的队列。Cognition 没有说明是哪一种，而这个假设起了很大作用。如果第五个是某个模型的 token 价格，而该模型每个任务生成更多 token，那么优势会缩小，并且在长时程行上可能反转。这套算术只是敏感性检查，不是测量，应该用你自己的日志再跑一遍。

毫无悬念的是这个推广窗口。SWE-2 Flash 在 Devin Desktop 和 CLI 中免费开放至 2026 年 11 月 30 日。SWE-2 自身的免费窗口已于 10 月 10 日结束。在接下来的几周里，Devin 内部的价格对比是五分之一对零——这根本算不上对比，而是一段有截止日期的评估期。

它们并不属于同一谱系，而参数差距是关于它们最无趣的一点。

SWE-2 是从 Kimi K3 后训练而来：2.8 万亿参数，每 token 激活 104B，其基础模型已经针对智能体编程经历了大量强化学习。SWE-2 Flash 是从 Inkling-Small 后训练而来：总参数 276B，激活 12B，Apache 2.0，来自 Thinking Machines。Cognition 自己的规模图表将 Flash 标为 1x，将 SWE-2 标为 10.1x。就激活参数而言，这一比例更接近九比一。

把它和分数对照一下。激活参数量上 8.5 倍的差异，在 FrontierCode 1.1 Main 上换来 4.5 分，而在 FrontierCode 2.0 上则毫无收益。与此同时，后训练步骤本身的价值远超参数差异：Cognition 的表格显示，Inkling-Small 在 FrontierCode 1.1 Main 上为 21.5，而 Flash 为 45.5，也就是在相同基座上通过中期训练和 RL 带来了 24 分的提升。可归因于后训练的方差，大约是归因于两个模型之间整个参数差距的方差的五倍。

这就是两者结合后共同得出的发现，而它比任何一个模型都更有分量。这也解释了为什么 Cognition 愿意以五分之一的价格出售较小的那个：SWE-2 昂贵之处从来都不是基础模型。昂贵的是数据、验证器和强化学习环境，而 Flash 在一个更便宜的基础模型上复用了这笔投入。

这里需要说明两点。该比较是某一家厂商在其自行掌控的基准上给出的表格，其中没有任何内容经过独立复现。而且，基座模型并非等价的输入——Kimi K3 具备百万 token 上下文和原生视觉能力，而 Inkling-Small 是另一种架构，多模态支持也不同——因此，“相同的后训练、更便宜的基座”是 Cognition 的表述框架，而不是一个被单独隔离出来的变量。

努力设定上的不对称

SWE-2 发布时附带三个有文档记录的推理努力级别——medium、high 和 max——Cognition 在 9 月的发布说明中解释了每个级别的用途：medium 会更早开始行动，而 high 和 max 会进行更多规划、探索更多代码库，并在验证上投入更多。它还说明，所报告的是每个模型在各项努力设置下的最佳得分。

SWE-2 Flash 完全没有提到任何力度控制。发布文章没有提及，基准测试表格也没有设置列。因此，按已发布的内容来看，这项比较是处于最佳状态的 SWE-2 与处于未说明配置的 Flash 之间的比较——只有当 Flash 只有一种设置时，这才是对等比较；如果它有多种设置，那就是一场方向未知的不公平比较。

如果 Flash 确实没有 effort 控制，那这是一个值得点明的产品差异，而不是文档缺口。Effort 让你按每个任务在成本与深度之间做权衡；一个没有它的模型，对于同时包含琐碎工作和困难工作的队列，只能给你一种设置。而这正是这个比率本应让你做出的权衡。

每个分别属于哪个队列

Cognition 自己的表述在这里是最诚实的指引。它说，较小的模型“正越来越有能力处理软件代理所做的很大一部分工作，例如自动化、代码审查、功能开发和更新文档”，而 SWE-2 Flash 正是为这类工作开发的。把这份清单与基准的形态对照来看，两者是一致的：边界明确的任务、清晰的完成定义、高任务量、对延迟的容忍度很低。

• 如果一项任务能装进一个提示词里，而且“完成”的定义毫无歧义——一次评审、一次文档更新、一个小功能、一个定时自动化——那么 Flash 就是合适的默认选择；而且上文那套“每解决一个任务的成本”的计算表明，即使它解决的任务数量更少，其成本也要低好几倍。

• 如果智能体需要决定下一步做什么超过寥寥几次——比如一次迁移、一次跨仓库重构，或一次第一个假设通常是错的调试会话——那么 13 点的 DeepSWE 差距正是你购买 SWE-2 所换来的东西，而比率并不能弥补这一差距。

• 如果你无法判断一项任务属于其中哪一种，就先在 Flash 上启动，再升级。这正是 Cognition 在 SWE-2 上设计努力等级所要应对的决策；而 Flash 缺少努力控制，使升级成为一种路由决策，而非一个参数。

要避免的错误，是把这0.2分的胜出当作调整硬性队列的许可。它只是一个基准、一个版本、一家供应商，而且落在该工具自身的灵敏度范围之内。

在 Devin 之外，两者都不是候选对象

两个模型都没有 API。两者也都没有公开权重。如果你的评测框架是你自己搭的，那么这个组合就轮不到你来选，而那个免费窗口也帮不了你——它只是你必须购买的产品里的一个试用。

这套技术栈中可触达的那一半是基础层。Kimi K3 通过 OrcaRouter 路由为 kimi/kimi-k3，价格为每百万输入 token 3.00 美元、每百万输出 token 15.00 美元，并具有 100 万 token 的上下文窗口和原生工具调用能力，按提供商标价，未添加任何加价。一个 API 覆盖 200 多个模型，这使得上述队列拆分可以在 Devin 之外实现：路由规则可以把有界任务发送给廉价模型，并将长周期任务升级到更强的模型，而客户端无需知道是哪个模型作答。自动故障转移应放在升级路径之后，因为你升级到的模型，正是你无法承受其不可用的那个模型。

那是与 SWE-2 Flash 不同的产品，不能替代它。它是在你想评估的对象没有端点时采用的做法。

什么能解决这件事

有三项披露才能让这份比较从厂商的表格变成证据。由非 Cognition 且不使用 Cognition 测试框架的人，在两个模型上分别独立运行 DeepSWE 1.1 和 Terminal-Bench 4.0。说明 Flash 表中每一行背后的推理投入设置与脚手架，并与 SWE-2 发布时提供的内容保持一致。以及进行重复运行，以便将 0.2 分的差距与运行间波动区分开来。

在此之前，站得住脚的解读是狭义的那一种。SWE-2 Flash 是一个成本优化型同门产品，构建在规模小得多的底座之上，在最新基准上与 SWE-2 持平，在长周期工作上则明显落后；以这样的价格比例出售，根据现有证据，它每解决一个任务要便宜好几倍。这是一个不错的产品决策，也是一个温和的技术主张。0.2 分的胜出并不能证明它取代了任何东西——它只能证明在某一个测量工具上、某一天，差距缩小到了足以消失在噪声中的程度。