一张生成的标题卡,标题为“AlphaProof Code vs SWE-2”,副标题为“证明意味着什么的两种理解”,左侧面板标有“AlphaProof Code”,带盾牌与对勾图标和一行“经内核检查的定理”,右侧面板标有“SWE-2”,带代码差异图标和一行“经审阅者检查的补丁”,页脚写着“一个输出不可能出错;另一个会被评分。”
Guides & Insights

AlphaProof Code 与 SWE-2:两种智能体系统,两种截然不同的证明理念

作者

Rowan Sterling

发布日期

最新模型 · 20查看全部模型 →
基准测试:Artificial Analysis · 每日更新
返回全部文章

AlphaProof Code 和 Cognition SWE-2 都是自动编写软件的智能体系统,二者也都以“智能体”这一说法向公众推销。除此之外,这两个发布几乎不属于同一个世界。Cognition SWE-2 于 2026 年 9 月发布,仅在 Devin Desktop 和 CLI 内提供,它编写的是补丁:根据 Cognition 自己公布的数据,它在 FrontierCode 1.1 Main 上得分 50.0%,与 Claude Fable 5.1 的 50.9% 相差不到一个百分点,而成本低 64%。AlphaProof Code 由 Google DeepMind 于 2026 年 11 月 10 日发布,它编写的是证明:约 650 万行 Lean,证明 Signal 编译后的 AArch64 二进制满足十条安全定理,并由 Lean 内核而非评分标准来检查。一个系统的输出可能以人类审阅者或许能发现的方式出错。另一个系统的输出根本不可能出错——否则内核会拒绝它,工作继续。

“Correct”有两层不同含义

从“resolved”这个词说起,因为正是这个词让这两者之间的比较出了错。当 Cognition 报告 SWE-2 解决了 FrontierCode 1.1 Main 中 50.0% 的任务时,“解决”意味着产出的补丁被评分流程接受为可合并。FrontierCode 的任务由 20 多位开源维护者编写,每项任务耗时超过 40 小时,每位维护者都定义了什么在其自己的仓库中算“可合并”。这是一套严肃的评估设计,但它仍然是对一份 diff 的人类判断。

当 DeepMind 报告某个定理已针对 libsignal v0.105.4 得到证明时,“证明”意味着 Lean 的内核接受了从规范出发的一个推导。不存在有主观意见的评审者。把关代理会用比较器对照规范的留出副本检查每次提交,其余部分则由 Lean 检查——正因如此,一个由五名研究人员组成的团队才能让代码库中 99% 的内容未经人工审查,却仍能对全部内容作出断言。

这种差异决定了每个系统擅长什么。SWE-2 能编写代码。AlphaProof Code 不能编写生产代码,也不试图这样做;它能证明别人编写的代码确实实现了规定的要求,也能证明故意破坏的版本没有做到这一点——两个被重新引入的 Signal 漏洞,即一个弱状态漏洞和一个小子群漏洞,都生成了经过机器检验的不安全性证明。

在两者真正相似的地方

比你预想的更多,而有趣的部分在于这些相似之处。两者运行起来都很昂贵。AlphaProof Code 使用了由 40 到 80 个智能体组成的团队,每个团队在一台机器上运行 24 到 72 小时,持续四周;团队编排器之上还有一个监督智能体,各智能体则审核自己的输出,标出约 1% 供人工复核。SWE-2 的单 token 成本未公布,因为 Cognition 不按 token 售卖;其价格是 Devin 订阅费,而“便宜 64%”的说法是与按标价计费的 Claude Fable 5.1 相比。

两者都依赖同一类基础模型。SWE-2 是 Moonshot AI 的 Kimi K3 的后训练版本,后者是一个 2.8 万亿参数的混合专家模型,每 token 约有 104B 参数处于激活状态;Cognition 表示,其强化学习在多项基准测试中带来了 5 到 6 分的提升。AlphaProof Code 的证明智能体由 Gemini 4 Carbon 驱动,而 Claude Opus 5.5 是用于起草和审查 Signal 的 Lean 规范的模型之一。两家实验室都没有从零开始构建其智能体。

两者都依赖验证器来判断工作是否完成。Cognition 的验证器是编码在 FrontierCode 中的测试套件和维护者判断。DeepMind 的验证器是证明内核。验证器决定了每个系统的能力上限,而这是两篇论文中都值得记住的一句话。

A generated two-column scoreboard headed 'AlphaProof Code vs SWE-2 - the scoreboard'. Left column 'AlphaProof Code' rows: 'Output: Lean proofs', 'Verifier: Lean kernel', 'Scale: 6.5M lines, 4 weeks', 'Access: research artifacts', 'Price: none published', 'Worst failure: no proof produced'. Right column 'SWE-2' rows: 'Output: code patches', 'Verifier: maintainer review', 'Scale: FrontierCode 50.0 percent', 'Access: Devin only', 'Price: Devin subscription', 'Worst failure: a wrong patch'. Footer: 'SWE-2 figures vendor-reported by Cognition; AlphaProof Code per the DeepMind paper.'

基准测试的诚实性问题,并排对比

AlphaProof Code 没有基准测试表,因此关于厂商数字的常见告诫并不适用于它——它取而代之的是一条定理,而定理是二值的。它确实拥有的是一组结构性排除项。对 SPQR 的自愈属性没有后量子保证,因为棘轮定理假设攻击者选择 SPQR 密钥。没有载荷隐私。对于从未被提升的握手的首条消息,没有响应方认证。每次提升仅一个会话,固定消息长度,无多设备状态,首次使用即信任的身份密钥。一个 8 字节的 MAC 伪造项,按二次方增长,并在单个会话中约 25,000 条消息时变得无意义。有三十七个例程是以契约约束而非经过验证的,包括 AES-256-CBC、X25519、Kyber1024 和 ML-KEM-768。而且对象是该团队构建的 libsignal-cli 作为一个全新进程,而不是 Signal 应用。

SWE-2 的注意事项是统计层面的,而非结构层面的,其中最尖锐的一条是跨任务长度的可扩展性。从 Terminal-Bench 2.1 到 Terminal-Bench 4,Claude Fable 5.1 下降约 35.6 分,GPT-6 Astra 下降约 32.0 分。SWE-2 下降约 65.5 分,其 Kimi K3 基座下降约 66.8 分——因此在长时程工作上,它的退化速度大约是与它对比的前沿模型的两倍。Terminal-Bench 4 是当前版本,2.1 是已被取代的版本,这意味着 SWE-2 领先的那一行是已退役的基准,而它落后的一行则是仍在使用的基准。

以发布文章的标准来看,这两份报告都异常坦诚。区别在于坦诚所要付出的代价。DeepMind 的排除项缩小了该主张的范围,但使其依然成立。Cognition 的排除项则界定了该主张的适用范围,读者必须自行判断:在当前的长时程基准上取得 27.3% 的分数,对其自身的工作负载是否重要。

A screenshot of Cognition's SWE-2 announcement post headed 'Introducing SWE-2: Pushing the Pareto Frontier', bylined 'By The Cognition Team 09.11.26', opening with the claim that SWE-2 achieves 50.0% on FrontierCode 1.1 Main within one point of Fable 5.1 while being 64% cheaper.

服务、价格,以及两者都不卖给你的东西

• AlphaProof Code — 研究框架。无端点、无权重、无价格、无候补名单。相关产物是位于 github.com/google-deepmind/code-verification 的 Lean 开发项目,落地页未声明许可证。

• Cognition SWE-2——专有,仅限 Devin。没有公开的按 token 计费价目表,没有可调用的模型 ID,也没有权重。想要 SWE-2,就得买 Devin。

• 基础模型——Kimi K3 已在 OrcaRouter 的产品目录中,每百万输入 token 3 美元,每百万输出 token 15 美元,供应商标价按 0% 加价率原样传递。Claude Opus 5.5 是用于起草 Signal 规范的模型之一,其价格为每百万输入 4 美元、每百万输出 20 美元。G​emini 4 Carbon 曾为 AlphaProof Code 的证明智能体提供支持,我们并不提供该模型,而且这里没有任何内容表明我们自己托管 AlphaProof Code。

第三行是本次对比中唯一附带账单、且你今天就能支付的部分。如果你正在构建代理式编码工作流,实际选择并不在这两个系统之间——而在它们底层的模型之间;而 Kimi K3 和 Claude Opus 5.5 都只差一个密钥,且都配有在某个提供商某天下午状态不佳时的自动故障转移。路由 DSL 能让你把同一个任务发送给它们中的两个,并在其中任何一个改动代码仓库之前比较差异。

A headless-Chromium capture of the OrcaRouter model page for Kimi K3, showing the OrcaRouter navigation with the EN language toggle, the breadcrumb Home › Models › MoonshotAI, the model name 'Kimi K3', the ID kimi/kimi-k3, a 1M-token context chip, capability chips for Vision, Tools, JSON and Reasoning, and the $3.00 input / $15.00 output per-million pricing block.

你能接受哪种故障模式

SWE-2 的失败方式是:生成的补丁无法编译,或者能编译但结果是错的,或者结果正确却无法合并。上述每一种失败都可以通过阅读 diff 或运行测试发现,而且每一种都会让你多花一轮评审。系统正是围绕这一点设计的:Cognition 会报告在不同推理投入设置下的 best-of-N 结果,而这正是输出具有概率性时你会采取的做法。

AlphaProof Code 会因未能生成证明而失败,此时智能体仍会继续工作——持续数小时,有时甚至数天,而一次干净的构建就可能耗时数小时,并且一行源代码改动就会触发证明修复。论文称,无论是生成的证明还是相关技术,都“有很大的优化空间”,这是一种委婉的说法,意思是整个过程既缓慢又脆弱。但当它成功时,根本不存在审查周期,因为没有什么可审查的。Lean 已经认可了。

对于一支要在周四上线功能的团队来说,这个取舍显而易见,SWE-2 会胜出。对于一支要交付将保护未来十年对话的加密协议的团队来说,SWE-2 所属的整个类别都是错误的工具,而它在 Terminal-Bench 2.1 上得分 92.8% 这一事实无关紧要。

怎样才能让这些真正具有可比性

有一点:一个基准测试衡量的是智能体的输出是否正确,而不是它是否被接受。FrontierCode 通过由维护者定义的可合并性来近似这一点,这已是代码生成领域最接近的做法。AlphaProof Code 则完全绕开了这个问题,它选择一个可由内核进行裁决的领域。如果有人构建了一套任务,其中正确答案可以依据规范进行机械检查——不是测试套件,而是规范——那么这两个系统就可以在同一维度上评分,这种比较也才会有意义。

在此之前,有意义的解读要更窄一些。AlphaProof Code 告诉你,一个配备智能体工具的五人团队能够产出一个过去需要数年才能完成的证明语料库,这说的是验证的成本。SWE-2 告诉你,一个经过后训练的开权重基础模型在编码基准上能以低 64% 的成本做到与前沿相差不到一个百分点,这说的是编码的成本。这两种成本都在下降。它们以不同的速度、因不同的原因下降,而把它们放进同一张表的排行榜会对你撒谎。

如果你想要实用的结论:对于测试套件能够把关的代码,使用 SWE-2 形态的系统;如果你的代码无法由测试套件把关,就开始阅读 AlphaProof Code 制品仓库。第二类代码比大多数团队以为的要少,却比他们任何人愿意承认的都更有影响。

本文中的对比1

根据本文内容识别 · 基准测试:Artificial Analysis · 每日更新