一張生成的標題卡,標題為「AlphaProof Code vs SWE-2」,副標題為「兩種對『證明』意涵的理解」;左側面板標示為「AlphaProof Code」,配有盾牌與勾號圖示,以及一行「經核心檢查的定理」;右側面板標示為「SWE-2」,配有程式碼差異圖示,以及一行「經審查者檢查的修補程式」;頁尾寫著「一項輸出不可能有錯;另一項則會被評分。」
Guides & Insights

AlphaProof Code 與 SWE-2:兩套代理式系統,兩種截然不同的證明觀

作者

Rowan Sterling

發佈日期

最新模型 · 20查看全部模型 →
基準測試:Artificial Analysis · 每日更新
返回全部文章

AlphaProof Code 和 Cognition SWE-2 都是能自動撰寫軟體的代理系統,兩者也都以「代理」這個說法向大眾販售。除此之外,這兩次發布幾乎可說身處不同的宇宙。Cognition SWE-2 於 2026 年 9 月發布,僅能在 Devin Desktop 與 CLI 中使用,它會撰寫修補程式:根據 Cognition 自家的數據,它在 FrontierCode 1.1 Main 上得分 50.0%,與 Claude Fable 5.1 的 50.9% 僅差一個百分點,成本卻低 64%。AlphaProof Code 由 Google DeepMind 於 2026 年 11 月 10 日發布,它會撰寫證明:約 650 萬行 Lean,確立 Signal 編譯後的 AArch64 二進位檔滿足十項安全性定理,並由 Lean 的核心檢查,而非由評分規準判定。一個系統的產出可能出錯,而人類審查者或許能抓到。另一個系統的產出則根本不可能出錯——否則核心檢查器會拒絕它,然後工作繼續進行。

「正確」有兩種不同的意思。

先從這個詞談起,因為這兩者的比較正是在這裡出錯。當 Cognition 回報 SWE-2 解決了 FrontierCode 1.1 Main 中 50.0% 的任務時,「resolved」指的是產出了一份被評分流程認定為可合併的補丁。FrontierCode 的任務由超過 20 位開源維護者共同撰寫,每項任務投入超過 40 小時,每位維護者各自定義在其儲存庫中「可合併」代表什麼。這是相當嚴謹的評測設計,但它終究仍是針對一份 diff 的人為判斷。

當 DeepMind 回報某個定理已在 libsignal v0.105.4 上獲得證明時,「證明」的意思是 Lean 的核心接受了從規格出發的推導。這裡沒有帶著個人意見的審查者。守門代理會用 comparator對照一份另行保留的規格副本來檢查每一份提交,其餘部分則由 Lean 檢查——這就是為什麼一個五名研究員的團隊能讓程式碼庫中 99% 的內容未經人工審查,卻仍能對全部內容做出宣稱。

這種差異決定了每個系統各自擅長什麼。SWE-2 能撰寫程式碼。AlphaProof Code 無法撰寫正式產品程式碼,也不嘗試這麼做;它證明的是別人撰寫的程式碼確實做到所指定的功能,也能證明刻意破壞的版本做不到——那兩個重新引入的 Signal 錯誤,一個弱狀態錯誤和一個小群錯誤,都產生了經機器檢查的不安全性證明。

在兩者真正相似之處

比你想像的還多,而有趣的是兩者之間的相似之處。兩者的執行成本都很高。AlphaProof Code 採用由 40 到 80 個代理組成的團隊,每隊在單一機器上執行 24 到 72 小時,為期四週;團隊協調器之上還設有監督代理,且代理會稽核自身輸出,標記約 1% 供人工審查。SWE-2 的成本並未以每 token 公布,因為 Cognition 不販售 token;其價格是 Devin 訂閱,而「便宜 64%」的說法,是與 Claude Fable 5.1 的牌價相比。

兩者都依賴同一類基礎模型。SWE-2 是 Moonshot AI 的 Kimi K3 的後訓練版本,這是一個 2.8 兆參數的混合專家模型,每個 token 約有 104B 參數處於啟用狀態;Cognition 表示,其強化學習在多項基準測試中提升了 5 到 6 分。AlphaProof Code 的證明代理由 Gemini 4 Carbon 驅動,而 Claude Opus 5.5 是用于起草與審閱 Signal 的 Lean 規格的模型之一。兩家實驗室都不是從零開始打造其代理。

兩者都依賴驗證器來判斷工作是否完成。Cognition 的驗證器是 FrontierCode 中編碼的測試套件與維護者判斷。DeepMind 的驗證器是證明核心。驗證器是每個系統上限被設定之處,而這是兩篇論文中都值得記住的一句話。

A generated two-column scoreboard headed 'AlphaProof Code vs SWE-2 - the scoreboard'. Left column 'AlphaProof Code' rows: 'Output: Lean proofs', 'Verifier: Lean kernel', 'Scale: 6.5M lines, 4 weeks', 'Access: research artifacts', 'Price: none published', 'Worst failure: no proof produced'. Right column 'SWE-2' rows: 'Output: code patches', 'Verifier: maintainer review', 'Scale: FrontierCode 50.0 percent', 'Access: Devin only', 'Price: Devin subscription', 'Worst failure: a wrong patch'. Footer: 'SWE-2 figures vendor-reported by Cognition; AlphaProof Code per the DeepMind paper.'

基準測試誠信問題,並排對照

AlphaProof Code 沒有基準測試表,因此針對廠商數字的常見但書並不適用於它——它有的是定理,而定理是二元的。它真正擁有的是一組結構性排除條件。SPQR 的癒合特性沒有後量子保證,因為棘輪定理假設攻擊者會自行選擇 SPQR 金鑰。沒有酬載隱私。對於從未被提升的握手,其第一則訊息沒有回應者認證。每次提升僅一個工作階段、固定訊息長度、沒有多裝置狀態、首次使用即信任的身分金鑰。一個 8 位元組的 MAC 偽造項,會以二次方成長,並在單一工作階段中約 25,000 則訊息時變得空洞。三十七個常式僅以契約約束而未經驗證,包括 AES-256-CBC、X25519、Kyber1024 與 ML-KEM-768。而主體是該團隊建置的 libsignal-cli,以全新行程執行,而非 Signal 應用程式。

SWE-2 的注意事項屬於統計層面,而非結構層面,其中最嚴峻的一點是跨任務長度時的可擴展性。從 Terminal-Bench 2.1 轉到 Terminal-Bench 4,Claude Fable 5.1 約下降 35.6 分,GPT-6 Astra 約下降 32.0 分。SWE-2 約下降 65.5 分,其 Kimi K3 基底約下降 66.8 分——因此,在長時程工作上,它的退化速度約為與之比較的前沿模型的兩倍。Terminal-Bench 4 是現行版本,2.1 則是被取代的版本;這意味著 SWE-2 領先的那一列是已退役的基準,而它落後的那一列則是現行的基準。

兩份報告以發布文章的标准而言都異常坦率。差別在於坦率要付出什麼代價。DeepMind 的排除縮小了主張的範圍,但仍讓它站得住腳。Cognition 的排除則界定了該主張的適用範圍,讀者必須自行判斷:在當前長時程基準測試上拿到 27.3% 的分數,對他們的工作負載是否重要。

A screenshot of Cognition's SWE-2 announcement post headed 'Introducing SWE-2: Pushing the Pareto Frontier', bylined 'By The Cognition Team 09.11.26', opening with the claim that SWE-2 achieves 50.0% on FrontierCode 1.1 Main within one point of Fable 5.1 while being 64% cheaper.

服務、價格,以及兩者都不會賣給你的東西

• AlphaProof Code — 研究框架。沒有端點、沒有權重、沒有價格、沒有候補名單。其產物是位於 github.com/google-deepmind/code-verification 的 Lean 開發專案,著陸頁上未註明授權條款。

• {{1}}Cognition SWE-2{{/1}} — {{2}}專有、僅限 Devin。沒有公開的每 token 費率表,沒有可呼叫的模型 ID,沒有權重。如果你想要 SWE-2,就得買 Devin。{{/2}}

• 基礎模型—— Kimi K3 已列入 OrcaRouter 的型錄,每百萬輸入 token 為 3 美元,每百萬輸出 token 為 15 美元,供應商牌價以 0% 加價原樣轉嫁。Claude Opus 5.5 是當初用來起草 Signal 規格的模型之一,價格為每百萬輸入 4 美元、每百萬輸出 20 美元。曾驅動 AlphaProof Code 證明代理的 G​emini 4 Carbon 並非我們所提供的服務,而這裡也沒有任何跡象顯示我們自行託管 AlphaProof Code。

第三行是這項比較中唯一附帶帳單、而且你今天就能付款的部分。如果你正在打造代理式編碼工作流程,實務上的選擇並不是在這兩套系統之間——而是在它們底下的模型之間;而 Kimi K3 與 Claude Opus 5.5 都只差一把金鑰,還具備在供應商某個下午出狀況時自動容錯移轉。路由 DSL 讓你將同一個任務送給其中兩者,並在任一方動到儲存庫之前先比較差異。

A headless-Chromium capture of the OrcaRouter model page for Kimi K3, showing the OrcaRouter navigation with the EN language toggle, the breadcrumb Home › Models › MoonshotAI, the model name 'Kimi K3', the ID kimi/kimi-k3, a 1M-token context chip, capability chips for Vision, Tools, JSON and Reasoning, and the $3.00 input / $15.00 output per-million pricing block.

你可以接受哪種失效模式?

SWE-2 會因為產生無法編譯的修補程式、或可編譯但內容錯誤、或內容正確卻無法合併而失敗。上述每一種失敗都能透過閱讀 diff 或執行測試來發現,而且每一種都會耗費你一個審查週期。這套系統正是圍繞這一點設計:Cognition 會回報在不同推理投入設定下的 best-of-N 結果,而這正是在輸出具有機率性時的做法。

AlphaProof Code 會因為未能產生證明而失敗,此時代理程式會持續運作——數小時,有時數天,伴隨一次可能耗時數小時的乾淨建置,以及由一行原始碼變更所觸發的證明修復。論文指出,無論是生成的證明還是技術,都「有相當大的最佳化空間」,這是委婉說法,意思是流程既慢又脆弱。但當它成功時,完全沒有審查循環,因為沒有東西可審查。Lean 已經同意了。

對一個要在週四推出功能的團隊來說,那項取捨顯而易見,SWE-2 會勝出。對一個要推出將保護對話長達十年的密碼學協定的團隊來說,SWE-2 的整個類別就是錯誤的工具,而它在 Terminal-Bench 2.1 上得分 92.8% 這件事無關緊要。

要怎樣才能讓這些真正具有可比性?

有一件事:一個基準測試衡量的是代理的輸出是否正確,而不是它是否被接受。FrontierCode 透過維護者定義的可合併性來近似這一點,而這是程式碼生成目前最接近的做法。AlphaProof Code 則完全避開這個問題,選擇了一個可由 kernel 裁決的領域。如果有人建立一套任務,其中正確答案可以依據規格以機械方式檢查——不是測試套件,而是規格——那麼這兩個系統就能在同一軸線上評分,比較也才有意義。

在那之前,有用的解讀更為狹窄。AlphaProof Code 告訴你,一個配備代理工具的五人團隊,能產出過去要花數年才能完成的證明語料庫,這是在說明驗證的成本。SWE-2 告訴你,一個經過後訓練的開放權重基礎模型,在程式設計基準上能以低 64% 的成本,與前沿差距不到一分,這是在說明寫程式的成本。這兩種成本都在下降。它們以不同的速度、因不同的原因下降,而若有一個排行榜把它們放在同一張表裡,那就是在對你撒謊。

如果你想要實務上的重點:對於測試套件能把關的程式碼,採用 SWE-2 形式的系統;如果你的程式碼無法由測試套件把關,就開始閱讀 AlphaProof Code 構件儲存庫。第二類比大多數團隊想像的更小,卻比他們任何人願意承認的更具影響力。

本文中的比較1

根據本文內容識別 · 基準測試:Artificial Analysis · 每日更新