AlphaProof Code so với SWE-2: Hai hệ thống tác tử, hai quan niệm hoàn toàn khác nhau về chứng minh

AlphaProof Code và Cognition SWE-2 đều là những hệ thống agent tự động viết phần mềm, và cả hai đều được bán ra công chúng dựa trên từ “agent”. Ngoài điểm đó, hai bản phát hành gần như không thuộc cùng một vũ trụ. Cognition SWE-2, được công bố vào tháng 9 năm 2026 và chỉ có sẵn bên trong Devin Desktop và CLI, viết các bản vá: nó đạt 50,0% trên FrontierCode 1.1 Main, chỉ trong vòng một điểm so với mức 50,9% của Claude Fable 5.1, với chi phí thấp hơn 64%, theo số liệu của chính Cognition. AlphaProof Code, được G​oogle DeepMind công bố vào ngày 10 tháng 11 năm 2026, viết chứng minh: khoảng 6,5 triệu dòng Lean chứng minh rằng tệp nhị phân AArch64 đã biên dịch của Signal thỏa mãn mười định lý bảo mật, được kiểm tra bởi kernel của Lean chứ không phải bởi một thang chấm điểm. Đầu ra của một hệ thống có thể sai theo cách mà một người đánh giá có thể phát hiện. Đầu ra của hệ thống kia thì hoàn toàn không thể sai — hoặc kernel từ chối nó và công việc vẫn tiếp tục.

“Đúng” có hai nghĩa khác nhau

Hãy bắt đầu với từ đó, vì đây chính là chỗ mà các so sánh giữa hai thứ này bị sai lệch. Khi Cognition báo cáo rằng SWE-2 đã giải quyết 50,0% các tác vụ Main của FrontierCode 1.1, “resolved” có nghĩa là một bản vá đã được tạo ra và được quy trình chấm điểm chấp nhận là có thể hợp nhất. Các tác vụ của FrontierCode được viết với hơn 20 người bảo trì mã nguồn mở, với hơn 40 giờ cho mỗi tác vụ, mỗi người bảo trì định nghĩa “mergeable” nghĩa là gì trong kho lưu trữ của chính họ. Đó là một thiết kế đánh giá nghiêm túc, và nó vẫn là một đánh giá của con người về một diff.

Khi DeepMind báo cáo rằng một định lý đã được chứng minh cho libsignal v0.105.4, “được chứng minh” nghĩa là kernel của Lean đã chấp nhận một dẫn xuất từ đặc tả. Không có người đánh giá nào có ý kiến. Tác nhân gác cổng kiểm tra từng bài nộp bằng bộ so sánh đối chiếu với một bản sao đặc tả được giữ riêng, và Lean kiểm tra phần còn lại — đó là cách một nhóm năm nhà nghiên cứu có thể để 99% mã nguồn không được con người đánh giá mà vẫn đưa ra tuyên bố về toàn bộ mã nguồn đó.

Sự khác biệt đó quyết định mỗi hệ thống phù hợp để làm gì. SWE-2 có thể viết mã. AlphaProof Code không thể viết mã chạy trong môi trường sản xuất và cũng không cố làm vậy; nó chứng minh rằng mã do người khác viết thực hiện đúng như đặc tả, đồng thời cũng có thể chứng minh rằng một phiên bản cố tình bị làm hỏng thì không — hai lỗi Signal được đưa trở lại, một lỗi trạng thái yếu và một lỗi nhóm con nhỏ, cả hai đều tạo ra những chứng minh không an toàn được máy kiểm chứng.

Nơi hai thứ thực sự giống nhau

Nhiều hơn bạn tưởng, và những điểm tương đồng mới là phần thú vị. Cả hai đều tốn kém để vận hành. AlphaProof Code đã dùng các nhóm từ 40 đến 80 tác nhân chạy 24 đến 72 giờ trên một máy duy nhất mỗi nhóm, trong suốt bốn tuần, với một tác nhân giám sát ở trên bộ điều phối nhóm và các tác nhân tự kiểm toán đầu ra của chính mình để đánh dấu khoảng 1% để con người xem xét. Chi phí của SWE-2 không được công bố theo token vì Cognition không bán token; giá là một gói đăng ký Devin, và tuyên bố rẻ hơn 64% là so sánh với Claude Fable 5.1 theo giá niêm yết.

Cả hai đều dựa vào cùng một loại mô hình nền. SWE-2 là bản hậu huấn luyện của Kimi K3 do Moonshot AI phát triển, một mixture-of-experts 2,8 nghìn tỷ tham số với khoảng 104B tham số hoạt động trên mỗi token, và Cognition cho biết quá trình học tăng cường của mình đã tăng thêm 5 đến 6 điểm trên một số benchmark. Các tác nhân chứng minh của AlphaProof Code được vận hành bởi Gemini 4 Carbon, và Claude Opus 5.5 nằm trong số các mô hình được dùng để soạn thảo và đánh giá các đặc tả Lean của Signal. Không phòng thí nghiệm nào xây dựng tác nhân của mình từ đầu.

Cả hai đều phụ thuộc vào một trình xác minh để biết liệu công việc đã hoàn thành hay chưa. Các trình xác minh của Cognition là những bộ kiểm thử và những đánh giá của người bảo trì được mã hóa trong FrontierCode. Trình xác minh của DeepMind là một nhân chứng minh. Trình xác minh là nơi ấn định mức trần của mỗi hệ thống, và đó là câu đáng ghi nhớ từ cả hai bài báo.

Vấn đề trung thực của benchmark, so sánh trực tiếp

AlphaProof Code không có bảng benchmark, nên những lưu ý thông thường về số liệu của nhà cung cấp không áp dụng cho nó — thay vào đó nó có một định lý, và một định lý thì mang tính nhị phân. Cái nó có là một tập các loại trừ mang tính cấu trúc. Không có bảo đảm hậu lượng tử cho tính chất hồi phục của SPQR, vì các định lý ratchet giả định kẻ tấn công chọn khóa SPQR. Không có quyền riêng tư payload. Không có xác thực bên trả lời cho tin nhắn đầu tiên của một handshake không bao giờ được thăng cấp. Một phiên cho mỗi lần thăng cấp, độ dài tin nhắn cố định, không có trạng thái đa thiết bị, khóa danh tính trust-on-first-use. Một số hạng giả mạo MAC 8 byte tăng theo bậc hai và trở nên vô nghĩa ở khoảng 25.000 tin nhắn trong một phiên. Ba mươi bảy quy trình được đặc tả bằng hợp đồng thay vì được xác minh, bao gồm AES-256-CBC, X25519, Kyber1024 và ML-KEM-768. Và đối tượng là bản build libsignal-cli của nhóm dưới dạng một tiến trình mới, không phải ứng dụng Signal.

Những lưu ý về SWE-2 mang tính thống kê hơn là cấu trúc, và lưu ý sắc bén nhất là khả năng mở rộng theo độ dài tác vụ. Khi chuyển từ Terminal-Bench 2.1 sang Terminal-Bench 4, Claude Fable 5.1 giảm khoảng 35,6 điểm và GPT-6 Astra giảm khoảng 32,0. SWE-2 giảm khoảng 65,5, còn nền tảng Kimi K3 của nó giảm khoảng 66,8 — vì vậy trong các công việc dài hạn, nó suy giảm nhanh gần gấp đôi so với các mô hình tiên phong mà nó được so sánh. Terminal-Bench 4 là phiên bản hiện hành còn 2.1 là phiên bản đã bị thay thế, nghĩa là hàng mà SWE-2 dẫn đầu là bộ đánh giá đã ngừng sử dụng, còn hàng mà nó kém hơn là bộ đánh giá đang được dùng.

Cả hai báo cáo đều thẳng thắn một cách bất thường so với tiêu chuẩn của các bài đăng ra mắt. Khác biệt nằm ở cái giá của sự thẳng thắn. Những phần loại trừ của DeepMind thu hẹp tuyên bố nhưng vẫn giữ cho nó đúng. Những phần loại trừ của Cognition giới hạn phạm vi áp dụng của tuyên bố, và người đọc phải tự quyết định liệu điểm số 27,3% trên benchmark long-horizon hiện tại có quan trọng với khối lượng công việc của họ hay không.

Khẩu phần, giá cả và thứ mà không bên nào bán cho bạn

• AlphaProof Code — khung nghiên cứu. Không có endpoint, không có trọng số, không có giá, không có danh sách chờ. Các sản phẩm là một dự án phát triển bằng Lean tại github.com/google-deepmind/code-verification mà không có giấy phép nào được nêu trên trang đích.

• Cognition SWE-2 — độc quyền, chỉ dành cho Devin. Không có bảng giá theo token nào được công bố, không có ID mô hình để gọi, không có trọng số. Nếu bạn muốn SWE-2, bạn phải mua Devin.

• Các mô hình cơ sở — Kimi K3 nằm trong danh mục của OrcaRouter với giá 3 USD mỗi triệu token đầu vào và 15 USD mỗi triệu token đầu ra, giá niêm yết của nhà cung cấp được chuyển nguyên với mức cộng thêm 0%. Claude Opus 5.5, một trong những mô hình được dùng để soạn thảo đặc tả của Signal, có giá 4 USD và 20 USD. Gemini 4 Carbon, mô hình từng vận hành các tác nhân chứng minh của AlphaProof Code, không phải là mô hình chúng tôi cung cấp, và không có gì ở đây cho thấy chúng tôi lưu trữ chính AlphaProof Code.

Dòng thứ ba đó là phần duy nhất của so sánh này có kèm một hóa đơn mà bạn có thể thanh toán ngay hôm nay. Nếu bạn đang xây dựng một quy trình lập trình agentic, lựa chọn thực tế không phải là giữa hai hệ thống này — mà là giữa các mô hình bên dưới chúng, và cả Kimi K3 lẫn Claude Opus 5.5 đều chỉ cách một khóa với tính năng chuyển đổi dự phòng tự động nếu một nhà cung cấp gặp một buổi chiều tồi tệ. Một DSL định tuyến cho phép bạn gửi cùng một tác vụ đến hai trong số đó và so sánh các diff trước khi một trong hai chạm vào kho lưu trữ.

Bạn có thể chấp nhận chế độ lỗi nào?

SWE-2 thất bại bằng cách tạo ra một bản vá không biên dịch được, hoặc biên dịch được nhưng sai, hoặc đúng nhưng không thể hợp nhất. Mọi thất bại trong số đó đều có thể phát hiện được bằng cách đọc diff hoặc chạy các bài kiểm thử, và mỗi một trong số đó đều khiến bạn tốn một vòng đánh giá. Hệ thống được thiết kế xoay quanh điều này: Cognition báo cáo best-of-N trên các thiết lập mức nỗ lực suy luận, đó là điều bạn làm khi đầu ra mang tính xác suất.

AlphaProof Code thất bại bằng cách không tạo ra một chứng minh, và tại thời điểm đó các agent tiếp tục làm việc — trong nhiều giờ, đôi khi nhiều ngày, với một bản build sạch có thể mất vài giờ và các lần sửa chứng minh được kích hoạt bởi một thay đổi mã nguồn chỉ một dòng. Bài báo nói rằng có “nhiều dư địa để tối ưu hóa” trong cả các chứng minh được tạo ra lẫn các kỹ thuật, một cách nói lịch sự rằng quá trình này chậm và dễ vỡ. Nhưng khi nó thành công thì không có chu trình đánh giá nào cả, vì không có gì để đánh giá. Lean đã đồng ý rồi.

Đối với một nhóm phát hành một tính năng vào thứ Năm, sự đánh đổi đó là hiển nhiên và SWE-2 thắng thế. Đối với một nhóm phát hành một giao thức mật mã sẽ bảo vệ các cuộc trò chuyện trong một thập kỷ, toàn bộ hạng mục của SWE-2 là công cụ sai, và việc nó đạt 92.8% trên Terminal-Bench 2.1 là không liên quan.

Điều gì sẽ khiến những thứ này thực sự có thể so sánh được?

Một điều: một benchmark đo lường liệu đầu ra của một agent có đúng thay vì liệu nó có được chấp nhận. FrontierCode xấp xỉ điều này bằng khả năng hợp nhất do người bảo trì định nghĩa, mức gần nhất mà sinh mã đã đạt tới. AlphaProof Code né tránh hoàn toàn bằng cách chọn một miền mà ở đó một kernel có thể phân xử. Nếu ai đó xây dựng một bộ nhiệm vụ trong đó câu trả lời đúng có thể được kiểm tra một cách máy móc dựa trên một đặc tả — không phải một bộ kiểm thử, mà là một đặc tả — thì hai hệ thống có thể được chấm điểm trên một trục và so sánh sẽ có ý nghĩa.

Cho đến lúc đó, cách diễn giải hữu ích sẽ hẹp hơn. AlphaProof Code cho bạn biết rằng một đội năm người với công cụ agent có thể tạo ra một tập hợp chứng minh mà trước đây phải mất nhiều năm, và đó là một phát biểu về chi phí xác minh. SWE-2 cho bạn biết rằng một mô hình nền open-weight đã qua huấn luyện hậu kỳ có thể chỉ kém đỉnh cao trong vòng một điểm trên một benchmark lập trình với chi phí thấp hơn 64%, và đó là một phát biểu về chi phí lập trình. Cả hai chi phí đều đang giảm. Chúng giảm với tốc độ khác nhau, vì những lý do khác nhau, và một bảng xếp hạng đặt chúng vào cùng một bảng sẽ là nói dối bạn.

Nếu bạn muốn điểm rút ra thực tiễn: hãy dùng các hệ thống mang hình dạng SWE-2 cho mã mà một bộ kiểm thử có thể làm cổng kiểm soát, và bắt đầu đọc kho lưu trữ artifact AlphaProof Code nếu bạn có mã mà một bộ kiểm thử không thể làm cổng kiểm soát. Nhóm thứ hai nhỏ hơn mức hầu hết các nhóm nghĩ và có hệ quả lớn hơn mức bất kỳ nhóm nào trong số họ thừa nhận.