AlphaProof Code vs SWE-2: Dua Sistem Agentik, Dua Gagasan Pembuktian yang Sepenuhnya Berbeda

AlphaProof Code dan Cognition SWE-2 sama-sama merupakan sistem agen yang menulis perangkat lunak secara otomatis, dan keduanya dipasarkan kepada publik dengan kata "agen". Selain itu, kedua rilis tersebut hampir tidak berada di alam semesta yang sama. Cognition SWE-2, yang diumumkan pada September 2026 dan hanya tersedia di dalam Devin Desktop serta CLI, menulis patch: menurut angka Cognition sendiri, sistem ini mencetak 50,0% pada FrontierCode 1.1 Main, dalam selisih satu poin dari Claude Fable 5.1 di 50,9%, dengan biaya 64% lebih murah. AlphaProof Code, yang diumumkan oleh Google DeepMind pada 10 November 2026, menulis bukti: sekitar 6,5 juta baris Lean yang membuktikan bahwa biner AArch64 hasil kompilasi Signal memenuhi sepuluh teorema keamanan, diperiksa oleh kernel Lean alih-alih oleh rubrik. Keluaran satu sistem bisa salah dengan cara yang mungkin bisa ditangkap oleh peninjau manusia. Keluaran sistem lainnya tidak mungkin salah sama sekali — atau kernel menolaknya dan pekerjaan berlanjut.

"Correct" berarti dua hal yang berbeda

Mulailah dari kata itu, karena di situlah perbandingan antara keduanya menjadi keliru. Ketika Cognition melaporkan bahwa SWE-2 menyelesaikan 50,0% tugas FrontierCode 1.1 Main, "resolved" berarti sebuah patch dihasilkan yang diterima oleh proses penilaian sebagai dapat di-merge. Tugas-tugas FrontierCode ditulis bersama lebih dari 20 maintainer open-source, dengan lebih dari 40 jam per tugas, masing-masing maintainer mendefinisikan apa arti "mergeable" di repositori mereka sendiri. Itu adalah desain evaluasi yang serius dan tetap merupakan penilaian manusia tentang sebuah diff.

Ketika DeepMind melaporkan bahwa sebuah teorema telah dibuktikan untuk libsignal v0.105.4, "dibuktikan" berarti kernel Lean menerima derivasi dari spesifikasi. Tidak ada peninjau yang memiliki pendapat. Agen gatekeeper memeriksa setiap kiriman dengan komparator terhadap salinan spesifikasi yang disisihkan, dan Lean memeriksa sisanya — itulah cara tim yang terdiri dari lima peneliti dapat membiarkan 99% basis kode tidak ditinjau oleh manusia dan tetap membuat klaim tentang keseluruhannya.

Perbedaan itu menentukan untuk apa setiap sistem berguna. SWE-2 dapat menulis kode. AlphaProof Code tidak dapat menulis kode produksi dan tidak mencoba; ia menunjukkan bahwa kode yang ditulis orang lain melakukan apa yang ditentukan, dan juga dapat menunjukkan bahwa versi yang sengaja dirusak tidak melakukannya — dua bug Signal yang dimasukkan kembali, bug keadaan lemah dan bug subgrup kecil, keduanya menghasilkan bukti ketidakamanan yang diperiksa mesin.

Di mana keduanya benar-benar serupa

Lebih banyak daripada yang Anda perkirakan, dan bagian yang menarik adalah kesamaan-kesamaannya. Keduanya mahal untuk dijalankan. AlphaProof Code menggunakan tim yang terdiri dari 40 hingga 80 agen yang berjalan 24 hingga 72 jam pada satu mesin per tim, selama empat minggu, dengan agen pengawas di atas orkestrator tim dan agen-agen yang mengaudit keluaran mereka sendiri untuk menandai sekitar 1% untuk ditinjau manusia. Biaya SWE-2 tidak dipublikasikan per token karena Cognition tidak menjual token; harganya adalah langganan Devin, dan klaim 64% lebih murah merupakan perbandingan terhadap Claude Fable 5.1 pada tarif daftar.

Keduanya bergantung pada kelas model dasar yang sama. SWE-2 adalah hasil post-training Kimi K3 milik Moonshot AI, sebuah mixture-of-experts berparameter 2,8 triliun dengan sekitar 104B parameter aktif per token, dan Cognition mengatakan bahwa reinforcement learning-nya menambahkan 5 hingga 6 poin pada beberapa benchmark. Agen pembuktian AlphaProof Code didukung oleh Gemini 4 Carbon, dan Claude Opus 5.5 termasuk di antara model yang digunakan untuk menyusun dan meninjau spesifikasi Lean milik Signal. Kedua laboratorium itu tidak membangun agen mereka dari nol.

Keduanya bergantung pada pemverifikasi untuk mengetahui apakah pekerjaan sudah selesai. Pemverifikasi Cognition adalah rangkaian uji dan penilaian pemelihara yang dikodekan dalam FrontierCode. Pemverifikasi DeepMind adalah kernel pembuktian. Pemverifikasi adalah tempat batas atas setiap sistem ditetapkan, dan itulah kalimat yang layak diingat dari kedua makalah tersebut.

Masalah kejujuran benchmark, berdampingan

AlphaProof Code tidak memiliki tabel benchmark, jadi peringatan biasa tentang angka vendor tidak berlaku untuknya — ia memiliki teorema sebagai gantinya, dan teorema bersifat biner. Yang dimilikinya adalah serangkaian pengecualian struktural. Tidak ada jaminan pasca-kuantum untuk sifat healing SPQR, karena teorema ratchet mengasumsikan penyerang memilih kunci SPQR. Tidak ada privasi payload. Tidak ada autentikasi responder untuk pesan pertama handshake yang tidak pernah dipromosikan. Satu sesi per promosi, panjang pesan tetap, tanpa status multiperangkat, kunci identitas trust-on-first-use. Suku pemalsuan MAC 8-byte yang tumbuh secara kuadratik dan menjadi tidak bermakna pada sekitar 25.000 pesan dalam satu sesi. Tiga puluh tujuh rutinitas yang dikontrakkan alih-alih diverifikasi, termasuk AES-256-CBC, X25519, Kyber1024 dan ML-KEM-768. Dan subjeknya adalah build libsignal-cli milik tim sebagai proses baru, bukan aplikasi Signal.

Keterbatasan SWE-2 bersifat statistik, bukan struktural, dan yang paling mencolok adalah skalabilitas terhadap panjang tugas. Saat beralih dari Terminal-Bench 2.1 ke Terminal-Bench 4, Claude Fable 5.1 kehilangan sekitar 35,6 poin dan GPT-6 Astra sekitar 32,0. SWE-2 kehilangan sekitar 65,5, dan basis Kimi K3-nya sekitar 66,8 — jadi pada pekerjaan berhorizon panjang, performanya menurun kira-kira dua kali lebih cepat dibandingkan model-model frontier yang menjadi pembandingnya. Terminal-Bench 4 adalah edisi saat ini dan 2.1 adalah edisi yang telah digantikan, yang berarti baris tempat SWE-2 unggul adalah benchmark yang sudah pensiun dan baris tempat ia tertinggal adalah yang masih berlaku.

Kedua laporan itu luar biasa terus terang menurut standar posting peluncuran. Perbedaannya terletak pada harga dari keterusterangan itu. Pengecualian DeepMind mempersempit klaim tetapi tetap membuatnya benar. Pengecualian Cognition membatasi penerapan klaim, dan pembaca harus memutuskan apakah skor 27,3% pada tolok ukur long-horizon saat ini penting bagi beban kerja mereka.

Penyajian, harga, dan hal yang tidak dijual oleh keduanya kepada Anda.

• AlphaProof Code — kerangka penelitian. Tidak ada endpoint, tidak ada bobot, tidak ada harga, tidak ada daftar tunggu. Artefaknya adalah pengembangan Lean di github.com/google-deepmind/code-verification tanpa lisensi yang dinyatakan di halaman landing.

• Cognition SWE-2 — proprietary, khusus Devin. Tidak ada tarif per token yang dipublikasikan, tidak ada ID model untuk dipanggil, tidak ada bobot. Jika Anda ingin SWE-2, Anda harus membeli Devin.

• Model dasar — Kimi K3 ada di katalog OrcaRouter dengan harga $3 per juta token input dan $15 per juta token output, harga daftar penyedia diteruskan apa adanya dengan markup 0%. Claude Opus 5.5, salah satu model yang digunakan untuk menyusun spesifikasi Signal, berada pada $4 dan $20. G​emini 4 Carbon, yang menggerakkan agen pembuktian AlphaProof Code, tidak kami sediakan, dan tidak ada apa pun di sini yang menunjukkan bahwa kami menghosting AlphaProof Code itu sendiri.

Baris ketiga itu adalah satu-satunya bagian dari perbandingan ini yang memiliki tagihan yang bisa Anda bayar hari ini. Jika Anda membangun alur kerja pengodean agentik, pilihan praktisnya bukan antara kedua sistem ini — melainkan antara model-model di bawahnya, dan baik Kimi K3 maupun Claude Opus 5.5 hanya berjarak satu kunci dengan failover otomatis jika penyedia mengalami hari yang buruk. DSL perutean memungkinkan Anda mengirim tugas yang sama ke dua di antaranya dan membandingkan diff sebelum salah satunya menyentuh repositori.

Mode kegagalan mana yang dapat Anda toleransi

SWE-2 gagal karena menghasilkan patch yang tidak dapat dikompilasi, atau berhasil dikompilasi tetapi salah, atau benar tetapi tidak dapat digabungkan. Setiap kegagalan tersebut dapat ditemukan dengan membaca diff atau menjalankan pengujian, dan setiap kegagalan itu menghabiskan satu siklus tinjauan Anda. Sistem ini dirancang untuk hal tersebut: Cognition melaporkan best-of-N di berbagai pengaturan upaya penalaran, yang merupakan hal yang Anda lakukan ketika output bersifat probabilistik.

AlphaProof Code gagal dengan tidak menghasilkan bukti, dan pada titik itu para agen terus bekerja — selama berjam-jam, kadang berhari-hari, dengan build bersih yang bisa memakan waktu beberapa jam dan perbaikan bukti yang dipicu oleh perubahan sumber satu baris. Makalah tersebut menyatakan ada "ruang yang besar untuk optimasi" baik pada bukti yang dihasilkan maupun pada tekniknya, yang merupakan cara sopan untuk mengatakan bahwa prosesnya lambat dan rapuh. Namun ketika berhasil, tidak ada siklus tinjauan sama sekali, karena tidak ada yang perlu ditinjau. Lean sudah menyetujuinya.

Bagi tim yang akan merilis sebuah fitur pada hari Kamis, trade-off itu jelas dan SWE-2 menang. Bagi tim yang merilis protokol kriptografis yang akan melindungi percakapan selama satu dekade, seluruh kategori SWE-2 adalah alat yang salah, dan fakta bahwa ia mencetak 92,8% pada Terminal-Bench 2.1 tidaklah relevan.

Apa yang akan membuat ini benar-benar sebanding?

Satu hal: sebuah benchmark yang mengukur apakah keluaran agen itu benar alih-alih apakah keluaran itu diterima. FrontierCode mendekati ini dengan mergeability yang ditentukan maintainer, yang sejauh ini merupakan yang terdekat yang telah dicapai generasi kode. AlphaProof Code menghindarinya sepenuhnya dengan memilih domain tempat kernel dapat memutuskan. Jika seseorang membangun rangkaian tugas yang jawaban benarnya dapat diperiksa secara mekanis terhadap spesifikasi — bukan test suite, melainkan spesifikasi — kedua sistem dapat dinilai pada satu sumbu dan perbandingannya akan bermakna.

Sampai saat itu, pembacaan yang berguna lebih sempit. AlphaProof Code memberi tahu Anda bahwa tim beranggotakan lima orang dengan perkakas agen dapat menghasilkan korpus bukti yang dulu memakan waktu bertahun-tahun, yang merupakan pernyataan tentang berapa biaya verifikasi. SWE-2 memberi tahu Anda bahwa basis open-weight yang telah dilatih pascapelatihan dapat berada dalam selisih satu poin dari frontier pada tolok ukur pengodean dengan biaya 64% lebih rendah, yang merupakan pernyataan tentang berapa biaya pengodean. Kedua biaya itu sedang turun. Keduanya turun pada laju yang berbeda, karena alasan yang berbeda, dan papan peringkat yang menempatkan keduanya dalam tabel yang sama akan membohongi Anda.

Jika Anda menginginkan intisari praktisnya: gunakan sistem berbentuk SWE-2 untuk kode yang dapat diverifikasi oleh rangkaian pengujian, dan mulailah membaca repositori artefak AlphaProof Code jika Anda memiliki kode yang tidak dapat diverifikasi oleh rangkaian pengujian. Kategori kedua lebih kecil daripada yang diperkirakan sebagian besar tim dan lebih berdampak daripada yang diakui oleh tim mana pun.