AlphaProof Code vs MathForm-8B: Dua Tahap dari Pipeline Lean yang Sama, Bukan Dua Pesaing

Baca makalah AlphaProof Code dengan saksama dan ada satu angka yang mencolok yang tidak ditekankan dalam pengumuman: dari empat minggu yang dihabiskan lima peneliti DeepMind untuk memverifikasi Signal, bagian yang tidak dapat diotomatiskan adalah bagian awalnya. Para ahli manusia duduk bersama campuran model untuk menerjemahkan tujuan keamanan Signal ke dalam spesifikasi Lean formal, dan seorang ahli meninjau setiap satu sebelum pekerjaan pembuktian apa pun dimulai. Itulah hambatannya. MathForm-8B, model autoformalisasi 8 miliar parameter dari OpenBMB yang dirilis di Hugging Face pada 14 Agustus 2026, adalah upaya langsung untuk mengotomatiskan tepat langkah itu — mengambil pernyataan matematis berbahasa alami dan mengeluarkan pernyataan teorema Lean 4 yang siap dibuktikan oleh orang lain. Jika disejajarkan, Anda tidak membandingkan dua produk. Anda melihat dua tahap berurutan dari satu pipeline, yang dipisahkan oleh perbedaan antara matematika dan keamanan protokol.

Pipeline, sesuai urutan berlangsungnya pekerjaan

Verifikasi formal perangkat lunak nyata memiliki tiga tugas. Pertama, tentukan apa yang harus benar dan tuliskan dalam bahasa formal. Kedua, buktikan bahwa implementasinya memenuhinya. Ketiga, periksa bukti secara mekanis, karena bukti yang salah lebih buruk daripada tidak ada bukti.

MathForm-8B mengerjakan tugas pertama, untuk kelas input yang sempit: klaim matematika bergaya buku teks. Beri ia "untuk setiap bilangan real x, x² non-negatif" dan ia mengembalikan impor, tipe, dan header teorema dalam Lean 4. Yang tidak dikembalikannya adalah pembuktian, dan para penulisnya secara eksplisit menyatakan bahwa pencarian pembuktian adalah masalah pihak lain. Angka yang dilaporkannya, semuanya dilaporkan vendor dan belum direproduksi, adalah rata-rata Pass@8 88,06% di bawah pemeriksaan sintaks dan 72,37% di bawah pemeriksaan konsistensi yang lebih ketat pada enam benchmark — selisih antara kedua angka itu adalah ukuran jujur seberapa sering pernyataan yang valid secara sintaksis bermakna berbeda dari yang diminta.

AlphaProof Code mengerjakan tugas kedua dan ketiga, ditambah tahap spesifikasi yang tidak bisa ditangani MathForm-8B. Tujuan keamanan Signal bukanlah klaim matematis dalam pengertian yang menjadi dasar pelatihan MathForm; itu adalah pernyataan tentang sebuah protokol — bahwa pesan tetap terlindungi sebelum dan sesudah perangkat untuk sementara dikompromikan, bahwa inisiator dan responder benar-benar seperti yang mereka klaim. Mengubahnya menjadi Lean memerlukan keahlian protokol yang tidak dimiliki autoformalisator 8B mana pun. Setelah spesifikasi itu ada, pekerjaan pembuktian sepenuhnya diserahkan kepada agen, dan pemeriksaannya diserahkan kepada kernel Lean ditambah agen penjaga gerbang yang menggunakan komparator terhadap salinan spesifikasi yang disisihkan.

Berapa biaya sebenarnya bagi Anda untuk menggunakan masing-masing

• Bobot — MathForm-8B: dapat diunduh, Apache 2.0, empat shard safetensors dalam BF16, di-fine-tune dari Qwen3-8B. AlphaProof Code: tidak ada. Rilis ini adalah pengembangan Lean, semantik AArch64, dan binding libsignal di github.com/google-deepmind/code-verification.

• Menjalankannya — MathForm-8B: Transformers, vLLM, atau SGLang, semuanya mengekspos endpoint yang kompatibel dengan OpenAI, di perangkat keras milik Anda sendiri. AlphaProof Code: tanpa endpoint, tanpa API, tanpa daftar tunggu, tanpa harga; ini adalah kerangka kerja penelitian yang menurut DeepMind memerlukan "penelitian lanjutan" sebelum dapat diskalakan.

• Input — MathForm-8B: pernyataan matematika dalam bahasa alami. AlphaProof Code: spesifikasi formal plus biner yang ingin Anda buktikan terhadapnya.

• Keluaran — MathForm-8B: pernyataan teorema Lean 4, belum dibuktikan. AlphaProof Code: bukti yang diperiksa mesin, atau sanggahan ketika kode rusak.

• Tinjauan manusia — MathForm-8B: Anda meninjau pernyataan yang dihasilkan, dan pada konsistensi 72,37% Anda akan meninjau banyak di antaranya. AlphaProof Code: para ahli meninjau setiap spesifikasi sebelum pekerjaan pembuktian dimulai, lalu agen menandai sekitar 1% basis kode untuk pemeriksaan ulang.

• Batasan yang diketahui — MathForm-8B: hanya pernyataan matematika, tanpa pembuatan bukti, dan repositori kode yang ditautkan di README-nya masih berupa placeholder saat rilis. AlphaProof Code: tidak ada jaminan pascakuantum untuk penyembuhan SPQR, tidak ada privasi payload, satu sesi per promosi, dan batas pemalsuan MAC yang menjadi vakum mendekati 25.000 pesan dalam satu sesi.

Kesenjangan yang harus ditutup MathForm-8B

Menggoda untuk mengatakan bahwa seorang autoformalisator dapat menulis spesifikasi Signal dan menyelamatkan para peneliti dari minggu-minggu awal yang berat. Uraian makalah itu sendiri mengatakan sebaliknya, dan alasannya spesifik. Spesifikasi suatu protokol bukanlah penyataan ulang suatu klaim; itu adalah pilihan tentang model penyerang. Karya Signal membawa jalur simbolik dalam Dolev–Yao dengan penyerang kuantum yang memecahkan Diffie–Hellman setelah handshake, dan jalur komputasional dengan penyerang klasik dan batas konkret. Kedua jalur itu menyatakan teorema yang berbeda tentang kode yang sama, dan memilih di antara keduanya adalah keputusan rekayasa dengan konsekuensi keamanan. Tidak ada model yang telah dilatih untuk mengubah "tunjukkan bahwa x² ≥ 0" menjadi Lean yang akan membuat keputusan itu.

Apa yang secara plausibel dapat dilakukan oleh autoformalizer adalah bagian mekanis dari pekerjaan itu: dengan diberikan tujuan keamanan dalam bentuk prosa dan pustaka definisi Lean yang sudah ada, menghasilkan draf pertama pernyataan dalam idiom proyek itu sendiri, untuk dikoreksi oleh seorang ahli. Itu adalah penghematan nyata dan jauh lebih kecil daripada yang disiratkan oleh judul. Makalah tersebut melaporkan katalog penyimpangan spesifikasi berisi lebih dari 200 entri komputasional dan sekitar 35 entri simbolik — lima belas di antaranya adalah celah atau bug dalam analisis Double Ratchet — yang merupakan temuan dari langkah tinjauan manusia. Model yang menyusun draf pernyataan harus diukur terhadap katalog itu, bukan terhadap skor Pass@8 pada benchmark matematika.

Ketika kedua angka tersebut sama sekali tidak dapat dibandingkan

MathForm-8B 88,06% dan AlphaProof Code 6,5 juta baris mengukur hal yang berbeda dan tidak boleh ditempatkan dalam kolom yang sama. Yang satu adalah tingkat keberhasilan pada rangkaian tolok ukur yang dibuat para penulis; yang lain adalah jumlah bukti yang dihasilkan untuk satu target. Vendor tersebut terbuka bahwa 88,06% menggunakan pemeriksaan sintaks, yang merupakan kriteria lemah — sebuah pernyataan dapat dikompilasi dan tetap memformalkan klaim yang salah, itulah sebabnya angka konsistensinya 16 poin lebih rendah.

Contoh AlphaProof Code dengan nuansa serupa adalah pekerjaan validasi: dua bug Signal yang sebelumnya telah diperbaiki, yaitu bug weak-state dan bug small-subgroup, dimasukkan kembali ke salinan terisolasi, dan dalam kedua kasus sistem menghasilkan bukti yang diperiksa mesin bahwa versi yang bermasalah gagal memenuhi teorema keamanan. Itu adalah uji negatif, dan uji negatif adalah hal yang sepenuhnya belum ada dalam benchmark autoformalizer. MathForm-8B tidak melaporkan hasil berbentuk "diberikan pernyataan yang sengaja salah, model mengatakan bahwa pernyataan itu salah."

Bagaimana Anda benar-benar menggunakannya bersama-sama

Secara konkret, dan ini adalah satu-satunya bagian dari perbandingan yang memiliki jalur jangka pendek: gunakan autoformalizer untuk menyusun draf, model umum yang kuat untuk mengkritik draf tersebut, dan agen pembuktian untuk mencoba membuktikannya. Setiap tahap memiliki mode kegagalan yang berbeda, dan merutekan ketiganya melalui satu kunci adalah kemudahan praktis. Di OrcaRouter, lebih dari 200 model berada di belakang satu API dengan harga daftar penyedia dengan markup 0%, sehingga loop penyusunan draf spesifikasi yang mengirim pernyataan yang sama ke dua model dan membandingkan Lean mereka adalah panggilan DSL perutean, bukan tiga kontrak dan tiga SDK. Failover otomatis mencakup kasus ketika model yang Anda pilih sedang performa buruk.

Yang tidak diberikan oleh semua itu adalah jaminan. MathForm-8B memberi Anda sebuah pernyataan, model-model memberi Anda kritik, dan masih ada sesuatu yang harus membuktikannya. Saat ini, satu-satunya sistem yang telah dipublikasikan yang menutup lingkaran itu pada kode nyata yang telah diterapkan adalah AlphaProof Code, dan sistem itu tidak untuk dijual.

Alasan untuk membaca kedua makalah alih-alih memilih pemenang

MathForm-8B adalah artefak yang berguna dengan tugas sempit dan batas akurasi nyata yang terukur. AlphaProof Code adalah demonstrasi alur kerja yang temuan paling mudah dialihkan bukanlah volume pembuktian, melainkan pemisahannya: pekerjaan spesifikasi menghendaki manusia dan model umum yang kuat, pekerjaan pembuktian menghendaki tim agen dan kernel, dan batas di antara keduanya adalah tempat seluruh kesulitan berada. Siapa pun yang membangun pipeline verifikasi harus menanggapi pemisahan itu dengan serius dan memperlakukan autoformalisasi sebagai bagian yang mengurangi biaya tahap pertama — bukan bagian yang menggantikannya.

Ringkasan jujur untuk tim yang memutuskan apa yang akan diunduh bulan ini: MathForm-8B, ya, jika Anda bekerja dengan Lean dan menginginkan alat bantu penyusunan draf. AlphaProof Code, baca repositori artefak dan katalog penyimpangan spesifikasi, karena katalog itu memberi tahu Anda lebih banyak tentang apa yang masih belum dapat dijangkau oleh verifikasi formal kode produksi daripada pengumuman mana pun.