AREX-2 vs MathForm-8B: Pemeriksa Bukti dan Loop Pencarian Adalah Jenis Verifikasi yang Berbeda

MathForm-8B dan AREX-2 adalah dua model yang paling dapat diverifikasi secara ketat dalam seri ini, dan mereka memverifikasi dengan cara yang berlawanan. MathForm-8B adalah autoformalizer 8 miliar parameter milik OpenBMB, yang dirilis pada Agustus 2026: berikan sebuah masalah matematika yang ditulis dalam bahasa Inggris biasa dan ia menghasilkan pernyataan Lean 4 yang benar secara formal dari masalah tersebut, yang kemudian diperiksa oleh kompiler asisten pembuktian. AREX-2 adalah repositori Hugging Face yang dibuat BAAI pada 29 September 2026 pukul 17:56 UTC, yang berisi .gitattributes dan tidak ada bobot, tidak ada kartu model, tidak ada tag lisensi dan tidak ada pengumuman — nama yang dicadangkan untuk kemungkinan generasi kedua agen riset mendalam AREX milik BAAI, yang generasi pertamanya memverifikasi dirinya sendiri dengan memeriksa ulang jawabannya sendiri terhadap batasan yang diberikan kepadanya.

Jadi pertanyaan menarik di sini bukanlah model mana yang lebih baik. Melainkan apa artinya sebuah model dapat diperiksa, karena satu dari kedua ini diperiksa oleh kompilator yang tidak peduli apa yang dipercayai siapa pun, dan yang lain diperiksa, jika preseden keluarga ini berlaku, oleh sebuah loop yang dijalankan oleh model yang sama. Perbedaan itu tetap bertahan meskipun salah satu sisi pertarungan ini belum dirilis, dan itulah alasan keduanya sama sekali layak berada dalam percakapan yang sama.

Sisi yang ada, dan alasan mengapa hal itu dapat diperiksa.

MathForm-8B memiliki deskripsi pekerjaan yang sempit, dan hal itu layak dinyatakan secara tepat karena kesempitan itulah intinya. Ia tidak menyelesaikan masalah matematika dan tidak mengklaim mampu melakukannya. Ia disetel secara khusus pada FormalVerse, korpus berisi sekitar 367.000 contoh Lean 4 terverifikasi, dan imbalan pelatihannya berasal dari kompilator Lean, bukan dari model preferensi manusia. Diberikan pernyataan informal, ia menghasilkan impor, tipe, dan tajuk teorema — membiarkan kewajiban pembuktian itu sendiri tetap terbuka — sehingga kompilator dapat memastikan bahwa formalisasi tersebut menyatakan apa yang dinyatakan oleh masalah informal itu.

Angka-angka yang dipublikasikannya, semuanya dilaporkan vendor oleh OpenBMB dan tidak ada yang direproduksi secara independen, adalah rata-rata Pass@8 sebesar 88,06% dalam pemeriksaan sintaks dan 72,37% dalam pemeriksaan konsistensi yang lebih ketat pada enam benchmark, turun menjadi 63% dan 37% pada subset FATE-H dan FATE-X yang paling sulit. Bacalah itu sebagai apa adanya: model yang diukur terhadap sistem formal, di mana jawaban yang salah adalah kegagalan untuk mengompilasi, bukan ketidaksepakatan tentang kualitas. Itu adalah sifat yang langka. Sebagian besar klaim benchmark di blog ini bertumpu pada penilai yang harus dipercaya; yang ini bertumpu pada aritmetika yang dilakukan oleh mesin.

Sisi yang belum ada, dan mengapa verifikasinya berbeda

Fakta yang dapat dikonfirmasi tentang AREX-2 hanyalah organisasi, nama, dan stempel waktunya. Belum ada yang diunggah dan BAAI belum mengatakan apa pun. Namun, keluarga di balik nama itu memang ada, dan dirilis pada 23 Juli 2026 sebagai AREX-Base — campuran ahli (mixture-of-experts) berparameter 122 miliar dengan 10 miliar parameter aktif di atas basis Qwen3.5-122B-A10B — bersama dengan AREX-Turbo, model padat 4B. Keduanya Apache 2.0, keduanya agen, bukan model obrolan.

Desain AREX adalah kerangka kerja riset dua loop, dan loop luarnya adalah langkah verifikasi. Loop dalam mengumpulkan bukti dari pencarian dan penelusuran, mengintegrasikannya, lalu menghasilkan jawaban kandidat dengan angka keyakinan yang terlampir. Loop luar kemudian memeriksa kandidat tersebut terhadap batasan awal dan memutuskan: terima, perbaiki, atau buang lintasan dan mulai ulang. Di antara iterasi, model memelihara blok konteks berisi temuan terverifikasi, kandidat terbuka, batasan yang belum terselesaikan, dan rencana berikutnya, yang memungkinkannya mengikuti alur penyelidikan panjang tanpa kehilangan benang merah. BAAI melaporkan 82,5 pada BrowseComp, 85,4 pada GAIA, dan 89,9 pada DeepSearch QA untuk Base, serta 70,7 / 81,6 / 78,5 untuk Turbo — angka milik vendor sendiri, belum direproduksi.

Itu adalah bentuk pemeriksaan mandiri yang nyata dan berguna. Namun, bentuk itu secara kategoris lebih lemah daripada kompilator. Ketika loop luar AREX memutuskan bahwa suatu jawaban memenuhi batasannya, penilaian itu berasal dari model bahasa yang membaca batasan tersebut. Ketika Lean menerima formalisasi MathForm-8B, penilaian itu berasal dari pemeriksa tipe yang menerapkan kalkulus tetap. Tidak ada satu pun yang bebas dari kesalahan — suatu formalisasi bisa menjadi Lean yang valid tetapi menangkap teorema yang salah — tetapi hanya satu di antaranya yang bisa salah tanpa ada yang menyadarinya, dan perbedaannya bukan soal derajat.

• Ketersediaan — MathForm-8B dapat diunduh dari OpenBMB dengan kartu yang telah dipublikasikan. AREX-2 adalah repositori tanpa berkas di dalamnya.

• Parameter — 8B dense untuk MathForm-8B. Tidak diketahui untuk AREX-2; keluarga ini mencakup mixture-of-experts 122B dan dense 4B.

• Apa yang dihasilkannya — Pernyataan teorema Lean 4 untuk MathForm-8B, dengan buktinya sengaja dibiarkan terbuka. Tidak diketahui untuk AREX-2; generasi pertama menghasilkan jawaban yang diteliti dengan angka keyakinan.

• Bagaimana ini diperiksa — kompilator Lean, untuk MathForm-8B. Sebuah loop verifikasi di dalam model yang sama, berdasarkan bukti dari AREX-Base.

• Lisensi — ketentuan OpenBMB sendiri untuk MathForm-8B; belum ada yang dideklarasikan untuk AREX-2. Generasi AREX pertama adalah Apache 2.0.

• Angka utama — 88,06% yang diperiksa sintaksis dan 72,37% yang diperiksa konsistensi Pass@8 untuk MathForm-8B, berdasarkan laporan vendor. Tidak ada yang tersedia untuk AREX-2.

Dua pekerjaan yang dapat ditampung oleh sebuah stack sekaligus

Model-model ini tidak saling tumpang tindih dalam fungsi, dan hal itu layak dikatakan sebelum siapa pun membaca "versus" sebagai pilihan. MathForm-8B adalah front-end untuk asisten pembuktian. Keluarannya adalah pernyataan teorema yang kemudian dikerjakan oleh seorang matematikawan atau pembukti otomatis. Tempat alaminya adalah di dalam pipeline verifikasi untuk matematika, metode formal, atau pekerjaan spesifikasi, yang nilainya adalah bahwa alat hilir dapat mengonsumsi keluaran tersebut tanpa harus mempercayai model.

AREX-2, jika melanjutkan keluarganya, adalah backend untuk pertanyaan yang tidak memiliki kompilator. "Manakah dari ketiga pengajuan ini yang tidak konsisten dengan dua lainnya" tidak memiliki sistem formal untuk memeriksanya, dan satu-satunya pertahanan yang tersedia adalah mengumpulkan lebih banyak bukti dan memeriksa ulang penalaran Anda sendiri — yang merupakan inti dari loop luar AREX. Tim yang membutuhkan keduanya akan menjalankannya di tempat yang berbeda: formalisasi untuk bagian masalah yang dapat dibuat formal, dan agen pencarian-dan-verifikasi untuk bagian yang tidak bisa.

Pembagian itu juga menjadi jawaban jujur atas mana dari hal-hal ini yang dapat Anda tindak lanjuti minggu ini. MathForm-8B sudah dirilis, terdokumentasi, dan dapat digunakan sekarang. AREX-2 hanyalah sebuah nama.

Bagaimana gambaran routing saat verifikasi menjadi subjeknya

Karena keduanya digunakan dengan cara yang sangat berbeda, pertanyaan tentang infrastruktur pun terbelah.

Untuk MathForm-8B, beban kerjanya adalah ledakan generasi pendek dan deterministik yang outputnya langsung masuk ke kompilator. Yang penting adalah model dapat dijangkau dan panggilan yang gagal dicoba ulang, karena pipeline formalisasi yang menjatuhkan permintaan terlihat identik dengan pipeline formalisasi yang gagal — dan hanya satu di antaranya yang merupakan fakta tentang model. Failover otomatis antar penyedia adalah fitur spesifik yang membedakan keduanya. OrcaRouter saat ini tidak menyediakan MathForm-8B maupun AREX-2, jadi bobot OpenBMB berasal dari distribusi OpenBMB sendiri dan endpoint yang dihosting adalah milik pihak lain; yang kami tawarkan adalah perutean di depannya, dengan harga daftar penyedia diteruskan apa adanya dan tanpa tambahan per token.

Untuk agen seperti AREX-Base, bentuknya lebih sulit dan alasan untuk melakukan routing lebih kuat. Trajektori riset mendalam membuat puluhan panggilan model per kueri, yang masing-masing membaca ulang konteks yang bertambah seiring menumpuknya bukti, dan mode kegagalannya saling memperparah: penyedia yang mengalami timeout pada langkah kesembilan belas dari dua puluh lima tidak sekadar menurunkan kualitas jawaban, melainkan menghasilkan jawaban salah yang disampaikan dengan penuh keyakinan. Itulah argumen untuk menempatkan loop di balik satu API untuk 200+ model dengan aturan failover yang memutuskan saat runtime, sehingga satu penyedia bermasalah hanya berarti percobaan ulang, bukan kutipan yang salah.

Satu hal yang perlu diperhatikan, dan satu hal yang tidak boleh diasumsikan

Tiga fakta akan menjawab sebagian besar pertanyaan terbuka tentang AREX-2, dan ketiganya terlihat dari luar: apakah file muncul di repositori itu, berapa jumlah parameter yang diklaim oleh kartu tersebut, dan apakah ia membawa tag Apache 2.0 seperti yang dimiliki dua pendahulunya. Sampai hal itu terjadi, satu-satunya pernyataan yang dapat dipertahankan tentang AREX-2 adalah bahwa BAAI mencadangkan nama tersebut pada 29 September 2026 dan belum mengumumkan apa pun.

Hal yang tidak boleh diasumsikan adalah bahwa generasi kedua mewarisi bentuk generasi pertama. Sebuah "2" adalah nama produk, bukan arsitektur. Bisa jadi lebih besar dari 122B Base, atau bisa jadi distilasi kecil dari kerangka kerja yang sama — dan mengingat keluarga ini sudah merilis tier kualitas dan tier biaya penyajian sekaligus, kedua penafsiran itu masuk akal. Yang tidak masuk akal, saat ini, adalah menerbitkan spesifikasi untuknya.