Apa Itu MathForm-8B? Rilis Autoformalization Senyap OpenBMB Mengubah Matematika Menjadi Lean 4

openbmb/MathForm-8B adalah model autoformalization baru dari OpenBMB yang menerjemahkan pernyataan matematika berbahasa alami ke dalam Lean 4, dan diluncurkan hampir tanpa pengumuman: bobot model, dataset, dan makalahnya muncul di Hugging Face dan arXiv pada hari yang sama, 2026-08-14, dengan judul payung "MathForm: Scaling Mathematical Autoformalization with Knowledge Retrieval and Verification-Guided Refinement." Peluncuran yang senyap itu menyimpan hasil yang tidak biasa — model dengan 8 miliar parameter yang melaporkan skor rata-rata Pass@8 sebesar 88,06% dalam pemeriksaan sintaks dan 72,37% dalam pemeriksaan konsistensi yang lebih ketat di enam benchmark, yang menurut makalah tersebut mengungguli beberapa autoformalizer 32B khusus. Ini adalah tulisan tentang apa yang kita ketahui sejauh ini: semua yang diberi label "dari repositori" di bawah ini berasal langsung dari kartu model, kartu dataset, dan makalah, dan apa pun yang belum dikonfirmasi secara independen ditandai demikian.

Poin-poin penting

• MathForm-8B adalah model autoformalisasi 8B dengan lisensi Apache-2.0: model ini membaca masalah matematika informal dan menulis pernyataan teorema Lean 4 dengan header bernama, siap untuk pembuktian nanti.

Model ini di-fine-tune dari Qwen3-8B pada FormalVerse, sebuah dataset Lean 4 terverifikasi dengan sekitar 367.000 contoh yang dibangun OpenBMB melalui pengambilan pengetahuan dan penyempurnaan yang diperiksa kompiler, kemudian dilatih dengan pembelajaran penguatan menggunakan kompilasi Lean dan umpan balik konsistensi semantik.

• Angka yang dilaporkan (dilaporkan vendor, tidak direproduksi): rata-rata 88,06% Pass@8 pada Pemeriksaan Sintaks, 72,37% pada Pemeriksaan Konsistensi, mengungguli autoformalizer khusus 7B-ke-32B dalam tabel makalah itu sendiri.

Ini tidak diumumkan, tidak tersedia di API berbayar utama saat peluncuran, dan belum di-benchmark secara independen — tiga celah yang penting untuk adopsi produksi.

• Penyajian bersifat self-hosted: Transformers, vLLM, atau SGLang, semuanya mengekspos endpoint yang kompatibel dengan OpenAI.

Apa yang sebenarnya terkandung dalam rilis tersebut.

Tiga artefak muncul dalam hitungan menit satu sama lain pada 2026-08-14, yang memang seperti itulah gambaran rilis yang terkoordinasi namun tidak diumumkan:

• Repositori model, openbmb/MathForm-8B — LM kausal 8B dalam BF16 dengan template chat, empat shard safetensors, lisensi Apache 2.0.

• Repositori dataset, openbmb/FormalVerse — dataset autoformalisasi Lean 4 dengan sekitar 367.000 contoh terverifikasi, juga Apache 2.0.

Makalah ini, arXiv 2608.14221 — 25 halaman yang menjelaskan pipeline konstruksi data, resep pelatihan, dan evaluasi enam tolok ukur.

Tautan kode GitHub di README masih berupa placeholder pada saat penulisan, sehingga pipeline evaluasi dan skrip Pass@k dijanjikan tetapi belum dipublikasikan. README tersebut memang menyebutkan bahwa pemeriksaan kompilasi memerlukan Kimina Lean Server yang berjalan dan eksperimen menggunakan Lean 4.21.0.

Halaman repositori di atas adalah seluruh permukaan publik dari rilis saat ini: sebuah kartu model, empat pecahan safetensors, templat obrolan, dan README yang sekaligus berfungsi sebagai satu-satunya dokumentasi. Belum ada postingan blog pengumuman pada saat tulisan ini dibuat.

Apa yang dilakukan MathForm-8B — dan mengapa ini merupakan pekerjaan yang sempit.

Autoformalisasi adalah langkah sebelum pembuktian teorema: diberikan masalah matematika dalam bahasa Inggris biasa ("Tunjukkan bahwa untuk setiap bilangan real x, x² non-negatif"), model harus menghasilkan pernyataan yang benar secara formal dalam Lean 4 — impor, tipe, dan header teorema — yang kemudian dapat diserang oleh manusia atau pembukti. Ini adalah keterampilan yang benar-benar berbeda dari mengerjakan matematika, karena model harus memetakan konsep bahasa alami ke hierarki definisi dan tipe Mathlib yang tepat. Pernyataan yang lolos pemeriksaan tipe tetapi secara diam-diam melemahkan pernyataan asli ("(2^5) ∣ (13^4 − 11^4)" alih-alih klaim keterbagian penuh) adalah mode kegagalan klasik, dan itulah sebabnya makalah ini membedakan Pemeriksaan Sintaks (apakah ia terkompilasi) dari Pemeriksaan Konsistensi (apakah ia secara semantik pernyataan yang sama).

Kartu model menunjukkan pola penggunaan yang dimaksudkan: Anda memberinya prompt dengan masalah informal dan nama teorema yang diinginkan, dan ia mengembalikan pernyataan Lean 4 dengan code>theorem my_favorite_theorem : ... := by sorry/code> — code>sorry/code> tersebut meninggalkan kewajiban pembuktian terbuka. Pembagian kerja itu penting: MathForm-8B adalah formalizer, bukan prover. Tim yang membangun perangkat Lean menggunakannya untuk mengubah bank soal menjadi bentuk yang dapat diperiksa mesin.

Bagaimana ia dilatih

Resep dalam makalah ini terdiri dari dua tahap. Pertama, OpenBMB membangun FormalVerse dengan pipeline yang (1) mengambil definisi yang relevan dan formalisasi yang telah ada dari Mathlib sebelum generasi, (2) menghasilkan pernyataan kandidat, (3) menyempurnakannya dengan diagnostik kompiler Lean dan umpan balik konsistensi semantik, serta (4) hanya menyimpan sampel yang lolos kedua pemeriksaan tersebut. Korpus terverifikasi itu kemudian digunakan untuk fine-tuning terawasi, dilanjutkan dengan pembelajaran penguatan dengan sinyal imbalan dari kompilasi Lean dan konsistensi semantik.

Kartu dataset memberikan gambaran konkret tentang data: setiap entri memasangkan pernyataan informal dengan pernyataan formal yang terverifikasi, diberi tag berdasarkan sumber (misalnya, AceReason-Math) dan label topik (Teori Bilangan, dan sebagainya). Karena setiap contoh lolos pemeriksaan kompiler sungguhan sebelum masuk ke pelatihan, model belajar dari pernyataan yang sudah terbukti baik, bukan dari keluaran mentah model.

Tabel benchmark yang berlabel jujur.

Semua angka pada bagian ini dilaporkan oleh vendor dari makalah (arXiv 2608.14221) dan belum direproduksi secara independen. Pass@8 berarti model mendapat delapan percobaan per soal dan percobaan tersebut dihitung berhasil jika salah satu lolos; ini adalah metrik yang lebih bersahabat daripada pass@1 dan harus dibaca sebagai "seberapa sering model dapat menghasilkan pernyataan yang benar dengan anggaran tertentu."

• Rata-rata MathForm-8B — Pemeriksaan Sintaks 88,06%, Pemeriksaan Konsistensi 72,37%.

• Per benchmark, SC lalu CC: FormalIMATH 100.00 / 95.06, ProverBench 100.00 / 94.83, CombiBench 93.00 / 47.00, FATE-M 99.33 / 97.33, FATE-H 82.00 / 63.00, FATE-X 54.00 / 37.00.

Set yang sulit adalah yang jujur: FATE-H CC 63% dan FATE-X CC 37% menunjukkan batas atas model pada subset yang paling sulit, dibandingkan dengan CC 95%+ pada FormalIMATH dan ProverBench yang lebih mudah.

• Baseline 8B terbaik yang tercantum di makalah — ReForm-8B 81.76 / 66.21, Goedel-Formalizer-V2-8B 78.24 / 60.08 — dan baseline 32B terbaik — ReForm-32B 81.61 / 68.41, Goedel-Formalizer-V2-32B 78.28 / 63.74, StepFun-Formalizer-32B 63.65 / 44.47 — semuanya berada di bawah MathForm-8B dengan 88.06 / 72.37.

Checkpoint khusus SFT (sebelum tahap RL) berada di angka 84.38 / 66.53, sehingga proses reinforcement learning memberikan tambahan sekitar +3.7 SC dan +5.8 CC secara rata-rata, dengan peningkatan terbesar pada set-set yang sulit.

Klaim terkuat yang perlu disikapi dengan skeptis: skor SC 100.00 pada FormalIMATH dan ProverBench (kompilasi 100% pada set mudah adalah bendera merah bahwa set tersebut telah konvergen), dan perbandingan terhadap model 32B yang tidak dijalankan ulang dalam kondisi yang identik. Angka Consistency Check pada FATE-H dan FATE-X adalah angka yang paling mungkin bertahan dalam pengujian independen.

Apa yang tidak dikonfirmasi

• Tidak ada evaluasi independen yang ada. Belum ada pihak ketiga yang menjalankan MathForm-8B melalui harness publik hingga saat penulisan ini, dan kode evaluasinya belum dirilis.

• Tidak ada pengumuman tentang serving. OpenBMB belum memublikasikan blog peluncuran, halaman harga, atau endpoint API. Frasa "diluncurkan secara diam-diam" bersifat harfiah.

• Bobot reward RL, anggaran pelatihan, dan perangkat keras tidak ada dalam kartu model; semuanya hanya ada di paper.

• Apakah model 8B dapat menggeneralisasi ke Lean 4.21.1+ atau ke impor non-Mathlib belum diuji.

Cara menjalankannya

Self-hosting adalah satu-satunya rute saat ini. README mendokumentasikan tiga jalur, semuanya dengan endpoint chat yang kompatibel dengan OpenAI di code>localhost:8000/v1/chat/completions/code>:

• Transformers — code>AutoModelForCausalLM.from_pretrained("openbmb/MathForm-8B", torch_dtype=torch.bfloat16)/code>, lalu generate dengan template chat.

• vLLM — code>vllm serve openbmb/MathForm-8B --served-model-name MathForm-8B --dtype bfloat16 --max-model-len 16384/code>.

• SGLang — code>python -m sglang.launch_server --model-path openbmb/MathForm-8B --served-model-name MathForm-8B --dtype bfloat16 --context-length 16384/code>.

README merekomendasikan suhu 0.6, top_p 0.95, dan hingga 16384 token baru — pernyataan formal berjalan panjang, sehingga jendela generasi yang besar adalah persyaratan sistem yang sebenarnya untuk diperhitungkan.

Mengapa bagian "8B beats 32B" itu penting.

Jika angka-angkanya konsisten, {{1}}MathForm-8B{{/1}} adalah argumen terkuat sejauh ini bahwa hambatan autoformalization adalah {{2}}kualitas data dan verifikasi, bukan jumlah parameter mentah{{/2}}. Tabel dalam makalah itu sendiri menunjukkan {{3}}model khusus 32B{{/3}} ({{4}}ReForm-32B{{/4}}, {{5}}Goedel-Formalizer-V2-32B{{/5}}, {{6}}StepFun-Formalizer-32B{{/6}}) berada di bawah {{7}}model 8B yang dilatih pada korpus yang diperiksa kompiler{{/7}}. Bagi tim yang saat ini menjalankan formalizer 32B, itu adalah {{8}}perubahan biaya yang signifikan{{/8}} — {{9}}model 8B pada BF16 muat di satu GPU yang sebagian besar model 32B tidak bisa, dan melayani lebih cepat per token{{/9}}.

Ini juga menghadirkan pilihan jujur yang terus diproduksi oleh lanskap model lainnya: spesialis sempit yang mengerjakan satu tugas terverifikasi dengan sangat baik, versus model umum yang dapat mencoba banyak tugas tanpa jaminan verifikasi. Untuk formalisasi secara khusus, spesialis adalah yang kompilernya memeriksa keluarannya — properti yang justru membuat router dengan failover otomatis nyaman ditempatkan di depannya. Lapisan routing seperti yang dijalankan OrcaRouter di 200+ model, dengan penerusan harga sesuai daftar penyedia, memungkinkan Anda mengarahkan jalur pengujian ke model open-weights yang baru berusia beberapa hari seperti ini dan beralih kembali ke model yang sudah terbukti begitu model tersebut macet — Anda dapat mengadopsi rilis yang tenang tanpa mempertaruhkan jalur produksi Anda padanya, dan tidak ada markup pada harga token jika penyedia nanti mencantumkannya.

Tontonan Berikutnya

Tiga hal yang akan mengubah ini dari "repo yang menarik" menjadi "alat yang tepercaya": kode evaluasi GitHub yang benar-benar muncul; pass independen pertama pada FATE-H dan FATE-X dengan pass@1, bukan pass@8; dan pengumuman OpenBMB apa pun yang menambahkan rute yang di-host atau paper v2 dengan angka ablasi. Sampai setidaknya salah satu dari hal-hal itu terwujud, perlakukan skor utama sebagai indikatif — arsitektur dan ide data pelatihan adalah berita yang tahan lama, bukan persentase pastinya.