Beam 1.0 vs MathForm 8B: Kesalahan Satu Model Ditangkap oleh Kompiler

Mintalah MathForm 8B untuk memformalkan sebuah teorema dan jawabannya adalah pernyataan Lean 4 yang dapat dikompilasi atau yang tidak. Mintalah Beam 1.0 untuk memperbaiki bug dan jawabannya adalah diff yang berjalan atau yang tidak, dan jarak antara kedua hal itu adalah seluruh perbedaan antara model-model ini. MathForm 8B adalah model autoformalisasi 8,19 miliar parameter milik OpenBMB, dibangun di atas Qwen3-8B milik Alibaba dan dilatih pada FormalVerse, korpus sekitar 367.000 contoh Lean 4 terverifikasi, melalui fine-tuning terawasi yang dilanjutkan dengan pembelajaran penguatan pada kompilasi Lean dan umpan balik konsistensi semantik; model ini diterbitkan pada 14 Agustus 2026 di bawah Apache 2.0. Beam 1.0 adalah model sparse mixture-of-experts milik Reflection dengan 501,3 miliar parameter dan 23,4 miliar parameter aktif per token, diumumkan pada 5 Oktober 2026 dan dirilis sebagai bobot yang dapat diunduh pada 16 Oktober 2026, juga di bawah Apache 2.0. Rasio ukurannya adalah 61 banding satu dan itu adalah angka yang paling tidak menarik di halaman ini.

Yang menarik adalah bahwa MathForm 8B menghasilkan keluaran yang dapat diadili oleh mesin tanpa perlu memercayai siapa pun, sedangkan Beam 1.0 tidak. Semua hal di bawah ini mengikuti dari hal itu.

Apa yang diminta untuk dihasilkan oleh masing-masing model

MathForm 8B memiliki satu kontrak keluaran. Model ini menerima pernyataan matematis yang ditulis dalam prosa biasa dan mengembalikan pernyataan Lean 4 — sebuah header, teorema bernama, hipotesis, dan tujuan. Pipeline pelatihannya dibangun di sekitar bentuk itu: pengambilan pengetahuan Mathlib untuk mendasari pernyataan pada definisi yang sudah ada, kompilasi dan verifikasi semantik untuk menolak kandidat yang buruk, penyempurnaan iteratif untuk memperbaikinya, lalu rekonstruksi lintasan untuk mengubah contoh-contoh yang lolos menjadi data pelatihan. Makalah ini melaporkan model tersebut pada rata-rata Pass@8 88,06% di bawah pemeriksaan sintaksis dan 72,37% di bawah pemeriksaan konsistensi pada enam benchmark. Itu adalah angka-angka OpenBMB, yang belum direproduksi oleh siapa pun, dan berbobot condong ke himpunan yang lebih mudah dalam evaluasi — tetapi itu adalah angka tentang tugas yang memiliki jawaban benar.

Beam 1.0 tidak memiliki kontrak seperti itu. Ini adalah model umum: kartu modelnya menjelaskan templat obrolan, format wire bergaya Harmony dengan saluran analisis dan final, enam tingkat upaya penalaran yang dipetakan ke anggaran token 8, 32, 64, 128, 256, dan 512, serta konvensi pemanggilan alat di mana fungsi dideklarasikan sebagai TypeScript datar dan dipanggil dalam bodi XML. Evaluasinya mencakup pengodean agentik (SWE-bench Verified 81,6% pada BF16, Terminal Bench v2.1 80,1, SWE Bench Pro v1 66,1, DeepSWE v1.1 43,3), penalaran (GPQA Diamond 90,6, AIME 2026 97,7, LiveCodeBench 88,3), penggunaan alat (MCP Atlas 80,8), dan kemampuan umum (LongBench v2 67,5, IFBench 79,6). Setiap angka adalah milik Reflection sendiri. Apakah kode yang ditulisnya *benar* dipastikan dengan menjalankannya, meninjaunya, atau merilisnya dan mencari tahu.

Jadi: kegagalan satu model mengumumkan dirinya sendiri. Kegagalan model lainnya adalah kegagalan perangkat lunak biasa yang datang belakangan, saat peninjauan atau di produksi, dan tampak seperti bug lain yang pernah Anda alami.

Tolok ukur tersebut tidak tumpang tindih, dan itulah temuannya.

Sejajarkan kedua set evaluasi itu dan hampir tidak ada yang perlu dikurangi.

• Apa yang dinilai pada Beam 1.0 — penyelesaian masalah berskala repositori, tugas terminal, pemrograman kompetitif, pertanyaan sains tingkat pascasarjana, orkestrasi alat, recall konteks panjang, dan mengikuti instruksi.

• Apa yang dinilai pada MathForm 8B — akurasi formalisasi Pass@8 di bawah pemeriksa sintaks dan di bawah pemeriksa konsistensi semantik, di enam tolok ukur matematika, dibandingkan dengan baseline terspesialisasi 7B hingga 32B dari makalah.

• Tumpang tindihnya — pada dasarnya nol. Tidak ada baris di mana kedua model diukur oleh pihak yang sama pada tugas yang sama, dan tidak akan ada, karena yang satu diukur pada kemampuan umum dan yang lain pada satu transformasi yang dapat diverifikasi.

• Satu-satunya dimensi bersama yang secara konseptual benar-benar ada — penalaran — diukur pada populasi yang berbeda. Skor 90,6 Beam 1.0 pada GPQA Diamond adalah skor sains pilihan ganda. Tingkat konsistensi 72,37% MathForm 8B adalah pemeriksaan formalisasi. Keduanya tidak dapat memprediksi satu sama lain.

Inilah sebabnya perbandingan ukuran di sini akan menyesatkan, bukan sekadar tidak enak dilihat. Beam 1.0 adalah enam puluh satu kali ukuran model tersebut, dan sama sekali tidak dapat menjalankan pekerjaan MathForm 8B tanpa dilatih untuk itu — kontrak keluarannya cukup sempit sehingga kemampuan umum bukan penggantinya. Seorang generalis 501B yang diminta menghasilkan teorema Lean bernama dengan header yang benar akan menghasilkan sesuatu yang tampak masuk akal dan sering kali salah, yang bagi asisten pembuktian adalah mode kegagalan terburuk yang mungkin.

Apa yang perlu Anda miliki untuk menjalankan salah satunya

MathForm 8B mewarisi lisensi Qwen3-8B, yang dicatat oleh Hub sebagai Apache 2.0, dan inilah alasan praktisnya: 8,19 miliar parameter dense, model khusus bahasa Inggris, penyempitan anggaran generasi menjadi keluaran Lean alih-alih penalaran umum, dan sebuah unduhan alih-alih klaster. Basisnya, Qwen3-8B, adalah yang sebaliknya akan dihosting sendiri oleh pembaca — model 8B umum dengan konteks asli 32K yang dapat diperluas hingga 131K dan cakupan 119 bahasa. MathForm 8B menukar hampir semua itu demi satu keterampilan.

Beam 1.0 butuh tempat untuk tinggal. Kartu model mencantumkan 52 lapisan, 256 ahli dengan delapan yang dirutekan per token, kosakata 152.000 token, batas pengetahuan 30 Juni 2026, dan jendela konteks 1.000.000 token. Model ini dirilis dalam tiga bobot — BF16 pada 501,3B, FP8 pada 501,3B, NVFP4 pada 255B — plus drafter DFlash2 2B untuk decoding spekulatif. Tidak ada rekomendasi serving di kartu tersebut dan tidak ada harga API yang dipublikasikan di mana pun di properti Reflection; halaman Artificial Analysis untuk model ini mencantumkan kolom harga sebagai tidak tersedia dan mencatat bahwa tidak ada API yang tersedia untuk publik. Versi empat-bit inilah yang menjadikannya pembelian yang masuk akal dan bukan sekadar hipotetis, dan ini tetap soal GPU.

OrcaRouter tidak merutekan kedua model tersebut, dan halaman ini tidak menyiratkan sebaliknya. Yang kami rutekan adalah tier yang dilayani, yang berada di luar cakupan kedua model itu: lebih dari 200 model di balik satu kunci yang kompatibel dengan OpenAI pada harga daftar penyedia dengan markup 0%, sehingga penurunan harga vendor langsung sampai ke tagihan Anda pada hari diumumkan. Bagi tim yang kebutuhan sebenarnya adalah model yang menjawab hari ini, bukan checkpoint yang dikompilasi besok, itulah baris yang tidak dapat disediakan oleh perbandingan ini.

Perbedaan keterverifikasian, secara sederhana

Berikut adalah asimetri yang dinyatakan sebagai fakta operasional, bukan sebagai tolok ukur.

Keluaran MathForm 8B memasuki pipeline yang memiliki gerbang. Kompilator Lean menerima pernyataan itu atau menolaknya. Pemeriksaan konsistensi semantik lolos atau gagal. Keluaran yang buruk dapat dibuang secara otomatis, dan model dapat dibiarkan dalam loop agen yang mencoba lagi sampai sesuatu terverifikasi — yang persis seperti yang dilatih oleh tahap RL untuk dilakukannya. Biaya dari jawaban yang salah adalah sampel yang ditolak, bukan cacat yang dikirim. Itu adalah properti yang benar-benar langka di bidang open-weights saat ini, dan itulah sebabnya model 8B yang terspesialisasi dapat lebih berguna daripada model umum yang ukurannya seratus kali lipat di dalam pipeline yang berbentuk seperti matematika formal.

Keluaran Beam 1.0 tidak memiliki gerbang semacam itu. Tabel evaluasi dapat memberi tahu Anda seberapa sering ia menyelesaikan issue GitHub di SWE-bench, tetapi tabel itu tidak dapat memberi tahu Anda apakah patch yang ditulisnya untuk repositori Anda benar, karena itu adalah pertanyaan tentang pengujian Anda. Kartu model ini luar biasa spesifik tentang format transmisi dan luar biasa bungkam tentang pertanyaan akurasi, dan itu adalah gambaran yang wajar tentang di mana bidang ini berada: perkakas di sekitar model pengodean agentik bagus dalam menjalankan kode dan buruk dalam mensertifikasinya.

Jika domain Anda memiliki pemeriksa — sistem tipe, asisten pembuktian, skema, simulator — model spesialis yang ditujukan untuk pemeriksa itu sering kali merupakan unduhan dengan daya ungkit lebih tinggi. Jika tidak, Anda membeli kapabilitas dan membayar evaluasi sendiri, dan model umum yang lebih besar adalah model yang memberi Anda lebih banyak dari itu.

Memilih di antara mereka

Pilih MathForm 8B jika pekerjaannya adalah formalisasi dan tidak ada yang lain — mengubah korpus prosa matematika menjadi Lean 4 yang akan diterima oleh asisten pembuktian, pada skala yang tidak dapat diperiksa manusia satu per satu. Jejak 8,19 miliar parameter, ketentuan Apache 2.0, dan bentuk keluaran yang sempit semuanya merupakan keunggulan di sana. Jangan memilihnya untuk hal lain: model ini tidak mengobrol, tidak menulis prosa yang layak dirilis, tidak menangani 119 bahasa sebagaimana model dasarnya, dan tidak memiliki kemampuan terdokumentasi di luar satu transformasi yang menjadi tujuan pelatihannya.

Pilih Beam 1.0 jika pekerjaannya adalah jenis agentik umum — menyelesaikan masalah di repositori besar, menjalankan alat, mengeksekusi rencana panjang multi-langkah — dan jika Anda memiliki perangkat keras atau mitra penyajian untuk MoE 501B. Konteks 1 juta token, tabel evaluasi yang dipublikasikan, dan checkpoint empat-bit semuanya ditujukan untuk beban kerja tersebut. Anggarkan untuk token penalaran: templat tidak memiliki tombol mati, default yang disajikan adalah tingkat upaya maksimum, dan menghapus penalaran giliran sebelumnya didokumentasikan sebagai menurunkan kualitas output.

Pilih keduanya jika Anda sedang membangun pipeline yang sebenarnya dibahas artikel ini. Pola yang masuk akal adalah model umum untuk mengerjakan pekerjaan yang ambigu dan spesialis yang dapat diverifikasi untuk mengerjakan bagian yang memiliki gerbang — dan kedua peran itu gagal dengan cara yang berbeda, yang merupakan satu-satunya alasan mengapa keduanya layak dimiliki.

Di mana perbandingan ini akan terlihat berbeda dalam tiga bulan

Ada dua baris yang hilang, dan keduanya dapat ditentukan tanggalnya. Yang pertama adalah evaluasi independen atas bobot Beam 1.0, yang baru dimungkinkan pada 16 Oktober 2026 dan belum terjadi; setiap angka yang dikaitkan halaman ini dengan Reflection masih berasal dari satu sumber. Yang kedua adalah harga Beam. Model dengan tabel evaluasi 501 miliar parameter dan tanpa tarif berbasis pemakaian adalah model yang tidak bisa dianggarkan oleh sebagian besar tim, dan sampai Reflection atau mitra penyedia layanan menerbitkan tarifnya, perbandingan biaya yang jujur antara keduanya adalah unduhan versus sewa yang belum ada penawaran harganya.

Celah MathForm 8B berbeda dan tidak akan menutup hanya dengan menunggu. Angka syntax-check 88,06% dan konsistensi 72,37% yang dilaporkannya adalah angka vendor pada tugas dengan verifier, dan verifikasinya adalah produknya — siapa pun yang memiliki model dan instalasi Lean dapat mengukurnya sendiri, yang tidak bisa dikatakan untuk sebagian besar angka di halaman ini. Itulah yang Anda dapatkan dari kontrak yang sempit.

Tidak ada satu pun dari itu yang hipotetis: kegagalan AI dan insiden agen yang terdokumentasi di balik rilis seperti ini dikumpulkan dalam OrcaRouter AI Incident Archive, di mana setiap entri membawa sumbernya sendiri, tingkat keparahan, peringkat keyakinan, dan penanda status diperdebatkan.