ZoomGain-9B vs MathForm 8B: Dua Checkpoint 9B yang Tidak Bisa Mengerjakan Tugas Masing-Masing

Ada pertanyaan menjebak di balik ZoomGain-9B dan MathForm-8B: keduanya adalah fine-tune berparameter sekitar sembilan miliar yang diterbitkan dalam jendela delapan puluh hari yang sama, keduanya merupakan rilis penelitian dari lab Tiongkok yang berdekatan dengan Apache-2.0 dengan makalah terlampir, keduanya dilatih lanjut dengan reinforcement learning pada beberapa ribu contoh, dan keduanya membawa skor benchmark yang tampak mustahil untuk ukurannya. Godaannya adalah memberi peringkat keduanya. Masalahnya, salah satunya belum pernah melihat gambar dan yang lain belum pernah melihat bukti Lean, jadi peringkat itu tidak punya sumbu.

ZoomGain-9B adalah checkpoint vision-language milik inclusionAI dari 10 November 2026, yang dilatih dengan GRPO pada 9.000 pertanyaan yang ditambang dari detail gambar yang dipotong, dan hasil terkuat yang dilaporkan adalah 90,25 pada HR-Bench 4K. MathForm-8B adalah autoformalisator milik OpenBMB dari 14 Agustus 2026, yang dilatih dengan fine-tuning tersupervisi diikuti pembelajaran penguatan pada sekitar 367.000 contoh Lean 4, dan hasil terkuat yang dilaporkan adalah rata-rata pass@8 pemeriksaan sintaks sebesar 88,06% di enam benchmark autoformalisasi. Tidak ada dari angka itu yang mengatakan apa pun tentang model lainnya. Yang menghubungkan keduanya adalah sesuatu yang lebih berguna daripada peringkat: kedua rilis membuat klaim yang luar biasa mirip tentang bagaimana fine-tune kecil dapat mengalahkan generalis yang jauh lebih besar, dan cara mereka membenarkan klaim tersebut cukup berbeda untuk memberi tahu Anda mana yang harus dipercaya untuk apa.

Kolom kosong, bernama

ZoomGainBench tidak memuat model khusus teks. Itu adalah kumpulan pertanyaan tentang foto — pengenalan atribut, penghitungan, dan OCR — sehingga model tanpa encoder visi tidak dapat dimasukkan, dan MathForm-8B tidak dimasukkan. Sebaliknya, enam benchmark evaluasi MathForm adalah FormalMATH, ProverBench, CombiBench, dan tiga split FATE, semuanya tugas penerjemahan matematika bahasa alami ke Lean 4. ZoomGain-9B belum pernah dijalankan pada satu pun dari benchmark tersebut dan tidak ada alasan untuk percaya bahwa model itu akan berkinerja baik, karena tidak ada bagian dalam pelatihannya yang melibatkan bahasa formal.

Ini bukan soal teknis tentang tolok ukur. Ini adalah keseluruhan bentuk keputusan. Jika tugas Anda menghasilkan gambar dan menerima jawaban faktual singkat, MathForm-8B adalah model teks yang tidak dapat mencobanya. Jika tugas Anda menerima pernyataan matematis dan menghasilkan bukti Lean 4 yang dapat diperiksa mesin, ZoomGain-9B adalah model visi yang belum pernah diminta. Tidak ada tumpang tindih untuk diukur, yang berarti perbandingan yang jujur adalah tentang konstruksi, bukti, dan biaya operasional — dan ternyata semuanya sangat berbeda.

Dua resep RL, keduanya kecil, dan apa yang membedakannya

Set pelatihan ZoomGain terdiri atas 9.000 catatan pada 7.713 gambar sumber. Satu epoch, ukuran batch 64, delapan rollout per pertanyaan, GRPO dengan reward yang memeriksa apakah opsi yang dipilih cocok dengan jawaban referensi. Data tersebut dihasilkan, bukan dianotasi: beberapa model melokalisasi suatu wilayah, crop diberi keterangan dan dibandingkan dengan keterangan adegan penuh, lalu detail yang diungkap crop menjadi pertanyaan tentang gambar penuh. Keterlibatan manusia hanya berupa penyaringan — makalah itu secara eksplisit menyatakan bahwa tidak ada penyuntingan pertanyaan dan jawaban secara manual.

Set pelatihan MathForm adalah FormalVerse, sekitar 367.000 contoh Lean 4 terverifikasi. Fine-tuning terawasi terlebih dahulu, lalu pembelajaran penguatan dengan umpan balik dari kompilasi Lean dan pemeriksaan konsistensi semantik. Konstruksi data menggunakan pengambilan Mathlib sebelum generasi dan penyempurnaan iteratif setelahnya, dengan diagnostik kompilator yang memandu revisi.

• Model dasar — ZoomGain-9B dilatih pascapelatihan dari Qwen3.5-9B (32 lapisan, hidden 4.096, intermediate 12.288, 262.144 posisi, jadwal atensi linear-ke-penuh 3:1). MathForm-8B dilatih pascapelatihan dari Qwen3-8B (36 lapisan, semuanya atensi penuh, hidden 4.096, intermediate 12.288, 40.960 posisi, 32 kepala query terhadap 8 kepala KV pada dimensi kepala 128, rope theta 1e6).

• Dimensi bersama — keduanya mewarisi lebar tersembunyi 4.096 dan lebar perantara 12.288 dari induk Q​wen masing-masing, yang merupakan kebetulan paling mencolok di antara keduanya dan merupakan properti keluarga, bukan dari fine-tuning.

• Kosakata — 248.320 token untuk ZoomGain-9B dibandingkan 151.936 untuk MathForm-8B. Kosakata MathForm adalah kosakata generasi Qwen3 dan itu penting: kode Lean 4, simbol matematika Unicode, dan token pembuktian ditokenisasi secara berbeda di masing-masing.

• Konteks — kartu ZoomGain-9B tidak menyatakan apa pun dan konfigurasinya mendeklarasikan 262,144; konfigurasi MathForm-8B mendeklarasikan 40,960, dan perintah serving yang direkomendasikan dibatasi pada 16,384 dengan max_new_tokens 16,384 token. Untuk autoformalisasi, panjang output adalah kendala yang mengikat, bukan panjang input.

• Modalitas — gambar dan teks masuk, teks keluar untuk satu; teks masuk, teks keluar untuk yang lain.

• Lisensi — ZoomGain-9B: kode Apache 2.0, ketentuan checkpoint ditangguhkan dan tidak ada tag lisensi di metadata Hub. MathForm-8B: Apache 2.0 dengan file LICENSE di repositori.

• Distribusi — ZoomGain-9B memiliki BF16 serta GGUF dalam F16, Q8_0, dan Q4_K_M. MathForm-8B memiliki safetensors BF16 dalam empat shard dengan total sekitar 16,4 GB serta build GGUF dan MLX dari komunitas, tetapi tidak memiliki kuantisasi yang disediakan vendor sendiri.

Angka-angka MathForm-8B, dan mengapa angka-angka itu lebih mudah diperiksa daripada kelihatannya

OpenBMB melaporkan rata-rata pass@8 pemeriksaan sintaks sebesar 88,06% dan pass@8 pemeriksaan konsistensi sebesar 72,37% di enam benchmark-nya. Pada tabel yang sama, ReForm-8B mencapai 81,76 dan 66,21, Goedel-Formalizer-V2-32B mencapai 78,28 dan 63,74, dan StepFun-Formalizer-32B mencapai 63,65 dan 44,47. Ketiga split FATE adalah tempat model terspesialisasi tersebut runtuh dan MathForm tidak: FATE-X berada pada 54,00 sintaks dan 37,00 konsistensi dibandingkan dengan 45,00 dan 21,00 milik ReForm-8B.

Dua hal membuat angka-angka itu lebih kredibel daripada tabel vendor pada umumnya. Pertama, tugas-tugasnya bersifat mekanis dalam cara yang tidak dimiliki tugas persepsi — pernyataan Lean 4 entah berhasil dikompilasi atau tidak, dan pemeriksaan konsistensi membandingkan makna dengan proposisi sumber. Tolok ukur yang sebagian dapat diverifikasi mesin lebih sulit diberi skor secara optimistis. Kedua, makalah tersebut menyatakan bahwa model hanya-SFT lebih buruk: MathForm-8B-SFT mencetak 84,38 sintaks dan 66,53 konsistensi, jadi tahap RL melakukan kerja yang terukur alih-alih sekadar menghias model yang sudah selesai.

Ada juga perbandingan yang layak dikutip karena bertentangan dengan framing model itu sendiri. Pada enam benchmark yang sama, Qwen3.7-Plus — endpoint komersial serbaguna — mencetak 86,33 untuk sintaksis dan 83,38 untuk konsistensi. MathForm-8B mengalahkannya pada sintaksis dengan selisih 1,7 poin dan kalah pada konsistensi dengan selisih 11 poin. Fine-tune khusus ini menang pada tugas exact-match dan kalah pada tugas yang menuntut formalisasi bermakna sama dengan sumbernya. Jika pipeline Anda membutuhkan pernyataan yang dapat dikompilasi, spesialis kecil adalah pilihan hemat. Jika membutuhkan pernyataan yang setia, model umum dengan retrieval mungkin masih lebih unggul.

Angka-angka ZoomGain-9B, dengan perhitungan yang sama

Para penulis melaporkan 90,25 pada HR-Bench 4K dibandingkan 82,13 untuk model dasar, 93,19 pada V*Bench dibandingkan 86,91, 56,31 pada VisualProbe dibandingkan 44,66, 70,00 pada MMVP dibandingkan 60,00 dan 68,12 pada O3-Bench dibandingkan 56,52. Rata-rata held-out di tiga belas tolok ukur adalah 66,10 dibandingkan 59,75. Pada ZoomGainBench — tolok ukur yang dibangun dengan pipeline yang sama seperti data pelatihan — model tersebut memperoleh skor 55,48, dan makalah tersebut memberi label pada kolom itu "Held-in" alih-alih menyembunyikan perbedaan tersebut.

Perbedaan struktural dari bukti MathForm adalah bahwa tolok ukur ZoomGain tidak dapat diverifikasi secara mesin dengan cara yang sama. Jawaban pilihan ganda menggunakan pencocokan persis, penghitungan menggunakan pencocokan persis pada bilangan bulat, dan OCR dinilai dengan ANLS — tetapi pertanyaannya sendiri dihasilkan, dan pemeriksaan dari penulis sendiri adalah bahwa jawaban dapat diverifikasi pada tampilan yang dipotong. Pertanyaan yang dihasilkan dengan jawaban yang terverifikasi tetap merupakan pertanyaan yang dihasilkan.

Kedua rilis tersebut sebagian diproduksi dengan model sebagai anotator. Lampiran ZoomGain menyebutkan perannya: Qwen3.5-397B-A17B untuk pembuatan keterangan adegan, grounding, dan verifikasi MCQ akhir; Qwen3-VL-235B-A22B-Instruct dan Kimi-K2.6 untuk verifikasi berbasis crop dan penjawaban buta; DeepSeek-V4-Pro untuk pengelompokan pengecoh. FormalVerse milik MathForm dibangun oleh pipeline yang mengambil dari Mathlib lalu membiarkan kompiler menolak generasi yang buruk. Satu pipeline mengandalkan verifier yang tidak dapat dibujuk untuk setuju; yang lain mengandalkan model yang memeriksa pekerjaan model lain, hanya dengan penyaringan manusia.

Melayaninya, dalam istilah yang akan ditanyakan oleh tim ops Anda

ZoomGain-9B berukuran 18,82 GB dalam BF16 dan berjalan pada vLLM 0.19.1 dengan transformers 5.7.0 — versi persis yang digunakan para penulis — atau pada build llama.cpp dengan dukungan multimodal Q​wen3.5 menggunakan file GGUF plus proyektor. Trunk-nya yang didominasi perhatian linear menjaga cache KV tetap kecil saat sekuens sangat panjang, yang merupakan properti penting ketika satu permintaan membawa gambar beresolusi tinggi alih-alih dokumen panjang.

MathForm-8B berukuran sekitar 16,4 GB dalam BF16, dilayani oleh vLLM dengan panjang model maksimum 16.384 atau oleh SGLang dengan konteks yang sama, pada temperature 0,6 dan top-p 0,95 dengan anggaran output 16.384 token. Evaluasinya memerlukan Kimina Lean Server yang berjalan dan Lean 4.21.0, dan inilah bagian yang sering diremehkan orang: Anda bukan sekadar men-deploy model, tetapi juga men-deploy toolchain Lean di sampingnya. Umpan balik kompilasi adalah sinyal reward selama pelatihan dan uji penerimaan selama evaluasi, sehingga pipeline tanpa Lean tidak dapat mengukur apakah model ini bekerja.

Keduanya belum ada dalam katalog OrcaRouter saat ini, dan tulisan ini tidak mengklaim sebaliknya. Yang dapat kami lakukan adalah merutekan pekerjaan di sekitarnya. Pipeline dokumen yang membaca halaman hasil pindai lalu memeriksa matematika di dalamnya memiliki dua bagian: panggilan visi dan panggilan penalaran. Satu kunci untuk 200+ model dengan harga daftar penyedia tanpa markup tambahan, aturan perutean yang mengirim setiap bagian ke endpoint yang memenuhi standar Anda, dan failover otomatis jika salah satunya macet — itulah lapisan di bawah kedua bagian tersebut, dan itulah sebabnya pipeline dua model tidak harus berarti dua vendor dan dua kontrak.

Yang mana yang harus diunduh

Pilih MathForm-8B jika masalah Anda bersifat formal dan toolchain Anda sudah menggunakan Lean. Buktinya lebih kuat, lisensinya tidak ambigu, outputnya dapat diperiksa secara mesin, dan defisit konsistensi 11 poin dibandingkan model umum adalah keterbatasan nyata yang perlu Anda ketahui sebelum berkomitmen. Pilih ini terutama untuk split FATE, tempat baseline terspesialisasi turun ke konsistensi 21% sementara ini bertahan di 37%.

Pilih ZoomGain-9B jika masalah Anda adalah detail di dalam gambar dan jawaban Anda singkat. Peningkatan pada data held-out-nya masuk akal untuk 9.000 sampel, benchmark-nya dapat diunduh sehingga Anda dapat memeriksa klaimnya sendiri, dan lisensinya adalah satu hal yang wajib Anda baca sebelum merilis. Jangan memilihnya dengan mengharapkan asisten visi umum; tidak ada bagian dari rilis yang menguji hal itu.

Dan jika Anda mengharapkan putusan tentang model sembilan miliar parameter mana yang lebih baik, catatan rilis menjawabnya lebih baik daripada peringkat mana pun: keduanya dibangun untuk diperiksa terhadap jenis ground truth yang berbeda, dan hanya salah satu ground truth itu yang dapat dikompilasi.