ZwZ2-9B vs MathForm-8B: Trunk yang Sama, Dua Kadar Kebenaran yang Sangat Berbeda

Dua model yang dipublikasikan terpisah delapan minggu, dari dua lab berbeda, dibangun di atas dua generasi berbeda dari keluarga yang sama — dan lebar trunk keduanya sama. MathForm-8B, yang dirilis oleh OpenBMB pada 14 Agustus 2026 sebagai fine-tune dari Qwen3-8B, memiliki 36 layer pada hidden size 4.096 dengan intermediate size 12.288. ZwZ2-9B, yang diposting oleh inclusionAI pada 16 Oktober 2026 pada stack Qwen3.5-9B, memiliki 32 layer pada hidden size 4.096 dengan intermediate size 12.288. Generasi induknya terpaut jauh, kosakata berukuran 151.936 dan 248.320, pekerjaan yang sepenuhnya berbeda — dan geometri trunk 4.096 x 12.288 yang sama pada keduanya. Yang membedakan keduanya bukanlah arsitektur. Yang membedakan adalah salah satunya disertai paper, dataset, harness evaluasi, dan lisensi, sedangkan yang lain disertai delapan file.

Versi singkatnya: jika Anda dapat mendeskripsikan masalah Anda sebagai "ubah prosa ini menjadi Lean 4", MathForm-8B adalah spesialis terdokumentasi dengan angka-angka yang telah dipublikasikan dan Anda sebaiknya menggunakannya. Jika masalah Anda melibatkan piksel dan Anda menginginkan model bahasa-visi umum, ZwZ2-9B adalah checkpoint 9,4B yang belum dikarakterisasi oleh siapa pun, dan mengadopsinya berarti menjadi evaluator pertamanya. Bagian menarik dari perbandingan ini adalah pelajaran yang diberikan asimetri tersebut tentang seberapa besar nilai sebuah warisan bersama.

Dua keturunan, terpaut satu generasi

MathForm-8B adalah turunan Qwen3-8B dan mengatakannya secara terbuka: kartunya mencatat model dasar, dataset pelatihan, metode pelatihan, dan makalahnya. Konfigurasinya adalah tata letak Qwen3 yang sesuai buku teks — 36 lapisan, 32 kepala kueri terhadap 8 kepala key-value pada dimensi kepala 128, kosakata 151.936 token, batas 40.960 posisi, basis rotary 1.000.000, dan perhatian penuh di setiap lapisan. Tidak ada yang eksotis, tidak ada yang disembunyikan.

ZwZ2-9B adalah turunan Qwen3.5-9B yang menyatakannya hanya melalui satu tag Hub. Konfigurasinya mengarah ke Qwen3_5ForConditionalGeneration, dan setiap nilai arsitektur sama dengan Qwen3.5-9B kecuali satu lapisan prediksi multi-token yang dihapus. Kosakata 248.320 token, batas 262.144 posisi, M-RoPE berselang-seling, dan menara visi semuanya diwarisi tanpa perubahan.

• Parameter — ZwZ2-9B: 9.409.813.744. MathForm-8B: 8 miliar, sesuai kartunya.

• Induk — Qwen3.5-9B vs Qwen3-8B, jadi keduanya mewarisi desain atensi yang berbeda dari generasi Qwen yang berbeda.

• Perhatian — 24 lapisan perhatian linear plus 8 lapisan perhatian penuh vs perhatian penuh di semua 36 lapisan.

• Geometri trunk — ukuran tersembunyi 4.096 dan ukuran perantara 12.288 pada keduanya.

• Kosakata — 248.320, dengan id token gambar dan video di dalamnya, vs 151.936 dan hanya teks.

• Plafon konteks — 262.144 posisi vs 40.960.

• Modalitas dalam — teks, gambar dan video vs hanya teks.

• Bukti diterbitkan — file konfigurasi versus makalah, kumpulan data, pipeline evaluasi, dan ketentuan Apache-2.0.

Apa yang ditawarkan MathForm-8B

Kartu ini luar biasa lengkap, dan layak ditelusuri karena kontras nanti bergantung padanya. MathForm-8B menerjemahkan pernyataan matematika berbahasa alami ke Lean 4. Model ini dilatih pada FormalVerse — kumpulan data yang diterbitkan OpenBMB bersamanya — melalui fine-tuning tersupervisi lalu pembelajaran penguatan, dengan kompilasi Lean dan umpan balik konsistensi semantik menyediakan sinyal imbalan. Makalahnya adalah MathForm: Menskalakan Autoformalization Matematis dengan Pengambilan Pengetahuan dan Penyempurnaan Terpandu Verifikasi, arXiv 2608.14221, dan repositorinya mencakup pipeline evaluasi, file benchmark dan skrip Pass@k.

Hasilnya dilaporkan sebagai tingkat kelulusan Pass@8 berdasarkan dua kriteria terpisah: Syntax Check, yang berarti Lean yang dihasilkan benar-benar dapat dikompilasi, dan Consistency Check, yang berarti kode tersebut dapat dikompilasi dan menyatakan hal yang sama seperti soal asli. Pada enam tolok ukur, kartu tersebut melaporkan rata-rata makro 88,06 pada sintaksis dan 72,37 pada konsistensi, di depan autoformalizer 8B lain yang dicantumkannya dan di depan beberapa entri 32B pada kolom sintaksis. Perbandingan terakhir itu adalah jenis klaim yang layak diuji alih-alih sekadar diulang, dan ada detail dalam penyiapannya yang membuat pengujiannya tidak sepele: pemeriksaan kompilasi memerlukan Kimina Lean Server yang berjalan, dan eksperimennya menggunakan Lean 4.21.0. Ini bukan checkpoint yang bisa dinilai dengan skrip Python.

Setiap angka di atas dilaporkan oleh vendor. OpenBMB menjalankan evaluasi, OpenBMB menerbitkannya, dan repositori tersebut memang menyertakan skrip untuk mereproduksinya — yang lebih dari yang ditawarkan sebagian besar lab dan itulah alasan angka-angka itu tetap bernilai meskipun belum diverifikasi. Kartu tersebut juga menerbitkan pengaturan generasi yang direkomendasikan, temperature 0.6 dan top-p 0.95, yang merupakan jenis detail operasional kecil yang, pada model tanpa kartu, membuat Anda harus menebak.

Apa yang ditawarkan ZwZ2-9B

Sebuah config.json, sebuah tokenizer_config.json, template obrolan, dan 18,8 GB bobot. Tidak ada README, tidak ada kolom lisensi, tidak ada tag pipeline, dan tidak ada dataset. Hub melaporkan nol unduhan dan dua suka, dan tidak ada koleksi inclusionAI yang memuatnya.

Reading the files does yield real information, and it is worth doing before dismissing the checkpoint. The chat template injects a default system prompt when a request arrives without one, and it defaults to not reasoning — it emits an empty <think></think> block unless a caller explicitly asks for thinking, which is the opposite of what its Qwen3.5-9B parent does. The config carries a 27-layer vision tower and a video processor accepting up to 768 frames at 2 frames per second. The parameters are 9,409,813,744 across 760 tensors, all bfloat16.

Yang tidak dijelaskan oleh semua itu adalah untuk apa model ini bagus, data apa yang dipakai untuk melatihnya, apakah ini model instruksi atau sesuatu yang lain, atau dengan ketentuan apa Anda boleh menggunakannya. MathForm-8B menjawab keempat pertanyaan itu di layar pertamanya. ZwZ2-9B tidak menjawab satu pun di antaranya di mana pun.

Angka 4.096 yang sama bukanlah kebetulan, dan itu bukan jalan pintas.

Kedua model menggunakan trunk selebar 4.096 dengan ukuran intermediet 12.288, dan alasannya sama pada keduanya: generasi Qwen seukuran itu. Qwen3-8B dan Qwen3.5-9B adalah desain yang berbeda — attention penuh di sepanjang lapisan versus campuran tiga banding satu antara linear dan attention penuh — tetapi keduanya dibangun dengan lebar yang sama, karena begitulah Qwen kecil. Melihat sebuah fine-tune mewarisi setiap dimensi induknya adalah bukti paling jelas yang tersedia bahwa fine-tune mewarisi properti induknya secara menyeluruh: kekuatan dan mode kegagalannya, bukan hanya bentuknya. MathForm-8B memberi tahu Anda dari induk mana ia berasal, sehingga Anda bisa membaca tentangnya. ZwZ2-9B tidak, dan tag Hub adalah satu-satunya benang yang menghubungkan kembali.

Yang mana yang sebenarnya kamu butuhkan?

Ini bukan pengganti, dan tumpang tindihnya hampir nol. MathForm-8B melakukan satu hal: mengubah pernyataan matematis berbahasa alami menjadi Lean 4 yang dapat dikompilasi. Seluruh perangkat evaluasinya, termasuk persyaratan server Lean yang berjalan, dibangun di sekitar itu. Jika itulah masalah Anda, ini adalah jawaban Apache-2.0 yang kuat dan terdokumentasi dengan perkakas yang dapat direproduksi, dan angka konsistensi 72,37 adalah angka yang harus dikalahkan — konsistensi, bukan sintaksis, karena formalisasi yang dapat dikompilasi tetapi maknanya berbeda adalah bug yang lebih merugikan Anda daripada kegagalan kompilasi.

ZwZ2-9B adalah model visi-bahasa umum. Model ini belum pernah dievaluasi pada autoformalisasi, tidak memiliki pertimbangan tokenizer Lean yang perlu dibicarakan, dan diterbitkan oleh laboratorium yang karya sebelumnya tentang persepsi visual berbutir halus. Jangan mencari skor ZwZ2-9B pada tolok ukur Lean; tidak ada alasan bagi skor semacam itu untuk ada.

Pertanyaan sesungguhnya adalah apakah Anda memang menginginkan spesialis atau generalis. Spesialis lebih baik dalam satu pekerjaannya dan tidak berguna di luarnya. Generalis lebih buruk dalam segala hal yang spesifik dan merupakan satu-satunya pilihan ketika bentuk masukannya bervariasi. Alasan perbandingan ini timpang bukanlah delapan minggu di antara keduanya atau miliaran parameternya — melainkan bahwa salah satunya diterbitkan dengan dokumentasi yang dibutuhkan seorang spesialis dan yang lainnya diterbitkan sebagai titik awal untuk pekerjaan orang lain.

Jika Anda ingin kedua kemampuan tersebut dalam satu pipeline

Ada pola nyata ketika kedua mode ini bertemu: model umum membaca dokumen yang ambigu, mengekstrak klaim matematisnya, menyerahkannya kepada pemformal, dan pemeriksa memutuskan apakah hasilnya sah. Itu adalah tiga panggilan model dengan peran berbeda, dan itulah bentuk yang lapisan perutean diciptakan untuk membuatnya murah — DSL perutean OrcaRouter menyusun beberapa model menjadi satu panggilan sehingga fan-out dan tindak lanjut menjadi satu permintaan alih-alih layanan orkestrasi yang Anda kelola. Fusi model, di mana panel model menjawab bersama dan seorang juri memilih respons terkuat, adalah gagasan yang sama yang diterapkan pada satu pertanyaan sulit, bukan pada sebuah pipeline.

Baik ZwZ2-9B maupun MathForm-8B tidak ada dalam katalog kami, dan kami tidak akan mempercantiknya: MathForm-8B dapat diunduh di bawah lisensi Apache-2.0 dan dapat dilayani dari instans vLLM atau SGLang milik Anda sendiri, sedangkan ZwZ2-9B adalah repositori yang sama sekali tidak memiliki endpoint. Yang dapat dirutekan saat ini dari sisi penalaran pipeline tersebut adalah qwen/qwen3.8-27b — flagship dense generasi terkini dari Qwen, berlisensi Apache-2.0, dengan konteks 262K token dan batas hosted 1M token pada $0.33 per juta token input dan $2.40 per juta token output, diteruskan pada harga daftar penyedia tanpa tambahan apa pun.

Berapa Nilai Asimetri Itu

MathForm-8B adalah model yang lebih baik untuk ditulis, karena ada sesuatu yang perlu diperiksa. ZwZ2-9B adalah artefak yang lebih menarik, karena checkpoint 9,4B dengan templat obrolan yang disetel dan kepala prediksi yang dilucuti adalah bukti bahwa seseorang telah melakukan pekerjaan nyata — dan karena inclusionAI memiliki rekam jejak dengan nama ZwZ yang membuat postingan berikutnya layak ditunggu.

Bagi siapa pun yang mengambil keputusan hari ini, aturannya tidak glamor. Makalah yang diterbitkan, kumpulan data, model dasar yang diberi nama, dan lisensi yang dinyatakan bukanlah formalitas administratif. Semua itu adalah pembeda antara model yang bisa Anda jadikan acuan perencanaan dan model yang harus Anda rekayasa balik, dan tak ada arsitektur menarik, sebanyak apa pun, yang dapat menutup celah itu.

Hasil seperti ini juga menjadi pengingat bahwa kesalahan model sudah terdokumentasi: insiden AI dan kegagalan agen di balik model di kelas ini dikumpulkan dalam the OrcaRouter AI Incident Archive, dengan setiap entri mencantumkan sumbernya sendiri, tingkat keparahan, peringkat keyakinan, dan penanda yang disengketakan.