ZwZ2-27B vs ZwZ2-9B: Apa Manfaat Nyata dari Parameter Tiga Kali Lipat

Pada tepat satu benchmark dalam tabel 25 uji inclusionAI, model yang lebih kecil menang. Chartography — membaca nilai dari grafik — memberi ZwZ2-9B skor 13,00 dan ZwZ2-27B skor 12,00. Keduanya rendah. Tidak ada yang bagus. Namun arahnya adalah bagian yang menarik, karena kedua model ini adalah eksperimen yang sama pada dua ukuran: satu resep pelatihan, satu kumpulan data, satu metode dari makalah, yang diterapkan masing-masing pada model Qwen3.5-9B dan Qwen3.6-27B. Jika resepnya identik dan model yang lebih besar memiliki tiga kali jumlah parameter, aritmetika tentang di mana ukuran itu sebenarnya muncul lebih mengejutkan daripada yang disiratkan oleh skor keseluruhan utama.

Perlu juga disebutkan di awal bahwa kedua model hadir dengan cara yang sama-sama senyap. Repositori ZwZ2-9B dibuat pada 03.42 UTC tanggal 16 Oktober 2026; repositori ZwZ2-27B pada 05.42 pagi yang sama. Keduanya membawa bobot tanpa dokumentasi selama sepuluh hari, dan keduanya menerima kartu model dengan tabel benchmark lengkap pada 26 Oktober. Tidak ada yang menyatakan lisensi. Tidak ada yang memiliki makalah terbitan — kartu-kartunya masih memuat placeholder PAPER_URL.

Satu resep, dua tubuh

Metode pelatihannya bukan sekadar mirip antara keduanya, melainkan metode yang sama yang diterapkan pada dua backbone, sehingga keduanya menjadi luar biasa bersih untuk dibandingkan. EvidenceConnect mengelompokkan tiga hingga tujuh wilayah terkait dari gambar SA-1B, menghasilkan pertanyaan menggunakan crop zoom yang bersifat privileged, menyaring pertanyaan tersebut berdasarkan kesepakatan lintas model dan uji drop-one-region, mengubah yang lolos menjadi tugas empat opsi, dan melatih dengan GRPO — tanpa tahap fine-tuning terawasi. Kedua model menggunakan sekitar 20.000 contoh pelatihan.

Tubuh-tubuh itu berbeda dengan cara yang biasa:

• Skala — 9B parameter pada 32 lapisan dengan ukuran tersembunyi 4.096, versus 27B pada 64 lapisan dengan ukuran tersembunyi 5.120.

• Attention — 16 query heads dan 4 KV heads pada dimensi 256 untuk 9B, dibandingkan dengan 24 query heads dan 4 KV heads pada dimensi yang sama untuk 27B.

• Feed-forward — ukuran perantara 12.288 versus 17.408.

• Vision — menara yang sama di keduanya: 27 lapisan pada ukuran tersembunyi 1,152, memproyeksikan ke 4,096 dan 5,120 masing-masing.

• Konteks dan kosakata — identik pada 262,144 posisi dan 248,320 token.

• Prediksi multi-token — dihapus dari keduanya, dengan mtp_num_hidden_layers di 0.

• Model dasar — Qwen3.5-9B untuk yang kecil, Qwen3.6-27B untuk yang besar. Itulah detail yang membuat perbandingan menjadi rumit, dan bagian berikutnya membahas alasannya.

Dari Mana Sebenarnya Kesenjangan Keseluruhan 3,92 Poin Itu Berasal

Inilah temuan yang tidak saya duga sebelum melakukan pengurangan. Rata-rata keseluruhannya adalah 60,51 untuk ZwZ2-27B dan 56,59 untuk ZwZ2-9B — selisih 3,92 poin. Sekarang perhatikan apa yang ditambahkan setiap resep ke basisnya sendiri, yang dipublikasikan dalam tabel yang sama, oleh lab yang sama, pada harness yang sama:

• ZwZ2-27B — basis Qwen3.6-27B pada 55.52, disetel pada 60.51. Kenaikan 4.99.

• ZwZ2-9B — Qwen3.5-9B dasar pada 51,63, disetel pada 56,59. Peningkatan sebesar 4,96.

Resep ini menghasilkan peningkatan yang hampir persis sama pada kedua skala. Tiga kali jumlah parameter hanya memberikan tambahan manfaat pelatihan sebesar 0,03 poin. Dan model dasarnya sudah terpaut 3,89 poin sebelum salah satunya disentuh.

Jadi dari selisih 3,92 poin antara model yang telah selesai, 3,89 poin diwarisi dari checkpoint tempat model-model itu memulai. Spesialisasi tidak menciptakan selisih itu. Spesialisasi mempertahankannya hampir sempurna.

Ini adalah perbandingan satu lab, satu harness, jadi pengurangannya sah dengan cara yang tidak pernah dimiliki perbandingan antarpemasok — keempat angka itu berasal dari tabel yang sama, dihasilkan oleh kode evaluasi yang sama, pada kumpulan benchmark yang sama. Pembulatannya cukup kasar sehingga 0,03 tidak semestinya dibaca sebagai presisi; pembacaan yang jujur adalah “tidak dapat dibedakan.”

Secara praktis, artinya memilih di antara kedua model ini hampir sama dengan memilih antara Qwen3.5-9B dan Qwen3.6-27B, ditambah penyesuaian perseptual yang tetap. Jika Anda tidak akan memilih model dasar yang lebih besar untuk beban kerja Anda, pelatihan ZwZ2 tidak akan mengubah keputusan itu.

Domain demi domain: ukurannya muncul di satu tempat

Rata-rata menyembunyikan struktur, dan di sini strukturnya tidak seimbang. Membandingkan dua model yang telah disetel di enam domain:

• Persepsi terperinci — 67,57 untuk 27B dibandingkan 66,02 untuk 9B. Selisih 1,55, yang terkecil dari keenamnya.

Persepsi spasial — 55,98 versus 52,33. Selisih 3,65.

• Penalaran visual umum — 53,71 berbanding 49,83. Selisih 3,88.

• Penalaran spasial berbasis tubuh — 55,71 dibandingkan 51,11. Selisih 4,60.

• Pemahaman konteks panjang — 68.77 dibanding 64.08. Selisih 4.69.

• Agen multimodal — 51,81 dibanding 42,43. Selisih 9,38.

Polanya konsisten: keunggulan model yang lebih besar kira-kira menjadi dua kali lipat ketika tugas bergeser dari melihat gambar menjadi bertindak atas gambar tersebut. Pada delapan tolok ukur persepsi terperinci — yang memang dirancang secara eksplisit untuk metode ini — kedua model berada dalam selisih satu setengah poin satu sama lain, dengan Chartography berjalan mundur.

Ranah agentik adalah tempat model 27B membenarkan jejak memorinya, dan sebagian besar selisih itu berasal dari satu pengujian. UI-Vision mencetak skor 66,66 untuk ZwZ2-27B dan 45,48 untuk ZwZ2-9B — selisih 21,18 poin, lebih besar daripada selisih lainnya dalam tabel. ScreenSpot-Pro dan AgentVista memberi kontribusi yang lebih kecil, yaitu 70,59 berbanding 66,98 dan 18,18 berbanding 14,83.

UI-Vision adalah tolok ukur pengaitan antarmuka, dan hasilnya mengatakan sesuatu yang spesifik, bukan umum: jika beban kerja Anda adalah membaca dan mengoperasikan antarmuka perangkat lunak, 27B melakukan sesuatu yang sebagian besar tidak bisa dilakukan 9B. Jika beban kerja Anda adalah membandingkan area bertanda pada foto atau halaman dokumen, 9B melakukan hal yang hampir sama dengan sepertiga bobot.

Satu-satunya tes yang dimenangkan model kecil, dan seberapa besar bobotnya

Chartography layak direnungkan justru karena ia adalah pengecualian yang membuktikan betapa sempitnya spesialisasi itu. Kedua skor sangat buruk — 13,00 dan 12,00 dari 100, dibandingkan dengan basis Qwen3.6-27B sebesar 8,00 dan basis Qwen3.5-9B sebesar 7,00. Pelatihan menaikkan kedua model sekitar lima hingga enam poin pada tugas yang tetap tidak dapat mereka kerjakan secara andal, dan kenaikan model 9B kebetulan lebih tinggi satu poin.

Kesimpulan yang benar bukanlah bahwa model 9B lebih baik dalam membaca grafik. Melainkan bahwa pada tugas yang sejauh ini berada di luar distribusi pelatihan, perbedaan antara kedua model hanyalah derau, dan perilaku yang wajar adalah mengarahkan pembacaan grafik ke tempat lain sepenuhnya. Model yang mendapat skor 12 atau 13 pada tolok ukur grafik tidak memiliki kemampuan membaca grafik yang bisa dipilih.

Kehati-hatian yang sama berlaku untuk skor absolut rendah lainnya. ZwZ2-9B rata-rata 42,43 pada agen multimodal dan 18,18 pada AgentVista; ZwZ2-27B rata-rata 51,81 dan 18,18. Keduanya lemah dalam pekerjaan agentik secara absolut, dan fakta bahwa model yang lebih besar jauh lebih tidak lemah tidak membuatnya kuat.

Seperti apa sebenarnya jejak memori itu

Perbedaan parameter adalah bagian yang Anda bayar setiap hari. ZwZ2-9B adalah file safetensors tunggal dengan 9,41 miliar parameter, sekitar 19 GB dalam bf16. ZwZ2-27B terbagi ke dalam dua shard sekitar 54 GB. Tambahkan aktivasi vision-tower dan anggaran KV 262.144 posisi, dan pembagian praktisnya adalah:

• ZwZ2-9B — pas dengan nyaman pada satu akselerator konsumen 24 GB dengan bf16, ketat tetapi bisa dijalankan; belum ada rilis terkuantisasi, jadi Anda membawa presisi penuh kecuali Anda mengkuantisasinya sendiri.

• ZwZ2-27B — kartu 80 GB dengan headroom, atau dua kartu 40 GB dengan pembagian tensor-paralel yang ketat. Tidak ada yang di bawah itu yang dapat menjalankannya pada bf16.

• Dukungan penyajian — tidak ada repositori yang menyertakan resep vLLM atau SGLang. Keduanya menyematkan transformers==5.13.1 di panduan cepat, dan keduanya hanya didokumentasikan dalam mode non-berpikir dengan jawaban dibungkus dalam tag <answer>. Tidak ada yang mendeklarasikan lisensi, yang untuk penerapan produksi merupakan hambatan lebih besar daripada angka memori mana pun.

Poin terakhir itu layak mendapat kalimatnya sendiri, karena hal yang sama berlaku di kedua sisi: tidak ada lisensi yang bisa dibaca. Kartu-kartu itu merujuk pada “lisensi yang menyertai bobot yang dirilis,” dan bobot tersebut tidak menyertakan lisensi apa pun. Ukuran apa pun yang Anda pilih, pertanyaan komersialnya tetap tidak terjawab.

Menggunakan keduanya, alih-alih memilih

Tabel domain menunjukkan pola dua tingkat lebih kuat daripada menunjukkan pemenang. Persepsi berbutir halus nyaris tidak berubah antar ukuran, jadi 9B adalah langkah pertama yang masuk akal di sana; pekerjaan antarmuka agentik bergerak lebih dari sembilan poin pada rata-rata domain dan dua puluh satu poin pada UI-Vision, sehingga lalu lintas itu sebaiknya dialihkan ke 27B. Router yang mengirim berdasarkan jenis tugas akan menghabiskan sebagian besar tokennya pada model murah dan menyisihkan model mahal untuk layar.

Tidak ada ukuran ZwZ2 pun yang ada di katalog kami, jadi pola itu saat ini berarti menjalankan dua checkpoint di perangkat keras Anda sendiri dan menulis sendiri dispatch-nya. Posisi OrcaRouter adalah di sisi generalis dari stack yang sama: Qwen3.8-27B dan Qwen3.5-27B keduanya dapat dirutekan di sini melalui satu kunci dengan harga daftar penyedia tanpa markup, sehingga beban kerja yang tidak memerlukan perbandingan region dapat diarahkan ke model terkelola dengan failover otomatis sementara lalu lintas khusus tetap lokal. Itu klaim yang lebih kecil daripada “merutekan ZwZ2 melalui kami,” yang tidak dapat kami tawarkan — tetapi itulah bagian arsitektur yang benar-benar tersedia sekarang.

Ringkasan jujurnya tidak glamor. Dua checkpoint, resep yang sama, kesenyapan yang sama, lisensi yang sama-sama tidak ada, dan celah performa yang hampir seluruhnya merupakan celah bawaan model dasar ditambah satu spesialisasi nyata di ujung atas untuk pekerjaan antarmuka. Jika Anda membutuhkan angka UI dari 27B, Anda memerlukan 27B dan kartu 80 GB. Jika tidak, 9B hanya terpaut satu setengah poin pada tugas yang menjadi tujuan seluruh proyek ini dibangun untuk ditingkatkan, dan itu muat di perangkat keras yang mungkin sudah Anda miliki.