ZoomGain-9B vs Gemma 4 12B: Baris yang Hilang dari Benchmark

Dua puluh delapan model dinilai pada benchmark ZoomGain saat rilis. Empat sistem frontier sumber tertutup, empat model visi agentic, empat spesialis fine-grained, dan enam belas generalis terbuka. G​emma tidak termasuk di dalamnya — bukan G​emma 4 12B, bukan Gemma 4 31B, bukan pula seri E mana pun. Ketiadaan itu adalah fakta paling berguna saat membandingkan ZoomGain-9B dan G​emma 4 12B, karena itu berarti setiap tabel "ZoomGain vs G​emma" yang bisa Anda susun memiliki celah di dalamnya, dan tulisan ini membahas apa sebenarnya kedua model tersebut, bukan angka yang tidak ada.

Keduanya cukup dekat dalam ukuran sehingga mengundang perbandingan, tetapi cukup jauh berbeda dalam tujuan sehingga perbandingan itu menyesatkan. ZoomGain-9B adalah checkpoint visi-bahasa 9B dari inclusionAI, yang dilatih lanjut melalui reinforcement learning pada 9.000 pertanyaan hasil penambangan crop, dirilis pada 10 November 2026 dengan sebuah makalah tetapi tanpa pengumuman. Gemma 4 12B adalah model multimodal terpadu tanpa encoder milik Google DeepMind berukuran 11,95B, diterbitkan pada 23 Mei 2026, Apache 2.0, dengan 1,8 juta unduhan dan 1.730 suka dalam sebulan terakhir. Yang satu adalah instrumen penelitian dengan satu kemampuan yang didemonstrasikan. Yang lain adalah produk dengan lisensi, seperangkat dokumentasi, enam kuantisasi, dan setengah tahun penggunaan komunitas.

Apa sebenarnya masing-masing itu

Gemma 4 12B adalah anggota arsitektural yang menarik dari keluarga Gemma 4. Model E2B, E4B, dan 31B menggunakan encoder khusus — menara visi berukuran sekitar 150M parameter pada model kecil, sekitar 550M pada 31B — dan meneruskan embedding ke model bahasa. Model 12B tidak demikian. Model ini memproyeksikan patch gambar mentah dan bentuk gelombang audio langsung ke ruang embedding decoder melalui lapisan linear ringan, itulah yang dimaksud dengan "Unified" dalam namanya, dan inilah alasan dukungan audio ada pada model ini dan bukan pada 31B.

Bentuknya: 48 lapisan, ukuran tersembunyi 3.840, intermediate 15.360, 16 kepala kueri terhadap 8 kepala KV pada dimensi kepala 256, kosakata 262.144 token dan 262.144 posisi maksimum. Empat puluh dari empat puluh delapan lapisannya adalah attention jendela geser pada 1.024 token; delapan adalah attention penuh, dan lapisan terakhir selalu global. Tiga modalitas masukan, keluaran teks, konteks 256K, dan peran sistem native.

ZoomGain-9B dibangun dengan cara sebaliknya. Trunk teksnya adalah Qwen3.5-9B — 32 lapisan, hidden 4.096, intermediate 12.288, jadwal 3:1 antara attention linear dan attention penuh, posisi maksimum 262.144 — dengan menara visi yang dipasang oleh model dasar, bukan diciptakan di sini. Di atas trunk itu, para penulis menjalankan GRPO pada 9.000 pertanyaan yang jawabannya bergantung pada detail yang hanya terlihat saat Anda memperbesar ke suatu wilayah. Model ini tidak dilatih sebagai asisten umum dan tidak disajikan sebagai asisten umum.

• Parameter — G​emma 4 12B 11,95B vs ZoomGain-9B sekitar 9,4B (18,82 GB dalam BF16 dibandingkan dengan ukuran file 12B).

• Modalitas — G​emma 4 12B menerima teks, gambar, video, dan audio; ZoomGain-9B menerima teks dan gambar. Audio bukanlah celah dalam implementasi ZoomGain, melainkan tidak ada dalam konfigurasinya.

• Konteks — G​emma 4 12B mendokumentasikan 256K. Kartu ZoomGain-9B tidak mendokumentasikan apa pun; konfigurasinya mewarisi 262.144 posisi dari trunk Qwen3.5-9B, yang tidak sama dengan properti yang telah diuji dari checkpoint hasil fine-tuning.

• Lisensi — G​emma 4 12B Apache 2.0 dengan file lisensi bernama. ZoomGain-9B: kode Apache 2.0, ketentuan checkpoint ditunda ke kartu yang tidak memuat tag lisensi.

• Distribusi — G​emma 4 12B dirilis sebagai BF16, QAT q4_0 GGUF sebesar 6,98 GB dengan proyektor 0,18 GB, dan tersedia build dari ggml-org, unsloth, serta litert; ZoomGain-9B dirilis sebagai BF16 plus GGUF dalam F16, Q8_0, dan Q4_K_M mulai 11 November.

• Dokumentasi — G​emma 4 12B memiliki blog peluncuran, laporan teknis, cookbook framework, dan halaman lisensi. ZoomGain-9B memiliki makalah, repositori, dan kartu yang tidak mencantumkan panjang konteks.

Mengapa baris yang hilang bukanlah kelalaian yang bisa kamu abaikan begitu saja

Benchmark ZoomGain dibangun untuk mengungkap satu kegagalan: model yang tidak dapat menyelesaikan detail kecil di dalam bingkai besar. Penulis menilai pengenalan atribut, penghitungan, dan OCR atas 1.000 pertanyaan dan 941 gambar, dalam bahasa Inggris dan Tionghoa, dengan exact match pada pilihan ganda dan pada bilangan bulat, serta ANLS dengan ambang 0,7 untuk OCR. Pada uji itu, model terbaik dari dua puluh delapan model mencapai 61,08, dan hanya lima yang melampaui 50.

G​emma 4 12B belum dijalankan pada benchmark itu. Begitu juga G​emma lainnya. Itu menyisakan dua pilihan, dan hanya satu yang jujur. Anda bisa menyejajarkan MMMU Pro 69.1 dan MATH-Vision 79.7 milik G​emma dengan rata-rata held-out ZoomGain sebesar 66.10 lalu menyebutnya perbandingan, padahal itu membandingkan rangkaian multimodal yang luas dengan rata-rata tiga belas benchmark persepsi dan menghasilkan angka yang tidak bermakna. Atau Anda bisa mengatakan yang sebenarnya: belum ada yang mengukur kedua hal ini dengan penggaris yang sama, dan jika pertanyaan itu penting bagi Anda, benchmark-nya dapat diunduh dan Anda bisa menjalankannya sendiri dalam satu sore.

Opsi kedua lebih murah daripada kedengarannya. ZoomGainBench tersedia sebagai anotasi, gambar, dan evaluator; evaluasinya menerima endpoint yang kompatibel dengan OpenAI atau checkpoint lokal, berjalan pada temperature 0 dengan thinking dinonaktifkan, dan melaporkan hasil per pertanyaan. G​emma 4 12B berjalan di bawah vLLM atau llama.cpp. Itu adalah adu langsung yang bisa Anda hasilkan, dan fakta bahwa penulis benchmark tidak menyertakan G​emma itu sendiri informatif — model tersebut telah tersedia selama enam bulan sebelum benchmark ini diterbitkan.

Di mana Gemma 4 12B memiliki angka-angka itu, dan apa artinya

Ini adalah angka milik G​oogle sendiri dari kartu model, yang belum direproduksi oleh laboratorium netral:

• MMMU Pro 69.1 — rangkaian penalaran multimodal, dan hal yang paling mendekati klaim kompetensi visual di kartu G​emma.

• MATH-Vision 79.7 — penalaran matematis atas diagram dan gambar.

• OmniDocBench 1.5 rata-rata jarak edit 0.164 — penguraian dokumen, di mana semakin rendah semakin baik; model 31B mencapai 0.131.

• MMLU Pro 77,2, GPQA Diamond 78,8, AIME 2026 77,5 tanpa alat — sisi teks, yang sama sekali tidak diklaim oleh ZoomGain-9B.

• rata-rata τ² 69,0 dan pemanggilan fungsi native — penggunaan alat agentik.

• MRCR v2 eight-needle pada 128K, 43,4% — pengambilan konteks panjang, dan angka yang paling melemahkan sorotan 256K.

Poin terakhir perlu ditekankan. Jendela 256K bukan berarti 256K attention yang dapat digunakan, dan G​oogle menerbitkan skor retrieval yang turun menjadi 43.4% pada 128K merupakan bentuk keterbukaan yang lebih besar daripada yang ditawarkan sebagian besar kartu model. Jika beban kerja Anda adalah "menemukan satu fakta dalam dokumen besar", jendela G​emma 4 12B memang nyata, tetapi recall-nya pada kedalaman konteks tergolong biasa saja, dan tidak ada pengukuran setara untuk ZoomGain-9B karena tidak ada evaluasi konteks panjang yang dijalankan padanya.

Di mana ZoomGain-9B memiliki angka-angkanya, dan peringatan yang melekat pada masing-masing.

Semua yang dilaporkan penulis, pada harness yang telah dirilis:

• HR-Bench 4K 90.25, naik dari 82.13 pada Qwen3.5-9B yang menjadi asalnya. Persepsi resolusi tinggi, dan klaim utama dalam rilis ini.

• V*Bench 93,19, naik dari 86,91. Deteksi objek kecil dalam adegan yang padat.

{{1}}MMVP 70,00, naik dari 60,00. Uji gambar berpasangan yang mana dua gambar hampir identik memiliki jawaban benar berbeda — analog terdekat yang ada untuk apa yang dilatihkan pada ZoomGain.{{/1}}

• ZoomGainBench 55.48, naik dari 32.13. Kolom held-in, digelembungkan karena cara penyusunannya, dan para penulis mengatakannya.

• Rata-rata held-out 66.10 pada tiga belas benchmark, naik dari 59.75. Angka yang berarti.

Peringatan-peringatan berikut, sesuai urutan seberapa besar hal itu seharusnya mengkhawatirkan Anda. Pertama, belum ada orang di luar daftar penulis yang mereproduksi hasilnya. Kedua, benchmark dan data pelatihan berasal dari satu pipeline, itulah sebabnya makalah mengecualikan benchmark-nya sendiri dari rata-rata held-out — sebuah disiplin yang patut diapresiasi. Ketiga, set pelatihan berisi 9.000 catatan, cukup kecil sehingga peningkatannya mungkin sempit bahkan ketika nyata. Keempat, model tidak memiliki endpoint yang dihosting dan, pada saat penulisan, pemetaan penyedia kosong di Hub.

Biaya, dalam hal-hal yang benar-benar menentukan

Gemma 4 12B pada QAT q4_0 adalah 6,98 GB ditambah proyektor 0,18 GB. Itu muat di laptop 16 GB dengan ruang sisa dan di kartu 8 GB dengan sedikit usaha. ZoomGain-9B pada Q4_K_M adalah 5,63 GB ditambah 0,52 GB proyektor; pada Q8_0 menjadi 9,53 GB ditambah 0,62 GB. Model 9B adalah unduhan yang lebih kecil pada setiap presisi karena modelnya lebih kecil, dan trunk-nya yang berat pada linear attention berarti KV cache yang lebih pendek pada panjang sekuens yang panjang, yang penting jika Anda memberinya gambar resolusi tinggi alih-alih teks panjang.

Keduanya tidak dapat dipanggil melalui kami saat ini. G​emma 4 12B tidak ada dalam katalog OrcaRouter, dan ZoomGain-9B juga tidak, jadi pernyataan yang jujur adalah bahwa keduanya merupakan keputusan self-host atau API vendor. Yang kami host adalah G​emma 4 26B A4B seharga $0.06 per juta token input dan $0.33 per juta output dengan jendela 262K — keluarga yang sama, empat kali anggaran parameter aktif, dan cara yang sah untuk mengetahui apakah profil penguraian dokumen G​emma cocok dengan pipeline Anda sebelum Anda mengunduh apa pun. Satu kunci mencakup itu dan 200+ model lainnya dengan harga daftar tanpa markup, sehingga uji banding antara endpoint visi dan model teks murah hanya memakan waktu satu sore daripada tiga kontrak.

Pilih berdasarkan pekerjaan, bukan berdasarkan peringkat

Jika tugasnya adalah detail kecil di dalam gambar besar — nomor seri pada perangkat, teks pada papan tanda yang jauh, warna satu objek di antara empat puluh, jumlah jendela pada fasad — ZoomGain-9B adalah yang dibuat untuk itu, dengan catatan bahwa buktinya dilaporkan sendiri dan lisensinya perlu dibaca. Arsitekturnya dioptimalkan tepat untuk mode kegagalan yang sedang Anda alami.

Jika tugasnya adalah hal visual lainnya — membaca dokumen multihalaman, mendeskripsikan pemandangan, menjawab pertanyaan tentang bagan, menerima audio sekaligus gambar, memanggil fungsi setelahnya — G​emma 4 12B adalah produk yang sudah jadi, dan perbandingannya tidak lagi ketat. Model ini memiliki prapelatihan 140 bahasa, pemanggilan alat native, jendela 256K dengan kurva pengambilan yang dipublikasikan, enam kuantisasi, dan lisensi yang dapat Anda serahkan ke tim hukum tanpa penjelasan.

Jika tugasnya mencakup keduanya, jawaban jujurnya adalah bahwa keduanya merupakan lapisan dari satu pipeline, bukan alternatif. Agen dokumen 2026 yang realistis akan mem-parsing dengan model multimodal umum dan mengeskalasi potongan gambar yang penting ke spesialis persepsi — dan eskalasi itulah tempat rekayasa yang menarik berada, karena itu berarti memutuskan kapan sebuah detail layak mendapat panggilan kedua. Itu adalah masalah perutean, dan itulah sebabnya kami peduli: aturan yang mengirim panggilan murah ke model murah dan eskalasi ke endpoint apa pun yang memenuhi standar Anda hanyalah satu perubahan konfigurasi, dan failover berarti spesialis yang terhambat tidak akan membuat pipeline terhenti.

Putusan itu, dinyatakan dalam bentuk yang didukung oleh bukti.

G​emma 4 12B adalah pembelian yang lebih aman menurut setiap ukuran yang bukan tolok ukur persepsi: lisensi, dokumentasi, distribusi, cakupan, komunitas, dan fakta bahwa G​oogle menerbitkan angka yang bisa Anda perdebatkan. ZoomGain-9B adalah model yang lebih menarik, dan mungkin alat yang lebih baik untuk satu pekerjaan tertentu, berdasarkan bukti yang belum diperiksa oleh siapa pun yang tidak menulis makalah tersebut.

Langkah berikutnya yang tepat bergantung pada kalimat mana di antaranya yang ternyata Anda setujui. Jika kalimat pertama, unduh QAT GGUF dan berhenti membaca. Jika kalimat kedua, unduh ZoomGainBench beserta bobotnya — 941 gambar, 1.000 pertanyaan, evaluator, dan sebuah angka yang dapat Anda hasilkan sendiri — lalu jalankan G​emma melaluinya. Anda kemudian akan menjadi orang pertama yang melakukannya, dan Anda akan mengetahui sesuatu tentang kedua model yang saat ini tidak diketahui oleh kedua vendor.