ZoomGain-4B vs Qwen3.8-27B: Kemenangan 11 Poin Itu karena Dataset, Bukan Model

Angka yang membuat pertarungan ini layak mendapat satu halaman adalah 55,81 berbanding 44,81. Pada ZoomGainBench, tolok ukur detail halus berisi 1.000 pertanyaan yang diterbitkan bersama ZoomGain-4B dari inclusionAI, model visi 4,54 miliar parameter, mencetak sebelas poin lebih tinggi daripada Qwen3.8-27B, model dense 27,78 miliar parameter yang dirilis A​libaba di bawah Apache 2.0 pada Agustus dan yang membaca gambar dan video serta teks. Parameternya enam kali lipat, tetapi kalah sebelas poin. Baca makalah yang menghasilkan kedua angka itu, dan selisihnya berhenti menjadi klaim tentang penglihatan: ZoomGainBench dibangun oleh pipeline otomatis yang sama yang menghasilkan data pelatihan ZoomGain-4B, para penulis mengatakannya sendiri dalam studi ablasi mereka, dan model yang benar-benar mereka lawan bukanlah Qwen3.8-27B sama sekali — melainkan dataset lain.

Itu bukan sebuah bantahan. Itu adalah hal paling berguna dalam rilis ini, dan itulah yang membuat perbandingannya bisa diputuskan: itu memberi tahu Anda model mana dari kedua model tersebut yang harus dipilih, dan angka mana yang harus dikutip ketika seseorang meminta Anda membenarkan pilihan tersebut. Berikut ini memisahkan tiga klaim yang digabungkan di sini — bahwa spesialis kecil mengalahkan generalis besar, bahwa pipeline data mengalahkan pipeline data lain, dan bahwa salah satu dari ini adalah alasan untuk mengganti stack Anda bulan ini.

Apa yang dirilis, dan seberapa diam-diamnya

Repositori untuk ZoomGain-4B dibuat di Hugging Face pada 10 November 2026 pukul 11:38 UTC dan terakhir diubah pada 11 November. Makalahnya, arXiv 2611.14076, diajukan pada 10 November. Repositori GGUF disentuh pada pukul 03:13 UTC tanggal 11 November. Pada saat penulisan, kedua repositori menunjukkan nol unduhan dan nol suka, tidak ada penyedia inferensi yang dipetakan ke model tersebut, dan tidak ada postingan peluncuran vendor, entri blog, atau siaran pers yang tersedia untuknya. Daftar Updates pada kartu model itu sendiri, bertanggal 11 November, adalah satu-satunya pengumuman: tiga baris yang menyatakan bahwa makalah, tolok ukur, dataset RL, dan checkpoint sudah tersedia.

Jadi kerangka yang jujur adalah bahwa ini dirilis secara senyap dan belum diumumkan. Semua hal di bawah ini yang berasal dari repositori dapat diperiksa hari ini; apa pun tentang bagaimana model berperilaku di luar harness para penulis belum dikonfirmasi, karena belum ada pihak di luar Ant Group dan Zhejiang University yang menjalankannya dan melaporkan hasilnya.

Ada dua detail dari repositori yang perlu diketahui sebelum perbandingan dimulai, karena keduanya mempersempit apa yang dapat Anda lakukan dengannya.

• Arsitektur. Turunan Qwen3.5-4B — 32 lapisan, ukuran tersembunyi 2.560, 16 kepala kueri terhadap 4 kepala KV pada dimensi kepala 256, skema 3:1 dari DeltaNet linear ke attention penuh, 262.144 posisi maksimum, kosakata 248.320 token, dan encoder visi 24 lapisan pada hidden 1.024. Totalnya, termasuk encoder dan proyektor, adalah 4.539.265.536 parameter.

• Lisensi. Bagian Lisensi pada kartu tersebut mencakup kode, yaitu Apache 2.0, lalu merujuk: "Lihat kartu Hugging Face untuk ketentuan setiap dataset dan checkpoint." Kartu checkpoint tidak memiliki tag lisensi sama sekali. Qwen3.8-27B adalah Apache 2.0 secara tidak ambigu. Jika Anda memerlukan lisensi yang dapat diserahkan kepada pengacara, asimetri itulah hal pertama yang Anda temui dan hal itu tidak diselesaikan oleh apa pun dalam rilis ini.

Satu-satunya daftar di mana kedua model muncul berdampingan

ZoomGainBench adalah benchmark dua bahasa berisi 1.000 pertanyaan atas 941 gambar: 472 pertanyaan pengenalan atribut dengan empat hingga enam opsi, 94 pertanyaan berhitung, dan 434 pertanyaan OCR, masing-masing dalam versi bahasa Inggris dan bahasa Mandarin, sehingga totalnya 2.000 instans evaluasi. Dua puluh delapan model dijalankan pada benchmark ini dalam satu harness — system prompt yang sama, temperature 0, thinking dinonaktifkan untuk setiap checkpoint Qwen, 2.048 token keluaran untuk model non-agentik. Hasil terbaik di bidang ini adalah GPT-5.6-Sol dengan 61,08, dan hanya lima model yang melampaui 50.

Qwen3.8-27B mencapai keseluruhan 44,81: 43,84 dalam bahasa Inggris dari 40,25 atribut, 54,26 penghitungan dan 45,49 OCR, serta 45,78 dalam bahasa Mandarin. ZoomGain-4B, yang ada di tabel pelatihan bukan tabel benchmark, mencapai 55,81. Kedua angka tersebut adalah keseluruhan dua bahasa dengan aturan penilaian yang sama, jadi ini adalah pasangan terkontrol terdekat yang ditawarkan rilis ini, dan pada perbandingan itu 4B menang dengan selisih 11,00 poin.

• Parameter. 4,54 miliar dibandingkan 27,78 miliar — selisih 6,1× dalam arah yang membuat hasilnya mengejutkan.

• Untuk apa masing-masing dibuat. ZoomGain-4B adalah Qwen3.5-4B yang menjalani satu epoch GRPO pada 9.000 pertanyaan hasil penambangan, 140 langkah, batch 64, delapan rollout per pertanyaan, learning rate 1e-6, tanpa suku KL. Qwen3.8-27B adalah model dense umum dengan mode penalaran, tool calling, dan jalur video.

• Data pelatihan. 9.000 pertanyaan untuk salah satunya. Untuk yang lainnya, seluruh korpus pra-pelatihan dan pasca-pelatihan A​libaba, yang ukurannya tidak diungkapkan.

• Ketersediaan. ZoomGain-4B: tiga presisi GGUF dan file proyektor terpisah, tanpa endpoint yang dihosting. Qwen3.8-27B: bobot Apache 2.0, build FP8, 7,4 juta unduhan, dan endpoint yang dapat Anda panggil hari ini.

Perbandingan yang sebenarnya ditetapkan oleh makalah tersebut

Inilah bagian yang hilang ketika rilis tersebut diringkas menjadi “4B beats 27B”. Makalah itu memerlukan baseline untuk datanya sendiri, dan menggunakan satu: ZwZ, dataset persepsi fine-grained ICML 2026 yang dibangun melalui distilasi region-to-image. Kedua sisi mendapat perlakuan identik. Dua belas ribu gambar diambil sampelnya dan 23.610 pertanyaan dihasilkan; benchmark mengambil 1.000; sisanya menghasilkan 8.746 pasangan pertanyaan yang cocok dengan gambar, dan 254 diduplikasi di kedua sisi untuk membuat setiap set menjadi 9.000. Gambar sama, checkpoint dasar sama, hyperparameter sama, 140 langkah sama. Satu-satunya variabel adalah pertanyaannya.

Data ZoomGain mengungguli data ZwZ pada setiap sumbu yang dilaporkan makalah. Pada Qwen3.5-4B, skor held-in bergerak dari 40,99 ke 55,81 dan rata-rata held-out tiga belas benchmark bergerak dari 58,94 ke 63,96; pada Qwen3.5-9B, pasangan angka yang sama adalah 44,07 ke 55,48 dan 62,53 ke 66,10. Itu adalah hasil nyata yang terkontrol dengan baik tentang cara Anda menghasilkan supervisi, dan itulah kontribusi yang disampaikan oleh judul makalah.

Qwen3.8-27B tidak berkontribusi apa pun terhadap argumen itu. Ia muncul satu kali, sebagai satu baris di antara 27 model lain yang dijadikan benchmark. Ia adalah tolok ukur — seorang generalis kompeten yang diukur pada distribusi yang tidak pernah menjadi sasaran pelatihannya — bukan pesaing. Teks makalah itu sendiri secara eksplisit menyatakan bahwa celah yang dimanfaatkannya bersifat bersama: distraktor kesalahan pandangan global menyumbang 71,7% dari seluruh jawaban salah pada keseluruhan 28 model, di atas 54,5% yang akan dihasilkan oleh pemilihan acak di antara opsi-opsi, dan empat model sumber tertutup yang tidak ikut serta dalam penyusunan benchmark menunjukkan perilaku yang sama, yakni 75,7% berbanding 57,4% yang diperkirakan.

Ablasi adalah argumen terkuat yang menentang judul utama.

Para penulis menjalankan pemeriksaan kewajaran yang sudah jelas terhadap diri mereka sendiri, dan hasilnya adalah tabel paling informatif dalam makalah tersebut. Mereka melatih ulang pada 9.000 pertanyaan yang sama sebanyak dua kali, setiap kali menghapus salah satu dari dua pilihan desain yang mendefinisikan pipeline mereka: aturan bahwa pertanyaan hanya boleh dibangun dari detail yang tidak terlihat pada gambar penuh, dan tahap pembuatan distraktor khusus.

• Pipeline penuh. ZoomGainBench 55,81; rata-rata pada sepuluh benchmark held-out yang dilaporkan oleh ablasi, 60,96.

• Distraktor khusus dihapus. ZoomGainBench 46,85 — penurunan 8,96 poin pada tes held-in — dan rata-rata sepuluh benchmark 59,14, penurunan 1,82.

• Bukti inkremental dihapus. ZoomGainBench 49,71, kerugian sebesar 6,10 — dan rata-rata sepuluh tolok ukur 58,57, kerugian sebesar 2,39.

Kedua pilihan desain itu bernilai enam hingga sembilan poin pada ZoomGainBench dan sekitar dua poin pada semua tolok ukur lainnya. Para penulis menyebutkan alasannya secara gamblang: menghapus distraktor khusus “menyebabkan penurunan terbesar pada ZoomGainBench held-in” karena “opsi-opsi dalam benchmark tersebut dibangun menggunakan pipeline yang sama.” Dengan kata lain, sekitar tiga perempat dari kenaikan utama pada benchmark yang menghasilkan angka utama itu adalah model mempelajari cara menjawab jenis pertanyaan yang ditulis pipeline, bukan mempelajari cara melihat lebih baik.

Apa yang bertahan tetap signifikan. Pada tiga belas benchmark yang tidak pernah disentuh pelatihan, Qwen3.5-4B naik dari 57,86 ke 63,96 — 6,10 poin dari 9.000 sampel — dengan keuntungan terbesar tepat pada keluarga yang menjadi target pipeline: HR-Bench 4K 81,25 menjadi 87,25, V*Bench 81,68 menjadi 90,05, VisualProbe 43,30 menjadi 57,28, O3-Bench 54,20 menjadi 63,19. Satu benchmark mengalami regresi: TreeBench, 49,38 menjadi 49,14, seperlima poin. MMStar, suite multimodal umum, bergerak dari 66,80 ke 72,53, dan BabyVision tetap buruk di 21,13.

Profil itu adalah ciri khas intervensi yang sempit, dan itulah profil yang harus menjadi dasar perencanaan Anda. Model tersebut menjadi lebih baik dalam menyelesaikan hal-hal kecil dalam suatu adegan. Ia tidak menjadi generalis yang lebih baik, dan aritmetika yang mengatakan sebaliknya adalah aritmetika pada benchmark-nya sendiri.

Apa yang sebenarnya ditanyakan benchmark, karena itulah yang akan Anda beli

Jika tujuan penggunaannya adalah pemeriksaan detail halus, komposisi tes lebih penting daripada skor keseluruhan, dan analisis kesalahan dalam makalah ini luar biasa konkret mengenai hal itu.

• Anchor kecil mendominasi. Akurasi meningkat seiring bertambahnya fraksi gambar yang ditempati detail yang ditanyakan, untuk setiap kelompok model: dirata-ratakan pada keseluruhan 28, nilainya naik dari 28,9% pada kuartil terkecil, di mana anchor mencakup kurang dari 0,4% gambar, menjadi 55,2% pada yang terbesar.

• Menghitung berarti menghitung bilangan kecil. 67 dari 94 pertanyaan berhitung memiliki nilai acuan paling banyak tiga, dan 71,6% jawaban numerik yang salah selisihnya tepat satu. Kesulitannya adalah menyelesaikan beberapa kasus kecil, bukan mengenumerasi banyak.

• Pengenalan atribut adalah kategori yang sulit. Ini menghasilkan skor terendah untuk 23 dari 28 model, dan menebak secara merata di semua opsi saja sudah akan menghasilkan sekitar 21,5%.

• Mode kegagalannya adalah substitusi yang masuk akal secara adegan. Dalam satu kasus terdokumentasi, 46 dari 56 evaluasi menyebut objek putih di dasbor truk sebagai oranye — kemungkinan besar warna rompi yang dikenakan pekerja yang berdiri di depannya. Dalam kasus lain, hampir setiap evaluasi menyebut merek peralatan hoki, bukan logo yang sebenarnya tercetak pada pakaian tersebut. Model tidak mengatakan "Saya tidak bisa melihatnya"; mereka menjawab dari konteks.

Mode kegagalan itu adalah argumen praktis untuk jenis pelatihan ini, karena mode yang sama itulah yang membuat pipeline dokumen diam-diam salah pada faktur hasil pindai. Ini juga menjadi argumen untuk mengukurnya: model yang menggantikan jawaban dengan jawaban yang tampak masuk akal menghasilkan keluaran yang percaya diri, sehingga tidak ada yang menangkapnya di hilir.

Di mana Qwen3.8-27B berada di ruangan yang berbeda

Angka 44.81 itu nyata, dan itu juga satu-satunya angka dalam artikel ini yang menjadi dasar penilaian Qwen3.8-27B di sini. Kartunya sendiri melaporkan serangkaian hal yang sama sekali berbeda, dan tidak satu pun dari hal-hal itu dapat dibandingkan dengan angka ZoomGain karena kedua model tersebut tidak pernah dijalankan pada harness yang sama untuk hal-hal itu.

• Pengodean agentik. Terminal Bench 2.1 pada 73.0, SWE-bench Pro 61.7, LiveCodeBench v6 90.3, QwenSWEBench 79.0 — semuanya dilaporkan oleh vendor di kartu milik Qwen sendiri, dengan catatan harness yang diterbitkan bersama.

• Penalaran dan penggunaan komputer. GPQA Diamond 89.2, HLE 30.8, OSWorld-Verified 84.3, WebArena-Verified 64.8.

• Pekerjaan multimodal. OmniDocBench 1.5 pada 91,1, penalaran CharXiv 83,7 tanpa injeksi chain-of-thought dan 90,2 dengannya, RealWorldQA 85,9, MathVision 90,0.

• Cakupan kemampuan. Berpikir aktif secara default dengan reasoning_effort pada xhigh, medium, atau low, pemikiran yang dipertahankan antar giliran, pemanggilan alat native, keluaran terstruktur, masukan video, 262.144 posisi secara native dan dapat diperluas hingga satu juta.

ZoomGain-4B belum dievaluasi pada satu pun dari hal-hal ini dan tidak diharapkan berkinerja baik pada salah satunya: pelatihannya tidak pernah menyentuh kode, tugas terminal, dokumen, atau bagan. Model ini juga tidak memiliki evaluasi yang dilaporkan dalam mode berpikir — harness milik rilisnya sendiri berjalan dengan thinking dinonaktifkan pada temperature 0, sehingga semua yang diterbitkan tentangnya menggambarkan perilaku jawaban langsungnya. Angka 44.81 milik Qwen3.8-27B diukur dengan cara yang sama, dengan enable_thinking=false, yang merupakan satu-satunya hal yang membuat perbandingan ini adil dan satu-satunya hal yang membuat mode terbaik Q​wen tidak teruji.

Sederhananya: pada sumbu yang menjadi fokus pelatihan ZoomGain-4B, ia menang; pada sumbu-sumbu yang dirancang untuk Qwen3.8-27B, si 4B tidak ada di ruangan itu. Tidak satu pun dari itu mengejutkan, dan memperlakukan salah satunya sebagai keseluruhan cerita adalah cara halaman perbandingan menjadi tidak berguna.

Berapa biaya untuk menyiapkan masing-masing, dan mana yang bisa Anda hubungi hari ini

Di sinilah keduanya berbeda dengan cara yang menentukan deployment, bukan benchmark.

ZoomGain-4B tidak memiliki endpoint yang dihosting di mana pun. Yang ada adalah repositori BF16, 4,54 miliar parameter yang tersebar di sebuah model bahasa dan encoder visi terpisah, serta tiga build GGUF: Q4_K_M sebesar 2,71 GB, Q8_0 sebesar 4,48 GB, dan F16 sebesar 8,42 GB, masing-masing dipasangkan dengan mmproj proyektornya sendiri — 0,23 GB, 0,36 GB, dan 0,67 GB secara berurutan — yang menurut kartu GGUF diperlukan untuk masukan gambar. Menjalankannya berarti llama-mtmd-cli atau llama-server dari build llama.cpp yang cukup baru untuk mengenali multimodal Q​wen3.5; menjalankannya pada presisi penuh berarti vLLM 0.19.1 dengan transformers 5.7.0. Tidak ada build MLX, tidak ada ONNX, tidak ada model draf untuk decoding spekulatif, dan tidak ada penyedia yang bisa dijadikan cadangan jika build Anda rusak.

Qwen3.8-27B ada dalam katalog OrcaRouter, dan kami menjalankan bobot tersebut di infrastruktur kami sendiri, bukan menjual ulang endpoint milik pihak lain — itulah sebabnya harga di halaman model kami adalah harga yang berlaku, tanpa markup tambahan di atasnya dan tanpa harga daftar vendor yang dinaikkan di antaranya. Harganya adalah $0.33 per juta token input dan $2.40 per juta output, dengan input teks, gambar, dan video, konteks 262,144 token, dan satu kunci. Kunci yang sama juga menjangkau Qwen3.8-Flash seharga $0.15 dan $0.47 per juta dengan jendela satu juta token, serta Qwen3.8-Max seharga $2.00 dan $6.00, sehingga beban kerja yang melampaui 27B atau membutuhkan jendela lebih panjang dapat berpindah tanpa kontrak kedua atau perubahan kode. Failover adalah bagian yang penting untuk apa pun yang berbentuk produksi: penyedia yang macet mencoba ulang sebelum respons dimulai, bukan setelah permintaan Anda kehabisan waktu.

ZoomGain-4B tidak ada di katalog itu dan tidak dapat dipanggil melalui kami. Itu adalah folder berisi bobot yang Anda jalankan sendiri, dan versi jujur dari rekomendasi tersebut harus dimulai dari sana.

Siapa yang harus bertindak, dan apa yang masih belum dikonfirmasi

Jika Anda memiliki pekerjaan yang banyak gambar yang jawabannya bergantung pada detail kecil — nomor bagian pada label, warna pada layar, apakah ada dua sekrup atau tiga — model 4,54B yang di-RL secara khusus untuk itu, berjalan secara lokal pada 2,71 GB dalam Q4_K_M, adalah pendapat kedua murah yang kredibel untuk dijalankan bersama generalis yang di-hosting. Bukan sebagai pengganti salah satunya. Profil kegagalan spesialis adalah substitusi yang terlalu percaya diri, yang justru merupakan kegagalan yang ditangkap oleh pemeriksaan generalis, dan sebaliknya.

Jika beban kerja Anda berupa dokumen, bagan, tangkapan layar, video, kode, atau agen, 27B adalah pilihan yang tepat, dan nilai 44.81 pada tolok ukur detail halus yang tidak pernah dilatih untuknya bukan alasan untuk berpikir sebaliknya.

Apa yang masih belum terkonfirmasi, dan layak dipantau alih-alih diasumsikan:

• Lisensi bobot. Apache 2.0 mencakup kode. Checkpoint tidak memiliki tag lisensi dan kartu tersebut merujuk pada "ketentuan setiap dataset dan checkpoint" tanpa menyebutkannya. Sampai hal itu diselesaikan, penerapan komersial adalah pembicaraan dengan pengacara, bukan sekadar mencentang kotak.

• Reproduksi apa pun. Setiap angka di atas dilaporkan oleh penulis, dihasilkan menggunakan harness milik penulis sendiri. Benchmark dan evaluatornya bersifat publik, sehingga dapat diperiksa, tetapi belum ada pihak di luar Ant Group dan Zhejiang University yang memeriksanya.

• Apakah peningkatan ini menggeneralisasi di luar pipeline. Angka held-out adalah angka yang dapat dipercaya, angkanya moderat — 6.10 poin di atas rata-rata tiga belas benchmark model dasar — dan angka tersebut sangat condong ke keluarga fine-grained yang menjadi target pelatihan. Apakah itu dapat ditransfer ke gambar Anda adalah pertanyaan terbuka yang tidak dijawab oleh rilis ini.

• Apakah ia tetap bertahan pada Q4. Kartu GGUF memperingatkan bahwa kuantisasi dapat memengaruhi akurasi, dan belum ada publikasi yang membandingkan build terkuantisasi dengan checkpoint BF16 pada ZoomGainBench. Untuk model yang seluruh nilainya adalah detail halus, itulah eksperimen yang harus dijalankan sebelum Anda memercayai file 2.71 GB.