MiniCPM-V 4.7 vs Gemma 4 12B: Yang Satu Merilis Benchmark, yang Lain Merilis Gambar dari Benchmark Tersebut

Buka kartu model MiniCPM-V 4.7 dan gulir ke bagian evaluasi. Anda akan menemukan tiga gambar: plot frontier performa versus waktu inferensi, perbandingan visi-bahasa secara keseluruhan, dan perbandingan bahasa secara keseluruhan. Anda tidak akan menemukan tabel. Sekarang buka kartu Gemma 4 12B dan gulir ke tempat yang sama. Anda akan menemukan MMLU Pro, AIME 2026, LiveCodeBench v6, GPQA Diamond, Codeforces ELO, MMMU Pro, MATH-Vision, dan tingkat kesalahan penguraian dokumen, masing-masing dengan angka yang dapat Anda salin ke spreadsheet. Kedua model berbobot terbuka, keduanya Apache 2.0, keduanya diposisikan sebagai model multimodal yang muat pada perangkat keras milik Anda — dan hanya satu di antaranya yang memungkinkan Anda memeriksa hasil kerjanya. Kegagalan AI dan insiden agen yang terdokumentasi di balik rilis seperti ini dikumpulkan dalam OrcaRouter AI Incident Archive di mana setiap entri mencantumkan sumbernya sendiri, tingkat keparahan, tingkat keyakinan, dan penanda sengketa.

Asimetri itulah yang menjadi perbandingan sebenarnya. MiniCPM-V 4.7, yang dirilis oleh OpenBMB pada 12 Oktober 2026, dan Gemma 4 12B, yang dirilis oleh Google DeepMind pada 3 Juni 2026, bukanlah objek sejenis yang sama, dan perbedaannya bukanlah ukuran. Perbedaannya adalah seberapa banyak klaim mereka sendiri yang bersedia dituangkan oleh masing-masing vendor ke dalam teks.

Apa yang akan dikatakan setiap vendor kepada Anda, dalam angka

Kartu Gemma 4 12B mempublikasikan skornya terhadap lima model saudara dan satu pendahulunya, dengan harness evaluasi yang disebutkan berdasarkan benchmark. Khusus untuk varian 12B Unified, vendor melaporkan 77,2 pada MMLU Pro, 77,5 pada AIME 2026 tanpa alat bantu, 72,0 pada LiveCodeBench v6, 78,8 pada GPQA Diamond, ELO Codeforces sebesar 1659, 69,0 pada Tau2 yang dirata-ratakan dari tiga kali percobaan, 83,4 pada MMMLU, dan — angka yang paling jujur menggambarkan apa itu model 12B — 5,2 pada Humanity's Last Exam tanpa alat bantu. Di sisi visi, model ini melaporkan 69,1 pada MMMU Pro, 79,7 pada MATH-Vision, dan jarak edit rata-rata 0,164 pada OmniDocBench 1.5, yang mana semakin rendah semakin baik.

Itu adalah angka dari vendor. Tidak ada pihak independen yang harus menyetujuinya, dan pada model yang begitu luas digunakan ini, sebagian angka tersebut tidak akan bertahan saat dihadapkan pada harness yang berbeda. Tetapi angka-angka itu dapat difalsifikasi, dan itulah sifat yang penting. Jika Anda mendapatkan 62 pada MMLU Pro dari evaluasi Anda sendiri, Anda tahu ada sesuatu yang salah dengan pengaturan Anda atau dengan kartu tersebut.

Kartu MiniCPM-V 4.7 memuat empat klaim numerik dalam prosa dan sama sekali tidak ada tabel benchmark. Varian 35B-A3B mendekode pada 13 token per detik atau lebih dengan menggunakan sekitar 3 GB memori pada iPhone 17 Pro Max. Lookahead Expert Scheduling memberikan percepatan 5× pada perangkat nyata. Varian 1B mengalahkan Qwen3.5 0.8B dalam skor keseluruhan dan efisiensi inferensi. Dan dalam mode Instruct, 35B-A3B mencapai skor keseluruhan yang lebih tinggi dalam waktu inferensi yang lebih singkat daripada Qwen3.6 35B-A3B. Semua hal lainnya — setiap sumbu perbandingan — terdapat di dalam gambar plot.

Itu bukan ketidakjujuran. Grafik membawa informasi, dan plot frontier bisa dibilang ringkasan yang lebih baik untuk trade-off kecepatan-kualitas daripada tabel skor pada berbagai benchmark yang diukur dengan ukuran batch berbeda. Namun, grafik tidak dapat dikutip, tidak dapat diturunkan kembali, dan tidak dapat dibandingkan dengan grafik vendor lain tanpa seseorang membaca posisi piksel. Ketika satu-satunya evaluasi publik atas sebuah model adalah gambar, sikap yang tepat adalah memperlakukan model itu sebagai belum terukur sampai ada yang mengukurnya.

Kedua arsitektur tersebut memecahkan masalah yang berbeda.

Bacalah melewati bagian-bagian evaluasi dan desainnya menyimpang tajam, yang merupakan sinyal yang lebih berguna daripada skor tunggal mana pun.

Gemma 4 12B tidak memiliki encoder. Tidak ada menara visi terpisah dan tidak ada encoder audio terpisah: patch gambar mentah dan bentuk gelombang audio diproyeksikan langsung ke ruang embedding model bahasa melalui lapisan linear yang ringan. Alasan yang dinyatakan Google adalah latensi dan fine-tuning sekali jalan — satu model, satu sesi pelatihan, semua modalitas. Tukarannya, perusahaan bertaruh bahwa transformer decoder-only dapat belajar melihat dengan cukup baik tanpa front-end visual khusus. Angka MMMU Pro miliknya sendiri sebesar 69,1, dibandingkan 76,9 untuk saudara 31B yang memang membawa encoder visi sekitar 550M parameter, menunjukkan bahwa taruhan tersebut ada harganya dalam penalaran visual yang mendetail.

MiniCPM-V 4.7 mengambil arah sebaliknya. Model ini mempertahankan menara visi khusus — lebar tersembunyi 1152, 27 lapisan, ubin 980 piksel — dan menghabiskan upaya rekayasanya untuk membuat menara itu murah. Kompresi awal intra-ViT yang dipinjam dari LLaVA-UHD v4 memangkas token visual di dalam encoder, bukan setelahnya, dan sakelar downsampling campuran 4×/16× memungkinkan pemanggil memilih antara detail dan biaya per permintaan. Di sisi bahasa, 35B-A3B adalah campuran 256-ahli yang mengaktifkan 8 ahli per token, disusun dalam pola 3:1 atensi linear terhadap atensi penuh di seluruh 40 lapisan.

Konsekuensi praktis dari desain tersebut adalah jalur video MiniCPM menjadi luar biasa eksplisit. Kartu model itu memaparkan max_num_frames sebesar 128, parameter stack_frames yang menggabungkan sub-frame menjadi grid di antara frame utama, serta panduan jumlah slice yang terpisah untuk gambar (36) versus video (1). Jika Anda membangun sesuatu yang membaca rekaman layar atau video kuliah, tingkat kendali atas apa yang diambil sampelnya itulah fiturnya. Gemma 4 12B juga menangani video, sebagai rangkaian frame, tetapi kartunya mendokumentasikan formatnya alih-alih ekonomi pengambilan sampelnya.

Baris-baris yang benar-benar menentukan hasilnya

• Parameter — total 35.21B, 8 dari 256 expert aktif, ditambah varian dense 1.55B vs dense 11.95B

• Modalitas masuk — teks, gambar, video, dengan OCR dan penguraian PDF disebutkan vs teks, gambar, video, dan audio native

• Konteks — 262.144 token vs 262.144 token pada 12B, 128K pada model saudara seri E

• Lisensi — Apache 2.0, bobot dapat diunduh vs Apache 2.0, bobot dapat diunduh

• Evaluasi yang diterbitkan — grafik frontier dan perbandingan, empat klaim prosa vs tabel numerik lengkap di delapan model saudara

• Evaluasi independen — tidak ada entri Artificial Analysis untuk kedua varian 4.7 per saat penulisan ini, dibandingkan dengan halaman Artificial Analysis yang memuat penempatan kecerdasan dan throughput

• Memori pada BF16 — sekitar 70 GB bobot untuk 35B-A3B, sekitar 3,1 GB untuk 1B vs sekitar 24 GB

• Format terkuantisasi yang tersedia — GGUF, bitsandbytes, AWQ, GPTQ, FP8, int4 vs checkpoint upstream, ditambah build GGUF komunitas dan QAT dari Google serta pihak ketiga

• Jalur penyajian yang dinamai oleh vendor — SGLang, vLLM, llama.cpp, Ollama, Transformers, OpenVINO vs Transformers, dengan ekosistem yang lebih luas disediakan oleh komunitas

• Kisah on-device — aplikasi iOS, Android, HarmonyOS plus dukungan day-0 untuk Rockchip, Houmo, Intel, AMD, dan Arm vs desain yang dioptimalkan untuk laptop dan GPU konsumen

Tiga beban kerja, tiga jawaban

Pemahaman layar dan dokumen secara massal. Di sinilah rancangan MiniCPM-V 4.7 diarahkan dan di sinilah dokumentasinya paling kuat. Mode downsample 4×, pengaturan 36-slice, entri cookbook untuk OCR dan penguraian PDF, serta kontrol pengambilan sampel frame eksplisit untuk video semuanya menjabarkan pipeline untuk mengubah konten yang dirender menjadi teks terstruktur. Gemma 4 12B juga kredibel di sini — jarak edit OmniDocBench-nya sebesar 0.164 adalah angka penguraian dokumen yang nyata — tetapi kartu vendor memperlakukan penguraian dokumen sebagai salah satu kemampuan di antara banyak hal, bukan sebagai prinsip pengorganisasinya.

Apa pun yang perlu didengar. Gemma 4 12B menerima audio secara native, dengan CoVoST pada 38,5 dan FLEURS pada 0,069 di kartunya. MiniCPM-V 4.7 tidak. Karya audio OpenBMB berada di lini MiniCPM-o yang terpisah, dan kartu 4.7 tidak mencantumkan modalitas audio sama sekali. Jika input Anda mencakup ucapan, perbandingan sudah selesai sebelum dimulai — satu model memerlukan langkah transkripsi di depannya dan yang lain tidak.

Satu GPU konsumen dengan anggaran tetap. Gemma 4 12B pada 4-bit muat di bawah 8 GB dan menyisakan ruang untuk konteks; 35B-A3B pada 4-bit tidak muat pada satu kartu konsumen dan narasi performa kartunya sendiri adalah tentang ponsel yang menahan 3 GB secara residen, bukan tentang GPU dengan bobot pakar 70 GB untuk di-page. Jika kendalanya adalah "satu kartu yang sudah Anda miliki," 12B adalah jawabannya dan varian 1B adalah satu-satunya MiniCPM yang relevan.

Kesenjangan yang harus diperhitungkan oleh pembeli

Kedua model gratis diunduh, jadi baris lisensinya imbang dan biaya sebenarnya adalah semua hal setelahnya. Untuk Gemma 4 12B, ekosistemnya sudah punya waktu empat setengah bulan untuk mengejar: build terkuantisasi dari Google sendiri, konversi GGUF komunitas, checkpoint QAT, dan indeks independen yang memungkinkan Anda membandingkannya dengan seratus model lain pada skala yang sama. Untuk MiniCPM-V 4.7, Anda baru delapan hari berada di arsitektur baru — model_type baru, tata letak attention baru, versi minimum Transformers — dan kartu resmi vendor sendiri dibuka dengan catatan tentang ketidakcocokan versi CUDA yang merusak dekode video melalui torchcodec.

Itu bukan kritik terhadap model. Itu adalah biaya standar dalam mengadopsi apa pun pada dua minggu pertama, dan itulah alasan rilis senyap dengan evaluasi yang hanya berupa grafik menjadi kandidat buruk untuk jalur produksi dan kandidat baik untuk uji berdampingan. Cara membuat uji itu murah adalah dengan tetap menjalankan sistem yang ada sambil mengevaluasi pendatang baru, yang merupakan masalah perutean, bukan masalah pemodelan.

OrcaRouter menjalankan lebih dari 200 model yang dihosting di balik satu endpoint yang kompatibel dengan OpenAI dengan markup 0%, harga daftar penyedia diteruskan langsung, sehingga biaya mencoba model kedua adalah perubahan konfigurasi, bukan kontrak kedua. DSL peruteannya dapat menampung satu primer dan satu cadangan dalam satu panggilan, dan failover otomatis menjaga jalur primer tetap hidup ketika penyedia mengalami jam buruk. Catatan cakupan adalah bagian penting di sini: katalog kami memuat Gemma 4 26B-A4B dan Gemma 4 31B, bukan 12B ini, dan sama sekali tidak memuat MiniCPM-V 4.7. Kedua model yang dibahas dalam artikel ini adalah checkpoint yang Anda jalankan sendiri — router adalah yang berada di sekitarnya, bukan cara untuk memanggilnya.

Apa yang bisa menyelesaikannya

Perbandingan saat ini tidak seimbang dalam cara yang mudah diutarakan dan mudah diperbaiki. Gemma 4 12B memiliki angka yang bisa Anda debat. MiniCPM-V 4.7 memiliki klaim yang hanya bisa Anda terima atau tolak: 13 token per detik, 3 GB, percepatan 5×, lebih baik daripada pesaing yang disebutkan namanya pada skor keseluruhan yang tidak disebutkan namanya. Setiap poin tersebut akan lebih berguna sebagai baris tabel, dan OpenBMB jelas mampu membuatnya — kartu-kartu sebelumnya dari keluarga ini memuat kisi benchmark standar.

Jadi pendekatan yang berguna memang sengaja dibuat asimetris. Jika Anda perlu mengambil keputusan minggu ini, Gemma 4 12B adalah model yang perilakunya dapat Anda prediksi dari angka-angka yang dipublikasikan, dan dukungan audionya adalah kemampuan yang tidak akan bisa ditambahkan oleh kesabaran sebesar apa pun ke MiniCPM-V 4.7. Jika Anda membangun untuk ponsel, untuk HarmonyOS, untuk papan Rockchip, atau untuk membaca layar dan dokumen yang jalur downsample 4×-nya tepat sekali, rekayasa MiniCPM-V 4.7 lebih spesifik untuk masalah Anda daripada apa pun yang telah dirilis G​oogle pada ukuran ini — dan tabel yang tidak ada adalah alasan untuk mengukurnya sendiri, bukan alasan untuk mengabaikannya.

Satu hal terakhir yang layak dikatakan terang-terangan, karena inilah bagian yang tidak cocok dengan kerangka berpikir kedua vendor. Tidak satu pun dari model ini bersaing memperebutkan pembeli yang sama dengan API frontier. Mereka bersaing dengan keputusan untuk tidak menjalankan model secara lokal sama sekali. Argumen terkuat Gemma 4 12B adalah bahwa empat bulan ekosistem berarti jalur yang membosankan itu berhasil; argumen terkuat MiniCPM-V 4.7 adalah bahwa model 1B pada 3 GB dapat berjalan di tempat yang tidak dapat dijangkau model 12B. Pilih kendalanya dulu, baru modelnya — tabel benchmark, saat nanti hadir, hanya akan menata ulang model di dalam kategori yang sudah Anda pilih.