MiniCPM-V 4.7 vs NVIDIA Nemotron 3.5 Super VL: Perangkat Termurah yang Benar-Benar Bisa Menjalankan Masing-Masing

Keduanya adalah model visi-bahasa dengan bobot terbuka, keduanya mixture-of-experts, dan keduanya mengompres token visual sebelum model bahasa melihatnya. Keputusan antara MiniCPM-V 4.7 35B-A3B dan NVIDIA Nemotron 3.5 Super VL karena itu bukan keputusan tentang arsitektur. Ini adalah keputusan tentang mesin terkecil yang bersedia Anda beli, dan tentang apa yang mesin itu berikan kepada Anda dalam halaman per jam. Dengan harga seperti itu, kedua model berada dalam percakapan pengadaan yang sepenuhnya berbeda: yang satu berjalan dari unduhan 21 GB pada perangkat keras yang mungkin sudah Anda miliki, yang lain menginginkan empat H100 dalam BF16 atau satu H200 dalam FP4. Tulisan ini melakukan perhitungan yang lembar spesifikasi serahkan kepada Anda — tingkat memori demi tingkat memori, dan halaman demi halaman. Tumpukan visi tetap berada di perangkat keras Anda. Orkestrasi di sekitarnya tidak harus demikian. Lihat katalog yang dihoskan Lebih dari 200 model yang dihoskan dengan satu kunci, harga daftar diteruskan dengan markup 0%. Kegagalan AI dan insiden agen terdokumentasi di balik rilis seperti ini dikumpulkan dalam OrcaRouter AI Incident Archive di mana setiap entri membawa sumbernya sendiri, tingkat keparahan, tingkat keyakinan, dan penanda sengketa.

Dua tangga kuantisasi, dua lantai yang sangat berbeda

OpenBMB dan NVIDIA memecahkan masalah yang sama — model yang terlalu besar untuk perangkat yang ingin Anda jalankan — dengan pendekatan yang berlawanan. MiniCPM-V 4.7 35B-A3B menjaga kumpulan aktif yang kecil tetap residen dan mengalirkan expert masuk dari penyimpanan, lalu mengirimkan keseluruhannya dalam setiap ukuran GGUF sehingga Anda dapat memilih batas bawah Anda. Nemotron 3.5 Super VL menjaga model penuh tetap residen dan sebagai gantinya melatih tingkat 4-bit (NVFP4) yang memangkas kebutuhan memori sekitar empat kali lipat tanpa penalti kuantisasi pasca-hoc.

• MiniCPM-V 4.7 35B-A3B, Q4_K_M — 21,2 GB di disk. Muat pada GPU konsumen 24 GB dengan margin tipis, atau Mac 32 GB dengan ruang sisa.

• MiniCPM-V 4.7 35B-A3B, Q8_0 / F16 — 36.9 GB / 69.4 GB. Kartu 48 GB atau workstation 96 GB, tergantung berapa banyak konteks yang Anda inginkan bersama bobotnya.

• Nemotron 3.5 Super VL, BF16 — sekitar 231,8 GiB bobot yang tersebar di 64 shard. Resep penyajian NVIDIA sendiri adalah tensor-parallel 4 pada 4x H100, atau TP2 pada 2x GB200.

• Nemotron 3.5 Super VL, NVFP4 — dapat di-deploy pada 1x DGX Spark, 1x H200, 2x H100, atau 1x GB200, sesuai kartu modelnya.

Baris terakhir itu adalah angka yang mengubah percakapan pembelian. Model 120B pada satu H200 alih-alih empat H100 bukanlah penghematan marginal; itu adalah perbedaan antara reservasi klaster dan satu node. Dan karena NVIDIA melakukan konversi 4-bit selama pelatihan dengan distilasi sadar kuantisasi, bukan setelahnya, ia mengklaim tidak ada overhead inferensi — klaim yang dinyatakan kartu tersebut tetapi tidak dibuktikan dengan delta akurasi BF16 versus NVFP4 yang dipublikasikan.

Halaman per jam, yaitu angka yang menentukan segalanya

Throughput dalam token per detik adalah proksi yang buruk untuk pekerjaan dokumen, karena biaya sebuah halaman didominasi oleh berapa banyak token visual yang dikeluarkan encoder sebelum model bahasa menghasilkan satu kata. Di sinilah kedua desain paling tajam berbeda, dan di sinilah bahasa pemasaran paling tidak berguna.

MiniCPM-V 4.7 35B-A3B melakukan kompresi di dalam tower visi, menggunakan teknik kompresi awal yang dikreditkan OpenBMB kepada LLaVA-UHD v4, dengan downsampling campuran 4x dan 16x. Default-nya adalah 16x; 4x adalah jalur detail halus, dipilih per gambar. Halaman teks yang padat mendapat jalur murah, diagram komponen mendapat jalur mahal. Kompresi terjadi sebelum model bahasa terlibat, yang justru membuat model 35B layak dijalankan di ponsel.

Nemotron 3.5 Super VL tidak mengedepankan kompresi. Jawabannya adalah konteks: hingga satu juta token, input video hingga dua menit, dan lapisan hybrid Mamba-2 untuk menjaga agar sekuens yang sangat panjang tidak menjadi kuadratik. Resep videonya mengambil sampel pada 2 FPS dan 256 frame secara default, turun ke 1 FPS dan 128 frame pada 1080p — sebuah kebijakan pengambilan sampel, bukan trik kompresi, dan dapat Anda sesuaikan ke atas jika beban kerjanya berupa gerakan yang padat.

Konsekuensi praktisnya: MiniCPM-V 4.7 memberi Anda biaya token per halaman yang tetap dan rendah serta meminta Anda menerima hilangnya detail; Nemotron 3.5 Super VL memungkinkan Anda mempertahankan detail dan meminta Anda membayar untuk konteksnya. Untuk peninjauan kontrak seratus halaman, yang pertama lebih murah per halaman dan yang kedua lebih baik pada halaman ketika klausulnya berada di catatan kaki 6 poin. Untuk video bedah dua menit, hanya yang kedua yang sama sekali diperhitungkan.

Salah satu rilis ini menyertakan angka; yang lain menyertakan grafik.

Ini adalah bagian dari perbandingan yang tidak dapat diperbaiki oleh aritmetika perangkat keras sebanyak apa pun, sehingga bagian ini sebaiknya ditempatkan di sini daripada terkubur dalam catatan kaki.

Kartu model NVIDIA memuat tabel benchmark sekitar empat puluh baris, dan tabel itu luar biasa terbuka: ia menyebut baseline-nya, dan beberapa baris menunjukkan model tersebut kalah. Dalam perbandingan dengan Qwen3.5-122B-A10B, angka NVIDIA sendiri menempatkan MMLU-ProX pada 76,91 versus 83,2, tau2-bench telecom pada 73,19 versus 87,2, OCRBench v2 Chinese pada 59,15 versus 67,3, dan MathVision pada 78,16 versus 83,3. Model itu menang pada GPQA-Diamond 89,52 berbanding 86,7, SWE-bench Pro 51,78 berbanding 44,9, dan CritPt 10,86 berbanding 1,1. Setiap angka, termasuk baseline, dikumpulkan melalui harness NeMo Gym milik NVIDIA sendiri — kartu tersebut menyatakannya secara langsung, dan menerbitkan catatan reproduksibilitas. Dijalankan oleh vendor, diberi label secara jujur, dengan kekalahan tetap dicantumkan.

Kartu MiniCPM-V 4.7 memuat lima bagan evaluasi dan tidak memiliki tabel numerik. Klaim perbandingannya bersifat terarah: skor keseluruhan yang lebih tinggi dalam waktu inferensi yang lebih singkat daripada Qwen3.6 35B-A3B dalam mode Instruct, dan peningkatan substansial dibandingkan Qwen3.5 0.8B untuk varian 1B. Tidak ada skor per benchmark untuk dikutip, tidak ada daftar baseline untuk diperiksa, dan tidak ada bobot yang dipublikasikan untuk komposit yang diplot. Itu tidak sama dengan model yang buruk — rekayasanya didokumentasikan dalam config.json dan bobotnya dapat diperiksa byte demi byte — tetapi itu berarti separuh akurasi dari perbandingan ini tidak dapat dibangun. Siapa pun yang menyajikan tabel skor MiniCPM-V 4.7 terhadap angka Nemotron 3.5 Super VL sedang membaca bagan satu vendor seolah-olah itu pengukuran dan tabel vendor lain seolah-olah netral.

Jalur runtime, dan mana yang akan menimbulkan masalah di kemudian hari

Cerita penerapan MiniCPM-V 4.7 adalah sebuah menu: SGLang, vLLM, llama.cpp dan Ollama, jalur OpenVINO untuk Intel CPU, GPU dan NPU, fine-tuning melalui SWIFT dan LLaMA-Factory, kuantisasi dalam GGUF, BNB, AWQ, GPTQ dan FP8, serta klaim dukungan hari-0 untuk silikon Rockchip, Houmo, Intel, AMD dan Arm bersama iOS, Android dan HarmonyOS. Keluasan adalah produknya. Biaya dari keluasan itu adalah tidak ada yang memvalidasi kombinasi spesifik Anda, dan jalur llama.cpp upstream saat ini memiliki cacat aktif: posisi penanda gambar dihitung secara tidak benar, sehingga koordinat yang dikembalikan secara sistematis terlalu rendah saat Anda menanyakan di mana sesuatu berada. Perbaikan yang telah diuji masih terbuka dan belum digabungkan per 20 Oktober.

Kisah Nemotron 3.5 Super VL sempit dan mendalam: vLLM pada tag image yang dipatok dan SGLang pada tag yang dipatok, dengan Multi-Token Prediction yang tertanam dalam arsitektur sehingga tidak diperlukan drafter terpisah. Kartu ini mencantumkan versi karena versi-versi tersebut adalah kombinasi yang telah divalidasi. Menyimpang dari versi tersebutlah yang membuat deployment yang berfungsi berubah menjadi sesi debugging.

Jika Anda memilih perangkat keras agar sesuai dengan model, ambil MiniCPM-V 4.7. Jika Anda memilih model agar sesuai dengan perangkat keras yang sudah Anda miliki, ambil Nemotron 3.5 Super VL dan ikuti versi pada kartunya dengan tepat.

Di mana router seharusnya berada dalam arsitektur dua kotak

Pola yang muncul di produksi bukanlah pilihan antara keduanya. Ini adalah model kecil di perangkat atau mesin lokal yang mengerjakan pekerjaan yang harus instan dan privat, dan model besar yang menangani pekerjaan yang harus benar. MiniCPM-V 4.7 35B-A3B dirancang untuk peran pertama; Nemotron 3.5 Super VL dirancang untuk peran kedua, dengan jendela satu juta token dan 12B parameter aktif untuk menangani dokumen panjang dan loop agentik.

Menjalankan keduanya berarti dua tumpukan model, dua rangkaian mode kegagalan dan — setelah Anda menambahkan model teks untuk orkestrasi di sekitarnya — tiga. Di situlah OrcaRouter membantu tanpa melebih-lebihkan fungsinya: tidak ada checkpoint yang masuk dalam katalog kami, karena keduanya adalah open weights yang Anda hosting sendiri, tetapi model teks dan kode yang mengelilinginya ada. Satu kunci untuk lebih dari 200 model yang dihosting, harga daftar penyedia diteruskan dengan markup 0%, dan failover otomatis saat upstream mengalami penurunan kinerja. Tumpukan visi tetap berada di perangkat keras Anda; bagian lain dari pipeline tidak lagi memerlukan kontrak baru setiap kali Anda menambahkan tahap.

Berapa kerugian yang Anda tanggung jika salah tentang masing-masingnya

Beli kotak kecil, lalu sadari Anda memerlukan penalaran dokumen panjang, dan Anda telah menghabiskan beberapa ribu dolar dan seminggu. Beli empat H100, lalu sadari beban kerjanya adalah struk, dan Anda telah menghabiskan jauh lebih banyak untuk kemampuan yang tidak pernah Anda gunakan. Asimetri itulah argumen nyata untuk memulai dari tier murah dan meningkat — dan itulah sebabnya rilis on-device layak mendapat perhatian yang kini ia dapatkan meskipun cerita benchmark-nya lebih tipis.

Penentu akhirnya, jika Anda memiliki kedua kotak itu, adalah di mana piksel berada. Frame yang tidak boleh keluar dari gedung dikirim ke model yang berjalan di dalamnya. Frame yang membutuhkan konteks sejuta token dan loop penalaran dikirim ke model yang memang dibuat untuk itu, dan Anda menerima versi runtime yang dipatok sebagai harga masuknya.