NVIDIA Nemotron 3.5 Super VL vs MiniCPM-V 4.7 35B-A3B: 3 GB di saku melawan 4× H100 di rak

One of these runs on an iPhone. The other runs on four H100s. That is the whole comparison, and everything else is detail. MiniCPM-V 4.7 35B-A3B is OpenBMB's first Mixture-of-Experts entry in the MiniCPM-V line, and the model card's claim is specific enough to check: more than 13 tokens per second on an iPhone 17 Pro Max using roughly 3 GB of memory, with the run described as smooth rather than as a demo. N​VIDIA N​emotron 3.5 Super VL is a 120B-total, 12B-active vision-language model whose card puts the deployment envelope at 4× H100 or 2× GB200. Both are open weights. Both are vision-language models. They are not options for the same decision.

Yang membuat keduanya tetap layak dibandingkan adalah bahwa mereka sepakat soal mekanismenya dan berbeda soal skalanya. Keduanya adalah model Mixture-of-Experts yang dibangun untuk menukar ukuran total dengan biaya per token. Keduanya memampatkan token visual sebelum model bahasa harus memikirkannya. Keduanya bertaruh bahwa masa depan bidang visi-bahasa adalah banyak model di banyak tempat, bukan satu model besar di balik satu API. Mereka hanya memasang taruhan mereka dengan terpaut tiga orde besaran dalam hal perangkat keras.

Koinsidensi parameter aktif

N​VIDIA N​emotron 3.5 Super VL is 120B total with 12B active per token — a Mamba-2–Transformer hybrid MoE with a C-RADIO vision encoder and 512 routed experts per MoE layer, holding up to 1M tokens of context. MiniCPM-V 4.7 35B-A3B is 35B total with 3B active. Different by a factor of four in total size and four in active compute, but the same architectural instinct: keep the parameter count high for knowledge and the per-token cost low for speed.

Kontribusi OpenBMB untuk masalah itu adalah Lookahead Expert Scheduling, yang memungkinkan model dengan 3B parameter aktif menjaga para pakarnya tetap residen tanpa membuat bus memori kewalahan—alasan model ini bisa berjalan di 3 GB alih-alih membutuhkan workstation. Implementasinya ada di sebuah fork, llama.cpp-omni, dan klaim yang menyertainya cukup hati-hati: model MoE open-source pertama yang berjalan lancar di perangkat tanpa mengorbankan performa. Apakah "tanpa mengorbankan" itu tetap berlaku dibandingkan model 120B bukanlah hal yang dibahas oleh kartu ini, dan memang seharusnya tidak—model yang berjalan di ponsel tidak bersaing dengan model yang membutuhkan empat H100s dalam hal akurasi. Ia bersaing dalam hal sekadar bisa hadir.

• Total / active parameters — N​emotron 3.5 Super VL: 120B / 12B. MiniCPM-V 4.7 35B-A3B: 35B / 3B.

• Deployment target — N​emotron 3.5 Super VL: 4× H100 or 2× GB200, served via vLLM or SGLang. MiniCPM-V 4.7 35B-A3B: phone, laptop, edge box — iOS, Android and HarmonyOS are all named.

• Memory at the smallest end — N​emotron 3.5 Super VL: not applicable. MiniCPM-V 4.7 35B-A3B: about 3 GB.

• Context — N​emotron 3.5 Super VL: up to 1M tokens, video up to two minutes. MiniCPM-V 4.7 35B-A3B: not the model's selling point; the card leads on footprint and speed.

• Licence — N​emotron 3.5 Super VL: OpenMDW-1.1. MiniCPM-V 4.7 35B-A3B: Apache-2.0.

Dua jawaban berbeda untuk "token itu mahal"

Kedua tim menyerang hambatan yang sama — jumlah token visual yang dibutuhkan sebuah gambar — dan sampai pada tempat yang berbeda.

MiniCPM-V 4.7 35B-A3B melakukannya di dalam encoder visi, dengan kompresi awal yang berasal dari LLaVA-UHD v4, lalu menggunakan kompresi token visual campuran 4× dan 16× bergantung pada kebutuhan gambar. Detail halus menempuh jalur mahal; struk menempuh jalur murah. Kompresi terjadi sebelum model bahasa dilibatkan, dan itulah yang memungkinkan angka-angka di perangkat.

N​emotron 3.5 Super VL does not lead with token compression at all. Its answer is context: 1M tokens, so you can afford to keep the detail rather than throw it away, and a hybrid Mamba-2 layer to keep the cost of a very long sequence from exploding. The model's own video path is configured generously by default — 2 FPS and 256 frames, dropping to 1 FPS and 128 frames at 1080p — which is a sampling answer, not a compression answer.

Itu adalah filosofi yang tidak kompatibel dan keduanya benar untuk penerapannya masing-masing. Jika Anda punya 3 GB, Anda memampatkan. Jika Anda punya 4× H100, Anda mempertahankan detail dan membayar untuk konteks.

Apa yang bisa dan tidak bisa diberitahukan oleh angka-angka kepada Anda

Berikut adalah posisi jujur dari kedua belah pihak.

N​emotron 3.5 Super VL's benchmark table is broad and vendor-collected through NeMo Gym: GPQA-Diamond 89.52, SWE-bench Verified 71.10, MMLongBench-Doc 62.82, OCRBench v2 at 68.12 English and 59.15 Chinese, CharXiv reasoning 80.82, V* 85.60. N​VIDIA chose the baselines. None of it has been independently reproduced.

Kartu MiniCPM-V 4.7 35B-A3B menyajikan hasil benchmark-nya sebagai bagan vendor, bukan tabel numerik, sehingga tidak ada angka untuk dikutip dan tidak ada daftar baseline untuk diperiksa. Klaim spesifik terkuat dalam kartu ini bersifat komparatif dan menunjukkan arah — skor keseluruhan yang lebih tinggi dengan waktu inferensi yang lebih singkat daripada Qwen3.6 35B-A3B dalam mode Instruct — yang merupakan klaim tentang efisiensi di dalam kelas bobotnya sendiri, bukan tentang kemampuan melawan model yang dua belas kali ukurannya.

Jadi, tabel perbandingan keduanya berdasarkan angka benchmark tidak ada dan tidak dapat dibuat. Siapa pun yang menyajikannya sedang menggabungkan bagan vendor dengan tabel vendor dan menyebut hasilnya sebagai pengukuran.

Detail deployment yang menentukan lebih banyak proyek daripada akurasi.

MiniCPM-V 4.7 35B-A3B dirilis dengan dukungan sejak hari pertama untuk silikon Rockchip, Houmo, Intel, AMD, dan Arm, bersama SGLang, vLLM, llama.cpp, dan Ollama, serta kuantisasi dalam GGUF, BNB, AWQ, GPTQ, dan FP8. Ini juga terintegrasi dengan SWIFT dan LLaMA-Factory untuk fine-tuning. Daftar itulah produk yang sesungguhnya. Model yang berjalan di akselerator yang sudah Anda beli, dalam format kuantisasi yang sudah didukung runtime Anda, adalah model yang dapat Anda rilis kuartal ini.

N​emotron 3.5 Super VL's runtime story is narrower and deeper: vLLM at vllm/vllm-openai:v0.32.0 and SGLang at lmsysorg/sglang:v0.5.20, with EAGLE speculative decoding at topk 1 and Multi-Token Prediction built into the architecture. Two runtimes, both first-class, both specified to the exact version. That is what a datacenter deployment wants — a validated path, not a menu.

If you are choosing hardware to fit the model, take MiniCPM-V 4.7 35B-A3B. If you are choosing the model to fit hardware you already have, take N​emotron 3.5 Super VL and follow its card's versions exactly.

Argumen untuk menjalankan keduanya

The pattern that shows up in real products is not a choice between these two. It is a small VLM on the device handling the work that has to be instant and local — reading a form, describing a scene, filtering out the frames nobody cares about — and a large VLM in the datacenter handling the work that has to be right. MiniCPM-V 4.7 35B-A3B is explicitly designed for the first role. N​emotron 3.5 Super VL is designed for the second.

That architecture has a cost, and the cost is that you are now running two model stacks and a text stack, with three sets of credentials and three sets of failure modes. OrcaRouter is the part that removes the second problem: 207 models behind one key at provider list price with zero markup, so a vendor price change lands on your bill the same day, and automatic failover when an upstream degrades. Neither N​VIDIA N​emotron 3.5 Super VL nor MiniCPM-V 4.7 35B-A3B is in that catalogue — both are open weights you host yourself, which is the point of choosing either. What one key gets you is the surrounding text and code models, so the pipeline does not need a new contract every time you add a stage.

Yang mana, ditentukan oleh di mana pikselnya berada

Pilih MiniCPM-V 4.7 35B-A3B jika inferensi harus terjadi di tempat data berada — di ponsel, di kendaraan, di lantai pabrik, di klinik tempat citra tidak boleh meninggalkan gedung — atau jika pengguna Anda offline, atau jika biaya per panggilan VLM yang dihosting adalah hal yang membunuh ekonomi unit. Lisensinya Apache-2.0, pilihan kuantisasinya luas, dan daftar dukungan silikonnya sengaja panjang.

Take N​VIDIA N​emotron 3.5 Super VL if the work is long-context and reasoning-heavy: multi-page documents, mixed layouts, charts that need interpretation, two-minute video clips, agentic tool use. The 1M-token context and 12B active parameters are the reason it exists, and no on-device model substitutes for them.

Jika Anda tidak yakin, pertanyaan penentunya bukanlah akurasi. Pertanyaannya adalah apakah gambar diizinkan meninggalkan perangkat. Jawaban itulah yang menentukan model sebelum tolok ukur apa pun dipertimbangkan.

Kartu MiniCPM-V 4.7 35B-A3B adalah sumber klaim on-device — 13-plus token per detik, jejak sekitar 3 GB, daftar silikon day-0, dan format kuantisasi — yang semuanya merupakan hasil yang dilaporkan model itu sendiri. Baca daftar silikon sebelum Anda berkomitmen, karena "didukung" di sana berarti ada jalur runtime, bukan bahwa papan spesifik Anda telah diuji benchmark.

N​VIDIA's N​emotron developer page is where the 4× H100 / 2× GB200 guidance and the runtime versions are published, along with the link to the technical report behind the benchmark table. The version numbers in the card are exact for a reason: vLLM v0.32.0 and SGLang v0.5.20 with EAGLE topk 1 are the validated combination, and drifting from them is how a working deployment becomes a debugging session.

The larger point is that the vision-language field has stopped converging on one shape. OpenBMB is pushing a 3B-active model into pockets and N​VIDIA is pushing a 12B-active model across a million tokens of context, in the same month, under licences that both permit commercial use. Picking between them is picking a deployment, and the deployment is decided by where the pixels live.

Tolok ukur menjadi usang dan harga bergerak; catatan kegagalan tidak: insiden AI dan kegagalan agen yang terdokumentasi di balik model di kelas ini dikumpulkan dalam Arsip Insiden AI OrcaRouter, yang di dalamnya setiap entri memuat sumbernya sendiri, tingkat keparahan, peringkat keyakinan, dan penanda sengketa.