NVIDIA Nemotron 3.5 Super VL 対 MiniCPM-V 4.7 35B-A3B：ポケットの中の3 GB 対 ラック内の4× H100

One of these runs on an iPhone. The other runs on four H100s. That is the whole comparison, and everything else is detail. MiniCPM-V 4.7 35B-A3B is OpenBMB's first Mixture-of-Experts entry in the MiniCPM-V line, and the model card's claim is specific enough to check: more than 13 tokens per second on an iPhone 17 Pro Max using roughly 3 GB of memory, with the run described as smooth rather than as a demo. N​VIDIA N​emotron 3.5 Super VL is a 120B-total, 12B-active vision-language model whose card puts the deployment envelope at 4× H100 or 2× GB200. Both are open weights. Both are vision-language models. They are not options for the same decision.

それでも両者を比較する価値があるのは、仕組みについては一致しつつ、規模については意見が分かれているからだ。どちらも、総サイズと引き換えにトークンあたりのコストを抑えるように作られた Mixture-of-Experts モデルである。どちらも、言語モデルがそれらについて考える前に視覚トークンを圧縮する。どちらも、視覚言語の仕事の未来は、1つの API の背後にある1つの大きなモデルではなく、多くの場所にある多くのモデルだと賭けている。ただ、その賭けのハードウェア規模は3桁違う。

アクティブパラメータの一致

N​VIDIA N​emotron 3.5 Super VL is 120B total with 12B active per token — a Mamba-2–Transformer hybrid MoE with a C-RADIO vision encoder and 512 routed experts per MoE layer, holding up to 1M tokens of context. MiniCPM-V 4.7 35B-A3B is 35B total with 3B active. Different by a factor of four in total size and four in active compute, but the same architectural instinct: keep the parameter count high for knowledge and the per-token cost low for speed.

その問題に対する OpenBMB の貢献が Lookahead Expert Scheduling であり、これによって 3B アクティブのモデルはメモリバスを酷使せずにエキスパートを常駐させられる——ワークステーションを必要とせず 3 GB で動くのはそのためだ。実装はフォークの llama.cpp-omni にあり、それに添えられた主張は慎重だ。性能を犠牲にすることなくオンデバイスでスムーズに動く初のオープンソース MoE モデル、というものだ。その「犠牲にすることなく」が 120B モデルに対しても成り立つかどうかは、このカードが扱うところではないし、扱うべきでもない——スマートフォンで動くモデルは、4 台の H100 を必要とするモデルと精度で競っているわけではない。競っているのは、そもそもそこに存在できるかどうかだ。

• Total / active parameters — N​emotron 3.5 Super VL: 120B / 12B. MiniCPM-V 4.7 35B-A3B: 35B / 3B.

• Deployment target — N​emotron 3.5 Super VL: 4× H100 or 2× GB200, served via vLLM or SGLang. MiniCPM-V 4.7 35B-A3B: phone, laptop, edge box — iOS, Android and HarmonyOS are all named.

• Memory at the smallest end — N​emotron 3.5 Super VL: not applicable. MiniCPM-V 4.7 35B-A3B: about 3 GB.

• Context — N​emotron 3.5 Super VL: up to 1M tokens, video up to two minutes. MiniCPM-V 4.7 35B-A3B: not the model's selling point; the card leads on footprint and speed.

• Licence — N​emotron 3.5 Super VL: OpenMDW-1.1. MiniCPM-V 4.7 35B-A3B: Apache-2.0.

「トークンは高価だ」に対する2つの異なる答え

両チームは同じボトルネック——1枚の画像が消費する視覚トークンの数——に挑み、たどり着いた結論は異なっていた。

MiniCPM-V 4.7 35B-A3B はそれをビジョンエンコーダー内で行い、LLaVA-UHD v4 に由来する早期圧縮を用いたうえで、画像が何を必要とするかに応じて 4× と 16× の視覚トークン圧縮を混在して使い分ける。細部には高コストな経路が使われ、レシートには低コストな経路が使われる。圧縮は言語モデルが関与する前に行われ、これがオンデバイスでの数値を可能にしている。

N​emotron 3.5 Super VL does not lead with token compression at all. Its answer is context: 1M tokens, so you can afford to keep the detail rather than throw it away, and a hybrid Mamba-2 layer to keep the cost of a very long sequence from exploding. The model's own video path is configured generously by default — 2 FPS and 256 frames, dropping to 1 FPS and 128 frames at 1080p — which is a sampling answer, not a compression answer.

それらは相容れない設計思想であり、どちらもそれぞれの配備においては正しい。3 GBしかなければ圧縮する。4× H100があるなら、細部を保持してコンテキストにコストを払う。

数字が教えてくれることと、教えてくれないこと

双方についての正直な立場はこちらです。

N​emotron 3.5 Super VL's benchmark table is broad and vendor-collected through NeMo Gym: GPQA-Diamond 89.52, SWE-bench Verified 71.10, MMLongBench-Doc 62.82, OCRBench v2 at 68.12 English and 59.15 Chinese, CharXiv reasoning 80.82, V* 85.60. N​VIDIA chose the baselines. None of it has been independently reproduced.

MiniCPM-V 4.7 35B-A3Bのモデルカードは、ベンチマーク結果を数値表ではなくベンダー提供のグラフとして示しているため、引用できる数値も、確認できるベースライン一覧もありません。このモデルカードにおける最も強い具体的な主張は比較的かつ方向性を示すもので、InstructモードでQwen3.6 35B-A3Bより短い推論時間でより高い総合スコアを達成するという主張です。これは、自らの重みクラス内での効率に関する主張であり、12倍の規模のモデルに対する能力についての主張ではありません。

したがって、ベンチマーク数値におけるこれら二つの比較表は存在せず、作ることもできない。それを提示している者は誰であれ、ベンダーのグラフとベンダーの表を組み合わせて、その結果を測定値と呼んでいるだけだ。

正確さ以上に多くのプロジェクトを左右する、あるデプロイの詳細

MiniCPM-V 4.7 35B-A3B は、Rockchip、Houmo、Intel、AMD、Arm のシリコンに対する day-0 サポートを備えてリリースされ、SGLang、vLLM、llama.cpp、Ollama にも対応し、GGUF、BNB、AWQ、GPTQ、FP8 での量子化も可能です。また、ファインチューニング用に SWIFT や LLaMA-Factory とも統合されています。このリストこそが真の製品です。すでに購入済みのアクセラレータ上で、すでにランタイムがサポートしている量子化形式で動作するモデルは、今四半期に出荷できるモデルです。

N​emotron 3.5 Super VL's runtime story is narrower and deeper: vLLM at vllm/vllm-openai:v0.32.0 and SGLang at lmsysorg/sglang:v0.5.20, with EAGLE speculative decoding at topk 1 and Multi-Token Prediction built into the architecture. Two runtimes, both first-class, both specified to the exact version. That is what a datacenter deployment wants — a validated path, not a menu.

If you are choosing hardware to fit the model, take MiniCPM-V 4.7 35B-A3B. If you are choosing the model to fit hardware you already have, take N​emotron 3.5 Super VL and follow its card's versions exactly.

両方を運用する根拠

The pattern that shows up in real products is not a choice between these two. It is a small VLM on the device handling the work that has to be instant and local — reading a form, describing a scene, filtering out the frames nobody cares about — and a large VLM in the datacenter handling the work that has to be right. MiniCPM-V 4.7 35B-A3B is explicitly designed for the first role. N​emotron 3.5 Super VL is designed for the second.

That architecture has a cost, and the cost is that you are now running two model stacks and a text stack, with three sets of credentials and three sets of failure modes. OrcaRouter is the part that removes the second problem: 207 models behind one key at provider list price with zero markup, so a vendor price change lands on your bill the same day, and automatic failover when an upstream degrades. Neither N​VIDIA N​emotron 3.5 Super VL nor MiniCPM-V 4.7 35B-A3B is in that catalogue — both are open weights you host yourself, which is the point of choosing either. What one key gets you is the surrounding text and code models, so the pipeline does not need a new contract every time you add a stage.

どちらか、ピクセルがどこにあるかで決まる

推論をデータのある場所で行わなければならないなら——スマートフォン上、車内、工場の現場、画像を建物の外に出せないクリニック内——あるいはユーザーがオフラインである場合、またはホスト型VLMの呼び出しごとのコストがユニットエコノミクスを損なっている要因である場合は、MiniCPM-V 4.7 35B-A3Bを選びましょう。そのライセンスはApache-2.0で、量子化の選択肢は幅広く、対応シリコンのリストは意図的に長くなっています。

Take N​VIDIA N​emotron 3.5 Super VL if the work is long-context and reasoning-heavy: multi-page documents, mixed layouts, charts that need interpretation, two-minute video clips, agentic tool use. The 1M-token context and 12B active parameters are the reason it exists, and no on-device model substitutes for them.

迷ったとき、決め手となる問いは精度ではない。その画像をデバイスの外に出してよいかどうかだ。その答えが、ベンチマークを参照するより先にモデルを選んでしまう。

MiniCPM-V 4.7 35B-A3Bのカードは、オンデバイスに関する主張の出典です — 毎秒13トークン以上、約3GBのフットプリント、day-0シリコンリスト、量子化フォーマット — これらはすべてモデル自身が報告した結果です。採用する前にシリコンリストを読んでください。なぜなら、そこでの「サポート」はランタイムパスが存在するという意味であり、あなたの特定のボードがベンチマーク済みであるという意味ではないからです。

N​VIDIA's N​emotron developer page is where the 4× H100 / 2× GB200 guidance and the runtime versions are published, along with the link to the technical report behind the benchmark table. The version numbers in the card are exact for a reason: vLLM v0.32.0 and SGLang v0.5.20 with EAGLE topk 1 are the validated combination, and drifting from them is how a working deployment becomes a debugging session.

The larger point is that the vision-language field has stopped converging on one shape. OpenBMB is pushing a 3B-active model into pockets and N​VIDIA is pushing a 12B-active model across a million tokens of context, in the same month, under licences that both permit commercial use. Picking between them is picking a deployment, and the deployment is decided by where the pixels live.

ベンチマークは古び、価格は動くが、失敗の記録は動かない。このクラスのモデルの背後にある、記録に残されたAIインシデントとエージェントの失敗はOrcaRouter AI Incident Archiveに集められており、各エントリには独自の情報源、重大度、信頼度グレード、係争中フラグが付いている。