MiniCPM-V 4.7 対 NVIDIA Nemotron 3.5 Super VL：それぞれを実際に動かせる最安のマシン

どちらもオープンウェイトの視覚言語モデルで、どちらも混合エキスパートであり、言語モデルが受け取る前に視覚トークンを圧縮します。したがって、MiniCPM-V 4.7 35B-A3B と NVIDIA Nemotron 3.5 Super VL のどちらを選ぶかは、アーキテクチャに関する決定ではありません。それは、購入を許容できる最小のマシンと、そのマシンが1時間あたり何ページ分をもたらすかに関する決定です。そのように価格を捉えると、2つのモデルはまったく異なる調達の議論に属します。一方は、おそらくすでに所有しているハードウェア上で21 GBのダウンロードから動作し、もう一方はBF16でH100を4台、またはFP4でH200を1台必要とします。本稿では、スペックシートが読者に委ねている計算を、メモリ階層ごとに、そしてページごとに行います。 視覚スタックはあなたのハードウェア上に残ります。その周囲のオーケストレーションは、そうである必要はありません。 ホスト型カタログを見る 1つのキーで200以上のホスト型モデル、定価を0%のマークアップでそのまま提供。 このようなリリースの背景にある、文書化されたAI障害やエージェントインシデントは、the OrcaRouter AI Incident Archive に収集されており、各エントリには独自の情報源、重大度、信頼度グレード、異議フラグが付いています。

2つの量子化ラダー、大きく異なる2つの下限

OpenBMBとNVIDIAは、実行したいデバイスには大きすぎるモデルという同じ問題を、正反対の方向から解決した。MiniCPM-V 4.7 35B-A3Bは、小さなアクティブセットを常駐させてエキスパートをストレージからストリーミングし、さらに全体をあらゆるGGUFサイズで提供するので、自分の下限を選べる。Nemotron 3.5 Super VLはモデル全体を常駐させ、代わりに4ビット階層（NVFP4）をトレーニングすることで、事後量子化のペナルティなしにメモリ要件を約4分の1に削減する。

• MiniCPM-V 4.7 35B-A3B、Q4_K_M — ディスク上で21.2 GB。24 GBのコンシューマー向けGPUにはわずかな余裕で収まり、32 GBのMacなら余裕を持って収まります。

• MiniCPM-V 4.7 35B-A3B、Q8_0 / F16 — 36.9 GB / 69.4 GB。48 GB のカード、または 96 GB のワークステーションが必要です。どちらになるかは、ウェイトと併せてどれだけのコンテキストを確保したいかによって変わります。

• Nemotron 3.5 Super VL、BF16 — 64個のシャードにまたがる約231.8 GiBの重み。NVIDIA自身のサービングレシピは、4台のH100でテンソル並列4、または2台のGB200でTP2です。

• Nemotron 3.5 Super VL、NVFP4 — モデルカードによれば、1x DGX Spark、1x H200、2x H100、または1x GB200 でデプロイできます。

最後の行にある数字が、購買時の議論を一変させます。H100を4基使う代わりにH200を1基使って120Bモデルを動かせることは、わずかな節約ではありません。クラスタ予約か単一ノードかという違いなのです。さらにNVIDIAは、事後にではなく学習中に量子化認識蒸留を用いて4ビット変換を行うため、推論時のオーバーヘッドはないと主張しています。ただしこれはカードが述べている主張であり、公開されたBF16対NVFP4の精度差によって裏付けられているわけではありません。

1時間あたりのページ数、それがすべてを決める数値です

ドキュメント処理において、1秒あたりのトークン数で表されるスループットは適切な指標とは言えません。ページあたりのコストは、言語モデルが一語を出力する前にエンコーダがどれだけ多くの視覚トークンを生成するかに大きく左右されるからです。まさにここが両設計の最も鋭く分かれる点であり、マーケティング的な表現が最も役に立たない領域でもあります。

MiniCPM-V 4.7 35B-A3Bは視覚タワー内部で圧縮を行い、OpenBMBがLLaVA-UHD v4の功績としている早期圧縮技術を用いて、4xと16xのダウンサンプリングを混在させている。デフォルトは16xで、4xは細部向けの経路であり、画像ごとに選択される。文字が密集したページには安価な経路が、部品図には高価な経路が使われる。圧縮は言語モデルが関与する前に行われ、まさにそれが35Bモデルをスマートフォンで実用的にする理由である。

Nemotron 3.5 Super VLは圧縮を前面に押し出していません。その答えはコンテキストです。最大100万トークン、最大2分の動画入力、そして非常に長いシーケンスが二次関数的になるのを防ぐハイブリッドMamba-2層を備えています。動画のレシピはデフォルトで2 FPS・256フレームでサンプリングし、1080pでは1 FPS・128フレームに落とします——これは圧縮のトリックではなくサンプリングポリシーであり、ワークロードが動きの多いものであれば引き上げて調整できます。

実用上の帰結はこうです。MiniCPM-V 4.7 はページあたりのトークンコストが固定で低い代わりに、細部の損失を受け入れることを求めます。Nemotron 3.5 Super VL は細部を保持できる代わりに、コンテキストに対してコストを払うことを求めます。100ページの契約書レビューなら、1ページあたりでは前者が安く、条項が6ポイントの脚注にあるページでは後者のほうが優れています。2分間の手術動画なら、そもそも検討対象になるのは後者だけです。

これらのリリースのうち、一方は数値を提供し、もう一方はグラフを提供します

これは比較の中でも、ハードウェアの演算だけではどうしても埋め合わせられない部分なので、脚注に埋もれさせるのではなく、ここに記すべきものです。

NVIDIAのモデルカードには約40行のベンチマーク表が掲載されており、異例なほど率直だ。ベースラインを明記し、いくつかの行ではモデルが負けていることを示している。Qwen3.5-122B-A10Bに対して、自社の数値ではMMLU-ProXが76.91対83.2、tau2-bench telecomが73.19対87.2、OCRBench v2 Chineseが59.15対67.3、MathVisionが78.16対83.3となっている。一方、GPQA-Diamondでは89.52対86.7、SWE-bench Proでは51.78対44.9、CritPtでは10.86対1.1で勝利している。ベースラインを含むすべての数値は、NVIDIA独自のNeMo Gymハーネスを通じて収集された——カードはそう明言し、再現性に関する注記も公開している。ベンダーが実行し、正直にラベル付けされ、負けた結果もそのまま残している。

MiniCPM-V 4.7のモデルカードには評価チャートが5つあるだけで、数値表はありません。比較上の主張は方向性を示すものです。Instructモードでは、Qwen3.6 35B-A3Bよりも短い推論時間で高い総合スコアを記録し、1B版ではQwen3.5 0.8Bを大幅に上回るというものです。引用できるベンチマーク別スコアも、確認できるベースライン一覧も、プロットされている合成指標の公開された重み付けもありません。これは悪いモデルだという意味ではありません。エンジニアリングはconfig.jsonに文書化されており、重みはバイト単位で検証できます。しかし、この比較の精度面を構築できないという意味ではあります。MiniCPM-V 4.7のスコア表をNemotron 3.5 Super VLの数値と対比して提示する人は、一方のベンダーのチャートを測定値であるかのように、もう一方の表を中立であるかのように読んでいるのです。

実行時のパス、そして後になって牙をむくのはどれか

MiniCPM-V 4.7のデプロイ手段はメニューのようだ。SGLang、vLLM、llama.cpp、Ollama、Intel CPU・GPU・NPU向けのOpenVINO経路、SWIFTとLLaMA-Factoryによるファインチューニング、GGUF・BNB・AWQ・GPTQ・FP8での量子化、さらにRockchip、Houmo、Intel、AMD、Armのシリコンに加えてiOS、Android、HarmonyOS向けのday-0サポートを謳っている。広範さこそが製品だ。その代償は、あなたの特定の組み合わせを誰も検証していないことであり、現在の上流llama.cpp経路には未解決の欠陥がある。画像マーカーの位置が誤って計算されるため、何かがどこにあるかを尋ねると返される座標が系統的に低く出る。テスト済みの修正は10月20日時点でオープンだが未マージだ。

Nemotron 3.5 Super VL のストーリーは狭く深い。vLLM は固定されたイメージタグで、SGLang は固定されたタグで、Multi-Token Prediction がアーキテクチャに組み込まれているため、別個のドラフターは不要です。カードにバージョンが明記されているのは、そのバージョンの組み合わせが検証済みだからです。そこから逸脱すると、動作していたデプロイがデバッグ作業になってしまいます。

モデルに合わせてハードウェアを選ぶなら、{{1}}MiniCPM-V 4.7{{/1}}を選んでください。すでにお持ちのハードウェアに合わせてモデルを選ぶなら、{{2}}Nemotron 3.5 Super VL{{/2}}を選び、そのカードに記載されたバージョンに正確に従ってください。

ツーボックスアーキテクチャにおけるルーターの配置場所

本番環境で見られるパターンは、この2つのどちらかを選ぶことではありません。それは、即時性とプライバシーが必須の作業をデバイス上またはローカルボックスで行う小規模モデルと、正確さが必須の作業を処理する大規模モデルです。{{1}}MiniCPM-V 4.7 35B-A3B{{/1}}は前者の役割向けに構築されており、{{2}}Nemotron 3.5 Super VL{{/2}}は後者の役割向けに、100万トークンのウィンドウと12Bのアクティブパラメータを備えて構築され、長い文書やエージェント型ループを扱います。

両方を実行するということは、モデルスタックが2つ、障害モードが2セット、そして——それらを取り巻くオーケストレーション用のテキストモデルを追加すれば——3つになるということです。そこでOrcaRouterが役立ちますが、その実態を誇張はしません。どちらのチェックポイントも当社のカタログにはありません。いずれもご自身でホストするオープンウェイトだからです。ただし、それらを取り巻くテキストモデルとコードモデルはカタログに含まれています。200以上の人気ホスト型モデルに対応する1つのキー、プロバイダの定価を0%のマークアップでそのまま適用、上流の劣化時には自動フェイルオーバー。ビジョンスタックはお客様のハードウェア上に置いたまま、パイプラインの残りの部分では、ステージを追加するたびに新たな契約を結ぶ必要がなくなります。

それぞれについて間違えると、あなたにどれだけの代償がかかるか

小型マシンを買って、長文書の推論が必要だったと気づけば、数千ドルと1週間を費やしたことになる。H100を4台買って、ワークロードがレシート処理だったと気づけば、決して使わない能力のためにさらに多大なコストを払ったことになる。この非対称性こそが、安価な階層から始めて段階的に引き上げるべき本当の理由であり、ベンチマークの説明がより薄いにもかかわらず、オンデバイス版のリリースが注目に値する理由でもある。

両方の選択肢が使える場合の決め手は、ピクセルがどこに存在するかです。建物の外に出せないフレームは、その建物内で動作するモデルに回します。100万トークンのコンテキストと推論ループを必要とするフレームは、そのために作られたモデルに回し、固定されたランタイムバージョンを入場料として受け入れます。