Nemotron 3.5 Super vs DeepSeek V4 Pro：NVIDIAが公表しなかったベンチマーク表

のモデルカードを開いてくださいNVIDIA Nemotron 3.5 Super VL— ベンダーがNVIDIA Nemotron 3.5 Superとしても掲載している1200億パラメータのオープンチェックポイントであり、Ollamaがnemotron-3.5-superとして配布しているものでもあります。そして評価テーブルまでスクロールしてください。約40のベンチマークと7つのベースライン列があります。そのうちの1列はDeepSeekで、ラベルはDeepSeek-V4-Flash0731です。DeepSeek自身の低価格ティアです。DeepSeek V4 Proは、0813改訂で4月のプレビューに取って代わった1.6兆パラメータのフラッグシップですが、このテーブルのどこにも現れません。

その不在は、この比較において最も有用な事実であり、見落としではない。V4 Proは1トークンあたり490億個のパラメータを有効化する。これをアクティブ120億のモデルと同じ表に並べれば、誰も感心させず、誰にも情報を与えない数値の並びが生まれるだけだ。両者は同じ製品ではないからである。ベンダーが代わりにやったのは、この取り組みの誠実な形だ。つまり、実際に置き換えようとしている階層とベンチマークで比べることである。

このページが行うことは二つある。NVIDIAが公表した比較——Nemotron 3.5 Super 対 DeepSeek のフラッシュティア——を読み解き、そして両モデルが実際に競合する箇所では、フラッグシップについて何を結論づけられ、何を結論づけられないのかを明示している。

二つの遺物、並べて

• 総パラメータ数とアクティブパラメータ数 — Nemotron 3.5 Super VLは総パラメータ120B、トークンあたりアクティブ12B、MoE層あたり512のルーティングエキスパート、Mamba-2とTransformerのハイブリッド · DeepSeek V4 Proは総パラメータ1.6T、アクティブ49B、テキストのみ。

• コンテキストと出力上限 — Super VL は 1,048,576 トークンのコンテキストで、公開されている出力上限なし · V4 Pro は 1,048,576 トークンのコンテキストで、最大出力は 384,000 トークン。

• モダリティ — テキスト・画像・動画を入力してテキストを出力。C-RADIOビジョンエンコーダーと視覚言語コネクターを介する · テキスト入力、テキスト出力。画像経路はまったくない。

• 重みとライセンス — NVIDIAのチェックポイントにはOpenMDW-1.1が適用され、商用利用が可能 · DeepSeekも独自の重みを公開しており、同様に商用利用を許可している。

• 従量制エンドポイントでの価格 — 公開なし。このモデルはセルフホスト専用 · 入力トークン100万あたり0.66ドル、出力100万あたり1.98ドル、キャッシュ読み取りは0.022ドル。

• リリースの展開範囲 — 重みは2026年10月12日にHugging Faceで公開、ベンダーによる発表は2026年10月15日 · V4 Proがフラッグシップとして稼働し、ピン留めが必要な呼び出し元向けに日付入りの0813リビジョンも利用可能です。

そのうち2つの行が、実際の導入のほとんどを左右する。1つ目はモダリティだ。入力がスクリーンショット、スキャンした契約書、チャート、動画のフレームなら、この比較は始まる前に半分終わっている。DeepSeek V4 Proには画像を扱う経路がなく、それを用意する計画も発表されていないからだ。2つ目は価格の行で、見た目以上に興味深い。NVIDIAはこのモデルについて料金を一切公表していない。つまり、コストを知る唯一の方法は、自分のトークン量とハードウェア費用を知ることだ。

NVIDIAが実際に公開した表を読む

フラッシュティアの比較は、パラメータ数が示唆するよりも接近しており、NVIDIAにとって一様に不名誉なものでもない。両者が最も接近している行では、知識では真の互角であり、エージェント実行では実際の劣位がある。

• 大学院レベルの科学分野では統計的に互角 — GPQA-DiamondはSuper VLが89.52、DeepSeek-V4-Flashが89.6。この行ではわずか0.04ポイントが120Bモデルと1e12クラスのベースラインを分かつ差であり、いずれもベンダーによる実行です。

• 最も難易度の高い推論における不足 — Humanity's Last Exam のテキストのみでは 31.79 対 35.8、MMLU-ProX では 76.91 対 85.5。

• 競技コーディングにおける不足 — LiveCodeBench v6 は 88.22 対 94.6。

• エージェント型ソフトウェア作業における不足 — SWE-bench Verified は 71.10 対 75.4、Terminal-Bench 2.1 は 66.70 対 76.80、DeepSWE は 24.65 対 42.3。

• 長文コンテキスト検索における著しい不足 — AA-LCR v1.1では68.62対79.7。両モデルとも100万トークンをうたっているが、唯一の独立形式のリコール行では、フラッシュティアが11ポイント以上先行している。宣伝されているコンテキストを単に利用可能にしておくだけでなく、実際に使おうと計画している人にとって、これは表の中でも最も重大な数字だ。

• NVIDIAが勝利する行 — GraphWalksは89.71対65.4、LMArena v3プロキシは52.67対49.8、tau2-bench retailは69.24対73.8で、これほどノイズの多いベンチマークではノイズと言えるほど差が小さい。より示唆に富む勝利はAA-Omniscienceだ。NVIDIAのハルシネーション率は30.0でDeepSeekの95.9に対し、指数はプラス4.03でマイナス7.8に対している。回答を控えるモデルは、断言するモデルよりも価値があり、この行においてその差はわずかではない。

• Agentic tools — tau2-bench の airline は 76.50 対 83.5、telecom は 73.19 対 98.2 で、いずれも敗北。telecom ドメインでは flash ティアがほぼ全勝している。

これらはすべて、公開されたレシピを用いて、NVIDIA自身のNeMo Gymハーネスを通じてベンダーが報告したものです。これは単なる主張より高い基準であり、独立した再実行より低い基準です。そしてこの特定の表では、ほとんどの行の方向が発表対象のモデルにとって不利であり、少なくともそのハーネスがモデルを持ち上げるよう調整されていなかったことの兆候ではあります。

V4 Pro について結論できないことは何か、そしてそれでもなぜ重要なのか

以上のいずれも、注目の一戦を予測したものとして読むことはできない。理由は三つあり、それらは曖昧に済ませるのではなく明言する価値がある。

まず、ベースラインはフラッグシップではない。DeepSeekが自社で公表したV4 Proの0813改訂版に関するエージェント指標は、まったく別の尺度にある。Terminal Bench 2.1で87.9、Cybergymで83.3、Toolathlon Verifiedで74.1、DeepSWEで62.7、NL2Repoで61.5、そしてHumanity's Last Examではツールなしで42.7、ツールありで60.0に上昇する。NVIDIAのTerminal-Bench 2.1で66.70、HLEテキストのみで31.79と比べると、フラッグシップの差はフラッシュティアの差よりはるかに大きく、しかもそれはもう一方のモデルのベンダーによってさらに広げられている。そのため、より信頼できるどころか、むしろより先鋭的になっているだけだ。

第二に、フラッシュ階層の列は、それ自体が移ろいゆく階層のある時点でのスナップショットにすぎません。比較はベンダーがどのチェックポイントを実行することを選んだかに左右されるため、どちらのモデルも変わらないまま、今日は問題なく読める行が来月にはひどく読めるようになり得ます。

第三に、NVIDIAのチェックポイントに関する独立した評価像は、タイブレーカーとしてはほとんど役に立たないほど薄い。これらのモデルを採点しているサードパーティのパネルでは、そのインデックス上で20点台半ばに位置づけられており、タスクあたりの出力トークン数が異常に多く、モデルがやや冗長だという注記も付いている。重みが登場してから4日後の、1つのパネルによる1つのデータ点にすぎない。

つまり、このベンチマーク事例について正直にまとめるとこうだ。ベンダーが実行した数値では、12Bアクティブのオープンビジョンモデルは知識においてDeepSeekの安価なティアとほぼ同水準だが、エージェント的実行と長コンテキスト想起では後れを取っている。あの表の中にはフラッグシップに言及したものは何もなく、フラッグシップ自身が公表した数値は、両者をそもそも比較できるすべての軸でより優れている。

比較が自明である唯一の軸

画像。Nemotron が vision に優れているからではない — その vision 経路について独立した評価を公開した者は誰もおらず、出荷済みランタイムのデフォルトはカードの テキスト温度でサンプリングしており、vision 温度ではない。これは最初に試す人にとっての生きた罠だ — ではなく、DeepSeek V4 Pro がそれらを受け付けないからである。

その非対称性には、見落とされがちなコスト上の帰結がある。ビジョン対応のホスト型モデルは、スキャンした文書1ページをトークン数で課金するが、300 dpiの1ページは決して少ないトークン数ではない。セルフホスト型の120Bチェックポイントは、同じ1ページをGPU秒で課金する。月に数千ページのワークロードならその差は誤差にすぎないが、数十万ページともなれば、それは予算議論のすべてを占める。NVIDIA自身のビジョン系の数値——MMLongBench-Docで62.82、MathVisionで78.16、CharXiv推論で80.82、OCRBench v2 Englishで68.12——はベンダー公表値ではあるが、能力が名目上ではなく実際に備わっていることを示している。

比較が逆転するもう一つの軸は、誰もが尋ねるのにほとんど測定されないもの、つまりメモリです。V4 Pro は総パラメータ数1.6兆で、単一のマシンには到底収まりません。Super VL はデフォルトの4ビットタグで82.3 GiB、96 GBカード1枚に収まり、作業用コンテキストの余地も残ります。これは品質の議論ではありません。チームが今夜プルして実行できるモデルと、レンタルするモデルの違いです。

ベンチマークを実行するのではなく、計算を実行する

別の表を読む前にやっておく価値のある計算がこれだ。入力100万トークン、出力10万トークンのワークロードを考えよう。ドキュメントパイプラインにとっては軽い1か月分、チャット製品にとっては重い1日分だ。

DeepSeek V4 Proの公表レートで計算すると、入力が$0.66、出力が$0.198だ。キャッシュ割引で入力側がさらに下がる前の時点で、1ドル未満である。NVIDIAのチェックポイントにはレートが存在しない。エンドポイントが存在しないからだ。コストは、そのボリュームが消費するGPU時間のどの程度の割合分かであり、このボリュームでは答えはゼロに丸められる——しかし、その背後にある固定費はゼロにはならない。最初の1か月のトラフィックが少ないからといって、H100 4台が安くなるわけではない。

それがこの対決の本当の構図であり、品質の問題ではなく量の問題だ。あるスループットを下回れば、どちらのモデルもオープンであっても、従量課金制のオープンウェイトAPIはハードウェアの電気代と償却費より単純に安い。あるスループットを上回れば固定費が逆転し、どちらがTerminal-Benchで高いスコアを取るかに関係なく、セルフホスト型チェックポイントがコスト面で勝つ。分岐点は、どちらのベンダーではなく、あなたの利用率によって決まる。

そうなると、ルーティングの問題はこうなります。クラスタをそもそも運用したくないのであれば、DeepSeek V4 Pro は OrcaRouter で利用できます。プロバイダーの定価をそのまま通しており、トークン単位のマークアップはありません — $0.66 と $1.98、DeepSeek が公表しているのと同じ数字です。当社がそこに上乗せしないからです。ベンダーの価格変更は、次の契約更新時ではなく、当社側では当日に反映されます。Nemotron 3.5 Super は当社のキーにはありません。当社は200強のモデルをルーティングしており、これはその一つではありません。したがって、そのチェックポイントが特に必要な場合は、ベンダー自身のチャネルとローカルでのプルがルートになります。

実際に何をすべきか

入力がテキストで、ワークロードがエージェント的 — 長いツールチェーン、リポジトリ規模の編集、ターミナルセッション — なら、DeepSeek V4 Pro の方が優れたモデルであり、より安価でもあり、NVIDIA のチェックポイントは、ベンダー自身が公開した行において、それに対する真剣な競合相手ではない。まず V4 Pro でワークロードを実行し、作業単位あたりの実際のコストを把握し、それからようやくクラスタが必要かどうかを判断せよ。

入力が画像、動画、あるいは長い文書なら、比較は量に関するただ一つの問いに帰着する。V4 Pro はそうした入力をまったく受け取れないからだ。月あたり数千ページ未満なら、ホスト型のままにしておこう。それを超えるなら、1枚の 96 GB カード上の 4-bit チェックポイントは、信頼に足るインフラだ — ただし、繰り返す価値のある注意点が2つある。ほとんどの人が動かすことになるバージョンには公表された評価がなく、そのランタイム自体のサンプリング既定値は、ベンダーがビジョンモデルとして宣伝しているもののテキスト側半分に合わせて調整されている。

そして、もし4日前のチェックポイントをリクエストパスに置くのであれば、その背後にフォールバックも用意しておくべきだ。運用実績のないモデルに用意できる最も安価な保険は、同じ呼び出しで使える2つ目のモデルである。

None of this is a reason to avoid the model, only a reason to know the history: the documented AI incidents and agent failures behind models in this class are collected in the OrcaRouter AI Incident Archive, where each entry carries its own sources, severity, confidence grade and disputed flag.