
NVIDIA Nemotron 3.5 Super VL Base BF16:NVIDIAが一覧に載せながら、決してリンクしなかった249 GBのチェックポイント
- GoogleNEWGoogle: Gemini 4 Carbon2026-11-10$2.00 / $10.00 100万トークンあたり · 247 tok/s
- AnthropicNEWAnthropic: Claude Fable 5.22026-11-09$8.00 / $40.00 100万トークンあたり · 104 tok/s
- orcaNEWOrca: OrcaC2 1.02026-11-0722 tok/s
- OrcaNEWOrcaCyber: GLM 5.3 Abliterated / Uncensored2026-11-04$3.00 / $5.00 100万トークンあたり · 138 tok/s
- OrcaNEWOrcaCyber: Hy4 Abliterated / Uncensored2026-11-04$0.80 / $1.60 100万トークンあたり · 413 tok/s
- OrcaNEWOrcaCyber: Kimi K3.1 Pro Abliterated / Uncensored2026-11-04$4.00 / $20.00 100万トークンあたり · 43 tok/s
- OrcaOrcaCyber: MiniMax M3.1 Flash Abliterated / Uncensored2026-10-29$0.80 / $1.60 100万トークンあたり · 130 tok/s
- OrcaOrcaCyber: GLM 5.3 Flash Abliterated / Uncensored2026-10-27$0.80 / $1.60 100万トークンあたり · 57 tok/s
- OrcaOrcaCyber: Qwen3.8 Flash Next Abliterated / Uncensored2026-10-26$0.80 / $1.60 100万トークンあたり · 98 tok/s
- OrcaOrcaCyber: MiMo V2.6 Flash Abliterated / Uncensored2026-10-26$0.80 / $1.60 100万トークンあたり · 40 tok/s
- MoonshotMoonshotAI: Kimi K3.1 Pro2026-10-2447知能
- OrcaOrcaCyber: DeepSeek V4.1 Flash Abliterated / Uncensored2026-10-23$0.80 / $1.60 100万トークンあたり · 165 tok/s
- minimaxMiniMax: M3.1 Flash2026-10-1929知能
- OrcaOrca: OrcaCyber Ultra 1.02026-10-17$5.00 / $10.00 100万トークンあたり · 106 tok/s
- deepseekDeepSeek: DeepSeek V4.1 Flash 10172026-10-1733知能
- DeepSeekDeepSeek: DeepSeek V4.1 Flash2026-10-1740知能
- OrcaOrca: OrcaCyber Zero 1.52026-10-10$3.00 / $7.50 100万トークンあたり · 69 tok/s
- openaiOpenAI: GPT-6.1 Sol2026-09-2955知能
- anthropicAnthropic: Claude Sonnet 5.52026-09-2855知能
- typesafeTypeSafe: Jev 1.132026-09-24$0.04 / $0.00 100万トークンあたり · 414 tok/s
nvidia/NVIDIA-Nemotron-3.5-Super-VL-120B-A12B-Base-BF16は、次のリリースにおける成果物です:NVIDIA Nemotron 3.5 Super VLリリース。NVIDIAが決してリンクしなかった。NVIDIAの10月15日の発表記事には、一文で「このリリースには、ベース、ポストトレーニング済み、およびNVFP4量子化チェックポイントが、トレーニングレシピ、データ、強化学習環境とともに含まれる」と書かれています。そのページのすべてのリポジトリリンクは次のものを指しています:nvidia/NVIDIA-Nemotron-3.5-Super-VL-120B-A12B-NVFP4。文字列「Base-BF16」はその記事には一切登場しません。
このリポジトリは実在し、公開されています。Hugging Face は、その最初のコミットを 2026-10-12T15:31:49Z、重みシャードのアップロードを 2026-10-13T04:55Z と記録しており、モデルカード自体の release-date フィールドには「Hugging Face - 10/15/2026」と記載されています。ゲートはかかっておらず、ダウンロードにトークンも不要で、その重量は、ポストトレーニング済みの nvidia/NVIDIA-Nemotron-3.5-Super-VL-120B-A12B-BF16 ビルドの重量とまったく同じです。248.9 GB(63 個の BF16 シャード)で、ポストトレーニング済みビルドの 248.9 GB(64 個)に対して、2 つのインデックスファイルは 16 バイト差です。重みが公開されてから 3 日後、これは 4 回ダウンロードされており、それに対してポストトレーニング済みのフル精度リポジトリは 142 回、NVFP4 の兄弟リポジトリは 81 回でした。これらは Hugging Face 自身のカウンターで、10 月 16 日に読み取ったものです。
つまり、これはリークでも噂でもない。「重み」について誤るのは筋違いだ——それ以外は大々的に騒がれているリリースの中で、重みは最もほとんど公表されていない成果物にすぎない。そして、その背後にあるモデルカードは、249 GB のポストトレーニング前チェックポイントをダウンロードするような人なら見過ごせない形で自己矛盾している。その矛盾を以下に示す。
何が着陸したのか、そしてそれに言及している文
3つの主要リポジトリと1つのドラフターが同じ期間に公開され、すべてNVIDIAのファーストパーティ製で、すべてOpenMDW-1.1ライセンスの下にあり、いずれもゲートされていない:
• Base BF16 — nvidia/NVIDIA-Nemotron-3.5-Super-VL-120B-A12B-Base-BF16、リポジトリ作成日時 2026-10-12T15:31:49Z、重み 2026-10-13T04:55Z、README最終更新 2026-10-15T15:22:08Z。
• ポストトレーニング済みBF16 — nvidia/NVIDIA-Nemotron-3.5-Super-VL-120B-A12B-BF16、2026-10-12T15:32:06Zに作成、ベースリポジトリの17秒後。
• ポストトレーニング済みNVFP4 — nvidia/NVIDIA-Nemotron-3.5-Super-VL-120B-A12B-NVFP4、2026-10-12T15:32:30Zに作成、合計248.9 GBではなく75.1 GB。
• NVFP4ドラフター — nvidia/NVIDIA-Nemotron-3.5-Super-VL-120B-A12B-NVFP4-LiLiCorr、さらに1日前に作成された、2026-10-11T20:20:59Z。
これらのリポジトリと NVIDIA の説明文の対応関係は一様ではなく、思い込むのではなく確認する価値がある。発表内のデプロイ用アンカーはすべて NVFP4 ビルドを指している。ベースのモデルカード自体の冒頭の注記は、他の 2 つへ外向きに示している——「ポストトレーニング済みモデルをお探しですか?カスタマイズには BF16 リリースを、最適化されたデプロイには NVFP4 リリースをご覧ください」——つまりベースリポジトリは、その最初の行で、代わりにどこへ行くべきかを教えてくれる。逆は成り立たない。ポストトレーニング済みの BF16 カードには、ベースリポジトリへのリンクがどこにも含まれておらず、NVFP4 カードにも含まれていない。ベースチェックポイントは、このリリースの中で、NVIDIA 自身のドキュメントが決して案内しない唯一の成果物である。それを見つけるには、発表の 9 語の節を読み、次に組織のファイル一覧を閲覧する——ここではそうやって見つかった。NVIDIA の文言には、なぜベースチェックポイントが、実際にポストトレーニングされたモデルと同じ 249 GB で公開されているのか、また、ポストトレーニング済みのモデルにはできないことで、それを使って何をするべきなのかを説明するものは何もない。
その不在こそが物語だ。ベンダーが3つのチェックポイントのうち2つにリンクを張り、3つ目については9語で説明しているオープンウェイトのリリースは、何も隠してはいない——重みはすぐそこにある——が、それでも、あなたが必要とするドキュメントは発表文の中にはない、ということではある。それはリポジトリの中にある。

このリリースにおける「base」の意味
この2つのモデルカードがその答えを示しており、両者の違いを見れば、ポストトレーニングがここで何をもたらしたのかが明快に読み取れる。
ベースカードには3つのトレーニング段階が記載されています。ステージ1では、Nemotron 3 Super Base を土台に言語バックボーンを構築し、凍結したバックボーンに対して共有 MTP ヘッドを 100B トークン分トレーニングした後、Nemotron 3 Ultra Base から 1T トークン分を蒸留します。ステージ2は、100Bトークンのインド系言語による継続事前学習、1Mコンテキストへの35Bトークン拡張、256Kコンテキストでの67Bトークンのソフトウェアエンジニアリング中間トレーニング、および9Bトークンの長コンテキスト回復ステージです。ステージ3では、C-RADIO ビジョンエンコーダと視覚言語コネクタを追加します。
ポストトレーニング済みカードには6つが記載されており、ベースカードに欠けている3つこそ、モデルを実用的にする3つである。ステージ4:視覚、推論、コード、ツール、チャット、安全性、長コンテキストのデータに対する教師ありファインチューニングで、最大524,288トークンのパック済みシーケンスを使用する。ステージ5:検証可能な報酬による強化学習に加えて、RLHFおよびマルチティーチャー・オンポリシー蒸留。ステージ6:凍結されたポストトレーニング済みバックボーンに対してMTPヘッドを強化し、投機的デコーディングが実際に効果を発揮するようにする。
ベースカード自体が、推論セクションでこう述べています。「ベースモデルは、さらなるトレーニングの出発点として意図されています。チャット、推論、ツール呼び出しの各アプリケーションには、ポストトレーニング済みのBF16またはNVFP4リリースとそのデプロイ手順を使用してください。」記載されている用途は「継続事前トレーニング、教師ありファインチューニング、強化学習、蒸留を通じてカスタム視覚言語モデルを構築する開発者および研究者」です。
それは異例なほど率直な免責事項であり、この成果物に対する正しい解釈だ。ここで「base」として出荷されるものは、より弱いチャットモデルではない。それは Stage 4 から Stage 6 を実行する対象となった基盤であり、他の誰かが別の Stage 4 から 6 を——自分たちのデータで、自分たちのライセンス条件の下で、20兆トークンの事前学習を再実行することなく——実行できるように、それらと並べて公開されている。
コンフィグが裏付けていない100万トークンの主張
これこそ、あなたの249 GBの注意を注ぐに値する不一致です。
ベースモデルカードは、その説明において、モデルが「最大1Mトークンのコンテキスト長をサポートする」と記載しており、モデル設計のセクションでも「モデルは最大1Mトークンのコンテキストをサポートする」と繰り返している。トレーニング手法はその意図を裏付けている — ステージ2には「1Mコンテキストへの35Bトークン拡張、それに続く9Bトークンの長コンテキスト回復ステージ」が明示的に含まれている。
出荷された config.json には、別のことが書かれている。その max_position_embeddings は 262,144、つまり256Kであり、1Mではない。存在しないものは、rope_scaling ブロックと、original_max_position_embeddings フィールドであり、したがってこの位置方式も拡張を宣言しているわけではない。一方、事後学習済みリポジトリのconfigは、次を宣言している:max_position_embeddingsが1,048,576。同じアーキテクチャ文字列、同じレイヤー構成を持つ2つの兄弟チェックポイントなのに、ベースカードの説明文が言及していない位置上限に4倍の差がある。
三つの事実を合わせて読むと、最も擁護できる結論は、ベースモデルが短いコンテキストだということではない。ベースリポジトリが保守的な宣言済み上限を同梱しており、それを変更することを想定しているということだ。1M拡張は学習済みである。公開されている設定はそれを露出していない。継続事前学習の計画が、すぐに使える形での1Mトークン系列長を前提にしているなら、その前提はモデルカードから来ているのであり、ランタイムが実際に読むファイルから来ているのではない — そして修正は、あなたが知って行う必要のある設定編集である。

同じ理由で指摘しておく価値がある。ベースカードの「モデルサマリー」表はそもそも存在しない。ポストトレーニング済みカードにはそれが備わっている — 総パラメータ数、アーキテクチャ、精度、コンテキスト長、デプロイ対象、投機的デコーディング、推論モード、推奨サンプリング、最適な用途、ライセンス。ベースカードは「説明」から「ライセンス」へ直行し、その後ベンチマーク表へ進む。推奨サンプリングの行はどこにもなく、デプロイの行もない。したがって、ベースカードのどこにも、どのハードウェアを必要とするかは書かれていない。
出荷された設定から読み取れるアーキテクチャ
ベンダーによるベースアーキテクチャの説明は段落一つだけで、実際の形はファイルにあるため、ファイルに書かれている内容を以下に示します。それはすべて、直接拠っているのはconfig.jsonで、ベースリポジトリ内のものであり、要約からではありません。
• 深さと構成 — 言語バックボーンにおける88ブロック。40がMamba-2層、40がMixture-of-Experts層、8がフルアテンション層で、インデックス7、16、25、36、47、58、69、78に配置されている。およそ9層ごとに1つのアテンションブロックがあるだけで、長コンテキスト機構のすべてを担っている。
• MoE — MoE層あたり512のルーティングエキスパート、トークンあたり22が選択、1つの共有エキスパート、潜在サイズ1024、そして共有エキスパートの中間サイズは5376で、ルーティングエキスパートの2688に対して。これが「120B total, 12B active」という見出しの背後にある算術です。
• アテンション — ヘッド次元128で、32個のクエリヘッドに対して2個のキー・バリューヘッド、つまり16:1の比率のグループ化クエリ・アテンション。隠れサイズ4096。
• MTP — 次トークン予測層を1つ、それ自体がアテンションブロックとMoEブロックで構成され、DeepSeekのマルチトークン予測ヘッドの方式に倣ったもの。予測ステップは1回であり、複数回ではない。
• Vision — C-RADIO ViT-H タワー:32 層、隠れサイズ 1280、16 ヘッド、パッチサイズ 16、7 個のレジスタトークン、3 個のクラストークン、最大画像サイズ 2048、パッチバジェットは 1024 から 13312 の範囲。コネクタは 20,480 に射影し、その後、ダウンサンプル比 0.5 と強制画像サイズ 512 がトークン数を削減する。
• 動画 — 時間パッチサイズ2、および宣言されたプルーニング率0.7。
• 奇妙な点が2つある — 設定ファイルは <audio> コンテキストトークンを宣言しているのに、その sound_config は null であり、つまり音声まわりの配管はこのアーキテクチャに存在するのに、このチェックポイントはそれを一切持ち合わせていない。そして tie_word_embeddings は false で、これはこの規模のモデルでは標準的であり、語彙をリサイズする予定なら知っておく価値がある。
規模感を示すと、リポジトリ自身の safetensors メタデータは合計 124,453,395,974 パラメータで、テンソルを1バイトずつ数えたものであり、NVIDIA の 120B-total / 12B-active という見出し数値と対比される。この2つの数値は異なる基準で報告されている——ベンダー側の数値は言語モデルの routed-plus-shared の算定であり、ファイル側の数値は vision tower と MTP head を含め、リポジトリに保存されているすべてである。この差を不一致として扱ってはならない。予算はファイル側の数値で組むこと。
ベンチマーク表が実際に測定しているもの
ベースカードは24行のベンチマークを公開しており、NVIDIAを評価すべき点として、それぞれが何を表しているかを示す列もある:
• MMLU 84.14 完全一致 · MMLU-Pro 76.25 · AGIEval-En 75.65 CoT · SuperGPQA 47.65 CoT · GPQA Diamond 66.16(5ショット CoT 完全一致)
• GSM8K 91.74(8-shot CoT) · Minerva MATH 87.66 · MATH-500 81.56(サンプリング pass@1 n=32) · HumanEval 81.31(EvalPlus sanitized) · MBPP-Sanitized 79.06 · LiveCodeBench CodeGen 47.61 · BigCodeBench 48.42 complete、49.39 instruct
• ARC-Challenge 95.99・HellaSwag 88.96・TruthfulQA MC2 71.18・WinoGrande 79.08・PIQA 85.09・CommonsenseQA 85.26・OpenBookQA 48.80・SocialIQA 49.03・RACE 91.39
• Global MMLU は8言語平均で86.56 · MGSM は6言語で8ショットのネイティブCoTにより87.53
その表について見落としやすい点が2つあり、どちらも重要です。
まず、カード自体の位置づけを示す文には、結果は「ビジョン言語トレーニング前の、テキスト専用ベースバックボーンである Nemotron 3.5 Super を評価するもの」と書かれています。それが他に何を意味するにせよ、これらの数値がマルチモーダルのスコアカードではないということです — ベースカードのどこにも OCR ベンチマークも、文書理解の行も、動画の行もありません。しかも、動画と文書の入力については 2 つ前のセクションで説明されています。ベースチェックポイントを求める理由がそのビジョンタワーにあるのなら、カードには計画を立てる際に参照できる実証的データが何も示されていません。
次に、その表にはベースライン列がありません。ポストトレーニング済みカードの表は7列にわたり、Nemotron 3.5 Super GAを、Qwen3.5-122B-A10B、Qwen3.8-Flash-Next、DeepSeek-V4-Flash0731、Nemotron 3 Ultra、Inkling-Small、GLM-5.3-Flashと比較しています。ベースカードにはちょうど1列しかありません。そして、何が実行されたかの組み合わせは示唆的です。ポストトレーニング済みカードはMMLUを完全に落としてMMLU-ProXを採用しているのに対し、ベースカードはMMLUとMMLU-Proの両方を実行しており、ポストトレーニング済みカードが依拠するMMLU-ProXやエージェント系およびハーネスレベルのスイートはどちらも実行していません。カードから「このベースはあのベースより優れているのか」を答えることはできません。両方を実行する必要があるでしょう。
上の数値はすべてNVIDIAのもので、NVIDIA自身のNeMo Gymハーネスを通じて生成された——ポストトレーニング版のカードにはそう明記されており、ベースカードにはハーネスに関する注記が一切公開されていない。どちらの表についても、独立に再現されたものは何もない。
ベースモデル対事後学習済みモデル、両者が共有する唯一のベンチマークにおいて
この2枚のカードはベンチマーク表を共有していませんが、横に並べて比較できる行がちょうど1つだけ共通してあり、それこそが最も重要な行です。
• GPQA Diamond — ベースカードでは66.16、5ショットの思考連鎖による完全一致。事後学習カードでは89.52。NVIDIA自身の2つの文書に基づく23.36ポイントの差であり、ベースの数値はテキストのみのバックボーンと明示的にラベル付けされている。

ステージ4から6が大学院レベルの科学推論でどれほどの価値を持つかについて、これが正直な見出しだ。ポストトレーニングはこのモデルに対する仕上げの磨き上げではなく、能力をほぼもう半分上乗せするものだ。これはトレードオフの方向も教えてくれる。ベースチェックポイントを自分でポストトレーニングする計画なら、あなたはNVIDIAが販売しているモデルに23ポイント遅れているところから始め、自分のデータと報酬シグナルが自分の領域でその差を埋めると賭けていることになる——これはまさに、NVIDIA自身の顧客数値が示している賭けだ。Scale AIはベンダークレジット処理について推論コストが40分の1になることを報告し、RampはレシートからJSONへの抽出について最大50%のスループット向上とレイテンシが10分の1になることを見込んでいる。これらはベンダーと顧客が述べた結果であり、独立した測定はない。そして、その差を埋めることが達成可能であることを示す唯一の公表された証拠だ。
2枚のカードを併せて読むときの罠に注意。ベースカードの「MMLU-Pro」は76.25、事後学習済みカードの「MMLU-ProX」は76.91で、0.66ポイント差に見えるが、比較可能ではない——ベンチマークが異なり、一方には明記されたTigerLab抽出法がある。ベースカードの「MMLU」は84.14だが、事後学習済みカードには対応するものがまったくない。同一ベンチマークでの差分が欲しいなら、得られるのはGPQA Diamondであり、得られないのはLiveCodeBenchだ。ベースカードはCodeGenを47.61と報告しているのに対し、事後学習済みカードはLiveCodeBench v6を88.22と報告しているが、これは同じベンチマークファミリーの異なるバージョンであり、差分ではない。
249 GBで何が得られ、何が得られないか
ダウンロード自体はコマンド1つで、ベースモデルカード全体を通じて唯一のコマンドです:
• hf download nvidia/NVIDIA-Nemotron-3.5-Super-VL-120B-A12B-Base-BF16 --local-dir ./models/super-vl-base-bf16
以上がクイックスタートのすべてです。ベースカードにはコードブロックが1つ含まれていますが、ポストトレーニング済みカードには22個含まれています。以下はありません: vllm serve の行、SGLang の起動、テンソル並列のガイダンス、--max-num-seqs、推論パーサーフラグ、投機的デコーディング用の MTP 設定、API クライアントの例。ポストトレーニング済みカードにはそのすべてが含まれており、4×H100 レシピで使用する --enable-mamba-shared-prefix-checkpoint、および TP2 での 2×GB200 レシピも含まれます。
• ランタイムエンジン — ベースカードは PyTorch、Megatron-LM、NeMo を挙げていますが、その Inference セクションでは PyTorch のみを挙げています。ポストトレーニング済みのカードは vLLM と SGLang を挙げています。これらは一方がトレーニングフレームワーク名、他方がサービングランタイム名であり、この分け方は偶発的ではなく意図的なものです。
• テストハードウェア — Hopper H100およびH200、Grace Blackwell GB200およびGB300、Blackwell B200およびB300。ポストトレーニング済みのカードは、デプロイ用には4×H100または2×GB200に絞られる。
• ディスク — 63シャードで248.9 GB、ポストトレーニング済みのフル精度ビルドと同じです。NVFP4版は75.1 GBです。ベースを実行するためではなく、調査や適応のためにダウンロードするのであれば、サービングレシピが得られないという「特典」のために、NVFP4ダウンロードの3.3倍を支払うことになります。
実際に使えるものとして得られるのは次のとおりです。リポジトリには完全なchat_template.jinjaが12,513バイトで同梱されており、そこにはenable_thinkingスイッチが含まれています。medium-effort バリアントも含まれます。またgeneration_config.jsonも同梱されており、temperature 1.0、top_p 0.95、do_sample true です。そのテンプレートを事後学習済みのものと diff すると 414 バイトの差異があり、そのすべては画像と動画のプレースホルダー周辺の空白処理です。それ以外では、2つのテンプレートは同じファイルです。
ベースチェックポイントをチャットモデルとして扱って対話するための仕組みは存在しており、出荷済みのチャットモデルとほぼ同一だ。欠けているのは、そうすべきだという記述だ。ベースカードには推奨サンプリング行も、推論モード行も、チャット構成におけるそのベンチマークもない。約10分でそれをチャットモデルとして提供できる。その出力がテストハーネスの外に出るに値するかは別問題であり、カードの答えは「値しない」だ。
誰も語っていないコーパス開示
これは、ベースリリースのうち、重みよりもおそらく有用でありながら、一度もリンクされたことのないリポジトリの表の中に存在するため、ほとんど注目されてこなかった部分です。
ベースカードは、ポストトレーニング済みカードには記載されていない訓練コーパスを詳細に公開している。2013年から2025年12月までの間に収集された20兆トークン超の基盤コーパスで、ソース別に内訳が示されている——Nemotron-CC-v2とv2.1が9.1T、Nemotron-CC-Code-v1が427.9B、Nemotron-Pretraining-Codeセットが合計1.7T、Nemotron-CC-Math-v1が133.3B、専門特化型およびSFTの合成セットが660B、法律セットが4.3B。英語、その他19の話し言葉、43のプログラミング言語。
次に、ほとんどのオープンウェイト公開では単に公表されない2つの表を示す。一方は第三者が所有する、非公開で一般にはアクセスできないデータセットを列挙し、そのラベルを生成したモデルを挙げている — OCRおよび視覚的質問応答の再ラベリング作業の広範なセットにわたるQwen3.5-122B-A10B、フィルタリングされた中国語OCRサブセットにおけるDeepSeek-OCR、検証済み正解サブセットにおけるQwen3.5、検索向けRLデータにおけるGemini 3とGPT-5。もう一方はNVIDIA自身の非公開データセットを列挙し、再び生成モデルを挙げている。数学の連鎖的思考SFTデータ向けKimi K3、競技プログラミングOCR向けDeepSeek-V4-Pro、構造化出力RL向けgpt-oss-120b、改良向けGLM-5.2、検索グラフ探索向けMiniMax-M2、そしてその他多数のロングテール。
さらに、大半のオープンウェイト公開ではまず公表されることのない2つの表を示している。一方の表には第三者機関が所有する非公開かつ一般にアクセスできないデータセットが列挙され、それらのラベルを生成したモデル名も記されている——幅広いOCRおよび視覚的質問応答の再ラベリング作業にわたるQwen3.5-122B-A10B、フィルタリングされた中国語OCRサブセットにおけるDeepSeek-OCR、検証済みの正解サブセットにおけるQwen3.5、検索向けRLデータにおけるGemini 3とGPT-5。もう一方の表にはNVIDIA自身の非公開データセットが列挙され、こちらも生成モデル名が記されている。数学の連鎖的思考SFTデータ向けのKimi K3、競技プログラミングOCR向けのDeepSeek-V4-Pro、構造化出力RL向けのgpt-oss-120b、精緻化向けのGLM-5.2、検索グラフ探索向けのMiniMax-M2、そしてその他多数のロングテール。これら対をなす表は、業界が実際にどう機能しているかを思い起こさせる——最先端モデルの学習シグナルには競合他社のモデルの出力が日常的に含まれており、どれを何のために使ったかを明言するラボは、NVIDIAを含めごくわずかである。
このリポジトリにはまた、Nemotron_3.5_Super_VL_EU_Training_Content_Summary.pdfも同梱されています。これは10月15日に追加された、EU向けの訓練コンテンツ開示資料です。中間訓練の混合内容も同じ粒度で開示されており、そのうちの1行は、ソフトウェア作業向けにファインチューニングするつもりなら直接関係してきます。670億トークンのソフトウェアエンジニアリング段階は、20%がリポジトリ全体、41%がissueとプルリクエストのペア、3%がコミット差分、1%がビルドおよびCIログ、10%がエージェントトレース、20%が事前訓練リプレイ、5%が長文脈データで構成されており、そのソースはSWE-benchおよびTerminal-Benchのリポジトリに対してデコンタミネーションされています。このデコンタミネーションに関する記述こそ、カードの中で、どちらのベンチマークのスコアがどれだけの価値を持つのかを教えてくれる唯一の行です。
ライセンスと、ベースチェックポイントが誰向けのものか
OpenMDW-1.1は、ポストトレーニング済みビルドと同じライセンスで、モデルカードには「このモデルは商用または非商用利用が可能です」と明記されています。リポジトリはゲートされておらず、ダウンロードにHugging Faceトークンは必要ありませんが、同ファミリー内の他所にあるNVIDIA自身のコンテナレシピは、トークンがあることを前提としています。
ライセンスをユースケースと並べて示せば、想定される利用者層は明白になる。推論コストを節約するために 249 GB のポストトレーニング前チェックポイントをダウンロードする人はいない——NVFP4 ビルドは 3.3 分の 1 のサイズで高速、GPQA Diamond では 23 ポイント優れている。ベースチェックポイントは、ポストトレーニング段階を自ら担うつもりのチーム向けだ。NVIDIA が実行したものとは異なるドメイン、異なる報酬シグナル、または異なるデータポリシーを扱うチームに。商用利用が認められ、重みがゲートされていない OpenMDW-1.1 の下では、それは製品を作るための正当な基盤であり、まさにそれゆえ、欠けているドキュメントには代償が伴う。
そして、ここでは読者を2種類に分けて考える価値がある。もしあなたの問いが「今週、文書解析や動画理解には何を呼び出せばよいか」というものなら、ベースチェックポイントはあなたの答えではないし、これまでもそうではなかった。答えは事後学習済みモデルのほうであり、そこでの未解決の問いは利用可否ではなくベンチマーク検証だ。もしあなたの問いが「自分自身のトレーニング実行の出発点として、寛容なライセンスの120Bクラスのハイブリッド Mamba-MoE 視覚言語バックボーンを入手できるか」というものなら、このリポジトリが答えであり、それは10月12日以降ずっとリンクされないままになっている。
もしあなたがそれを評価しようとするなら
このようなチェックポイントで高くつく間違いは、ダウンロードをテストと見なしてしまうことだ。そうではない。249 GB、63 シャード、そして最初のフォワードパス前の設定編集では、ビジョンタワーがあなたのドキュメントクラスに転移するかどうかは何も分からない。
安上がりなテストは、まずサービング済みモデル上で能力の問いを明らかにし、それから初めてディスクを費やすことだ。ルーティングゲートウェイはそのために役立つのであって、この判断においてそれ以外の何のためでもない — プロバイダーの定価で、0%のマークアップでそのまま提供される、数百のモデルにまたがる1つのキーと1つのエンドポイントを意味する。つまり、ポストトレーニング済みのNemotron 3.5 Super VLビルドを、すでに使っているどんな視覚モデルとでも、自分の画像で、午後のうちに、トークン代だけで突き合わせられる。プロバイダー間の自動フェイルオーバーがここで重要になるのは、狭い理由からだ。5,000件中4,000件目のリクエストで落ちる評価実行は、実行全体を無駄にし、プロバイダーエラー時に別の場所で再試行するゲートウェイは、午後1回分と午後2回分の違いを生む。
曖昧になりかねない一点について率直に言うと、NVIDIA Nemotron 3.5 Super VL は当社のカタログにはありません。当社は現在このモデルを提供しておらず、特にベースチェックポイントは、ベースチェックポイントが推論製品ではないため、ホスト型エンドポイントがそもそも扱う可能性は低いものです。ゲートウェイが与えてくれるのは、実験の中でも安価な半分 — 249 GB を支払う価値があるかどうかを教えてくれる比較です。
何がまだ確立されていないのか
リスクではなくギャップとして述べられた四つのこと。
• どちらのコンテキスト上限が本当なのか。 カードには1Mと記され、出荷された設定は262,144を宣言しており、学習の説明では1M拡張が実行されたと述べられている。この三つを決着させる公表された記述は存在しない。長コンテキストの継続事前学習を計画している者は誰でも、設定値をデフォルトとして扱い、カードではなく自身のランタイムに対して検証すべきである。
• ビジョンタワーに何ができるか。 ベースカードは、いかなる種類のマルチモーダル評価も公開していない。OCRも、文書も、グラフも、動画の行もない——それらのモダリティでファインチューニングされること自体を存在意義とする、ファミリー唯一のチェックポイントに対して。これが、公開されたエビデンスにおける最大の穴である。
• ベースが他の何かとどう比較されるか。 単一列のベンチマーク表で、ベースラインも、ハーネスに関する注記もない。66.16 という GPQA Diamond の数値は、原理的には NeMo Gym を通じて再現可能だが、NVIDIA の外部で再現した者は誰もいない。
• ベースが1Mのデプロイレシピをどこかで提供しているかどうか。ポストトレーニング済みのカードには、フルウィンドウ用の4×H100および2×GB200の起動コマンドが記載されています。ベースのカードには1つだけhf downloadが記載されています。それがドキュメントの記載漏れなのか、NVIDIAが1Mでベースをサービングすることをサポートする意図がないという表明なのかは明確ではありません。
そのどれも、このリリースの面白さを損なうものではない。それはベースチェックポイントを、このファミリーで最もドキュメントが整っていない成果物にすると同時に、狭く特定の種類のチームにとっては最も有用な成果物にする。違いは、次のステップがAPI呼び出しなのか、それともトレーニング実行なのかという点にある。
失敗モードがまだ文書化されていないモデルにとって、有用な対応物は、すでに他の場所で何がうまくいかなかったかの記録です。このクラスのモデルに関する文書化されたAIインシデントとエージェントの失敗は、以下に収集されています:OrcaRouter AI Incident Archive。各エントリには、独自の出典、深刻度、信頼度グレード、係争フラグが付いています。
