Nemotron 3.5 Bolt 24GB vs Nemotron 3.5 Bolt 74B：1つのモデル、2つの成果物

これはモデルとそれ自身との比較です。N​VIDIA N​emotron 3.5 Bolt 74B-A9B 24GBとN​VIDIA N​emotron 3.5 Bolt 74B-A9B BF16は、同じパラメータ数を持つ同じアーキテクチャであり、同じ週に、同じ親から生み出された——そしてN​VIDIA自身のドキュメントは、一方は実行用、もう一方は変更用だと明言している。両者をライバルと見なすのはカテゴリー錯誤であり、互換的に扱うのは高くつく錯誤だ。以下が、バイト数とベンチマークのポイントで測った違いである。

その2つの成果物は実際には何なのか

これらの名前は2つの設計ではなく、パイプラインを表している。NVIDIAはNemotron 3.5 Super VL 120B-A12Bを取り上げ、Star Elasticと呼ばれるルーター誘導型アーキテクチャ探索をメモリ予算に対して実行し、740億パラメータでアクティブパラメータが90億のモデルを生成した。その結果は2つの公開形態で存在する。ポストトレーニングから出力されたままのBF16重みと、同じ重みのエキスパート層を要素あたり2.0625ビットに量子化し、量子化認識蒸留によって修復したものである。

どちらもモデルカードには2026年10月15日付と記載されている。両者は同じOpenMDW-1.1ライセンス、同じ256,000トークンのコンテキストウィンドウ、同じMamba-2ハイブリッドLatentMoEバックボーン、そして同じC-RADIO v4-Hビジョンエンコーダーを備えている。リポジトリのメタデータは、その関係を単一のフィールドで明示している。つまり、24GBチェックポイントのカードにはbase_model_relation: quantizedがBF16リリースに対して記載されている。

違うのは、それぞれが何を目的としているかだ。24GBカードは、その用途をローカルエージェントハーネス——ツール呼び出し、ブラウジング、ターミナル作業——とし、展開先をAmpere、Hopper、Blackwell上のvLLMとしている。BF16カードは、その用途をNeMo RLとNeMo Gymを使ったポストトレーニング、ドメイン適応、蒸留、独自の量子化バリアントの作成とし、同じ段落で、レイテンシーとスループットを最適化した推論には代わりに24GB版を使うべきだと警告している。ベンダーが、たった今ダウンロードしたチェックポイントを実行するなと言うなら、それは文字どおりに受け取る価値がある。

ファイル一覧から読み取ったサイズの違い

• BF16 — 63個のsafetensorsシャード全体で合計149.8GB、最大シャードは3.71GB、さらに228MBのビジョンタワー。

• 24GB safetensors — vLLM対応ビルドでは90シャードにわたり24.12GBで、モデル名の数字をわずかに上回る。

• 24GB GGUF — 単一ファイルで22.02GB、さらに別途1.73GBのビジョンプロジェクターを含め、合計23.75GB。

• 比率 — バイト数でおよそ6対1、16ビットのエキスパートから2ビットのエキスパートへ、その他すべては混合精度で処理。

63シャード対90シャードという違いも、単なるサイズの違いではなく、形状の違いです。BF16リリースは、あなたがどのような並列レイアウトを持っていても、トレーニングフレームワークによってロードされるように作られています。24GBリリースは、1つのGPU、または1台のマシン上のllama.cppによってロードされるように作られており、シャード数はその異なる役割を反映しています。

ストレージを計画する前に、24GBの内訳のうち3ギガバイトは理解しておく価値がある。ビジョンプロジェクターはGGUFビルドでは別ファイルになっている。llama.cppがマルチモーダル入力をそう扱うからであり、重みだけをダウンロードして、なぜ画像が動かないのかと不思議に思う人はそれを見落としている。safetensorsビルドでは、ビジョンタワーはシャードの内部にあり、合計は24GBのラインを超える。

NVIDIA自身の数字で見ると、量子化のコストはどれほどか

BF16カードは両方の列を並べて公表しており、これは異例なほど率直だ。同じベンチマーク表に、同じ13件の評価についてのIQ2 24GBの数値とBF16の数値が載っている。ベンダー報告であり、再現もされていないが、それでもエキスパートあたり2ビットがどれほどの代償を伴うかについて入手可能な最も直接的な証拠である。

• Terminal-Bench 2.1 — IQ2では50.98、BF16では53.93で、2.95ポイントの低下。

• BrowseComp — 70.00 に対して 66.75、3.25 の低下。

• GPQA Diamond — 86.43 対 88.83、2.40 の低下。

• AA-LCR 長コンテキスト推論 — 64.06 対 67.38 で、3.32 の低下。

• ツールなしのHLE — 25.30 対 28.73、3.43の低下。

• AA-Omniscience精度 — 21.80に対して16.90、4.90の低下で、表の中で最大。

• PinchBench — 87.82 対 90.35、2.53 の低下。

• GDPVal-AA-V2 — 31.13に対して28.47、2.66の低下。

2行だけがこのパターンを破っており、そしてそれこそが興味深い点だ。AA-Omniscienceの非ハルシネーションでは、量子化モデルの方が高いスコアを記録しており、61.27対56.14 —— エキスパートを圧縮したことで、モデルは自分が知らないときに自信を持って答える可能性が低くなった。これは表を丸ごと公開する価値があると思わせる類の発見だ。WebArena visionでは両者は互角で、50.86対50.25であり、ビジョン経路が圧縮をほぼ無傷で乗り切ったことを示唆している。モデルカードに記載されているビジョンアダプターの再学習が、おそらくその理由だろう。

まとめて読むと、ほとんどの能力行で2〜5ポイントの負担、視覚グラウンディングではほぼゼロ、そしてあるキャリブレーション指標では改善である。これは6対1の圧縮にとって好ましい結果であり、それでもなお、軽視して片付けるのではなく数に入れるべき負担だ。

実際に提供できるのはどちらですか

24GB のアーティファクトには実行時の話があり、BF16 のものにはトレーニングの話があり、それらはフラグが違うだけの同じ話ではない。

24GBのGGUFはllama.cpp向けに記載されており、NVIDIAは同じモデルをOllama、LM Studio、Unslothに向けています。vLLMの道筋は聞こえよりも厳格です。リファレンスレシピはナイトリービルドのコンテナをコミットハッシュで固定し、実行時に取得する別個のカーネルパッケージを必要とし、v2モデルランナーを明示的に設定し、線形およびMoEバックエンドにはb12xを、アテンションとMambaにはFlashInferを指定し、KVキャッシュをfp8に固定し、そしてmax-num-seqs 1を設定します。注目すべきはこの最後のフラグです。公開されているサービング構成は単一の同時シーケンスであり、これはラップトップ型の構成であって、サービング向けの構成ではありません。

ドラフターは3番目のダウンロードです。LiLiCorrは1.13Bのコンパニオンチェックポイントで、そのカードには、単体の言語モデルではなく、ドラフトトークンを提案し、24GBのターゲットがそれらを検証し、表示されるテキストを生成するのはターゲットであるとはっきり記載されています。NVIDIAがAIPerf SPEED-Bench-Codingで報告した毎秒83.99トークンは、ドラフターがアタッチされていることを前提としており、1ステップあたり7つのドラフトトークン、平均受理長はグリーディデコーディングで4.68、並行度64のサンプリングで4.25です。

BF16チェックポイントのサービングをどう成立させるかは、あなたが解決すべき問題です。KVキャッシュを一切考慮する前の時点で、量子化ビルドのおよそ6倍のメモリを必要とするため、単一の80GBアクセラレータでは到底収まらず、マルチGPUまたはマルチノードが前提となります。これはポストトレーニングには正しいトレードオフですが、推論には間違ったトレードオフであり、まさにカードが示しているとおりです。

決定、それは率直に述べられたもの

もし今日、手持ちのハードウェアでエージェントを動かしたいなら、24GBビルドをダウンロードし、2〜5ポイントの負担を受け入れ、重みだけでなくドラフターとプロジェクターの分も予算に計上すること。

モデルを変更したいなら — 自分のデータでファインチューニングする、より小さなものに蒸留する、あるいはNVIDIAが最適化していないハードウェア向けに別の方法で圧縮する — BF16ビルドをダウンロードし、24GBリリースは考えられる一つの結果のドキュメントとして扱ってください。

興味深い中間ケースは、BF16カードが明示的に誘うもの、つまり独自の量子化バリアントを作ることだ。異なるアクセラレータを使う人、4ビット重みを求める人、あるいは参照レシピが許容するよりも多くの同時実行性を必要とするワークロードを抱える人は、フル精度の重みを手に取り、NVIDIAが作らなかった成果物を構築できる。その場合、上記の量子化税が打ち破るべき数値となり、それは今や謎ではなく、公表された目標である。

ゲートウェイがローカルスタックのどこに位置するか

これらのチェックポイントはどちらも、私たちを含め、どこにもホストされていません — OrcaRouter のカタログには N​emotron モデルが含まれていないため、どちらについてもエンドポイントも、提示できる価格もありません。ローカル推論もまた、エージェントアーキテクチャの半分でしかありません。Bolt を実行するマシンは、ダウンロードできないモデルに依然として到達する必要があります。それが難しいケース向けのフロンティアモデルであれ、Bolt が苦手とするものを処理するビジョンモデルであれ、重要な判断に対するセカンドオピニオンであれ。

それが私たちが運用しているレイヤーです。プロバイダーの定価のまま、200以上のホスト型モデルを1つのキーで利用でき、マークアップは一切上乗せされません；自動フェイルオーバーは、プロバイダーがリクエストの途中で劣化したときに作動し、ルーティングDSLは、「まずBoltをローカルで試し、タスクがそれを超える場合はホスト型モデルにエスカレーションする」をコードではなく設定に変えます。スタックの24GB側は、あなたのハードウェアと夜間にコンテナを動かすことへのあなたの許容度によって決まります。エスカレーションの反対側にある半分は、キーを握っている人によって決まります。

何がこの状況を変えるでしょうか

2つのことだ。どちらも予測可能だ。

一つ目は、NVIDIAによる、あるいはコミュニティによるBoltの4ビットまたはFP4ビルドだ。親ファミリーがすでにNVFP4チェックポイントを提供しており、BF16リリースが存在するのはまさにそうしたバリアントを作れるようにするためであることを考えれば。上記のギャップの半分を取り戻しつつ、24GBの枠内にまだ収まる4ビットのBoltがあれば、量子化税の議論はかなり面白みのないものになるだろう。

2つ目は、どちらか一方の成果物に関する独立した評価が存在するかどうかである。Artificial Analysisのパネルは24GBモデルをIntelligence Indexで21と測定しているが、速度もコストも公表していない。価格と突き合わせて測るべきものがないからだ。BF16チェックポイントについては、再現可能な実行を誰も一切公表していない。訓練向けの150GBダウンロードとしては驚くには当たらない。誰かが実行を公表するまでは、上の2つの列の隔たりは、ベンダー自身による自社の圧縮についての説明であり、それを誠実に読むなら、証拠の形によって異例なほどよく裏付けられている主張として読むことになる。

このような結果は、このクラスのモデルの背後にあるAIインシデントやエージェントの失敗がすでに記録されているという事実を思い起こさせるものでもある。それらはOrcaRouter AI Incident Archiveにまとめられており、各項目には独自の情報源、重大度、信頼度評価、異議ありフラグが付されている。