Nemotron 3.5 Bolt 74B vs Nemotron 3.5 Lightning 30B-A3B：同じレシピ、2つのメモリ上限

これはNVIDIA Nemotron 3.5ファミリーツリーの中で、同じチームが同じ用途のために2つの異なるサイズで作った両者を比較する唯一の事例であり、しかもベンダー自身がすでに直接対決を実施済みだ。NVIDIA Nemotron 3.5 Bolt 74B-A9B 24GBとNVIDIA Nemotron 3.5 Lightning 30B-A3Bはどちらも投機的デコーディングヘッドを備えたMamba-2ハイブリッドMixture-of-Expertsチェックポイントで、どちらも商用利用向けにOpenMDW-1.1の下で公開されており、データセンターからレンタルするのではなく、それについて読んでいる本人が実行することを想定している。Lightningは2026年8月11日にリリースされた。Boltの重みは2026年10月7日に公開され、NVIDIAは10月15日にそれを発表した。

違いはメモリ上限にある。一方は24GB、もう一方は量子化された形でおよそ16GBであり、両者間のArtificial Analysis Intelligence Indexの8ポイントが、その上限によってもたらされるものだ。

1つのレシピを2つのサイズで実行

Lightning が最初に登場し、3.5 世代全体が踏襲するかたちを確立した。それは、Mamba-2 状態空間ブロックと mixture-of-experts および attention 層を交互に配置するハイブリッドスタック、モデルが複数のトークンを一度に下書きし並列に検証できるようにする Multi-Token Prediction ヘッド、そして低同時実行のデータセンター展開向けの DSpark、DFlash、後には LiLiCorr ドラフターといった個別のコンパニオンドラフターを備え、投機的デコーディングを研究上の小技ではなくサポート対象の構成にしている。N​emotron 3 Ultra 教師からの蒸留が、このレシピのもう半分である。

Boltは同じレシピを、はるかに厳しい予算に向けたものだ。その74Bパラメータは、NVIDIAのルーター誘導型アーキテクチャ探索であるStar Elasticによって24GBに圧縮される。これは親チェックポイントを入力とし、知識蒸留損失を最小化しつつ、厳格なデプロイ時フットプリントを満たす層ごとのエキスパート数とMoE中間幅を探索する。Boltの場合、探索はバッチサイズ1および128Kコンテキストで24GB未満に制約され、エキスパートtop-Kは親の22から9に下がり、その後エキスパート重みは、精度を回復するための量子化対応蒸留とともに、要素あたり2.0625ビットでIQ2-XXSに量子化された。Mamba層はNVFP4、埋め込み層と出力層はQ8_0である。

Bolt の親は Lightning ではない。それは、同じ日に N​VIDIA が発表した 1200億パラメータのマルチモーダルモデル、N​emotron 3.5 Super VL 120B-A12B だ。そのため、Bolt には C-RADIO v4-H ビジョンエンコーダーが搭載されており、Lightning には搭載されていない。

仕様の対比、両方を1行に

• 総パラメータ数とアクティブパラメータ数 — Bolt: 総計74B、トークンあたり9Bがアクティブ。Lightning: 総計30B、トークンあたりおよそ3Bがアクティブ。

• アーキテクチャ — Bolt: Mamba-2–Transformer ハイブリッドの LatentMoE に加え、C-RADIO v4-H ビジョンエンコーダーを搭載。Lightning: アテンションを備えた Mamba-2 ハイブリッド MoE で、ビジョンタワーはなし。

• 精度とフットプリント — Bolt: 要素あたり2.0625ビットのIQ2で、24GB未満にパック。Lightning: BF16、NVFP4、その他の量子化ビルドは別途公開。

• コンテキスト — Bolt: 最大256,000トークン。ただし、個々のデプロイメントレシピはより少ないトークン数を使用してもかまいません。Lightning: 原則として最大1,000,000トークンですが、単一のH100では約256,000が実用的な上限です。

• 入力と出力 — {{1}}Bolt{{/1}}: テキスト、画像、動画を入力とし、テキストを出力。{{2}}Lightning{{/2}}: テキストを入力とし、テキストを出力。

• ライセンス — 両方ともOpenMDW-1.1、商用・非商用利用についてN​VIDIAが承認済み。

• 投機的デコーディング — Bolt: DFlash 経由の LiLiCorr ドラフター、リファレンスレシピでは投機トークン7個。Lightning: MTP ヘッドに加え、DFlash と DSpark のドラフター。

• インテリジェンスインデックス — Bolt：21.4、同サイズクラス67台中4位、Artificial Analysisによる独自測定。Lightning：12.9、独自測定。

• 価格 — Bolt: どこにも従量課金制のレートはない。Artificial Analysis は入力・出力の価格を掲載しておらず、公開されたホスト型エンドポイントも存在しない。Lightning: Artificial Analysis の追跡によると、入力100万トークンあたり $0.06、出力100万トークンあたり $0.20 で、キャッシュされた入力は約 $0.006。

• 出力速度 — Bolt: 独立した測定結果は公開されていない。Lightning: 1秒あたり305出力トークン、最初のトークンまで0.57秒。どちらも独立して測定されたもので、パネルのボード上で最速の数値の一つである。

ベンダー自身による直接比較、注意深く読んでください

N​VIDIAのBolt向けモデルカードは、Lightningが3つのベースラインの1つである表を公開しており、それはスコアボードとしてではなく主張として読む価値がある。なぜなら同社は、新しいモデルが勝利するベンチマークを選んだからだ。

Terminal-Bench 2.1 — Bolt が 50.98、Lightning が 23.46。どちらもベンダー実施で、どちらも BF16 Lightning ビルド上。

• GPQA Diamond — Boltの86.43に対しLightningの75.57。

• BrowseComp — Bolt 66.75 対 Lightning の 36.81。

• ツールなしのHLE — Boltの25.30対Lightningの10.47。

• PinchBench — Boltの87.82に対しLightningは83.43と、他のものよりはるかに差が小さく、NVIDAの「Boltがそのベンチマークにおいて同クラスでナンバーワンのオープンモデルである」という主張と一致している。

• AA-Omniscience 非ハルシネーション — Bolt 61.27 対 Lightning 68.81。この項目は Lightning の勝ちだが、それでも N​VIDIA が公開することを選んだ行であり、この表にとってはプラス材料だ。

• AA-Omniscience精度 — Bolt 16.90 対 Lightningの16.63。実質的に同点であり、絶対値で見ればこの表の中で最も弱い数字のペアだ。

そのリストに載っている数値はすべて、モデルカード上でベンダーが報告したもので、再現されていない。Artificial Analysis はその後、2つの指数スコアを独立に測定した — 21.4 と 12.9 — 方向性は一致しており、今日言えるのはそこまでだ。

より小さいモデルがより良い答えとなる場合

インデックスの差は確かに存在する。そしてそれは唯一の軸ではない。Lightning は、特定のデプロイメントにとって重要な3つの行で優位に立つ。

Bolt側では誰も測定していない倍率で、これは高速です。305出力トークン/秒、初回トークンまでの時間は1秒未満であり、これは未測定の2ビット74Bチェックポイントが現時点で到達し得ると想定されるものとは別次元の応答性で、しかも測定済みです。Bolt自身が公開しているスループット、つまりLiLiCorrドラフターを有効にした状態でのAIPerf SPEED-Bench-Codingにおける毎秒83.99トークンは、ノートPCクラスのマシンについてのNVIDIAの研究ページに由来するもので、パネルの計測環境とは比較できません。

コンテキストは4倍です。100万トークン対256,000トークンで、その違いは独立した長コンテキスト検索スコアに表れています。NVIDIAの表では、LightningがAA-LCRで49.19、Boltが64.06を記録しています。Boltのほうが長いコンテキストの活用に優れていますが、100万トークンのウィンドウをうたっているのはこの2つのうちLightningだけなので、ワークロードが「リポジトリ全体を読む」であれば、その中の検索品質よりも上限のほうが重要かもしれない。

2つのうち、価格が付いているのはこれだけだ。Lightningは100万トークンあたり入力$0.06、出力$0.20で利用でき、ハードウェアプロジェクトというより呼び出し可能なインフラになっている。Boltについてはホスト型の料金が誰にも公表されていないため、動かす唯一の方法はマシンを自分で所有することだ。

Lightningにできないのは、見ることだ。Lightningはテキスト専用であり、BoltはC-RADIO v4-Hエンコーダーを通じて画像と動画を受け入れ、LightningがエントリーしていないWebArena visionで50.86を記録している。エージェントがスクリーンショットを読み、PDFを開き、あるいはブラウザを操作するなら、その行だけで選択は決まる——そしてそれは、Boltのパラメータ数ではなく、BoltのSuper VLの血統に由来する行なのだ。

Boltを実際に動かすのにかかるコスト

24GBチェックポイント向けのNVIDIAのリファレンスサービングレシピは、貼り付けるだけの単一コマンドではありません。特定のvLLMナイトリービルドイメージを固定し、b12xカーネルパッケージをインストールしてカーネルをダウンロードし、推論パーサープラグインファイルを別途取得したうえで、v2モデルランナーを設定し、線形およびMoEバックエンドをb12xに、アテンションおよびMambaバックエンドをFlashInferに設定し、Mambaキャッシュdtypeを明示し、チャンク化プリフィルフラグと、7つのドラフトトークンを持つLiLiCorrドラフターを指す投機的デコーディング設定を指定します。ツール呼び出しパーサーと推論パーサーは明示的に指定され、メディア制限は、動画プルーニング率0.5で、1リクエストを画像1枚と動画1本に制限します。

Lightningのデプロイの話は、Dockerコンテナ、OpenAI互換のエンドポイント、そしてホステッドプロバイダーからも100万トークンあたり6セントで入手できるモデル名だ。実際には、その違いが比較のすべてだ。Boltは週末の作業と自分が所有するマシン、Lightningは午後と請求書だ。

どう選ぶか、そして何が決め手となるか

ワークロードがテキストで、レイテンシの余裕が厳しく、コンテキストの要件が大きいか、ハードウェアを買うよりもトークン単位で支払いたいなら、Lightning を選びましょう。その独立したプロファイル — 同クラスで最速の実測出力速度、1秒未満の初回トークン、公開された価格 — によって、ファミリー内で最もリスクの低い選択肢となり、知能スコアが低い分はそれに見合った価格設定になっています。小規模なローカル・エグゼキュータと、より大きなホスト型プランナーを組み合わせる予定がある場合にも、これが適切なデフォルトです。まさに N​VIDIA がそう位置づけています。

エージェントがピクセルを扱う、またはネットワークなしで動作するなら、Boltを選べ。ビジョン行はそれ専用であり、74Bスケールの推論は8インデックスポイント先んじており、24GBのエンベロープは、74Bの教師蒸留チェックポイントを単一のコンシューマークラスアクセラレータに収められる、ファミリー内で唯一のものだ。GPUホスト型プランナーをローカルで実行し、まだ予測できないレイテンシという代償を払っていることを受け入れよ。

どちらのアーキテクチャでも、ホスト型の部分については、OrcaRouter は当社がルーティングするモデルを、プロバイダーの定価に 0 パーセントのマークアップを加えた単一のキーの背後に配置し、また プロバイダー間の自動フェイルオーバーにより、上流のキャパシティ問題は表面化せず再試行されます。当社は Nemotron モデルを一切ホストしていません — カタログは想定ではなく実際に確認したもので、このファミリーはそこに含まれていません — したがって、この比較のローカル側は当社の行うことによって影響を受けません。ルーティングされた構成がもたらすのは、評価中にプランナーが使えるプラン B であり、これはここで重要です。というのも、これら 2 つのチェックポイントには、本番パスを見積もる際に照らし合わせられる公開された独立系のレイテンシプロファイルが存在しないからです。

選択に決着をつけるのは、まだ存在しないある数字だ。24GBチェックポイントをバッチサイズ1で動かした、独立したスループットとレイテンシの測定結果である。誰かがそれを公表するまでは、Boltを支持する根拠は、Lightningには到底かなわない二つの点——パラメータの規模と視覚——だけに依拠しており、Lightningを支持する根拠は、独立に測定された四つの数字に依拠している。

数字からは分からないのは、それが現場で何か問題を起こしていないかどうかだ。このクラスのモデルに関する、記録されたAIインシデントやエージェントの障害は、OrcaRouter AIインシデントアーカイブに集められており、各項目にはそれぞれの情報源、深刻度、信頼度グレード、異議ありフラグが付されている。