Nemotron 3.5 Bolt 74B 対 Gemma 4 26B A4B：8つのインデックスポイントとビット幅の不一致

すでに、N​VIDIA N​emotron 3.5 Bolt 74B-A9B 24GBとG​oogle Gemma 4 26B A4Bの直接対決があり、NVIDIAはそれを公開している。それはBoltモデルカードのベンチマーク表にあり、そこではGemma列は同社が選んだベースラインである。その表を注意深く読むことが、これら2つのモデルが実際に何であるかを理解する最速の方法である。なぜなら、2つのチェックポイントは同じ仕事を争っているわけではなく、ベンダー自身の枠組みがそれをあからさまに言っているからだ。比較モデルは、4ビット量子化で24GBのメモリに収まる能力のために選ばれた。Boltは別のルートで24GBに収まる — そのエキスパート層で重みあたり2.0625ビット — そしてこれら2つの戦略の間のギャップがすべてを物語っている。

タイトルにある両方の数字は実在する。Artificial Analysis は Intelligence Index 上で Bolt を 21、推論構成の Gemma 4 26B A4B を 17 と測定した。どちらの数値もベンダーによるものではなく、執筆時点で両方とも同パネルのモデルページに掲載されていた。

{{1}}NVIDIA{{/1}}が行った比較、そして{{2}}それが選んだ列{{/2}}

N​VIDIAのBolt向け表には4つの列がある：BF16のQwen3.6-35B-A3B、BF16のGemma 4 26B-A4B、BF16のN​emotron 3.5 Lightning 30B-A3B、そしてIQ2のBoltだ。そこにあるすべての数値はベンダー報告であり、独立した誰によっても再現されていない。以下では、G​emmaの列とBoltの列をベンチマークごとに対比する。

• GDPVal-AA-V2 — G​emma 15.33、Bolt 28.47

• Terminal-Bench 2.1 — Gemma 37.22、Bolt 50.98

• Tau3 Banking — Gemma 14.02、Bolt 17.01

• ツールなしの HLE — Gemma 17.42、Bolt 25.30

• SciCode — G​emma 40.28、Bolt 41.02

• GPQA Diamond — Gemma 79.61、Bolt 86.43

• AA-LCR 長文コンテキスト検索 — G​emma 57.56、Bolt 64.06

• PinchBench — G​emma 74.70、Bolt 87.82

• WebArena ビジョン — G​emma 38.2、Bolt 50.86

• AA-Omniscience の精度 — Gemma 22.17、Bolt 16.90。この行では Gemma が勝っており、表の中で Gemma が勝っている唯一の行です。

• AA-Omniscience 非ハルシネーション — Gemma 14.22、Bolt 61.27。これは Gemma ファミリーの系統にとって大きく、特異な損失であり、ここで一度立ち止まって考える価値がある。Omniscience 非ハルシネーション指標は、何かを知らないのに自信をもって答えるモデルにペナルティを課すが、ここに記録されている Gemma ビルドは Bolt の数値のおよそ4分の1のスコアとなっている。

このブロック全体には1つの注意点が当てはまります。N​VIDIAは、G​emma列を含むそのすべてを、G​emmaのBF16ビルドを自社モデルの2ビットビルドと比較して実行し、その結果を自社のモデルカードで報告しました。

2つのチェックポイント、2つの圧縮方式

Gemma 4 26B A4Bは、登場から1年が経過したリリース済みの製品です。2026年3月11日にApache 2.0の下でHugging Faceに公開され、総パラメータ数は252億、トークンあたりのアクティブパラメータは38億。ローカルのスライディングウィンドウ層とグローバル層を交互に織り交ぜるハイブリッドアテンションスタックを採用し、コンテキスト長は256K、ネイティブのシステムプロンプト対応、そしてファミリー内のすべてのサイズでビジョンを備えています。自分で手に取って4ビットに量子化して実行できるモデルであり、既製の量子化モデルを揃えた大規模なエコシステムもすでに存在します。

Bolt はモデルカードをまとった圧縮結果である。NVIDIA は、同じ世代のマルチモーダルチェックポイントである Nemotron 3.5 Super VL 120B-A12B を取り上げ、それに対して Star Elastic を実行した。これは、厳しいデプロイ予算を満たさなければならないルーター誘導型のアーキテクチャ探索であり、この場合はバッチサイズ 1、コンテキスト 128K で 24GB 未満という条件だった。エキスパートの top-K は、親モデルの 22 から 9 に減少した。その後、エキスパートの重みは、精度を挽回するための量子化認識蒸留を用いて、要素あたり 2.0625 ビットの IQ2-XXS に量子化され、Mamba 層は NVFP4 のまま、埋め込み層と出力層は Q8_0 とされ、ビジョンタワーは後から再接続された。

結果は、24GBのファイルに収められた740億パラメータです。それは公開されたモデルの量子化ではありません。メモリ制約の下で探索され、その後、復元できるように訓練された、異なる形状のネットワークです。

なぜビット幅がパラメータよりも重要なのか

二つを並べてみれば、直感的には74Bモデルが26Bモデルを上回るという読みになる。その読みはおそらくこのケースでは正しく、しかもそれは興味深い部分ではない。なぜなら、二つのモデルは同じ24GBで別々のことをするよう求められているからだ。

• パラメータ — Boltは合計74B、トークンあたり9Bがアクティブ。Gemma 4 26B A4B：合計25.2B、トークンあたり3.8Bがアクティブ。

• アーキテクチャ — Bolt: C-RADIO v4-H ビジョンエンコーダを備えた Mamba-2–Transformer ハイブリッド LatentMoE。G​emma: ビジョンタワーを備えたローカル/グローバルアテンションのハイブリッド MoE で、ファミリー内の他のサイズではオーディオにも対応。

• 保存精度 — Bolt はエキスパート重みあたり 2.0625 ビットでネイティブに出荷されます。Gemma のリポジトリは 16 ビットで、4 ビット版と量子化認識トレーニング版のビルドが別途公開されています。

• コンテキスト — Bolt は最大 256,000 トークン。Gemma 4 26B A4B: 256,000 トークン。この行は引き分けで、2 ビットモデルがここで何かを諦めたと思い込んでいる人々を驚かせる。実際には諦めていない。

• 入力 — Bolt はテキスト、画像、動画に対応します。Gemma 4 26B A4B はテキストと画像に対応し、動画はフレームとして渡され、音声はより小型のファミリーメンバーに限定されています。

• ライセンス — Bolt：OpenMDW-1.1。Gemma 4 26B A4B：Apache 2.0、Googleの禁止使用ポリシーが併記されています。

• 投機的デコーディング — Bolt は LiLiCorr ドラフターを搭載し、N​VIDIA のリファレンスレシピにおける 7 つの投機トークンを用いて DFlash 経由で接続されています。Gemma 4 26B A4B にはベンダー提供のドラフターがなく、マルチトークン予測はベースリリースではなくコミュニティのファインチューニングに現れます。

精度の行の実際的な帰結は、Boltのダウンロードがすでに小さいほうだということだ。探すべきさらなる2ビットビルドは存在しない。2ビットビルドこそがそのモデルだからだ。Gemmaの26Bは、あなたが圧縮することを前提とされた16ビットのチェックポイントであり、ほとんどの人が実際に配信する4ビット版は、それを誰かが変換したものだ。

小型モデルの方がお買い得な場合

NVIDIA自身の表は、Gemmaについて真剣に受け止める価値のある2つの点を示している。AA-Omniscienceの精度ではGemmaが22.17対16.90で優位に立ち、これを正直に読めば、蒸留後であっても2ビット圧縮が事実想起に測定可能な打撃を与えたということだ。ワークロードがエージェント的というより百科事典的である人なら、その行を重く見るべきだ。

ライセンスが2点目です。Apache 2.0は、商用展開に利用できる中で最も制約の少ない選択肢です。一方、OpenMDW-1.1は、寛容な内容になるよう書かれ、NVIDIAによって商用利用が明示的に認められているものの、より新しい仕組みであり、周辺の文献も少なく、それを解釈する裁判例も存在しません。法務チームにとって、このうち一方は見慣れたものですが、もう一方はそうではありません。

第三は成熟度です。Gemma 4 26B A4Bは3月からダウンロード可能で、春からはホスト型エンドポイントから呼び出せます。量子化ビルド、ファインチューン、サービングレシピ、ベンチマークの再現はすべて存在します。Boltのリポジトリは10月に公開されました。そのレイテンシーについて独立した情報は何も公開されておらず、量子化するものが何もないため、代わりに頼れるコミュニティ量子化もありません。

第四に、そして見落としやすい点：Gemma の 21B 以下の兄弟モデルは音声をネイティブに扱えます。パイプラインが音声を伴うなら、26B A4B は同じファミリーの中でも選ぶべきではないメンバーであり、Nemotron のどのモデルも適切ではありません。

それぞれを実際に保有するのにかかるコスト

Boltには価格がなく、これはデータの見落としではない。どこにもBolt向けのホスト型エンドポイントはなく、Artificial AnalysisのBolt向けモデルページにも従量課金レートはなく、Boltを提供しているプロバイダーも存在しない。実行するにはマシンを所有する必要があり、NVIDIAのリファレンスレシピは午後ではなく週末がかりだ。ピン留めされたvLLM nightlyイメージ、b12xカーネルパッケージ、別ファイルとして取得するreasoning-parserプラグイン、続いてv2モデルランナー、linearおよびMoEバックエンド、attentionおよびMambaバックエンド、Mambaキャッシュdtype、chunked prefill、そしてLiLiCorrドラフターを指す投機的デコーディング設定の明示的な設定が必要になる。

Gemma 4 26B A4B の価格は2か所に存在します。当社がルーティングするカタログ上では、google/gemma-4-26b-a4b-it は入力100万トークンあたり $0.06、出力100万トークンあたり $0.33 で掲載されており、コンテキスト長は 262,144 トークン、初回トークンまでの p50 時間は約 2.8 秒です。これは過去7日間に当社が独自に計測した数値であり、ベンダーの主張ではありません。Artificial Analysis は同じモデルに対して別のプロバイダー構成を追跡しており、入力 $0.10、出力 $0.40 を掲載しています。これは、価格がウェイトの属性ではなくエンドポイントの属性であることを示すタイプの価格差です。どちらの数値も誠実なものであり、異なるものの価格なのです。

OrcaRouter は、当社がルーティングするモデルを、プロバイダーの定価で、マークアップを 0% に抑えて単一のキー経由で利用できるようにします。そのため、ルーティング対象モデルのベンダー価格が値下げされれば、当社側では当日に反映され、プロバイダー間の自動フェイルオーバーにより、上流の容量問題はユーザーに表面化させるのではなく再試行されます。当社は N​emotron のチェックポイントを一切ホストしていません — カタログは想定ではなく確認済みであり、このファミリーはそこに含まれていません — したがって、このページでは、これらの保証は比較の G​emma 側の半分を対象とするもので、それ以外ではありません。実際のところ、これらの保証の価値は、2 つ目の契約を結ばずに小さい方のモデルを実際のトラフィックで試す手段にあり、大きい方のモデルがハードウェアに見合うかどうかを判断する間、役立ちます。

ファイルとサービスのどちらを選ぶか

この比較は能力の点で互角ではなく、そもそも互角になるようには設計されていない。Bolt はより大規模で高性能なモデルであり、厳しく圧縮されていて、レンタルすることはできない。Gemma 4 26B A4B は、今日レンタルできるやや弱いモデルであり、その弱点は、それに利害関係を持たない人々によって記録されている。

ワークロードにスクリーンショット、PDF、動画フレーム、あるいはブラウザが関わるなら、ネットワークなしで実行しなければならないなら、そしてBlackwellクラスのアクセラレーターを搭載したマシンがすでに手元にあるなら、Boltを選べ。そのスループットは誰も公表していないのだから、それを明らかにするのは自分であるということを受け入れろ。テキストと画像を扱うモデルを今日の午後にも100万トークン単位で課金して使いたいなら、Apache 2.0が必要なら、あるいは広範な質問セットにおける事実の想起がエージェント的なタスク完了よりも重要なら、Gemma 4 26B A4Bを選べ。

これを決着させる測定は、誰も行っていないものだ。24GBチェックポイント上での独立したスループットとレイテンシの実行、そして、ベンダーが選択したとしているのと同じ4ビットにGemmaを量子化した状態でのNVIDIAの表の独立した再実行である。それらが存在するまでは、Boltを支持する根拠はベンダーの表とパラメータ数に依拠し、Gemmaを支持する根拠は他者による1年分の結果に依拠している。

このような比較は、失敗モードが表面化する場でもあります。このクラスのモデルの背後にある、記録されたAIインシデントやエージェントの障害は、OrcaRouter AI Incident Archiveにまとめられており、各エントリには独自の情報源、重大度、信頼度グレード、異議フラグが付いています。