Nemotron 3.5 Bolt E4B 4GB：実際に出荷されたものと、その名前が誤解を招く理由

NVIDIA-Nemotron-3.5-Bolt-E4B-4GBは2026年10月23日にHugging Faceで公開され、まず言及する価値があるのは算数の話だ。ファイルは6.18GB。名前は4GBと言っている。どちらの数字も本物で、測っているものが異なり、その差こそがこのリリースで最も有用な事実だ。

NVIDIAの技術ブログは、4GBをモデルの対象ワークロード向けに想定されたメモリ枠と呼んでいる。これは、アプリケーションがその隣で動作している間にモデルが占有すべき予算であり、パラメータ数でもダウンロードサイズでもない。チェックポイント自体は合計8Bで、実効パラメータは4B、Gemma-4-E4B-itからポストトレーニングされ、正確に2つの精度で公開されている。15.88GBのBF16ビルドと6.18GBのQ4_K_M GGUFだ。デバイスに投入できる4GBのファイルを求めてここに来たなら、リポジトリにはそんなものはない。

それをはっきり述べておく価値がある。なぜなら、今回のリリースの残りの部分は異例なほど分かりやすいからだ。モデルカードは詳細で、技術レポートは公開されており、測定されたレイテンシの表は4台のデバイスをカバーしている。欠けているのは独立した検証であり、カード自身がそう述べている。

公開情報から再構成されたリリース

これはローンチされなかった。脚注で触れられ、その後ブログ記事になった。

• 2026年10月5日 — Q4_K_M および BF16 ビルド用の Hugging Face リポジトリが作成されました。どちらにも重みは格納されていません。

• 2026年10月15日 — NVIDIAはNemotron 3.5ファミリーを発表：Super VL 120B-A12BとBolt 74B-A9B 24GB、両方とも当日から利用可能。E4Bについては2文と日付だけ：10月23日提供開始。

• 2026年10月23日 — Q4_K_M と BF16 の重みが公開され、モデルカードが掲載され、NVIDIA の研究ラボが技術ブログとテクニカルレポートを公開する。企業のプレスリリースはなく、10月15日の発表に続いて行われたローンチ報道は、今回の発表では再び見られない。

「ひっそりと出荷された」は正確だが、「秘密」というのは当たらない。NVIDIAはモデルに名前を付け、日付を示し、その日にきちんと文書化した。やらなかったのは、E4Bを、兄弟モデルを取材した同じ記者たちの前に出すことだった。最初の数週間にこれを読む人にとっての実際的な帰結は、以下のほぼすべての主張がただ一つの情報源、NVIDIAにたどれるということだ。

4ギガバイトはダウンロード量ではなく、予算です

名前ではなくリポジトリを見れば、公開されているファイルサイズは明白です。

• Q4_K_M GGUF — 6,180,446,208バイト、つまり10進表記で6.18GB、単一ファイル名はNemotron-3.5-Bolt-E4B-Q4_K_M.ggufです。

• BF16 safetensors — 15,882,494,698バイト（15.88GB）、単一シャードに収録。加えて110MBの凍結された共有KVファイル。

• 4GB のアーティファクトはありません — リポジトリにはそれより小さい量子化は存在せず、カードは名前に示された数値に合致するファイルを公開していません。

NVIDIAが実際に公開しているのは、4台のデバイスにおけるバッチ1のllama.cpp測定結果であり、4GBという主張が具体化するのはまさにその表においてです：

• RTX 5070 12GB — VRAM 3.5～4.3GB、最初のトークンまでの時間 548～1,238ms、106.2～133.4トークン/秒。

• RTX Spark 32GB — VRAM 3.1～4.2GB、最初のトークンまで930～1,988ms、毎秒52.0～67.0トークン。

• Jetson Orin Nano 8GB — VRAM 4.2～4.9GB、最初のトークンまで5,785～6,259ms、1秒あたり13.0～15.5トークン。

• Jetson AGX Orin 32GB — VRAM 4.2～5.0GB、最初のトークンまで3,687～4,091ms、20.3～24.0トークン/秒。

VRAMの数値は6.18GBのファイルサイズを下回っており、これはそれらの実行でランタイムがファイル全体をGPU上に常駐させていないことを意味します。このカードはその仕組みを説明しておらず、ここは仕組みを推測で作り上げるのを控えるべき良い箇所です。メモリマップされた重み、部分的なオフロード、KVキャッシュのサイズ設定はすべて相互作用しており、NVIDIAはその内訳を公表していません。言えるのは、4GBという枠は特定のハードウェア上で特定のランタイム下に測定された結果であり、ダウンロードの属性ではないということです。

音声アシストを売り文句にするなら、Orin Nanoの行は二度読み返すべきだ。毎秒13～15トークンで、最初のトークンまでに約6秒かかるのは、組み込みエージェントとしては使えるが、リアルタイムの会話相手としては貧弱だ。RTX 5070の行は逆で、デスクトップGPUながら対話用途に十分な速さがある。

NVIDIAがGemma 4 E4Bで実際に変更したこと

アーキテクチャは丸ごと継承されている。これはGemma-4-E4Bであり、合計8Bの混合モデルで実効パラメータは4B、NVIDIAの貢献は新しいバックボーンではなくポストトレーニングにある。カードではこの取り組みを、NeMo-RLとNeMo-Gymを通じた、検証可能な報酬と人間のフィードバックによる強化学習としており、ツール呼び出しとスキーマ、指示追従と階層、構造化出力、自由形式のフォーマット、生成的報酬モデリングにわたる。学習バッチでは非推論サンプルと推論サンプルの比率が2:1で、NVIDIAは冗長さを制御するために長さペナルティを増やした——この詳細は後のベンチマーク表に表れる。

Q4_K_M ビルドは、約100万トークン分のRLロールアウトに対してimatrixキャリブレーションを用い、llama.cppで作成されました。投機的デコーディング用のDFlashドラフターもあり、NVIDIAによると、Gemma-4-E4Bの元のマルチトークン予測ドラフターより最大21%高いスループットを実現したとのことです。このドラフターは別リポジトリで、確認時点では匿名リクエストに対してHTTP 401を返していたため、当日ダウンロードではなく追加のアクセス手順として扱ってください。

チャットテンプレートの2つのスイッチが、振る舞いの大部分を決めています。enable_thinkingは推論をオンまたはオフにし、実行時の思考バジェットを受け付けます。conversational_modeは、短く書式の少ない返答向けに、音声会話用のシステム指示を追加します。2つ目のスイッチがその証拠です。このモデルは会話するために作られており、分析でコンテキストウィンドウを埋めるためではありません。

コンテキストは入力64K、出力64Kです。言語カバレッジはHugging Faceのメタデータでは34、技術ブログでは35で、小さな不整合ではあるものの実質的な問題ではなく、ポストトレーニングカードでは英語、フランス語、ドイツ語、イタリア語、日本語、スペイン語、中国語が主要言語として挙げられています。

ライセンスは単一の文書ではなく、階層構造になっている。NVIDIAの貢献部分にはOpenMDW-1.1、Gemma 4コンポーネントにはApache 2.0が適用される。モデルカードには、このモデルが商用利用にも非商用利用にも対応していると記載されている。OpenMDWは寛容なライセンスだがOSIの承認は受けておらず、この点は開発者よりも法務チームにとって重要である。

ベンチマーク表を、それが名指すモデルと照らし合わせて読む

NVIDIAは、一貫したNeMo-Gymハーネスの下で、Gemma4 E4B-it、Qwen3.5 4B、そして自社のNemotron 3 Nano-4Bに対してモデルを評価した。以下の数値はすべてベンダー報告によるもので、再現はされていない。カードには、数値が「ベンダーの自己申告値とは異なる場合がある」と記されており、これは誠実な注意書きであると同時に、比較対象がNVIDIAの選択によるものだという念押しでもある。

勝利は会話とコントロールに集中している：

• RoleBench Custom — Bolt E4B は 67.05 で、Qwen3.5 4B の 53.66、Gemma4 E4B-it の 49.95、Nano-4B の 12.02 に対しての結果です。これはペルソナベンチマークであり、その差は表の中で最大です。

• IHEval、指示階層 — 60.57、67.04、51.31に対して84.79。この規模で最上位の競合に17ポイントのリードを築くのは異例です。

• When2Call マルチターン — Qwen3.5 4Bの37.85、Gemma4の62.90、Nano-4Bの27.70に対して63.36。ツールを呼び出すべきでない時を知ることは、エージェント能力であると同時に会話能力でもある。

• RelyToolBench — 63.16 対 43.35、61.60、41.20。ツール出力へのグラウンディングも、やはり会話に隣接するスキルである。

• MultiChallenge — 53.10 対 51.76、42.08、35.30。マルチターンのチャレンジ処理における僅差の勝利。

失うものも同じくらいはっきりしている。そして、キャラクターではなくエージェントを求めるなら、重要なのはまさにその失うものだ：

• Tau2-Bench — Qwen3.5 4Bの75.06に対し55.10。これはマルチターンのエージェント的タスク完了における20ポイントの差であり、ペルソナの品質をどれだけ高めても埋められるものではない。

• 64KでのRULER — Qwen3.5 4Bの95.15、Nano-4Bの91.51に対して86.99。このモデルは64Kのコンテキストを受け入れますが、その全体にわたって同級モデルほど確実に検索できるわけではありません。

• 48K での LongBench v2 は 50.50、Qwen3.5 4B は 59.93 です。長文書推論でも同じ傾向です。

• BFCL-v3 — Qwen3.5 4Bの70.95に対して68.51。関数呼び出しでは小幅な劣勢だが、Gemma4の66.39には勝利。

• EQ-Bench v3 — Gemma4 E4B-it の 41.17 に対して 39.40。親モデルが子モデルを上回る、感情知能に関する唯一の項目です。

Q4_K_M列は、通常の量子化表よりも興味深い。圧縮が一様に精度を犠牲にしたわけではない。MultiChallengeは53.10から55.60へ、RoleBenchは67.05から71.21へ、ToolSandboxは68.77から74.13へ、RelyToolBenchは63.16から69.29へ上昇している。一方、Tau2では55.10から52.32へ、LongMemEvalでは72.10から69.92へ、RULERでは86.99から85.76へ低下している。キャリブレーションデータがモデル自身のRLロールアウトに由来する場合、いくつかの会話スコアを改善する4ビットビルドはもっともらしい。しかし、それは依然としてベンダーによる測定であり、4Bモデルにおけるベンチマークレベルのノイズは十分に大きいため、これらの差分を精度の階梯として読むべきではない。

2つの行にはそれぞれ独自のフラグが付くべきだ。Brevity BenchとWhen2Call Multi-Turnは、NVIDIAが既存ベンチマークのギャップに対処するものと説明している評価であり、ブログによれば後日公開される予定だ。これらは現時点では独立して再現できない——特に重要なのはBrevityだ。出力トークン数が少ないという話を担っているのはこの行だからだ。

NVIDIAの目玉となる主張は、このモデルが平均でNemotron 3 Nano-4Bより約40%、同種のモデルより約10%優れており、推論を有効にした比較では出力トークンを最大80%削減できるというものだ。80%という数字は冗長さに関する主張であり、精度に関する主張ではない。そしてこれは、NVIDIAが自社スイートに組み込んだBrevity Benchmarkスコア82.52と一致する。方向性は真に受け、正確な割合は軽く受け止めるべきだ。

リポジトリがあなたに教えてくれないこと

このカードは自らのギャップについて率直であり、そのギャップは列挙する価値がある。なぜなら、それらがそのリリースでどの程度の信頼性を支えられるかを定義するからだ。

• 独立した評価は存在しない。執筆時点でArtificial AnalysisにはE4Bのモデルページがなく、21行のベンチマーク表を再現した第三者も公表していない。

• {{1}}ホスト提供価格はありません。{{/1}} このカードでは{{2}}Build.NVIDIA.com{{/2}}の掲載日を10月23日としていますが、そこにもカードにもトークンあたりの価格は公開されていません。APIが必要なら、料金表を読むのではなく、交渉しているか無料枠を利用していることになります。

• デプロイは「llama.cpp（レシピ保留中）」と表示されていますが、クイックスタートには動作する llama.cpp コマンドが含まれています。これは技術的な矛盾ではなくドキュメント上の矛盾ですが、自動デプロイパイプラインをつまずかせる類のものです。

• 4GB という目標はファイルとしては実証されていません。証拠となるのは実測された VRAM の範囲であり、ダウンロードサイズは 6.18GB です。

• 安全性、バイアス、説明可能性、プライバシーのサブカードは別々のファイルとして存在する。本記事はそれらを監査しておらず、まだどの独立機関も監査していない。

そうしたことのどれも、そのリリースを信頼できないものにはしない。それはただ、リリースが早すぎるというだけだ。モデルを訓練したチームが書いたモデルカードは、そのモデルが何のためのものかを示す現時点で最良の説明ではあるが、モデルが実際にそれを遂行できる証拠ではない。

ローカルの4Bモデルはどこで限界を迎え、その背後に何を置くべきか

このクラスのモデルにとって誠実なアーキテクチャは分割型です。JetsonやRTXカード上の4B会話チェックポイントは、反射層に優れています。つまり、ウェイクワードへの応答、ペルソナ対話、短いツール呼び出し、入力グラウンディング、ネットワーク往復を許容できないインターフェース部分です。一方で、200Kのコンテキストや10ステップのエージェント的計画を必要とする問いに答える役割には向いておらず、それ自体のベンチマーク表がそう示しています。

そうなると、あらゆるデプロイには2つ目の問いが残ります。ローカルモデルが処理すべきでないリクエストを、何が処理するのかという問いです。OrcaRouterを通じて同じアプリケーションの背後にホスト型モデルを配置すれば、200以上のモデルに対応する単一のAPI、プロバイダー定価に対するマークアップ0%、そして自動フェイルオーバーを実現できます。プロバイダーが劣化したときにも自動で切り替わるため、エスカレーション経路は2つ目のSDK、2つ目のキー、2つ目の請求関係ではなく、ルーティングの判断になります。ローカルモデルは高速パスのままであり、ホスト型モデルは、E4Bが決して訓練されなかったケースのためのフォールバックです。

何がこの状況を変えるでしょうか

有用な順に3つ。同じハーネスで独立したベンチマークを実行すれば、会話中心のプロファイルがNVIDIAの評価の外でも通用するかが決着する。4GB以下の成果物が公開されれば、名前が文字通りになる。そしてBuildエンドポイントに価格が付けば、モデルはダウンロードから比較できるサービスに変わる。

当面、正しい読み方は限定的だが有用だ。NVIDIAはGemma 4 E4Bを事後学習させ、明らかに優れた会話向け小型モデルに仕上げ、同じ文書で証拠と不足点を公開し、ファミリーの発表から1週間後にほとんど騒ぎなくリリースした。名前の4GBは、実測の実行時環境が満たす目標であり、ダウンロードサイズが満たすものではない。ストレージは6.18GBを目安に、期待値は実際に所有するデバイスに応じて毎秒13〜133トークンを目安に計画してください。