生成されたタイトルカードには「NVIDIA Nemotron 3.5 Bolt 74B-A9B 24GB vs GPT-5.6 Sol」と表示され、パネルには「Artificial Analysis Intelligence Index 21 対 約59」「コンテキストウィンドウ 262,144トークン 対 1,050,000トークン」「従量課金価格 なし 対 100万入力トークンあたり4ドル、100万出力トークンあたり20ドル」「測定速度 N/A 対 最初のトークンまでの時間 p50 1.63秒」と表示されている。フッターには、インデックス、コンテキスト、レイテンシの数値は独立に測定されたものである一方、NVIDIAによるBoltのスループット主張はベンダー報告であり再現されていないと記録されている。OrcaRouterのロゴは右下に配置されている。
Guides & Insights

Nemotron 3.5 Bolt 対 GPT-5.6 Sol:この2つのモデルのうち、片方には値段が付いている

著者

Rowan Sterling

公開日

最新モデル · 20すべてのモデルを見る →
ベンチマーク:Artificial Analysis · 毎日更新
すべての記事に戻る

これら2つのモデルをコストで比較することはできない。そして、まさにそこがこの比較の最も有用な点である。NVIDIA Nemotron 3.5 Bolt 74B-A9B 24GBは24GBのファイルだ。ダウンロードしてしまえば、100万トークン目にかかる限界費用は電気代だけである。GPT-5.6 Solはホスト型のフラッグシップで、100万入力トークンあたり$4.00、100万出力トークンあたり$20.00で課金され、公表されているp50の初回トークンまでの時間は1.63秒、過去7日間のトラフィックは5億3,550万トークンに上る。この2つのうち一方には料金表がある。もう一方にあるのはハードウェアの前提条件であり、それは一度だけ届く、別の種類の請求書である。

どちらのモデルも実在し、どちらも出荷されています。NVIDIAのNemotron 3.5 Bolt 74B-A9B 24GBチェックポイントは2026年10月7日からHugging Face上に置かれていましたが、添えられていたのはモデルカードだけでした。そしてベンダー自身によるBoltラインの発表は10月15日、つまり8日後に続きました。その投稿ではこのモデルと4GBの兄弟モデルの両方が名指しされています。GPT-5.6 Solは2026年7月9日からOpenAIの価格表に載っています。今週この2つのどちらかを選ぶなら、判断の分かれ目はどちらがより賢いかではありません。そのワークロードをマシンの外に出せるかどうかです。

A screenshot of the OrcaRouter model page for GPT-5.6 Sol, showing the identifier openai/gpt-5.6-sol, a release date of 2026-07-09, capability chips for Vision, Tools, JSON and Reasoning, a 1M-token context window with a 128K maximum output and text, image and file input, published rates of $4.00 per million input tokens and $20.00 per million output tokens, a p50 time to first token of 1.63 seconds and a p95 of 6.03 seconds, and the OpenAI-compatible base URL api.orcarouter.ai/v1.

21対59の格差は何を測っているのか

Artificial AnalysisはNemotron 3.5 Bolt 74B-A9Bを、そのIntelligence Indexで21と評価し、それが位置づけられている比較クラス内の67モデル中4位にランク付けしている。GPT-5.6 Solは同じインデックスバージョンで50点台後半に位置する。40点近くの差は途方もなく大きく、そう述べられると、議論は始まる前に終わってしまう。

このギャップはまた、一つの数字をまとった二つの異なる測定値でもある。21は、このフットプリントでオープンウェイトモデルが達成した最高スコアだ。Artificial Analysisは、同等のオープンウェイトモデルの中央値を8と記録しており、Boltは「同程度のサイズの他のオープンウェイトモデルと比較した場合、知能においてトップクラスのモデルの中に位置する」と指摘している。約59は、メモリが制約とならないときにフロンティアラボが生み出す値だ。どちらの数字も間違いではない。それらは異なる問いに答えている。24GBにどれだけの知能が収まるか、そしてお金でどれだけの知能が買えるか。

パネルが測定できなかったことのほうが、測定できたことより興味深い。Artificial AnalysisのBoltページでは、速度がN/A、Intelligence IndexタスクあたりのコストがN/Aと記載されている。単純な理由で、呼び出せるホスト型エンドポイントが存在しないからだ。このモデルについて存在するすべての速度数値は、NVIDIA自身のベンチから来ている。研究ノートには、デコーディング速度として少なくとも毎秒80トークンという設計目標が記されており、RTX Spark上のAIPerf SPEED-Benchで毎秒84トークン、128GBのSurface Laptop Ultraでのllama.cpp実行で毎秒83.99トークンを報告している。それらは十分正確かもしれない。NVIDIAの外部でそれらを再現した者はいない。誰かが再現するまでは、ベンダーの主張として扱うべきだ。

A screenshot of the Artificial Analysis model page for Nemotron 3.5 Bolt 74B-A9B, showing an Intelligence Index of 21 with a rank of fourth of 67, speed marked N/A for output tokens per second, cost marked N/A for cost per Intelligence Index task, a verbosity rank of eleventh of 13 at 230 million output tokens, and technical specifications listing reasoning enabled, text and image input, text output, a 262K context window, 74B total parameters and 9B active parameters.

ホスト型モデルが構造的に優位な点

三つの違いは知能とはまったく関係がなく、そのそれぞれが、ローカルファイルをある種の作業には適さないものにする。

• コンテキスト — GPT-5.6 Sol は 1,050,000 トークンのウィンドウと最大 128,000 トークンの出力を提供し、Nemotron 3.5 Bolt は最大 262,144 トークンまで対応します。リポジトリや契約書アーカイブを 1 回のリクエストで処理するような作業では、4 倍広いウィンドウは贅沢な機能ではありません。Bolt のウィンドウはまた、KV キャッシュ、画像、動画フレーム、会話履歴と 24GB を共有しなければならず、そのため実用上の上限は仕様が示唆するよりも早く訪れます。

• 入力タイプ — GPT-5.6 Sol はテキスト、画像、ファイルを受け付けます。Nemotron 3.5 Bolt はテキスト、画像、動画を受け付け、テキストを返します。これは動画における Bolt の真の強みであり、ドキュメントにおける実際の弱点です。なぜなら、ファイルとして渡された PDF は、ラスタライズしたり、ページ分割したり、フレームごとに推論したりする必要がないからです。

• 可用性 — GPT-5.6 SolはURLです。Nemotron 3.5 Boltは、Ampere、Hopper、Blackwellのシリコンを必要とするvLLMデプロイメントか、RTX SparkまたはDGX Sparkデバイス上でのllama.cpp実行です。そのうちの1つは、4分で使い始められます。

第四の違いは、能力よりもむしろ課金計量に関するものだ。ホスト型モデルへの呼び出しはすべて明細行を生むが、ローカルモデルへの呼び出しはそうではない。大量の分類や抽出を回すループでは、その逆転は40インデックスポイントよりも重要になる。

ファイルを所有することが実際にもたらすもの

Nemotron 3.5 Bolt 74B-A9Bは、740億パラメータを持ち、トークンあたり90億がアクティブなスパースMixture-of-Expertsモデルであり、NVIDIAがLatentMoEと呼ぶMamba-2とTransformerのハイブリッドバックボーン上に構築され、マルチモーダル処理向けにC-RADIO v4-Hビジョンエンコーダが追加されている。これは最も文字通りの意味で圧縮の産物だ。NVIDIAは120B-A12B Nemotron 3.5 Super VLモデルを取り、Star Elasticと呼ぶルーター誘導型探索を適用して74B-A9Bまで縮小し、続いて量子化認識蒸留を実行してエキスパート重みあたり2.0625ビット——IQ2_XXS形式——まで下げ、ゼロから再学習することなく24GB以内に収めた。ライセンスはOpenMDW-1.1で、商用・非商用利用を許可している。

そこから二つの帰結が導かれる。第一に、モデルはワークステーション上の他のアプリケーションを置き換えるのではなく、それらと並んで動作する。まさにこれによって、ローカルエージェントはそもそも実現可能になる。第二に、投機が組み込まれた状態で提供される。DFlash を通じて駆動される LiLiCorr ドラフターが 7 トークン先まで提案し、毎秒 84 トークンという数字の意味のある部分はここから生じている。

ベンダー自身のベンチマーク表は、NVIDIA以外の誰も再現していないものだが、同じ表内のあらゆるベースライン——Qwen3.6 35B、Gemma 4 26B、NVIDIA自身のNemotron 3.5 Lightning 30B-A3B——よりも、24GBチェックポイントを上位に置いている。GDPVal-AA-V2(28.47)、Terminal-Bench 2.1(50.98)、GPQA Diamond(86.43)、SciCode(41.02)、BrowseComp(66.75)において。これらは、圧縮された74Bがその3分の1のサイズの非圧縮モデルとどう比較されるかについての主張として読むべきであり、まさにそれらが示すように設計されているものであって、ホスト型フラッグシップとの比較として読むべきではない。

A generated two-column scoreboard titled NVIDIA Nemotron 3.5 Bolt 74B-A9B 24GB vs GPT-5.6 Sol, owning against renting. The left column, tagged OWN IT, lists a 24GB vLLM or llama.cpp deployment, no price per million tokens because nothing is metered, hardware and power and amortisation as the cost of a 20K-in and 3K-out call, a 262,144-token widest window, text images and video input, and no independently published speed. The right column, tagged RENT IT, lists a hosted endpoint, $4.00 in and $20.00 out per million tokens, about $0.68 per call, a 1,050,000-token window, text images and files input, and a 1.63 second p50 time to first token. The OrcaRouter logo sits bottom-right.

二つの半身を正直に値付けする

ホスト型の側には、曖昧さのない価格があります。GPT-5.6 Sol は OrcaRouter のカタログに openai/gpt-5.6-sol として、OpenAI のプロバイダー定価で掲載されていますマークアップは 0% でそのまま適用され、100 万入力トークンあたり $4.00、100 万出力トークンあたり $20.00 です。当社のページに表示される数字はベンダー側と同じです。つまり、ベンダー側の変更は次回の契約更新時ではなく、その当日に当社側へ反映されるということです。20,000 トークンの入力と 3,000 トークンの出力であれば、入力が $0.08、出力が $0.60、1 回の呼び出しあたり約 $0.68 になります。

ローカル側には、当社がでっち上げるつもりの価格はありません。Nemotron 3.5 Bolt 向けのホスト型エンドポイントはなく、料金表もなく、それを従量課金で計測していてお客様にご案内できる第三者プラットフォームもありません。その価格を決めるということは、GPU、消費電力、償却期間の価格を決めるということであり、それは当社の表計算ではなく、お客様の表計算に入るべき計算です。なぜなら、答えはどれだけ実行するかによって完全に変わるからです。

その非対称性こそ、ルーティング層が飾りではなく具体的な役割を果たす場面だ。Nemotron 3.5 Boltは当社のカタログにはなく、当社が提供しているものでもない。ここにあるのはNVIDIAのチェックポイントをホストするという申し出ではない。単一のエンドポイントが実際に買うのは、ワークフローのローカル側とホスト側を1つのキーの下に保つ能力だ。これにより、100万トークンのウィンドウやファイル入力が必要なときはリクエストをGPT-5.6 Solへ送り、そうでないときは自前のBoltデプロイへ送ることができる。どちらを選ぶかを決めるルールは、各サービスにハードコードするのではなく一度だけ書けばよい。ホスト側プロバイダーが劣化した場合、自動フェイルオーバーがリクエストを移動させるのであって、リクエストが失敗するのではない。

どちらを選ぶべきですか

• データを社外に持ち出せない場合、ワークロードに動画が含まれる場合、トークン単位の課金が主要なコストになるほど処理量が多い場合、あるいはすでに所有しているハードウェア上でエージェントを動かしたい場合は、Nemotron 3.5 Bolt 74B-A9B 24GB を選びましょう。262K のウィンドウと、ホスト型モデルのおよそ3分の1のインデックススコアを受け入れましょう。それを前提にキャパシティを計画する前に、自分のデバイスでスループットの主張を検証してください。

• 最も広いコンテキスト、ファイル入力、利用可能な中で最強の推論、そしてそれを支えるサポート契約が必要なタスクには、GPT-5.6 Sol を選びましょう。その特権に対しては100万トークンあたり$4と$20を支払うことになり、また、128Kの最大出力は、24GBのメモリエンベロープが余裕をもって許容できるよりも長い単一の応答であることに留意してください。

• ワークフローがきれいに分割できるときは、両方を実行する。ほとんどのエージェントシステムでは、実際そうなっている。ローカルファイルが、高頻度でリスクが低く、プライバシーに関わる半分を処理し、ホスト型モデルがリーチを必要とするリクエストを処理する。

未解決の問いは、直近の圧縮版Nemotronが提起し、誰も答えなかったものと同じだ。それは、24GBの重みについての最初の独立したスループットとレイテンシの測定であり、NVIDIAに勤めていない人物によって実施される。それが存在するまで、このモデルの知能の下限は外部で検証されているが、速度の上限はそうではない——そしてローカル展開では、体感の半分は速度だ。