Nemotron 3.5 Bolt 24GB vs Qwen3.8-27B：どちらも24GBに収まる — 実際にかかったコストを明かすのは片方だけ

A neat story circulates about these two models: the N​VIDIA N​emotron 3.5 Bolt 74B-A9B 24GB fits in 24 gigabytes and Qwen3.8-27B does not. The first half is true and the second half is out of date. A​libaba published Qwen3.8-27B in August 2026 as a dense 27-billion-parameter vision-language model whose 16-bit weights run to roughly 56GB, and within days the community had produced four-bit builds of it at 16.46GB. Both models fit in 24GB today. The difference worth arguing about is that N​VIDIA designed the compression, published what it cost, and shipped it as the product — while the Q​wen side of that comparison is a build someone else made, with a bill nobody has totalled.

各モデルの正体

Bolt is a mixture-of-experts hybrid: 74 billion parameters total, 9 billion active per token, Mamba-2 state-space layers interleaved with experts and attention, plus a C-RADIO v4-H vision encoder. It exists in its 24GB form because N​VIDIA ran a router-guided architecture search against a footprint budget and then quantised the experts to 2.0625 bits per element, repairing the damage with quantisation-aware distillation.

Qwen3.8-27Bはdenseです。270億個のパラメータすべてがトークンごとに読み込まれ、モデルカードのアーキテクチャセクションには、64層のスタックが、3つのゲート付き線形アテンションブロックとそれに続く1つのゲート付きフルアテンションブロックの16回の繰り返しとして構成され、マルチトークン予測が複数のステップにわたって学習され、ネイティブコンテキストは262,144トークンで100万トークンまで拡張可能であると記載されています。画像と動画をネイティブに理解し、リクエストごとに、reasoning-effort設定と、ターンをまたいで推論コンテキストを保持するフラグを通じて、thinkingの制御を公開しています。

両者は生産哲学が異なり、どちらも十分に寛容なライセンスの下でオープンウェイトとして提供されている——Bolt は OpenMDW-1.1、Qwen3.8-27B は Apache 2.0。

2つの圧縮、そのうち1つは文書化されています

これが比較の中でも決め手となる部分です。

N​VIDIA's 24GB checkpoint is compressed by N​VIDIA, and the cost is published. The BF16 release of the same model carries a table with both columns side by side, so the price of 2-bit experts is visible line by line:

• GPQA Diamond — 2ビットで86.43、16ビットでは88.83、2.40ポイントの低下。

• Terminal-Bench 2.1 — 50.98 対 53.93、2.95 の損失。

• BrowseComp — 70.00 に対して 66.75、3.25 の低下。

• AA-LCR 長コンテキスト推論 — 64.06 対 67.38 で、3.32 の低下。

• ツールなしのHLE — 25.30 対 28.73、3.43の低下。

• AA-Omniscience の精度 — 16.90 対 21.80、4.90 の低下。

そして逆方向の2行もある。AA-Omniscienceの非幻覚では、圧縮モデルは61.27で、フル精度の56.14を上回り、WebArena visionでは両者は1ポイント以内で並んでいる。これらはベンダー公表の数値であり、再現されておらず、それでも24GBへの圧縮が自社モデルに何をもたらしたかについて、どの研究機関が公表した中でも最も完全な説明であることに変わりはない。

Now the Q​wen side. A four-bit build of Qwen3.8-27B at 16.46GB exists, was published by a third party, and comes with no accuracy measurement at all. Not a weak one — none. The same is true of the 9.83GB and 7.27GB builds sitting below it, and of the 21.98GB build above. Whatever a 27B dense vision-language model loses when its weights are squeezed to four bits, nobody has published a number for it, which means the memory arithmetic that makes the fit possible is the easy half and the capability question is entirely open.

その非対称性こそが、この対決の正直な姿だ。Boltは価格を明示してくれる。Qwen3.8-27Bは、自分で見積もらなければならない対価を支払わせる。

独立パネル、そしてそれが対象とする範囲と対象としない範囲

Artificial Analysisは、Qwen3.8-27Bを最大推論構成におけるフルモデルレベルで測定している。知能指数は34で、パネル内の141モデル中1位。出力は毎秒約41トークンで、63モデル中51位。追跡しているプロバイダー構成におけるコストは入力100万トークンあたり0.50ドル、出力100万トークンあたり3.00ドルで、その規模のオープンウェイトモデルとしては特に高価だと同社は述べている。また、このモデルは非常に冗長で、インデックス実行中に2億トークンを生成したとも指摘している。

同じ評価パネルはBoltのインテリジェンス指数を21と算出しており、これは同クラス67モデル中4位にあたる。速度とコストはいずれも利用不可となっているが、これはBoltを提供する公開APIが存在しないためだ。13ポイントという差は大きく、しかも両者とも同じ方法で測定されている。それゆえこれは、この記事の中で最も信頼できる単一の記述と言える。ただし、ここには一見した以上に重要な注意点が伴う。パネル自身の比較サマリーはQwen3.8-27Bを著しく低速で極めて冗長だと評しており、つまり知能で勝るモデルは、より長く待たされるモデルだということになる。

On modality the two pages disagree in a way worth noting, since a spec panel is not the same as a product page. The Q​wen vendor card describes native image and video understanding; the analysis panel lists text, image and video input for Qwen3.8-27B on some views and text-and-image for Bolt. Both models see. Neither sees identically, and the difference in how third parties describe the two is a reminder to check a modality claim against the model card rather than a summary row.

The vendor table on Q​wen's side

A​libaba's model card is a long one, and its agentic rows are the reason this model is interesting next to Bolt at all. Terminal Bench 2.1 at 73.0, SWE-bench Pro at 61.7, GPQA Diamond at 89.2, HLE at 30.8, LiveCodeBench v6 at 90.3, OSWorld-Verified at 84.3 and AndroidWorld at 81.9 — all evaluated by A​libaba, in most cases inside the C​laude Code harness, at a 256,000-token context.

それらの数値はBoltの表と比較できるものではない。ハーネスが異なり、評価日も異なり、ベースラインの選定も異なり、Boltの場合にはベースライン群が4ビットで24GBに収まるようにすることも一部の理由として選ばれている。正直に言えるのは、Qwen3.8-27Bの公開エージェントスコアがBoltの公開エージェントスコアより高いということ、どちらの数値一式もモデルを開発したラボから出ているということ、そしてどちらのラボも相手のベンチマークスイートを実行していないということだけだ。

One Q​wen number is worth flagging for a different reason. Its own card concedes GPQA Diamond at 89.2 while Bolt's card claims 86.43 — close enough that a harness difference could move either one past the other. That is the scale on which vendor tables settle arguments. It is not a scale on which you should settle one.

レンタルする場合、そして引き継ぐことになるレイテンシ

Bolt has no endpoint. There is no rate to quote, no provider serving it, and no way to evaluate it on your own traffic without completing N​VIDIA's deployment recipe — the pinned nightly vLLM container, the kernel package fetched at runtime, the reasoning-parser plugin, the b12x backends, the fp8 KV cache and a served concurrency of one sequence.

Qwen3.8-27Bはダウンロードも呼び出しも可能で、その組み合わせこそが、この比較に実用的な答えが存在する理由です。当社はqwen/qwen3.8-27bを自社インフラ上で、入力トークン100万あたり$0.33、出力トークン100万あたり$2.40で提供しています。カタログのエントリには262,144トークンのコンテキストと、テキスト・画像・動画の入力が記載されており、この料金で公開できるのは、OrcaRouterがプロバイダーの定価をマークアップを一切加えずそのまま通しているからです。ベンダーが値下げすれば、その変更は次の請求サイクル時ではなく当日中にここで反映されます。

とはいえ、レイテンシについては、都合よく飾るのではなく、正直に示すべきです。2026年10月16日までの7日間、このモデル向けの当社自身のエンドポイントは、初回トークンまでの時間のp50が10.00秒、p95が10.00秒、出力速度が毎秒515トークン、エラー率が2.1%と報告しました。日別の系列が集計値の内訳を説明しています。10月10日は1.42秒、11日は1.65秒、12日は2.83秒、次いで13日と15日は10.00秒、14日は1.91秒でした。6日間のうち2日が当社の測定ウィンドウの上限に達し、3日は達しませんでした。

That is not a nice number, and it is the number. It is also the concrete reason automatic failover exists as a routing feature rather than a slogan: a first-token wait that is fine on Monday and ten seconds on Wednesday is exactly the failure mode a fallback chain is for, and the routing DSL exists so that "try this model, fall back to that one if it degrades" is configuration rather than application code. A model you own — Bolt, or a local Q​wen build — has no such problem and no such option. It is as fast as your GPU is, every day, with no third party in the path and no second model to reach for when it stalls.

これが実際にどのように解決するのか

引き渡すべき勝者など存在しない。なぜなら、その2つのモデルは同じ枠を争っているわけではないからだ。

If your constraint is a machine without a network, or work that cannot leave the device, Bolt is the answer and the published compression cost is the price of admission. Nothing about Qwen3.8-27B changes that, because you cannot download your way into a 24GB deployment that N​VIDIA has not already built and documented — you can approximate it with a four-bit build whose quality is unmeasured and whose vision projector you would have to source separately.

もしあなたの制約条件が「ドル当たりの能力」であり、ネットワークが利用可能なら、Qwen3.8-27Bは、その両方を測定した唯一の指標において13ポイント先行しており、公表された料金で、あなたの法務チームが以前に見たことのあるライセンスの下にあります。4ビットのローカルビルドは妥当な第3の道であり、それは、誰かの表をそのまま引き継ぐのではなく、自分で評価を行うことを想定すべきものです。

両モデルがあなたに委ねている部分は同じだ。どちらも他方に対する独立したベンチマークを持たず、どちらのラボも他方のモデルを測定しておらず、両者について出回っている初日の意見はベンダー資料を読んだものにすぎない。両方をダウンロードし、自分のタスクで動かし、終わったほうを残せ。それが、この比較において、両モデルを作った2つのラボのどちらによっても公表されていない唯一の結果だ。

数字からは分からないのは、それが現場で何か問題を起こしていないかどうかだ。このクラスのモデルに関する、記録されたAIインシデントやエージェントの障害は、OrcaRouter AIインシデントアーカイブに集められており、各項目にはそれぞれの情報源、深刻度、信頼度グレード、異議ありフラグが付されている。