記事「Qwen3.8-27B VRAM Requirements」のタイトルカード。GPUチップに約17 GBのメモリタグと、Q4_K_M、Q6_K、Q8_0の量子化バッジが表示されている。
Guides & Insights

Qwen3.8-27BのVRAM必要量:実際にどれほどのハードウェアが必要か

著者

jinhao.song

公開日

最新モデル · 20すべてのモデルを見る →
ベンチマーク:Artificial Analysis · 毎日更新
すべての記事に戻る

Qwen3.8-27B について流れている数字は、およそ 17 GB の VRAM だ——Unsloth の Daniel Han は「リリース時にはおおよそ 17GB の VRAM に収まるはず」と述べている——そして、それが何であり何でないかを正確に押さえておく価値がある。これは 27B の前身モデルに基づく予測であり、Alibaba による仕様ではない。なぜなら、このモデルはまだリリースされていないからだ。公式リポジトリは 2026 年 8 月 10 日の週に公開されると約束されていたが、執筆時点ではまだ登場していなかった。本記事では、VRAM に関する疑問を、計画に織り込めるもの、本当に不確かなもの、そしてその数字が量子化、コンテキストウィンドウ、ランタイムによってどう変動するかに整理する。

正直な答えを先に

Qwen3.8-27B の公式ハードウェア仕様はまだありません。以下はすべて、27B が後継するモデルである Qwen3.6-27B からの推定です。パラメータ数は同じで、おそらく同じハイブリッドアーキテクチャであり、サイジングの参考として最も近いものです。これらの数値は要件シートではなく、計画上の想定範囲として扱ってください。最初の実際の測定値は、重みが公開されてから数日以内に量子化担当者や推論フレームワークのメンテナーから出てくるでしょう。購入を確定する際に基準とすべきなのは、それらの数値です。

クオンツのラダー

必要なVRAM量は、どの量子化を実行するかでほぼ決まります。コミュニティ計測によるQwen3.6-27Bの表を基に、順に見ていきましょう:

• Q4_K_M — およそ16 GBのVRAM。24 GBカードのスイートスポットであり、あの「17 GB」という数字の出どころでもあるだろう。ほとんどのチームにとってのデフォルトだ。

• Q3_K_M / IQ3 — 約13 GBのVRAM。16 GB、さらには12 GBのカードにも収まりますが、品質が目に見えて一段低下します。

• Q6_K — 約21 GBのVRAM。ほぼロスレスで、24 GBカードにもぎりぎりだが実際に収まる。

• Q8_0 — およそ27~30 GBのVRAM。48 GBのカード向けで、品質の最後の一滴まで追求したい場合に。

• FP8サービング — 重みに約27 GBのVRAMが必要で、そのため単一のL40Sが推論用GPUの一般的な選択肢となっています。

• フル精度(BF16) — およそ54 GBのVRAMが必要です。現実的にはH100クラスのカードであり、人々がそれを「ローカル」と呼ぶのをやめる領域です。

要するに、このモデルには24 GBのGPUが安全な買い物で、16 GBのカードで動かせるのは低い量子化を受け入れる場合だけで、8 GB以下となると、このモデルが前世代より劇的に軽量だと判明しない限り対象外だ。

An infographic titled 'Qwen3.8-27B - the quant ladder' listing six quantization tiers with VRAM figures: Q3_K_M ~13 GB, Q4_K_M ~16 GB, Q6_K ~21 GB, Q8_0 ~27-30 GB, FP8 serving ~27 GB, BF16 full ~54 GB, with the Q4_K_M row highlighted as the sweet spot for 24 GB cards.

誰も引用しない変数:コンテキスト長

上記の数値はすべて、控えめなコンテキストを前提としたものです。VRAMがコンテキストに応じて増えるのは、KVキャッシュが重みと並んで常駐しなければならないからです。Qwen3.6-27Bでは、2Kコンテキストは約11 GBで動作し、32Kコンテキストでは同じ量子化モデルが14 GBを超え、128Kではキャッシュの占有量が2倍以上になりました。Qwen3.8-27Bが大きなネイティブコンテキストウィンドウを維持するなら—そしてQwen世代はその方向に進んできています—量子化サイズに加えて数GBの余裕を見込むか、ランタイム設定でコンテキストを上限設定してください。実際には使わないコンテキスト長を選んでしまうのが、チームが本来必要だったより大きなカードを購入する羽目になる最もよくあるパターンです。

ハイブリッドアーキテクチャのワイルドカード

Qwen3.6-27Bはハイブリッドモデルでした。65層のうち従来のKVキャッシュを使っていたのは16層だけで、48層は固定のリカレント状態を使用していました。その結果、KVメモリは同サイズのdenseモデルよりおよそ4分の1になりました。これが、27Bでありながら48GBのカード向けモデルではなく24GBのカード向けモデルのように感じられた大きな理由です。Qwen3.8-27Bがハイブリッド設計を維持するなら(可能性は高いですが未確認です)、上記のコンテキスト長の計算は見た目より有利になります。注意点はランタイムのサポートです。リカレント層を実装していないllama.cppやvLLMのビルドでは、はるかに高いメモリ使用量が報告されます。予測が成り立つと仮定する前に、どのランタイムでサポートがマージされているか確認してください。

どのGPUが実際に動作するのか

具体的には、共通カードについては:

• RTX 4090 / 3090 / 5090(24 GB) — Q4_K_Mなら余裕を持って動き、詰め込む覚悟があるならQ6_K。これが想定対象です。

• RTX 3060 / 4060 Ti 16 GB — IQ4またはQ3クラスの量子化のみ、コンテキストは控えめに。動作はするが、快適とは言えない。

• 12 GB カード — 品質を低減した Q3_K_M。実験には向いているが、サービングには不向きです。

• Apple Silicon — 24GBのMacなら、MLXまたはllama.cpp経由で同じQ4ファイルを実行できる。16GBのベースモデルはスワップでスラッシングを起こし、Qwen3.6-27Bのときと同様、実質的に選択肢から外れる。

• 48 GB 以上(A6000、L40S、デュアルカード構成) — 真の余裕を持った Q8_0 または FP8 サービング。

An infographic titled 'Context vs VRAM' comparing the same Q4 quant at 2K context (~11 GB) versus 32K context (~14 GB+), with a tip box advising to cap context at what you actually use.

またはGPUを完全にスキップする

ハードウェアの採算が合わないなら、モデルに固執する必要はない。OrcaRouter は200以上ものモデル——Qwen ファミリーも含む——を1つの API で扱えるようにするもので、プロバイダーの定価をマークアップゼロでそのまま通す。そのため Qwen3.8-Max は現在、入力トークン100万あたり2.00ドル、出力トークン100万あたり6.00ドルで、ベンダー自身の価格ページと同じだ。27B 自体はローカルモデルになるが、その重みが公開され、信頼を得られるようになれば、同じキーで、それをホストする任意のプロバイダーへルーティングされる——今からその世代向けに開発を進められ、GPU リセラー市場に一切触れる必要はない。

OrcaRouter model page for Qwen3.8-Max (qwen/qwen3.8-max), showing the NEW FEATURED badge, Vision and Tools capabilities, $2.00 per million input tokens and $6.00 per million output tokens, a p50 time-to-first-token of 4.84 seconds, a 1M-token context window, and OpenAI-compatible API code samples.

ハードウェア問題の結論はこうだ。快適な4ビット実行なら16 GBを見込み、安全を期し、コンテキストとより高位の量子化のための余裕も確保するなら24 GBを見込む。そして、ここに挙げた数値はすべて、リポジトリが公開され、最初の実際の測定結果が現れるまでは暫定的なものとして扱ってほしい。「17 GB」という予測は妥当な計画上の数字ではあるが、まだ事実ではない。

この記事で比較したモデル1

この記事から検出 · ベンチマーク:Artificial Analysis · 毎日更新