Qwen3.8-27B-Uncensored-NVFP4: Blackwell GPU向けサービングランブック

Qwen3.8-27B-Uncensored-NVFP4は、2026年8月19日からHugging Faceに公開されており、それから10日間で約32,700回ダウンロードされました。これはローンチ記事ではありません。重みは10日前のもので、報じるべき発表もなく、関連ビルドであるQwen3.8-27B-Uncensored-FP8とQwen3.8-27B-Uncensored-GGUFはこのブログで既に紹介されています。これは、人々が今まさにダウンロードしているビルドのためのランブックです：NVFP4が実際に何であるか、この特定のビルドがなぜFP8と混在しているのか、どのGPUが恩恵を受け、どのGPUがそうでないのか、それをどうサーブするか、そしてFP8またはGGUFビルドの代わりにこれを選ぶべき人と、選ぶべきでない人。

最初に一つ言っておきます。このリポジトリはアクセス制限されており、初めてダウンロードする人を皆つまずかせます。単純な hf download orcarouter/Qwen3.8-27B-Uncensored-NVFP4というワンライナーは、Hugging Faceにログインし、モデルページでリポジトリのアクセス条件を受け入れていない限り、認証エラーで失敗します。以下の説明は、その両方を済ませていることを前提としています。

もうひとつ前置きとして：このリポジトリのモデルカードも同じゲートの背後にあり、ここでそれを言い換えることは一切ありません。以下は、公開されたファイル一覧とリポジトリのメタデータ、NVIDIAの公開NVFP4ドキュメント、そしてBlackwell上でQwen3.8-27B NVFP4ビルドを運用している人々からの現場レポートに基づいています。数値がベンダーではなく実務者に由来する場合、本文にその旨が明記されています。

このビルドの内容

Qwen3.8-27B-Uncensored-NVFP4の NVFP4 量子化版がQwen3.8-27B-UncensoredAli​baba のモデルのアブリテーション版、すなわちQw​en/Qwen3.8-27Bであり、orcarouter 組織が 2026-08-18 に公開したものです。アブリテーションは、モデルの拒否方向を残差ストリームから除去します。この手法は、当社のアンセンサーモデル解説書で説明されており、ここでは繰り返しません。ベースは、ハイブリッドアテンションを備えた高密度 27B モデルで、48 層の線形アテンション層と 16 層のフルアテンション層を備え、ネイティブの画像・動画理解、262,144 トークンのコンテキスト、内蔵の MTP 投機的デコードヘッドを備えています。Apache 2.0 でエンドツーエンドです。

このビルドが興味深いのは、アブリテレーションではなく量子化レイアウトです。なぜなら、これは意図的に量子化されたビルドであり、NVFP4を検索してここに辿り着いたなら、その形式こそが本題だからです。リポジトリの公開メタデータと量子化設定によると、これは混合精度のcompressed-tensorsビルドです。アテンション射影はFP8（E4M3）、MLPはNVFP4（4ビット、パック済み）、視覚エンコーダ、MTPヘッド、lm_head、線形アテンションのノルムとバイアスはBF16のまま残されています。公開ファイル一覧のsafetensorsメタデータもこの構成と一致しており、BF16で約35億パラメータ、FP8-E4M3で94億パラメータ、パックされた4ビットテンソルで150億パラメータ、ディスク上では5つのシャードに加えて別のmodel-extraシャードを含めて約24.7GBです。このいずれも、このビルドがどのように推論提供されるかについての主張ではありません。この正確なリポジトリの実行時VRAMとスループットは、現在私が引用できる形ではどこにも公開されていません。ディスク上のサイズはファイル一覧から、形式は設定からの情報であり、以下のサーバー動作は密接に関連するNVFP4ビルドでコミュニティによって検証されたものです。

NVFP4とは何か、そしてFP8やINT8/AWQとの違い

NVFP4は、Blackwellの第5世代テンソルコア向けに導入されたNVIDIAの4ビット浮動小数点フォーマットであり、NVIDIA自身の技術ブログがその正しい一次情報源です。このフォーマットは重みをE2M1（符号1ビット、指数2ビット、仮数1ビット）として格納し、ブロック単位でスケーリングします。16個の値ごとにE4M3 FP8スケールを共有し、テンソル全体にはテンソル単位のFP32スカラーが適用されます。この2段階方式こそがこのフォーマットの本質です。単純な4ビット浮動小数点では失われる動的範囲を、ブロックあたり数ビットのオーバーヘッドと引き換えに回復します。実用的な違いを1行形式で示すと、次のようになります。

• NVFP4 vs FP8 — 両方とも浮動小数点ですが、FP8（E4M3、8ビット）はHopperとBlackwellで動作する一方、NVFP4は4ビットで、Blackwellでのみネイティブに高速化されます。NVIDIAは、重みがFP16より約3.5倍小さく、FP8より約1.8倍小さいと述べており、Blackwellではmatmul（行列積）がFP4テンソルコア上で直接実行されます。

• NVFP4 vs INT8/AWQ — INT8（W8A8）とAWQ（W4A16）は、Ampere以降で動作する整数形式です。AWQは4ビットですが整数であり、ほとんどのハードウェアでは、matmulのために重みがより広い型に逆量子化されます。NVFP4はブロックスケーリングを備えた4ビット浮動小数点数であり、低ビット部分でより多くの精度を保持します。また、整数形式にはないネイティブなFP4 GEMMパスを持っています。

• NVFP4 vs MXFP4 — この2つはよく混同されます。MXFP4は32要素ブロックとE8M0（2の累乗）スケールを使用し、NVFP4は16要素ブロックとE4M3スケールを使用します。より細かいブロックによりNVFP4は外れ値の分離が向上し、そのためこのフォーマットはBlackwellサービングスタックにおける事実上の4ビット標準となっています。

恩恵を受けるハードウェアはどれか ―― そして、受けないのはどれか

このビルドについて最も重要な事実は、NVFP4がBlackwellフォーマットであるということだ。NVFP4は、テンソルコアがFP4 GEMMをネイティブに実装しているGPUでのみ真価を発揮する。それ以外のものでは、紙面上の性能がどんなに高速でも、それは誤ったツールである。

• Blackwell — RTX 50シリーズ、B200/B300、RTX PRO 6000、DGX Spark (GB10) — ここでNVFP4が正しい選択です：ネイティブFP4テンソルコア、アンセンサードラインで最小のサーバーグレードフットプリント、そしてこのビルドのために作られたフォーマット。

• Hopper — H100/H200 — ネイティブFP4 GEMMはありません。NVFP4は、より遅く、何の利点もないウェイトのみの逆量子化パスに退化します。ここではQwen3.8-27B-Uncensored-FP8を使用してください。そのビルドはまさにこのハードウェアで検証されています。

• Ampere/Ada — RTX 3090/4090 — NVFP4はこれらでも加速されません。GGUFビルド（Q4_K_Mティアは16.8 GB）は、24 GBカードに適したツールです。

• Apple Silicon — MacではNVFP4は関係ありません。実行されるのはMLXビルド（またはGGUF）です。

正直なところ、ひとつ補足があります：コミュニティフォークはBlackwell以前のハードウェアでもNVFP4 weight-onlyを実行できます。同じabliteratedモデルのコミュニティ製NVFP4ビルドは、パッチ適用済みのvLLMフォークを通じてV100クラスのカード向けに明確にセットアップされており、最近のQwen3.8-27BをめぐるDGX Sparkレシピはまた別物です。これらはそれぞれ固有の注意点を伴う専門的な経路であり、このビルドが対象とするものではありません。Blackwellをお使いなら、それらのことは一切関係ありません。Blackwell以外をお使いなら、FP8またはGGUFビルドのほうが適したダウンロード先です。

サーブの仕方

リポジトリはvLLM用にタグ付けされており、compressed-tensors形式はconfig.jsonから自動的に読み取られます。量子化スキームを手動で選択する必要はありません。Qwen3.8-27B NVFP4ビルドで実務者が採用するスタックは、Blackwellカード上の最新のvLLM、FP8 KVキャッシュ、そして投機的デコードに使用されるモデル自身のMTPヘッドです。最も広く引用されているコミュニティリファレンスであるUnslothのNVFP4ガイドは、高速FP4パスのためにFlashInferとCUTLASS-DSLカーネル依存関係を備えたvLLM 0.25.0以降を推奨しています。

動作する出発点、当社のFP8ビルドの検証済みフラグとコミュニティのNVFP4レシピから組み立てたものをすべて1行に：

vllm serve orcarouter/Qwen3.8-27B-Uncensored-NVFP4 --kv-cache-dtype fp8 --max-model-len 262144 --reasoning-parser qwen3 --enable-auto-tool-choice --tool-call-parser qwen3_coder --speculative-config '{"method": "mtp", "num_speculative_tokens": 3}'

• FP8 KVキャッシュ — キャッシュメモリを半分に削減できる最も互換性の高い方法であり、実務者からは保持できるコンテキストがおよそ2倍になると報告されています。NVFP4 KVキャッシュのサポートも存在しますが、一部のアテンションバックエンドに限定されるため、FP8 KVの方がより安全なデフォルトです。

• MTP投機的デコード — モデルにはMTPドラフトヘッドが搭載されており、量子化後もBF16のまま維持されます。実務者によると、Blackwell上でNVFP4ウェイトを使用する場合、2～3個のドラフトトークンが良好に機能し、JSONやツール呼び出しなどの構造化出力で最大の効果が得られます。

• Vision — ビジョンエンコーダーはこのビルドではBF16で保持されています。--language-model-only を追加すると、テキストのみを提供できます。画像や動画の入力が必要な場合は、このフラグを省略してください。

• DGX Spark では — 現場から報告されたいくつかの注意点: --gpu-memory-utilization を 0.90 以下に保ち (高い値は重み読み込み中にマシンをハングアップさせることがあります)、そして --safetensors-load-strategy lazy をメモリが不足している場合に追加します。また、sm_121a カーネルには GB10 ビルドの vLLM が必要です。

正直なパフォーマンスについて：この正確なリポジトリに対する公開された独立したスループット数値は存在しません。存在する測定値は、密接に関連するNVFP4ビルドに関するものです。Unslothは、自社のQwen3.8-27B-NVFP4ビルドについて、B200上でBF16の毎秒トークン数の1.41～1.49倍を報告しています（バッチ1で89.8～133.7 tok/s、バッチ64で3,048～4,407 tok/s）。また、NVIDIAフォーラムのDGX Sparkユーザーは、NVFP4ウェイト、FP8 KVキャッシュ、MTP深さ3で、およそ20～32 tok/sを報告しています。どちらも引用する価値がありますが、どちらもこのリポジトリのベンチマークではありません。

実際に機能する使用パターン

Blackwell上でQwen3.8-27Bファミリーモデルを実行している実践者たちは、ごく少数の設定に収束しています。これらはベンダーのガイダンスではなく、現場レポートとして扱ってください — Qw​enはこの大部分を文書化しておらず、このリポジトリ自体のカードもゲート付きです。

• reasoning_effortは最も重要なダイヤルです。デフォルトのxhighは、すべてのリクエストでモデルに長い時間考えさせます。エージェントループを実行している人は、デフォルトでmediumを設定し、lowに落とします — または、思考を完全に無効化するには、enable_thinking: false — レイテンシに敏感な単一呼び出しの場合です。単一のBlackwell GPUでは、日常的なタスクでxhigh推論を行うと、高速なモデルでありながら回答が遅いという結果になります。

• サンプラーは思考モードとペアになっており、独立したものではありません。コミュニティの共通認識: 思考オン時は temperature 1.0 / top_p 0.95 で実行され、思考オフ時は presence_penalty 1.5 を伴う temperature 0.7 / top_p 0.80 で実行されます。この2つのセットを入れ替えると出力品質が低下します。

• 現在のチャットテンプレートを使用してください。qwen3_5テンプレートはすべてのアシスタントターンをthinkブロックで包みます。また、複数の実践者が古いテンプレートではループや出力の途中切断が発生すると報告しています。コミュニティ修正版のQw​en-Fixed-Chat-TemplatesとQw​en-Sharpバリアントは、次の設定（preserve_thinking）を行い、ループを停止します。サーバーの出力が停止トークンを越えて続く場合は、まずこれを確認してください。

• エージェント作業における長い推論トレースの予算を確保する。実務者は、3.8世代モデルが3.6世代の前モデルに比べてタスクあたりのトークン数を約2倍生成すると報告しています。品質の向上は、より長い思考に一部起因しています。長いxhigh回答の場合は、推論出力をストリーミングしないとゲートウェイタイムアウトが発生します。

• ツール呼び出しは量子化後もそのまま機能します。関数呼び出しパスは、アブリタレーションと4ビット変換の両方を経ても機能し続けます。qwen3_coderツール呼び出しパーサーで有効にすると、モデルはベースモデルと同じようにツールを選択します。

このビルドを選ぶべき人、そして選ぶべきでない人

正直な判断としては、FP8とGGUFの投稿で既に詳細に説明した量子化選択の計算を繰り返すことなく：

• NVFP4を選ぶのは、Blackwell上でサービスを提供しており、FP4テンソルコアの速度を持つアンセンサードラインの中で最小のサーバーグレードフットプリントを求めており、さらに、アブリテーテッドモデルを正当に必要とする研究、レッドチーム、または解釈可能性の作業を行っている場合です。

• Qwen3.8-27B-Uncensored-FP8を選択するのは、Hopper上で実行する場合、または最も広く検証されたvLLMパスを希望する場合です。これはH200で検証済みの8ビット版で、同一のウェイトを持ち、VRAMの下限は約40GBです。

• Qwen3.8-27B-Uncensored-GGUFを選ぶのは、あなたが一般向けGPUまたはMacを使っている場合、またはvLLMではなくllama.cppを使いたい場合です。Q4_K_Mティアがローカルでの最適解です。

• どちらも選ばないでください。もし最大限の忠実度を求める場合、ユーザー向けのものを構築している場合（下記の安全境界を参照）、またはまったくセルフホストを希望しない場合—同じ無検閲のラインはOrcaRouterを通じて研究者に限定して提供されているため、GPUは不要です。

安全境界 — 研究のみ

これはアブリテーション（abliteration）処理済みのモデルであり、量子化によってガードレールが復元されることはありません。拒否方向はQw​en/Qwen3.8-27Bの残差ストリームから除去されており、NVFP4は精度の変更であって、安全性の介入ではありません。つまり、このモデルはベースモデルが拒否するリクエストにも応じる可能性があり、このビルドには組み込みのモデレーション機能はありません。本モデルは、Apache 2.0のもとで解釈可能性、AI安全性、レッドチーム研究のために公開されており、最終的な責任は利用者に帰属します。

アンセンサードモデルの分野で、あまりにも稀にしか取り上げられない2つの評価上の注意点があります。第一に、単一のジェイルブレイクプローブが簡単に成功したからといって、それは安全性評価に合格したことにはなりません。アブリテーションされたモデルは、そうしたテストを意図的に失敗させるためです。実際に重視する項目を、適切な評価バッテリー（有害性についてはAdvBench、HarmBench、StrongREJECT。過剰拒否についてはXSTest-safe）で測定し、介入前後で拒否率を比較してください。第二に、ベースモデルだけでなく量子化モデルも評価してください。4ビット版は、総合スコアが良好に見えても、エッジケースでは挙動が変わることがあります。独自のモデレーション層と悪用防止層を講じずに、これをエンドユーザーにデプロイしないでください。

OrcaRouterの適用範囲

10日前の量子化ビルドは、ハードワイヤリングではなくルーティングを使うべき典型的なケースです。自分で実行しているNVFP4ビルドを指すルートを立ち上げ、そのビルドが負荷時に誤動作した場合はホスト型モデルにフェイルオーバーできます。1つのインターフェースで、プロバイダーを切り替えても再配線は不要です。OrcaRouterはプロバイダーのリスト価格を0%マークアップでそのまま通すため、基盤となるモデルの価格が変動した場合、エンドポイントは請求サイクルではなく、その日のうちに反映します。

そして、そもそもGPUを一切実行しないことが目的なら：同じ無検閲ラインはOrcaRouterを通じて利用可能で、セキュリティ研究者とレッドチームに限定され、プロバイダー間の自動フェイルオーバーが備わっています。このNVFP4ビルドを自己ホストするか、ホステッドラインを呼び出すかに関わらず、どちらもAPIキー1つで済みます。

結論

Qwen3.8-27B-Uncensored-NVFP4は、Blackwell上でアブリテーション処理済みモデルを運用し、FP4テンソルコアの速度で最小のフットプリントを求める場合に適切なダウンロードです。Hopper上では（FP8ビルドを使用）、コンシューマーGPUまたはApple GPU上では（GGUFまたはMLXビルドを使用）、あるいは最大の忠実度が必要な場合には、間違ったダウンロードです。これは新しいものではありません——2026年8月19日からダウンロード可能でした——しかし、現在大量にダウンロードされています。そして、今ならゲートを受け入れる前に、自分が何に足を踏み入れようとしているのかがわかります。

このモデルの別ビルドではありません — Qwen3.8-Flash-Next-Uncensoredは別リリースです：Qwen3.8-Flash-Next（Qwen4アーキテクチャの176B格納／6Bアクティブな混合エキスパート（MoE）プレビュー版）からアブリテーションされたものです。同じアブリテーション技術、異なる重み、独自のコレクションです。

6つの27Bビルド（BF16、GGUF、MLX、FP8、INT8およびNVFP4）はすべて、次に挙げるコレクションに収められています：Qwen3.8-27B-Uncensoredコレクション（Hugging Face上）。

これらの重みは設計上ローカルのみです。アブリテレイト版ビルドを比較するためのホステッドベースラインとして、Qwen3.8-27BはOrcaRouter上でプロバイダー定価の0%マークアップにて提供されています—安全アライメントがそのままの標準モデルです。