Qwen3.8-Flash-Next-Uncensored-NVFP4: Blackwell サービング・ランブック

Qwen3.8-Flash-Next-Uncensored-NVFP4 は、Blackwell という唯一のGPUファミリーでのみ動作します。NVFP4はハードウェアFP4テンソルコアで実行されるため、Hopper (H100/H200) およびそれ以前のものにはそのようなコアがありません。Hopperをお使いの場合は、ここで停止してください — Qwen3.8-Flash-Next-Uncensored-FP8 ビルドがあなたの求めるものです。以下はすべて、Blackwell (B100, B200, GB200、または RTX 50シリーズカード)、qwen4_exp をサポートする最近の vLLM ビルド、および transformers ≥ 5.16 を前提としています。

これは、abliterated（拒否応答除去）版のQw​enのビルドをNVFP4量子化したものです。そのモデルは、Qw​en/Qwen3.8-Flash-Nextで、BF16の330GBからディスク上の178GBに削減されています。OrcaRouterはこれを2026年8月27日にHugging Faceへorcarouter/Qwen3.8-Flash-Next-Uncensored-NVFP4として公開しました。このリポジトリはゲート付きです。Hugging Faceにログインしていないか、リポジトリの利用規約に同意していないと、hf downloadもvllm serve orcarouter/Qwen3.8-Flash-Next-Uncensored-NVFP4も、1バイトも転送される前に認証エラーで失敗します。このページはサービング用のランブックであり、ローンチの報道ではありません。このビルドは2日前のもので、人々が実際に直面する疑問は、ハードウェア、フラグ、そしてどのビルドを選ぶかです。

そして数字を始める前に：Qwen3.8-Flash-Next-UncensoredはQwen3.8-27B-Uncensoredではありません。これらは、ファミリー名とアブリテーション技術を共有する異なる2つのモデルです。ベースの重みも、アーキテクチャも、Hugging Face コレクションも異なります。Flash-Next はQw​en/Qwen3.8-Flash-Nextからアブリテーションされた、Qwen4 アーキテクチャ（qwen4_exp）のルーティング型 Mixture-of-Experts プレビューです。512 エキスパート（ルーティング10個＋共有1個がアクティブ）、ハイブリッド注意力（Gated DeltaNet 線形層と全注意力層を併用）、Hyper-Connections、PLE n-gram 埋め込み、ネイティブのビジョン／ビデオタワー、そして MTP 投機的デコードヘッドを備えています。27B はQw​en/Qwen3.8-27Bからアブリテーションされた、まったく異なる Dense ベースモデルです。27B ページのサービング数値は、このモデルには何も引き継がれません。27B ページが本当に役立つ点（アブリテーション入門、一般的な量子化選択の計算）については、何が引き継がれ、何が引き継がれないかを示した上で、以下にリンクしています。

このビルドとは何か、精密さをひとつずつ

Qwen3.8-Flash-Nextはルーティング型MoEです。各トークンは512個のエキスパートのうち10個に加えて1つの共有エキスパートを活性化し、保存されたモデルははるかに大きいものの、トークンごとにアクティブになるパラメータはわずか数十億個です。NVFP4ビルドは、そのスタックの混合精度圧縮テンソル量子化であり、その分割こそが本質です：

• MoEエキスパート重み — NVFP4（4ビット、NVIDIA FP4 E2M1、FP8ブロックスケール付きグループ16）

• Attention（self_attn.{q,k,v,o}）、linear_attn射影、共有エキスパート、lm_head — FP8（8ビット）。

PLE n-gram埋め込み、トークンおよびビジョン埋め込み、Hyper-Connections、QSAインデクサー、Gated-DeltaNet conv/dt、すべてのノルム、そしてビジョンタワー全体 — BF16、完全な精度で維持されます。

変換には、精度の分割そのものよりも重要な3つの特性がある。第一に、これは重みのみの変換である。つまり、アクティベーションは実行時に動的に量子化され、静的較正は行われない。また、重みはBF16チェックポイントから直接導出される（カードではこの導出をデータフリーと呼んでいる）。第二に、アブリテーションの編集は重みに組み込まれているため、拒否応答の除去は量子化後も維持される。4ビットへの変換は精度の変更であり、安全性への介入ではない。第三に、KVキャッシュは量子化されず、実行時にBF16のままである。最後の点は見落とされがちだが、モデルのネイティブな262,144トークンのコンテキストでは重要である。そこでは、KVキャッシュが重みと並んで実際のメモリ項目となる。

ディスク上のサイズは、1つのテンソルによって占められています。カードには、PLE n-gram埋め込みが、設計上BF16で保持される約660億パラメータの単一テンソルとして記載されています。これは最大のシャードであり、ビルドがより小さい数値ではなく178 GBになる理由です。隠すのではなく指摘すべき相違点が1つあります。FP8の姉妹カードは同じテーブルを510億パラメータのPLE n-gramと呼んでいますが、このカードのW4A4注記では約100 GBと記載されています。2つのカードは同じテーブルについて異なる数値を示しているため、それぞれをそのカード独自の数値として扱ってください。また、デプロイメントの規模を検討する際は、テーブルがBF16で大きいと想定し、それに合わせて計画してください。

ハードウェアの前提条件、明確に述べると

これは、このページの中で最も短く、最も重要なセクションです。NVFP4はBlackwell向けのフォーマットです。高速パスは第5世代テンソルコア上のネイティブFP4 GEMMであり、そのハードウェアがなければ、このフォーマットは実行する手段がありません。カード自体の要件欄は明確です — Blackwell GPU（B100 / B200 / GB200 / RTX 50シリーズ）が必要です。NVFP4はハードウェアのFP4テンソルコアを使用するため、FP4演算を備えないHopper（H100/H200）以前では動作しません。

リダイレクト、一箇所に：

• Hopper (H100/H200) では、代わりに Qwen3.8-Flash-Next-Uncensored-FP8 を提供してください。これは同じ重みを8ビット化したもので、Hopper と Blackwell で動作し、このブログの FP8 ラン ブックが対象とするビルドです。

コンシューマー向けNVIDIA GPUまたはCPUボックスでは、13のllama.cpp量子化を備えたGGUFビルドがローカルパスとなります。

• Apple Silicon では、MLX ビルドは 4/6/8 ビットの階層で、ネイティブの Metal パスです。

ランタイム要件はシリコンと同様に厳格です。qwen4_exp はまったく新しいアーキテクチャであるため、それより前の標準 vLLM ビルドはチェックポイントの読み込みを拒否します。qwen4_exp をサポートする最近の vLLM と compressed-tensors NVFP4 リーダー（形式は config.json から検出され、手動で選択されるものではありません）、および transformers ≥ 5.16 が必要です。マルチモーダル入力には、さらにランタイムの Qw​en ビジョンスタックが必要です。テキストのみのサービス提供はそれがなくても動作します。

カードのserveコマンド、フラグごとに

モデルカード自身の呼び出し方は良い出発点であり、フラグを盲目的にコピーペーストするのではなく、それぞれのフラグが何のためにあるのかを理解することが重要です。

vllm serve orcarouter/Qwen3.8-Flash-Next-Uncensored-NVFP4 --tensor-parallel-size 4 --trust-remote-code --enable-expert-parallel --enable-auto-tool-choice --tool-call-parser qwen3_coder

• --tensor-parallel-size 4 — 重みはディスク上で約178GBあるため、カードはそれらを4つのGPUに分割します。これはビルドが想定している構成であり、提案として読まないでください。

• --trust-remote-code — カスタムアーキテクチャに必要です。qwen4_expのモデリングコードはまだ標準のtransformersレジストリに登録されていないため、vLLMはリポジトリからアーキテクチャコードを読み込みます。そのコードを信頼することになりますが、これは新しいアーキテクチャにとっては普通でありながらも現実的な判断です。

• --enable-expert-parallel — エキスパートをテンソル並列ランク全体にシャーディングし、複製しないようにします。これにより、TP4で512エキスパートのMoEが扱い可能になります。FP8版のカードには、そのビルドでのより明確な理由が記載されています。これがないと、MoEの中間幅をTPで割った値がFP8ブロックサイズで割り切れません。必須として扱ってください。任意ではありません。

• --enable-auto-tool-choice と --tool-call-parser qwen3_coder — これらを組み合わせることで関数呼び出しが有効になります。autoフラグによりモデルがツールを呼び出すかどうかを決定し、qwen3_coderパーサーはそのツール呼び出し形式をデコードします。これはQwen3.8-27BとQwen3.8-Flash-Nextが使用するのと同じパーサーファミリーです。

起動すると、/v1/chat/completions の OpenAI 互換エンドポイントは、ランタイムの Qwen4 スタックを通じて完全な機能セットを備えます。上記のようなツール呼び出し、chat_template_kwargs.enable_thinking による推論、そして image_url コンテンツ部分によるビジョン機能です。マルチモーダル用に別のサーバーは必要ありません。同じエンドポイントです。

カードからの構造上の注意点として、このビルドには完全に静的なW4A4バリアントは存在せず、また安価にそれを実現する予定もありません。静的なW4A4変換にはアクティベーション校正のフォワードパスが必要であり、そのパスは単一のGPU上で約100 GBのn-gram埋め込みを保持しなければなりません。これは、PLEテーブルがファイル一覧の大部分を占めるのと同じ理由であり、このビルドが動的アクティベーションを伴う重みのみの方式を維持する理由でもあります。

コミュニティ現地レポート — 実際の提供現場の様子

この正確なリポジトリに関するスループットやレイテンシの数値は公開されておらず、このページが独自に数値をでっち上げることもありません。存在するのは、ベースのQwen3.8-Flash-Next NVFP4ビルドを実際に運用している実践者たちからのフィールドレポートが増えつつあることです——同じアーキテクチャ、同じNVFP4/FP8/BF16精度配分、アブリテレーション編集を除いたもの——そして、そのサービング動作は直接そのまま引き継がれます。これらはコミュニティによる所見であり、ベンダーの指針ではありません。報告者たちはBlackwellハードウェア上で同じ量子化スキームを使用していました。

• MTP投機的デコードは、最大のパフォーマンス向上手段です。 このモデルにはマルチトークン予測ドラフトヘッドが搭載されており、RTX PRO 6000（96 GB、SM120）1台では、MTPモジュールはNVFP4に量子化されて読み込まれ、VRAMを約0.51 GB消費します。レポートでは、最大4のうち受理長2.3～3.9、受理率0.86～0.96が測定されました。同じレポートでは、約105 tok/sのベースラインに対して、シングルストリームデコードの中央値は180～226 tok/s（コーディング216.9、エージェントのツール呼び出しワークロード225.8、推論136.6）と測定され、216,685トークンのプロンプトには8.4秒で回答しました。これらの数値は個人のマシンでの結果であり、仕様ではありません。

• PLE n-gram 埋め込みをホスト RAM にオフロードします。テーブルは巨大で、通常はスループットのボトルネックにならないため、シングル Blackwell カードでのコミュニティのレシピでは、これをホストに固定し（RTX PRO 6000 のレポートでは約 50 GiB の空きホスト RAM）、NVMe から mmap します。少しのレイテンシーを犠牲にして、モデルをどうにか収めています。非常に大きな VRAM 予算がない限り、このようなことを行うことになるでしょう。

• コンテキストウィンドウを明示的にピン留めする。BF16 KVキャッシュとMTPが有効な場合、自動サイズ調整されたKVプールがカードの容量を超えて肥大化し、長いプレフィルでOOMが発生しました。max-model-len / max-total-tokens を 262144 にピン留めすることで、余裕が回復しました。262Kコンテキストでは、KVキャッシュはデフォルトではなく、予算を組むべき項目です。

• FlashInferのオートチューニングのバグは、出力を静かに破損させます。 実運用において最も重要な障害モード：オートチューニングはfused-MoEカーネルのタクティクスをレイテンシのみに基づいて選択し、数値的正しさを一切チェックしないため、特定のシェイプではデコードが同一トークンの繰り返しに崩壊します。RTX PRO 6000のレポートでは、オートチューニングをオンにした場合、36回の生成中36回が破損し、オフにした場合は36回中0回という結果が再現されました。回避策はFlashInferのオートチューニングを無効にすることです（vLLMでは --no-enable-flashinfer-autotune、SGLangでは --disable-flashinfer-autotune）。提供中の出力が突然劣化した場合は、他の何かに手を付ける前にこれを確認してください。

• DGX Spark (GB10, SM121) には独自のパッチが必要です。NVFP4ウェイト（コミュニティビルドでは約126 GiB）は128 GBのSpark 1台に収まらないため、SGLangレシピはRoCE経由で2ノードにまたがるテンソル並列度2で実行されます。また、QSAスパースデコードリゾルバは、SM121では失敗するis_sm100_supported()チェックの背後に高速なFlashInferカーネルをゲートしているため、ウォームアップ中にクラッシュするパスにフォールバックします。修正は小さなパッチとPLEオフロードです。デコードは約47〜50 tok/sが見込まれ、MTP4とCUDAグラフでは70近くまでピークに達します。ベンチマークを約束する前に、カーネルが実際にSM121で動作することを確認してください。

Qwen4スタックによる推論、ツール呼び出し、およびビジョン

Qwen3.8世代に関するコミュニティのコンセンサスは、このモデルにも引き継がれます。ただし、通常どおり、これはベンダーの指針ではなく現場の慣行であるという点にご注意ください。

• reasoning_effort が最も重要となるダイヤルです。チャットテンプレートはデフォルトで xhigh に設定されており、そのためモデルはすべてのリクエストで長考します。Agent-loop オペレーターはデフォルトで medium を設定し、レイテンシに敏感な呼び出しでは low に下げます。enable_thinking を false にすると、不要な場合に推論が完全に無効になります。単一の Blackwell カードでは、日常的な呼び出しで xhigh をオンのままにすると、高速なモデルが遅い回答を生成することになります。

• サンプラーは思考モードと組み合わせます。実践者は、思考がオンのときは温度1.0 / top-p 0.95 に収束し、オフのときは温度0.7 / top-p 0.80、presence penalty 約1.5 を使用します。この2つのセットを混ぜると、出力品質が低下します。

• ツール呼び出しは、アブリテレーションと4ビット変換の両方に耐えます。 関数呼び出しパスは無傷であり、qwen3_coderパーサーとauto-tool-choiceフラグが接続するのはこのパスです。レッドチームにとって、これは諸刃の剣です。というのも、アライメントされていないモデル上でエージェント的な悪用が完全に機能することを意味するからです——後述します。

• ビジョンは保持され、それによって攻撃対象領域が広がります。 ビジョンタワーはアブリテレーションの影響を一切受けておらず、BF16のままなので、画像入力はimage_urlコンテンツ部分を通じて機能します。無検閲ラインを評価する実務者は、マルチモーダル経路を第一級の評価対象として扱っています。画像に埋め込まれたプロンプトインジェクションは、拒否行動を持たないモデルに到達するからです。

どのビルドを配信すべきですか

Flash-Nextコレクションには5つのビルド（BF16、GGUF、MLX、FP8、そしてこのNVFP4）があり、正直な選定ロジックはランキングではなく、ハードウェアとトレードオフに基づいています。

• NVFP4（このビルド、ディスク上で約178GB） — Blackwell推奨ビルド。FP4テンソルコア、4ビットエキスパートを備え、コレクション内で最新のビルドであり、vLLMサーバービルドの中では最小のもの、そしてこのページで解説するビルドです。

• FP8（ディスク上で約186 GB） — Hopper向けの選択肢であり、Blackwellでも同様に使用できます。同じ重みを8ビットにしたもので、これはより広く検証されているvLLMパスであり、expert-parallel要件がより明確なものです。

• GGUF (13種類の量子化、IQ2_XXS ~52 GB から Q5_K_M ~125 GB まで) — llama.cpp での消費者向け NVIDIA、AMD、CPU 環境の選択肢です。Blackwell も vLLM も不要です。

• MLX（4/6/8ビット版、約163–221GB） — Apple Silicon向けの選択肢で、ネイティブMetal対応、MTPヘッド付属。

選択する前に、正直な注意点が2つあります。まず、NVFP4とFP8のビルドは、ディスク上で約8GBしか違いません。両方とも大きなn-gramテーブルをBF16で保持するためです。4ビットでの削減はエキスパート重みに集中しており、全体のフットプリントではありません。BlackwellにおけるNVFP4の本当の利点は、それらのエキスパートに対するFP4テンソルコアの速度であり、劇的に小さいファイルではありません。次に、カードはNVFP4を、abliteration評価を継承した決定的な重み導出であり、4ビットのエキスパートによるわずかな追加の品質トレードオフがあると説明していますが、そのトレードオフを定量化していません。それは定量化されていないため、小さいエキスパートによる現実だが特定されていないコストとして扱い、無視できるものとしては扱わないでください。

評価を正しく読む

このカードは、vLLMで提供されるBF16ビルドで、公式のQw​en/Qwen3.8-Flash-Nextに対して測定されたアブリテーションを報告しています。すなわち、有害なプロンプトへの拒否率が64〜100%から約0〜3.3%に激減し、良性のプロンプトへの過剰拒否はほぼゼロのまま維持され、能力はベースと±2ポイント以内に収まります。これらの数値について正しく把握すべき3つの点があります。それらはBF16ビルドでの測定値であり、この4ビットビルドでは測定されたのではなく、推論によって継承されたものです。それらはベンダー自身の数値であり、コレクションのカードが「参考指標であり査読レベルではない」と説明するルールベースの冒頭フレーズ分類器によって生成されたものです。つまり、独自の編集に対する内部測定であり、独立した監査ではありません。そして、それらは上記のNVFP4品質トレードオフについては何も述べておらず、カードもそれを定量化していません。

安全境界 — 研究のみ

このカードの免責事項は率直なものであり、このページの中で定型文のように読まれてはならない部分である。このモデルは安全性アライメントが大幅に除去されている。すなわち、拒否方向が残差ストリームから直交化されて取り除かれており、元のQwen3.8-Flash-Nextが拒否するような有害・非倫理的・違法な要求にも、このモデルは応じるのである。これは、解釈可能性、AI安全性・拒否メカニズムの研究、レッドチーミング、堅牢性評価といった正当な研究のみを目的として公開されており、著者らは悪用に対するいかなる責任も負わない。生成されるものに対する全責任はあなたが負うものとし、ユーザーに届く前に、独自の安全性・モデレーション層を追加しなければならない。Apache 2.0が下限であり、その上に研究目的というゲートが置かれる。

無修正モデルに関する言説が間違っている点は2つあり、このカードを見ればそれを見逃すことは不可能になる。第一に、このモデルに対して成功するジェイルブレイク・プローブは、安全評価の合格を示すものではない——それは宣伝された挙動そのものだ。アブリテレーション処理されたモデルは、意図的にそうしたプローブに失敗する。単一の「ジェイルブレイクできるか」というテストで測定しているのは、編集が機能したかどうかであって、ガードレールが強いかどうかではない。第二に、維持されたビジョンタワーと無傷のツール呼び出し経路は、テキストを超えて実際の攻撃面を広げる。画像入力によるプロンプトインジェクションとエージェント的ツール誤用は、両方とも完全に機能する。それがまさに、レッドチームの枠組みがこれをチャットボット候補ではなく能力プローブとして扱う理由である。あなたのユースケースがユーザー向けアシスタントの出荷であれば、これはあなた向けのモデルではない。そしてそれは意図的な設計なのだ。

OrcaRouterの適用範囲

構築から2日が経過した、ゲート付きのセルフホスト専用ビルドは、ハードワイヤリングではなくルーティングを使うべき典型例です。このNVFP4ビルドを自分で実行するなら、それを指すルートを立ち上げ、ビルドが負荷下で誤動作した場合にはホスト型モデルにフェイルオーバーさせられます——単一のインターフェースで、切り替え時にプロバイダー間の再配線は不要です。特に評価作業では、検閲済みの提供中ベースラインが比較対象として最適で、そこへはワンキーでアクセスできます。カタログにはAli​babaのQwen3.8-Flashが入力100万トークンあたり$0.15、出力100万トークンあたり$0.47で掲載され、プロバイダー定価のまま0%マークアップで透過提供されます。そのため、レッドチーム用ハーネスは追加契約なしでホスト型の検閲済みベースとローカルの無検閲ビルドの間を移動でき、ベンダーの価格変更も同日中にエンドポイントに反映されます。

誰がこれをダウンロードすべきか — そして誰がすべきでないか

Blackwellをお使いで、FP4テンソルコアの速度を備えたFlash-Nextコレクションの中で最小のサーバーフットプリントを求めており、かつこの製品ラインが存在する目的である研究作業に従事している場合は、orcarouter/Qwen3.8-Flash-Next-Uncensored-NVFP4をダウンロードしてください。Hopperをお使いの場合、またはより広く検証されたパスを希望する場合は、Qwen3.8-Flash-Next-Uncensored-FP8をダウンロードしてください。コンシューマーGPUまたはCPUボックスをお使いの場合はGGUFビルドを、Apple Siliconをお使いの場合はMLXビルドをダウンロードしてください。ユーザー向けデプロイが目的の場合は、何もダウンロードしないでください。いずれかを受け入れる前に、ゲートと免責事項をお読みください。それらはモデルの利用条件であり、単なる形式的なものではありません。

5つのFlash-Nextビルド（BF16、GGUF、MLX、FP8、およびNVFP4）がすべて収集されているのはQwen3.8-Flash-Next-Uncensoredコレクション（Hugging Face上）です。

これは別のモデルであり、このモデルの別ビルドではありません：Qwen3.8-27B-Uncensoredは、異なるベースからアブリテーションされており、独自のコレクションと独自のランブックを備えています。

これらのウェイトは設計上ローカルのみです。アブリテーション済みビルドを比較評価するためのホスト型ベースラインとして、Qwen3.8-Flash は OrcaRouter 上でプロバイダー定価・マークアップ0%で提供されています——安全アライメントを維持した標準モデルです。