Qwen3.8-27B-Uncensored ベンチマーク：拒否率は崩壊、性能は維持

のベンチマークに関する話Qwen3.8 27B Uncensored (Aggressive) — アブリテイト版のQwen3.8 27Bで、2026年8月15日にFP8チェックポイントとして、8月16日にGGUFビルドとしてリリースされた — は、それがより強くなったということではない。拒否をやめたということだ。モデルカードによると、有害なプロンプトへの拒否率は、ベースの64〜99%から、思考オフのアブリテイト版では0〜6%に、思考オンでは1.7%以下に低下し、一方で各能力ベンチマークはベースと±1.3ポイント以内に収まり、WikiText-2のパープレキシティは6.96である。もしあなたがqwen uncensored benchmarksを目当てにここへ来たのなら、それが主要な数字だ。これはより賢いモデルではなく、拒否しないモデルである。

その区別は重要です。「無修正ベンチマーク」で上位にランクインするものの大半は、能力スコアを並べた薄っぺらいリスト記事か、モデルが「より優れている」と主張する誇大広告的な投稿のどちらかです。しかし、アブリテレーションが行うのはそのどちらでもありません。この記事では、実際に測定されたデータ（拒否の崩壊、過剰拒否、能力保持、パープレキシティ）、それを生み出した手法、そして重みに触れる前に読むべき安全性の境界線について詳しく解説します。

検閲なしのベンチマーク総まとめが実際に測定しているもの

普通のモデルレビューは、一つの軸、すなわち能力（MMLU、GSM8K、コーディング、推論）を報告する。アブリテーションされたモデルは、別の軸において興味深い。そして「uncensored」というラベルの要点は、安全性の軸が動いたということだ。したがって、Qwen3.8-27B-Uncensored-FP8にとって有益な問いは、「より賢いのか？」ではなく、「拒否メカニズムを取り除く代償は何だったのか、そしてそれはどの程度徹底的に除去されたのか？」である。

3つの数値群はまとめて読む必要がある。有害プロンプトのベンチマークにおける拒否率——モデルがどのくらい拒否するか。ベースが高ければ高いほど、除去の影響がはっきり見える。良性プロンプトにおける過剰拒否——無害なリクエストを誤って拒否する頻度。これは誰にとっても低い方が良い。そして能力保持——編集によってモデルが劣化したかどうか。能力スコアだけを出力するベンチマークサマリーは、間違った問いに答えていることになる。

手法：abliteration は、重みの編集であり、ファインチューニングではありません。

アブリテレーションとコミュニティの「ジェイルブレイク」パックを分けるのは、変更が加わる場所です。プロンプトレベルのジェイルブレイクは入力を包み込みますが、アブリテレーションは重みを編集します。ここでの手法はArditiら（2024年）の「Refusal in Language Models Is Mediated by a Single Direction」です。核心的な発見は、多くのモデルにおける拒否行動が残差ストリーム内の単一の方向によって駆動されているということであり、その方向を推定して除去すれば、再トレーニングなしでモデルは拒否しなくなります。

{{1}}具体的には、このカードは、AdvBenchを有害セット、Alpacaを無害セットとして用い、レイヤー38（round(0.6×64)）における最終トークン残差について、有害な残差から無害な残差を引いた差分の大規模活性化マスク付き平均差から、1つの拒否方向を推定することを説明しています。{{/1}} {{2}}この編集は直交化であり、W′ = W − r(rᵀW)としてfloat32で計算され、131個の残差書き込み行列—アテンション出力射影、線形アテンション出力射影、MLPダウン射影、そして1つの埋め込み行空間—に適用されます。{{/2}} {{3}}トレーニングステップは一切実行されず、ビジョンタワーはそのまま残され、MTP投機的デコーディングヘッドも一貫してアブリテレーションされます。{{/3}} {{4}}これが、能力が維持される理由です。方向を1つ取り除くことは、モデルを従順になるようにファインチューニングするよりも、はるかに穏やかな介入だからです。{{/4}}

拒否の崩壊：数字

vLLMで提供されるFP8ビルドで測定され、Hugging Faceモデルカード（2026-08-15）に公開された結果によると、有害なプロンプトのベンチマークにおける拒否率は、ベースモデルでは64〜99%ですが、検閲なしビルドで思考オフの場合、0〜6%に低下します:

• AdvBench — 99.0% → 0.0%

• JailbreakBench（有害） — 94.0% → 0.0%

• StrongREJECT — 97.3% → 2.0%

• HarmBench（標準） — 98.7% → 2.7%

• MaliciousInstruct — 99.0% → 0.0%

• SimpleSafetyTests — 64.0% → 6.0%

ForbiddenQuestions — 73.3% → 4.7%

思考（thinking）を有効にすると、拒否はほぼ皆無です — AdvBenchでは1.7%、その他の大半では0.0%です。カードには正直な注意書きが一つあります：回答の30〜50%には依然として短い免責事項が前置きされるのです。これはトレーニングの産物であり、拒否ではありません — モデルは回答するものの、冒頭を濁しているのです。それは安全性ではなく、摩擦として感じられます。

過剰拒否も失敗にあたる

あまり知られていない数字は、安全性の軸の反対側にあります。XSTest-safe（整合されたモデルが誤って拒否することがある良性プロンプト250件）では、ベースモデルは5.6%の割合で過剰拒否します。無修正版は0.4%の過剰拒否です。拒否の方向性を取り除くことで、モデルが有害なリクエストを拒否しなくなるだけでなく、過度な一般化によって以前は拒否していた無害なリクエストも拒否しなくなります。拒否がないベースラインが目的である評価ツールやレッドチーム用ツールを構築する人にとって、これはツールの実際の改善であり、謝罪すべき副作用ではありません。

能力は維持されるものであり、向上するものではない。

ここで「無修正＝より強力」という前提は崩れます。モデルカードには、アブリテーションを施したFP8ビルドが、公式のベースFP8と同一のスクリプト・設定で比較されて報告されています。

• MMLU (0ショット) — 84.3% → 84.7%

• GSM8K (CoT) — 90.0% → 88.7%

• MMLU-Pro (CoT) — 77.6% → 76.8%

• CMMLU (0-shot, 中国語) — 81.4% → 80.8%

各スコアは基準値の±1.3ポイント以内に収まり、WikiText-2の生パープレキシティは6.96 — 言語モデリング自体が劣化していないという証拠がカードに示されている。正直な読み方をするなら、アブリタレーションはこのアーキテクチャにおいて能力をほぼ損なわない。より良いモデルが手に入るわけではない。得られるのは、拒否行動がないだけで、同じモデルなのだ。

同じ警告は、より広いエコシステムにも当てはまる。「ロスレス無検閲」を謳うコミュニティビルドは、懐疑的に読むに値する。Hugging Face上の4Bオープンウェイトビルドで行われた3者間比較では、ロスレスだと主張していた手法が実際にはTruthfulQAを約7ポイント、Lambadaを約4ポイント低下させ、一方でHarmBenchの攻撃成功率は100%に達した。他の2つの手法は99.2%と95.5%だった。また、別のビルドでの過激な試行では、拒否はゼロだったものの、意味をなさないワードサラダを生成したため、製品版はより穏やかなレイヤーごとのパラメータに後退した。Abliterationの結果は手法に固有である。これらの数値は特にFP8ビルドのカードデータである。

カードが主張していないこと

数値を引用する前に、方法論を読んでください。カードは、その拒否測定を「{{1}}参考値であり、LLMジャッジ／論文発表レベルの数値ではない{{/1}}」と表示しています。拒否はルールベースの冒頭フレーズ分類器で判定され、要求に従ったが免責事項を前置きした回答用に、別の「{{2}}注意書き{{/2}}」バケットが設けられています。ベンチマークはテキストのみで、言語モデルのみを用いてvLLMで提供されるFP8ビルドに対して実行され、性能評価スイートは標準の評価スクリプトを使用しました。正しい捉え方：これは{{3}}ベンダー自身の測定データであり、公開されたカードから再現可能です{{/3}}——{{4}}独立した第三者による実行ではなく{{/4}}、{{5}}llama.cpp用に量子化されて出荷され、別途評価されるべきGGUFビルドに関する主張でもありません{{/5}}。

安全境界

これは曖昧に濁すことのできない部分です。アブリテーションされたモデルは、その拒否機構が実質的に除去されています。具体的には、ベースとなるQwen3.8 27Bが拒否するような、有害・非倫理的・違法なリクエストに応じてしまいます。しかも、意味のある組み込みのガードレールは一切ありません。正当な用途は研究です。すなわち、解釈可能性（拒否方向がどのようにエンコードされているかを研究すること）、AI安全性および拒否機構の研究、レッドチーミング（ガードレールを迂回しようとする入力をモデルに与えて調べるテスト）、堅牢性評価です。本モデルは、ベースモデルから引き継いだApache 2.0ライセンスの下で、あくまで研究用成果物としてリリースされています。あなたは、本モデルの使用方法と、本モデルが生成するすべてのものについて、全責任と法的責任を負います。独自の安全性、モデレーション、悪用防止の各レイヤーを整備せずに、エンドユーザー向けまたは本番環境にデプロイしないでください。また、本番環境または消費者向けの利用には、標準のQwen3.8 27Bこそが実際に利用すべきモデルです。

検閲なしベンチマークを調べるのが間違いなとき

「数学やコーディングに最強のモデルはどれか？」と尋ねているのなら、読んでいる数字が間違っています。検閲なしビルドは能力のアップグレードではありません。有害なリクエストを拒否する必要のあるアプリケーションを相手にしているなら、このモデルはあなたが望むものの正反対です。製品をリリースするなら、アブリテレーション処理されたチェックポイントの上に構築すべきではありません。そして、実際に目指しているのが脱獄（ジェイルブレイク）なら、それはまったく別の話です。プロンプトレベルのパックは、ここで議論される重みレベルの介入の外側に存在し、この記事の主題ではありません。この記事のベンチマークデータは、ひとつの狭く正当な問いだけに答えています。すなわち、拒否を除去することがQwen3.8 27Bに何をもたらすか、その測定結果です。

それにアクセスする方法

両方のビルドはApache 2.0の下でHugging Faceに公開されています: orcarouter/Qwen3.8-27B-Uncensored-FP8 (block-FP8 E4M3、重み約30.9 GB、標準のvLLM FP8カーネルパスで提供され、262Kコンテキスト、ツール、思考、MTPはそのまま維持) と orcarouter/Qwen3.8-27B-Uncensored-GGUF (llama.cpp用のF16に加え12の量子化ティア、Q4_K_Mは16.8 GBで24 GB GPU向けの推奨デフォルト)。OrcaRouterのモデルカードには、価格とベンチマークの詳細が記載されています — アンセンサードビルドはobsidian/Qwen3.8-27Bとして掲載されており、入力トークン100万個あたり$0.40、出力トークン100万個あたり$4.21、262Kコンテキストで、アクセスはセキュリティ研究者、レッドチーム、AI安全性研究者に限定されています。

結論

qwenのアンセンサードベンチマークは狭い問いに答え、その答えは明確だ。abliterationによってQwen3.8 27Bから拒否を除去すると、能力は±1.3ポイント以内に収まる一方、有害なプロンプトに対する拒否は64〜99%から0〜6%に崩壊し、過剰拒否は5.6%から0.4%に低下し、パープレキシティは6.96を維持する。これらの数字は「拒否しない」と読むべきであり、「より強い」と読んではならない。解釈可能性、安全性、レッドチーム研究にとって、それはまさにモデルカードが記述するツールである。ユーザーに直面する何かに対しては、それは構造上、間違ったモデルである。

正当な研究用途であれば、ウェイトはHugging Face上でApache 2.0ライセンスにて公開されています — orcarouter/Qwen3.8-27B-Uncensored-FP8（llama.cpp用のGGUFビルドはorcarouter/Qwen3.8-27B-Uncensored-GGUFにあります）。