
アブリタレーション解説:学習なしで拒否除去が機能する仕組み
- OrcaNEWOrcaCyber: Hy4 Flash Abliterated / Uncensored2026-11-18$0.07 / $0.28 100万トークンあたり · 189 tok/s
- openaiNEWOpenAI: GPT-6.2 Astra2026-11-17$8.00 / $40.00 100万トークンあたり · 87 tok/s
- openaiNEWOpenAI: GPT-6.2 Sol2026-11-17$2.00 / $10.00 100万トークンあたり · 151 tok/s
- tencentNEWTencent: Hy4 Flash2026-11-16$0.02 / $0.07 100万トークンあたり · 182 tok/s
- AlibabaNEWQwen: Qwen4 Max2026-11-16$1.50 / $4.50 100万トークンあたり · 85 tok/s
- GoogleNEWGoogle: Gemini 4 Carbon2026-11-10$2.00 / $10.00 100万トークンあたり · 705 tok/s
- AnthropicNEWAnthropic: Claude Fable 5.22026-11-09$8.00 / $40.00 100万トークンあたり · 238 tok/s
- OrcaOrcaCyber: GLM 5.3 Abliterated / Uncensored2026-11-04$3.00 / $5.00 100万トークンあたり · 96 tok/s
- OrcaOrcaCyber: Hy4 Abliterated / Uncensored2026-11-04$0.80 / $1.60 100万トークンあたり · 137 tok/s
- OrcaOrcaCyber: Kimi K3.1 Pro Abliterated / Uncensored2026-11-04$2.00 / $5.00 100万トークンあたり · 86 tok/s
- tencentTencent: Hy42026-11-04$0.83 / $2.50 100万トークンあたり · 123 tok/s
- OrcaOrcaCyber: MiniMax M3.1 Flash Abliterated / Uncensored2026-10-29$0.80 / $1.60 100万トークンあたり · 102 tok/s
- OrcaOrcaCyber: GLM 5.3 Flash Abliterated / Uncensored2026-10-27$0.80 / $1.60 100万トークンあたり · 71 tok/s
- openaiOpenAI: GPT-6.1 Terra2026-10-26$1.00 / $5.00 100万トークンあたり · 35 tok/s
- OrcaOrcaCyber: Qwen3.8 Flash Next Abliterated / Uncensored2026-10-26$0.80 / $1.60 100万トークンあたり · 89 tok/s
- OrcaOrcaCyber: MiMo V2.6 Flash Abliterated / Uncensored2026-10-26$0.80 / $1.60 100万トークンあたり · 38 tok/s
- MoonshotMoonshotAI: Kimi K3.1 Pro2026-10-2447知能
- OrcaOrcaCyber: DeepSeek V4.1 Flash Abliterated / Uncensored2026-10-23$0.80 / $1.60 100万トークンあたり · 232 tok/s
- minimaxMiniMax: M3.1 Flash2026-10-1929知能
- OrcaOrca: OrcaCyber Ultra 1.02026-10-17$5.00 / $10.00 100万トークンあたり · 101 tok/s
Abliterationは、学習を回さずに重みを編集するだけで、LLMの拒否行動——「それにはお手伝いできません」という反射——を取り除く。これが機能するのは、拒否がモデルの残差ストリーム内の単一の方向によって媒介されているからだ。その方向を見つけ、ストリームに書き込む行列からそれを差し引けば、モデルは能力を保ったまま拒否しなくなる。最も明快な公開事例はQwen3.8 27B Uncensored (Aggressive)で、そのモデルカードは、AdvBenchで有害プロンプトへの拒否率が99.0%から0.0%へと崩れ落ちる一方で、MMLUは実際に0.1ポイント上がったことを示している。これがその仕組み、測定された数値が語ること、そして境界線がどこにあるかだ。公開されているどのリポジトリがabliterated編集を搭載しているのか、そしてそのダウンロード数が実際に何を測っているのかは、uncensored llm leaderboardに示されている。
これはファインチューニングではなく、RLHFでもなく、ジェイルブレイクプロンプトでもありません。アブリテレーションは、解釈可能性の研究成果を線形代数に落とし込んだものです。2024年の論文は、内部表現のある一方向が、安全トレーニングが多大な労力をかけて組み込んだ行動を制御しており、重みを直接編集することでそれをオフにできることを示しました。編集は射影であるため、低コストで、単一のGPUで再現可能であり、通常の共有可能なチェックポイントを残します。だからこそ、Qwen3.8-27Bファミリーを含むオープンモデルのアブリテレーション済みビルドが、「無検閲」の研究用チェックポイントを作る標準的な方法になっています。
拒否方向:数千次元の流れの中の一つのベクトル
トランスフォーマーの内部では、すべてのトークンが残差ストリームを通過する——層が読み書きする進行中の表現である。各層のアテンションとMLPブロックはこのストリームを入力として受け取り、その出力をストリームに加算して書き戻す。このストリームは実質的にモデルの作業記憶であり、トークン位置ごとに1つのベクトルを持ち、その次元はモデルの幅に等しい。
このすべての発端となった2024年の論文 — アンディ・アルディティと同僚たちによる、「言語モデルにおける拒否は単一の方向によって媒介される」 (arXiv:2406.11717, NeurIPS 2024) — チャットモデルが拒否しようとしているときと従うときのそれらのストリームベクトルがどのように見えるかを測定した。全体として、1.8Bから72Bパラメータまでの13のオープンウェイトチャットモデルにおいて、答えは驚くほど一貫していた。その差は本質的に一つの方向である。最終トークンでは、残差ストリームは、モデルが拒否しているときには単一の拒否方向に沿った大きな成分を持ち、従うときにはほとんど持たない。この幾何学的構造は危害カテゴリ間で整合しており、そのため射影は部分空間全体に広がるのではなく、最初の特異ベクトルに集中する。
その方向を見つけるには、有害なプロンプトと無害なプロンプトの2つのセットで活性化を収集し、各セットの最終トークン残差の平均を取る。拒否方向はおよそ平均(有害) − 平均(無害)で、単位長に正規化される。元の論文ではこれを線形プロービングで定式化していた。Qwen3.8-27B-Uncensored-FP8 のような本番ビルドでは、単一方向(k=1)を、有害および無害な最終トークン残差の大規模活性化マスク付き平均差として推定する。有害/無害の分割以外にラベルはなく、勾配もなく、学習もない。
編集: ストリームに書き込むすべての行列から方向を減算する
拒否方向r — 残差ストリーム内の単位ベクトル — を入手したら、介入は階数1の射影である。出力が残差ストリームに加算されるすべての重み行列から、rを「クリーン」にできる:
W' = W − r(rᵀW)
言葉にすると、各行列の出力のうち r に沿う成分を計算し、それを取り除く。ストリームに書き込む行列は出力射影、すなわちアテンション出力射影(o_proj)、MLPダウン射影(down_proj)、そしてトークン埋め込みの行空間である。この編集はfloat32で実行され、1台のGPUで数分かかり、オプティマイザも、すでに収集したアクティベーションペア以外の訓練データも必要としない。
方向を削除する方法は 2 つあり、これらは分けておく価値があります:
• 活性化アブレーション — フォワードパスをフックし、実際の活性化からr成分を差し引く。可逆的で重みには一切触れないため、同じチェックポイントで拒否と従順を比較する実験に最適。
• 重みの直交化 — 射影を重み自体に適用し、恒久的で共有可能なチェックポイントを生成します。これが「アブリタレーション」と呼ばれるものであり、検閲なしモデルのリポジトリで配布されているものです。

直交化は意図的に無骨だ。重みから拒否成分を取り除くだけで、それ以上は何もしない。知識を追加したり、推論を改善したり、モデルをより真実に近づけたりすることはできない——だからこそ、abliterated モデルは拒否反射を除けば、ベースモデルと同じように振る舞う。
実際のビルドで131個の行列がどのように見えるか:Qwen3.8-27B-Uncensored-FP8
具体的に言うと:Qwen3.8-27B-Uncensored-FP8(Hugging Face、2026-08-15公開、Apache 2.0)は、Qwen3.8-27Bに abliteration を施したビルドです。Qwen3.8-27Bはハイブリッドアテンションのモデルで、16層のフルアテンション層に48層のGated DeltaNet線形層、合計64層、さらにマルチトークン予測(MTP)ヘッドを備えています。このビルドは131個の残差書き込み行列:
• self_attn.o_proj — 17個の行列(16のフルアテンション層 + MTP)
linear_attn.out_proj — 48個の行列(Gated DeltaNet 層)
• mlp.down_proj — 65個の行列(64層 + MTP)
• embed_tokens(行空間) — 1つの行列
拒否方向は38層目で推定された — round(0.6 × 64)、すなわちこの方向が最も集中している層 — であり、編集後の最大残留リークは1.8e-2だった。ビジョンタワーには手を付けず、MTPヘッドは本体と一貫してアブリテレーションされたので、投機的デコーディングが下流で拒否を再導入することはない。編集はfloat32で計算され、その後、公式のQwen3.8-27B-FP8チェックポイントと同じ方式を用いてblock-FP8へ再量子化された。ビルドは公式チェックポイントに対して99.9%同一のFP8コードを報告しており、これで再量子化が編集をかき乱していないことが分かる。
実測:拒否は崩壊し、能力は維持される
以下の数値はすべて、2026-08-15に公開され、vLLMで評価されたQwen3.8-27B-Uncensored-FP8のモデルカードによるものです。これらはベンダー報告であり、独立に再現されたものではありません。また、入手可能なアブリテレーション編集の公開されたビフォー/アフターとして、最も完全なものです。
有害プロンプトのベンチマークにおける拒否、思考オフ(拒否率;低いほど検閲が少ないことを意味する):
• AdvBench(n=100):99.0% → 0.0%
• StrongREJECT(n=150):97.3% → 2.0%
• HarmBench 標準(n=150):98.7% → 2.7%
• MaliciousInstruct(n=100):99.0% → 0.0%
• JailbreakBench 有害 (n=100): 94.0% → 0.0%
• SimpleSafetyTests(n=50):64.0% → 6.0%
スイート全体で、有害なプロンプトに対する拒否はベースの64–99%から編集後は0–6%に低下する。思考をオンにすると(enable_thinking=true)、残存する拒否はさらに低く、どこでも≤1.7%で、ほとんどのベンチマークではちょうど0%である。この非対称性は示唆に富む。拒否の方向は主に高速な非思考経路に存在するため、出力ヘッドから一度除去されると、推論トレースがつまずく余地はほとんど残らない。
過剰拒否 — ベースモデルが誤って拒否する無害なプロンプト — も減少する:XSTest-safe(n=250)は5.6%から0.4%に下がる。方向を除去しても、有害な拒否が止まるだけでなく、単に危険に見えただけの無害な要求をモデルが拒否することもなくなる。この数字は、ベースモデルの「安全性」の一部が誤警報税であるという静かな論拠だ。
能力はすべてベースの±1.3ポイント以内:
• MMLU(0ショット・文字回答): 84.3% → 84.7%(+0.4)
• GSM8K(CoT): 90.0% → 88.7%(−1.3)
• MMLU-Pro(CoT):77.6% → 76.8%(−0.8)
• CMMLU(0-shot):81.4% → 80.8%(−0.6)
WikiText-2のパープレキシティは6.96です。言い換えれば、この編集は外科手術のように狙いを定めたものです。つまり、知識の上に積み重ねて組み込まれた振る舞いを取り除き、知識そのものは——少なくともこれらの評価で測定する限り——本質的にそのまま保たれます。

正直な注意事項
見出しの数字が教えてくれない3つのこと。第一に、アブリタレーションは明確なオン/オフスイッチではありません。有害なプロンプトに対する応答の約30~50%は、依然として短い安全に関する免責事項を先頭に付け加えます — モデルは従いますが、注意書きの一文がトレーニング時の名残として残ります。単方向の編集は、トレーニング時の振る舞いの痕跡をすべて消し去るわけではありません。
第二に、拒否は冗長にエンコードされている。ひとつの方向でその大半は取り除けるが、カテゴリーによっては他より深く埋め込まれており、あまりに積極的にアブレーションするとモデルが意味不明な出力に陥りかねない——過剰アブリテレーションは理論上の話ではなく、現実に起こる失敗モードだ。あなたはダイヤルを回しており、そのダイヤルには下限がある。
第三に、能力コストは方向と層に依存する。このビルドが±1.3ポイント以内に収まったのは、方向が正しい層で推定され、投影が一貫して適用されたからだ。推定を誤った層に移したり、投影をより強くかけたりすると、同じ手法でも推論を測定可能なほど損なうことがある。この結果は手法によって保証されるものではなく、ビルドによって獲得されるものである。
アブリタレーションが間違ったツールであるとき
従順なアシスタントが欲しいなら、アブリテレートしてはいけない — 欲しいのは拒否除去ビルドではなく、アラインメントされたベースチェックポイントだ。30GBの重みをダウンロードせずに拒否除去済みのQwen3.8-27Bを評価したいなら、このファミリーはOrcaRouterで提供されている(obsidian/Qwen3.8-27B、100万トークンあたり入力$0.40/出力$4.21、262Kコンテキスト、2026-08-15掲載)。完全にアンロックされたバリアントはセキュリティ研究者とレッドチーム向けにアクセス制限されている。
選択的な拒否――武器は拒否し、それ以外にはすべて答える――を望むなら、LoRA や DPO のファインチューニング、あるいはシステムプロンプトのガードレールが制御面を与えてくれる。アブリテレーションは大ざっぱな全体的編集であり、ひとつのカテゴリだけを切り出すことはできない。
可逆的に実験したいなら、重みを編集するのではなく、推論時の活性化アブレーションから始めよう。同じチェックポイント上で拒否と従順性を比較し、その振る舞いが望むものである場合にのみ、重みの編集に踏み切ればよい。
安全境界 — 使用前に必ずお読みください
アブリタレーションされたモデルには組み込みのガードレールが存在しない。アラインメント済みモデルでは、拒否機構こそがガードレールであり、それを取り除くと、生の重みがベースモデルの答え方を知っているあらゆる問いに答えるようになる。射影のどこにも安全性は付加されず、下流で出力を捕捉するものもない。
正当な用途は研究目的のものだ:解釈可能性(拒否が重みのどこに存在し、その方向が他に何を制御しているかを研究する)、レッドチーミングとガードレール評価(自己検閲しないモデルに対して自分の安全レイヤーをテストする)、そして過剰安全性の測定(5.6% → 0.4% というXSTestの低下は、アラインメントされたモデルが良性の入力をどれだけ頻繁に拒否するかを定量化する)。いずれの場合も、モデルは研究の対象であり、成果物ではない。
境界は装飾ではない:
• 研究用途のみ — 本番環境、エンドユーザー製品、社内ツールには使用しないでください。
• ガードレールなし — 出力はフィルタリングされません。その結果に対する責任はあなた自身が負います。
• ライセンスは安全証明書ではない — Apache 2.0 は使用を許可するが、お墨付きを与えるものではない。
Hugging Faceの両リポジトリ — Qwen3.8-27B-Uncensored-FP8 と、GGUF形式で再パッケージされた Qwen3.8-27B-Uncensored-GGUF(2026年8月16日公開) — はゲート付きです。ダウンロードを開始する前に、研究専用という境界に同意する必要があります。

結論
Abliterationは、LLM解釈可能性において最もクリーンな結果の一つだ。残差ストリーム内の単一の線形方向が、安全性トレーニングが膨大な計算を費やして導入したある挙動を媒介しており、ランク1の重み射影によって、トレーニング実行なしにそれを除去できる。計測されたケース — Qwen3.8-27B-Uncensored-FP8 — は、この編集が外科的であることを示している。拒否は64~99%から0~6%へと崩壊し、過剰拒否はその何分の一かにまで低下し(5.6% → 0.4%)、能力は±1.3ポイント以内に保たれる。また、これが研究ツールであって製品ではない理由も正確に示している。ガードレールはなく、免責事項は残り、責任をあなたに負わせる境界がある。拒否を理解し、自分のガードレールをテストし、過剰安全性を測定するために使うこと — ユーザーの前に置くためではない。
Qwen3.8-27B-Uncensored-FP8 は Apache 2.0 の下で提供される研究成果物であり、ゲート付きで、ここでホストされるサービスではありません。Hugging Face で重みをダウンロードする
