
Abliteration 詳解:拒絕移除如何在無需任何訓練下運作
- Orca新OrcaCyber: Hy4 Flash Abliterated / Uncensored2026-11-18$0.07 / $0.28 每百萬 tokens · 189 tok/s
- openai新OpenAI: GPT-6.2 Astra2026-11-17$8.00 / $40.00 每百萬 tokens · 87 tok/s
- openai新OpenAI: GPT-6.2 Sol2026-11-17$2.00 / $10.00 每百萬 tokens · 151 tok/s
- tencent新Tencent: Hy4 Flash2026-11-16$0.02 / $0.07 每百萬 tokens · 182 tok/s
- Alibaba新Qwen: Qwen4 Max2026-11-16$1.50 / $4.50 每百萬 tokens · 85 tok/s
- Google新Google: Gemini 4 Carbon2026-11-10$2.00 / $10.00 每百萬 tokens · 705 tok/s
- Anthropic新Anthropic: Claude Fable 5.22026-11-09$8.00 / $40.00 每百萬 tokens · 238 tok/s
- OrcaOrcaCyber: GLM 5.3 Abliterated / Uncensored2026-11-04$3.00 / $5.00 每百萬 tokens · 96 tok/s
- OrcaOrcaCyber: Hy4 Abliterated / Uncensored2026-11-04$0.80 / $1.60 每百萬 tokens · 137 tok/s
- OrcaOrcaCyber: Kimi K3.1 Pro Abliterated / Uncensored2026-11-04$2.00 / $5.00 每百萬 tokens · 86 tok/s
- tencentTencent: Hy42026-11-04$0.83 / $2.50 每百萬 tokens · 123 tok/s
- OrcaOrcaCyber: MiniMax M3.1 Flash Abliterated / Uncensored2026-10-29$0.80 / $1.60 每百萬 tokens · 102 tok/s
- OrcaOrcaCyber: GLM 5.3 Flash Abliterated / Uncensored2026-10-27$0.80 / $1.60 每百萬 tokens · 71 tok/s
- openaiOpenAI: GPT-6.1 Terra2026-10-26$1.00 / $5.00 每百萬 tokens · 35 tok/s
- OrcaOrcaCyber: Qwen3.8 Flash Next Abliterated / Uncensored2026-10-26$0.80 / $1.60 每百萬 tokens · 89 tok/s
- OrcaOrcaCyber: MiMo V2.6 Flash Abliterated / Uncensored2026-10-26$0.80 / $1.60 每百萬 tokens · 38 tok/s
- MoonshotMoonshotAI: Kimi K3.1 Pro2026-10-2447智能
- OrcaOrcaCyber: DeepSeek V4.1 Flash Abliterated / Uncensored2026-10-23$0.80 / $1.60 每百萬 tokens · 232 tok/s
- minimaxMiniMax: M3.1 Flash2026-10-1929智能
- OrcaOrca: OrcaCyber Ultra 1.02026-10-17$5.00 / $10.00 每百萬 tokens · 101 tok/s
Abliteration只要做一次權重編輯、不須進行任何訓練,就能移除大型語言模型的拒絕行為——那種「我沒辦法幫你處理這個」的反射反應。其原理在於:拒絕行為是由模型殘差流中的單一方向所中介;找出那個方向,再把它從寫入該殘差流的各個矩陣中減去,模型便不再拒絕,同時仍保有其能力。最乾淨的公開範例是Qwen3.8 27B Uncensored (Aggressive),其模型卡顯示,在 AdvBench 上對有害提示的拒絕率從 99.0% 降至 0.0%,而 MMLU 反倒微升了 0.1 個百分點。以下說明這套機制如何運作、實測數字說明了什麼,以及界線究竟在哪裡。至於有哪些已公開的儲存庫帶有 abliterated 編輯版本,以及其下載次數實際上衡量的是什麼,則列於uncensored llm leaderboard。
這不是微調,也不是 RLHF,更不是越獄提示詞。Abliteration 是將可解釋性研究的結果化為線性代數:2024 年的一篇論文指出,內部表徵中的某一個方向控制著一項行為,而安全訓練花費了巨大心力才把這項行為植入;只要直接編輯權重,就能把它關掉。由於這項編輯是一個投影,因此成本低廉、可在單一 GPU 上重現,而且會留下一個正常、可分享的檢查點——這就是為什麼開放模型的 Abliteration 版本(包括 Qwen3.8-27B 系列)已成為產出「未審查」研究檢查點的標準做法。
拒絕方向:數千維流中的一個向量
在 Transformer 內部,每個 token 都會經過一條 殘差流——這是各層從中讀取並寫入的持續更新表徵。每一層的注意力與 MLP 區塊會將此流作為輸入,並將其輸出加回流中。這個流實際上就是模型的工作記憶:每個 token 位置對應一個向量,其維度等於模型的寬度。
2024 年開啟這一切的論文——Andy Arditi 與同事,〈語言模型中的拒答由單一方向所中介〉(arXiv:2406.11717,NeurIPS 2024)——測量了當聊天模型即將拒答時,與當它遵從時,那些殘差流向量看起來是什麼樣子。在 13 個開放權重聊天模型、參數規模從 1.8B 到 72B 中,答案驚人地一致:差異本質上就是一個方向。在最後一個 token 上,當模型正在拒答時,殘差流沿著單一拒答方向有很強的分量;而當它遵從時,幾乎沒有。這個幾何在各種危害類別之間保持一致,這就是為什麼投影會集中於第一個奇異向量,而不是分散在整個子空間上。
為了找出該方向,你要在兩組提示——有害與無害——上收集激活值,並分別取每組最後一個 token 殘差的平均值。拒答方向大約是 mean(harmful) − mean(harmless),歸一化至單位長度。原論文以線性探測來闡述這一點;像 Qwen3.8-27B-Uncensored-FP8 這樣的生產版本,則將單一方向(k=1)估計為有害與無害最後 token 殘差的巨大激活遮蔽均值差。除了有害/無害的劃分之外沒有標籤,沒有梯度,也沒有訓練。
編輯:從每個寫入串流的矩陣中減去方向
一旦你取得拒絕方向 r——殘差流中的一個單位向量——干預就是一個秩-1投影。每個其輸出會被加到殘差流的權重矩陣,都可以從中「清除」r:
W' = W − r(rᵀW)
用文字說明:計算每個矩陣沿 r 方向的輸出分量,並將其移除。會寫入串流的矩陣是輸出投影——注意力輸出投影(o_proj)、MLP 降投影(down_proj),以及 token embedding 的列空間(row space)。這項編輯以 float32 執行,在單一 GPU 上只需幾分鐘,且不需要最佳化器,也不需要你已收集的 activation 配對以外的訓練資料。
移除方向有兩種方法,而這兩者值得分開保留:
• 激活消融 — 在前向傳遞中掛鉤,並從即時激活值中減去 r 分量。可逆,不更動權重;非常適合在同一檢查點上比較拒答與順從的實驗。
• 權重正交化 — 將投影套用至權重本身,產生永久且可分享的檢查點。這就是所謂的「abliteration」,也是未審查模型儲存庫所發布的內容。

正交化刻意做得相當直接。它只從權重中移除拒絕成分,僅此而已。它無法增加知識、改善推理,或讓模型更符合事實——這就是為什麼去拒答模型的行為就像它的基礎模型,只是少了拒絕反射。
131 個矩陣在實際建置中的樣貌:Qwen3.8-27B-Uncensored-FP8
具體來說:Qwen3.8-27B-Uncensored-FP8(Hugging Face,2026-08-15 發布,Apache 2.0)是 Qwen3.8-27B 的 abliterated 建置版本。Qwen3.8-27B 是混合注意力模型——16 個完整注意力層加上 48 個 Gated DeltaNet 線性層,總共 64 層,另有一個多 token 預測(MTP)頭。該建置將拒絕方向從 131 個殘差寫入矩陣:
• self_attn.o_proj — 17 個矩陣(16 個全注意力層 + MTP)
• linear_attn.out_proj — 48 個矩陣(Gated DeltaNet 層)
• mlp.down_proj — 65 個矩陣(64 層 + MTP)
• embed_tokens(行空間)— 1 個矩陣
拒絕方向估計於第 38 層——round(0.6 × 64),也就是該方向最為集中的層——而編輯後的最大殘餘洩漏為 1.8e-2。視覺塔保持未動,MTP 頭則與主體一致地進行了拒答消融,以免推測解碼在下游重新引入拒答。該編輯以 float32 計算,接著使用與官方 Qwen3.8-27B-FP8 檢查點相同的方案重新量化為 block-FP8;建置報告顯示,相較於官方檢查點,有 99.9% 的 FP8 編碼完全相同,這正是判斷重新量化並未打亂該編輯的依據。
實測:拒答失效,能力維持
以下所有數字均取自 Qwen3.8-27B-Uncensored-FP8 的模型卡;該模型卡於 2026-08-15 發布,並以 vLLM 進行評估。這些數字皆為廠商自行報告——並非經獨立重現——且是現有公開資料中,針對消融(abliteration)編輯最完整的前後對照。
有害提示基準測試中的拒答,思考關閉(拒答率;越低表示越未經審查):
• AdvBench(n=100):99.0% → 0.0%
• StrongREJECT(n=150):97.3% → 2.0%
• HarmBench 標準(n=150):98.7% → 2.7%
• MaliciousInstruct(n=100):99.0% → 0.0%
• JailbreakBench 有害(n=100):94.0% → 0.0%
• SimpleSafetyTests(n=50):64.0% → 6.0%
在整套測試中,對有害提示的拒答率從 基礎模型的 64–99% 降至編輯後的 0–6%。開啟思考模式(enable_thinking=true)時,剩餘的拒答率甚至更低——各處皆 ≤1.7%,多數基準測試更正好為 0%。這種不對稱具有啟發性:拒答方向主要存在於快速、非思考路徑中,因此一旦從輸出頭移除,推理軌跡就幾乎沒有可誤觸的殘留。
過度拒絕——亦即基礎模型錯誤拒絕的無害提示——同樣有所下降:XSTest-safe(n=250)從5.6% 降至 0.4%。移除該方向不僅能阻止有害的拒絕,還能讓模型不再拒絕那些只是看似有風險的無害請求。這個數字悄然說明:基礎模型部分所謂的「安全性」,其實是一種誤報稅。
能力,全部都在基準值的 ±1.3 分範圍內:
• MMLU(0-shot 字母):84.3% → 84.7%(+0.4)
• GSM8K(CoT):90.0% → 88.7%(−1.3)
• MMLU-Pro(CoT):77.6% → 76.8%(−0.8)
• CMMLU(零樣本):81.4% → 80.8%(−0.6)
WikiText-2 困惑度為 6.96。換句話說,這次編輯具有外科手術式的精準針對性:它移除了疊加在知識之上的某種行為,並讓知識——至少就這些評測所測量的結果而言——基本上保持完整。

誠實的注意事項
重點數字不會告訴你的三件事。首先,abliteration 並不是乾淨俐落的開關。對於有害提示,約 30–50% 的回應仍會在開頭加上簡短的安全免責聲明——模型會照做,但一句告誡仍作為訓練產物留存下來。這種單方向編輯並不會抹除訓練時期行為的所有痕跡。
其次,拒絕行為被冗餘地編碼。單一方向能移除大部分,但有些類別比其他類別嵌入得更深,而過度積極地消融可能使模型陷入胡言亂語——過度消融是真實的失敗模式,而非理論上的。你正在轉動一個旋鈕,而這個旋鈕有下限。
第三,能力成本取決於方向與層。這次建構落在 ±1.3 分以內,因為方向是在正確的層上估計,且投影是一致地套用。把估計移到錯誤的層,或更用力推進投影,同樣的方法就可能明顯削弱推理能力。結果不是由方法保證的——而是由這次建構掙來的。
當 abliteration 是錯誤的工具時
如果你想要一個合規的助理,不要做 abliterate——你要的是經過對齊的基礎檢查點,而不是移除拒答行為的版本。如果你想在不下載 30GB 權重的情況下評估一個已移除拒答行為的 Qwen3.8-27B,該系列模型已在 OrcaRouter 上提供服務(obsidian/Qwen3.8-27B,每 100 萬個 token 輸入 $0.40/輸出 $4.21,262K 上下文,於 2026-08-15 上架),其中完全解鎖的變體僅限安全研究人員與紅隊經審核後存取。
如果你想選擇性拒答——拒絕武器相關內容,其餘問題一律回答——那麼 LoRA 或 DPO 微調,或系統提示護欄,能提供你一個控制面。Abliteration 是一種粗糙的全域編輯;它無法只劃出單一類別。
如果你想以可逆的方式進行實驗,請先從推論時的激活消融開始,而不是編輯權重。你可以在同一個檢查點上比較拒絕與遵從,然後只有在行為符合你的期望時,才進行權重編輯。
安全界線——使用前請先閱讀
一個 abliterated 模型沒有內建護欄。對一個經過對齊的模型而言,拒答機制就是護欄;移除它之後,原始權重便會回答基礎模型知道如何回答的一切。投影過程中不會增加任何安全性,下游也沒有任何機制攔截輸出。
正當用途是研究用途:可解釋性(研究拒答行為存在於權重的何處,以及該方向還控制哪些其他行為),紅隊演練與護欄評估(用不會自我審查的模型來測試自身的安全層),以及過度安全測量(5.6% → 0.4% 的 XSTest 降幅,量化了對齊模型多常拒絕良性輸入)。在每個案例中,模型都是研究對象,而非交付成果。
這條界線並非裝飾:
• 僅供研究用途——不適用於生產環境、終端使用者產品或內部工具。
• 無防護措施——輸出內容不經過濾;你得自行承擔這些內容及其後果。
• 授權條款不是安全憑證——Apache 2.0 允許使用,但並不為其背書。
兩個 Hugging Face 儲存庫——Qwen3.8-27B-Uncensored-FP8 以及重新打包的 GGUF 版本 Qwen3.8-27B-Uncensored-GGUF(發佈於 2026-08-16)——皆設有授權審核:您必須在下載開始前確認僅供研究使用的界線。

重點
Abliteration 是 LLM 可解釋性中最乾淨的結果之一:殘差流中的單一線性方向,調節了安全訓練耗費龐大算力植入的一種行為,而秩一權重投影無需進行訓練即可將其移除。實測案例——Qwen3.8-27B-Uncensored-FP8——顯示這項編輯精準如手術:拒答率從 64–99% 崩降至 0–6%,過度拒答降至自身的一小部分(5.6% → 0.4%),而能力維持在 ±1.3 分以內。它也清楚說明了為何這是研究工具而非產品:沒有護欄、殘留免責聲明,以及一條把責任放在你身上的界線。用它來理解拒答、測試你的護欄、衡量過度安全——而不是把它擺在使用者面前。
Qwen3.8-27B-Uncensored-FP8 是 Apache 2.0 授權下的研究產物——需申請存取權,並非此處提供的託管服務。在 Hugging Face 下載權重
