用於 Qwen3.8-27B-Uncensored 基準測試報告的標題卡,圖中顯示一個拒答率儀表,從標示為 Base 的面板上紅色的 99% 驟降至標示為 Uncensored 的面板上綠色的 0%,右側面板上有一個帶斜線的盾牌圖示,下方有一行橫向文字寫著能力在正負 1.3 分以內。
Guides & Insights

Qwen3.8-27B-Uncensored 基準測試:拒答行為崩解,能力維持不變

作者

jinhao.song

發佈日期

最新模型 · 20查看全部模型 →
基準測試:Artificial Analysis · 每日更新
返回全部文章

這則基準測試故事的主角是Qwen3.8 27B Uncensored (Aggressive)——它是Qwen3.8 27B 的去拒答版本,於 2026 年 8 月 15 日以 FP8 檢查點形式發布,並於 8 月 16 日推出 GGUF 版本——重點不在於它變得更強,而在於它不再拒絕。模型卡指出,關閉思考模式時,有害提示的拒絕率從基礎版的 64–99% 降至去拒答版本的 0–6%;開啟思考模式時則為 1.7% 或以下;而每項能力基準測試的結果都落在基礎版的 ±1.3 分以內,WikiText-2 困惑度為 6.96。如果你是為了 qwen uncensored benchmarks 而來,這些就是頭條數字:它不是更聰明的模型,而是一個不再拒絕的模型。這些數字背後每個版本的來源及其下載次數,都記錄在uncensored llm leaderboard中。

這個區別很重要,因為在「無審查基準測試」這類關鍵字下排到前段的內容,多半不是單薄的能力分數清單文,就是宣稱模型「更好」的誇大吹捧文。這兩者都不是 abliteration 在做的事。本文會逐一說明實際量測到的資料——拒答崩塌、過度拒答、能力保留與困惑度——產出這些資料的方法,以及你在動手改動權重之前應該先讀過的安全界線。

未經審查的基準測試彙整究竟衡量了什麼

一般模型評測只報告一個軸度:能力——MMLU、GSM8K、寫程式、推理。而經過 abliteration 的模型有趣之處在於另一個軸度,而「uncensored」這個標籤的重點就在於安全軸度已經移動了。因此,對 Qwen3.8-27B-Uncensored-FP8 而言,有用的問題不是「它是不是更聰明了?」,而是「移除拒答機制付出了什麼代價,而且移除得有多徹底?」

有三組數字必須放在一起看。有害提示基準測試上的拒答率——模型多常拒絕;基準值越高,移除就越明顯。良性提示上的過度拒答——模型多常誤拒一個無害請求;這對所有人來說都是越低越好。以及能力保留——這次編輯是否讓模型退步了。只印出能力分數的基準測試摘要,回答的是錯的問題。

這個方法:abliteration 是權重編輯,而不是微調

abliteration 與社群「越獄」套件不同之處,在於變更所在的位置。提示層級的越獄是包裝輸入;abliteration 則是編輯權重。這裡採用的方法是 Arditi 等人(2024)的〈語言模型中的拒絕行為由單一方向中介〉。核心發現是:許多模型的拒絕行為由殘差流中的單一方向所驅動——估計出該方向、將其移除,模型便會停止拒絕,而無需重新訓練。

具體而言,該卡片描述的是:在第 38 層(round(0.6 × 64))上,利用「有害減無害」的最後 token 殘差經大規模激活遮罩後的均值差,估算出一個拒絕方向;其中以 AdvBench 作為有害集合、Alpaca 作為無害集合。此編輯是一種正交化,W′ = W − r(rᵀW),以 float32 計算,並套用於 131 個殘差寫入矩陣——注意力輸出投影、線性注意力輸出投影、MLP 下投影,以及一個嵌入行空間。不會執行任何訓練步驟;視覺塔保持原樣不動;MTP 推測解碼頭則一致地被去除拒絕方向。這就是能力得以倖存的原因:移除一個方向,遠比微調模型使其順從要溫和得多。

拒絕崩塌:數字

在由 vLLM 提供服務的 FP8 版本上測得,並公布於 Hugging Face 模型卡(2026-08-15):在關閉 thinking 的情況下,有害提示基準測試的拒絕率從基礎版的 64–99% 降至未審查版本的 0–6%:

• AdvBench — 99.0% → 0.0%

• JailbreakBench(有害)— 94.0% → 0.0%

• StrongREJECT — 97.3% → 2.0%

• HarmBench(標準)— 98.7% → 2.7%

• MaliciousInstruct — 99.0% → 0.0%

• SimpleSafetyTests — 64.0% → 6.0%

• ForbiddenQuestions — 73.3% → 4.7%

啟用思考功能後,拒絕幾乎從未發生——在 AdvBench 上為 1.7%,其餘大多數為 0.0%。這張卡片補充了一個誠實的但書:仍有 30–50% 的回答會在開頭加上簡短的免責聲明。這是訓練造成的產物,不是拒絕——模型有回答,但開頭會有所保留。這讀起來像是摩擦,而非安全。

A two-column scoreboard comparing harmful-prompt refusal rates for the base Qwen3.8 27B versus the abliterated Qwen3.8-27B-Uncensored build across seven benchmarks, the base column reading 99.0, 94.0, 97.3, 98.7, 99.0, 64.0 and 73.3 percent and the uncensored column reading 0.0, 0.0, 2.0, 2.7, 0.0, 6.0 and 4.7 percent, with a footer noting the data is from the Hugging Face model card, measured on the vLLM-served FP8 build, 2026-08-15.

過度拒絕也會下降

較少被宣傳的那個數字,位於安全軸的另一側。在 XSTest-safe 上——250 個良性提示,對齊模型有時會誤拒——基礎模型有 5.6% 的時間會過度拒絕。無審查版本則過度拒絕 0.4%。移除拒絕方向不只是讓模型停止拒絕有害請求;它也讓模型不再拒絕那些它先前因過度泛化而標記的無害請求。對於任何在建置評估或紅隊工具、且以無拒絕基準為重點的人來說,這是工具本身的實質改進,而不是需要為之道歉的副作用。

能力會被保留,而非提升

這正是「無審查=更強」這種說法站不住腳的地方。模型卡使用相同的腳本與設定,報告去審查化(abliterated)FP8 版本與官方基礎 FP8 的對比結果:

• MMLU(零樣本,0-shot)— 84.3% → 84.7%

• GSM8K(CoT)— 90.0% → 88.7%

• MMLU-Pro(CoT)— 77.6% → 76.8%

• CMMLU(零樣本,中文)— 81.4% → 80.8%

每項分數都落在基礎模型的 ±1.3 分以內,而 WikiText-2 raw 困惑度為 6.96——這是模型卡上的證據,說明語言建模本身並未退化。誠實的解讀是:在這套架構上,abliteration 幾乎是能力中性的。你得到的並不是更好的模型;你得到的是同一個模型,只是少了拒答行為。

A scoreboard for the Qwen3.8-27B-Uncensored capability retention results: MMLU 84.3 to 84.7, GSM8K 90.0 to 88.7, MMLU-Pro 77.6 to 76.8, CMMLU 81.4 to 80.8, every score within plus or minus 1.3 points of the base, with a highlight panel showing WikiText-2 perplexity 6.96 and over-refusal on XSTest-safe falling from 5.6 percent to 0.4 percent, and a footer noting the source is the Hugging Face model card, measured on the vLLM-served FP8 build.

同樣的警告也適用於更廣泛的生態系:對於社群版本上的{{1}}「無損、未審查」{{/1}}宣稱,值得抱持懷疑態度解讀。一項針對{{2}}Hugging Face 上的 4B 開放權重版本{{/2}}所做的三方比較發現,自稱無損的技術實際上讓 TruthfulQA 下降約 7 分、Lambada 下降約 4 分,而其 HarmBench 攻擊成功率達到 100%;另外兩種方法則分別為 99.2% 和 95.5%。而在另一個版本上進行的激進試驗雖達到零拒絕,卻產生不連貫的詞語堆砌,因此出貨版本退而採用較溫和的逐層參數。Abliteration 的結果會因方法而異——這些數字具體是 {{3}}FP8 版本的模型卡資料{{/3}}。

卡片並未宣稱的內容

引用數字前,請先閱讀方法論。模型卡將其拒答測量標示為「僅供參考,並非 LLM 評審/發表等級的數字」:拒答是由基於規則的開場短語分類器判定,並另設一個「但書」分類桶,用來容納有配合回答、但開頭加上免責聲明的答案。這些基準測試僅限文字,使用 vLLM 服務的 FP8 版本、且僅包含語言模型來執行;能力測試套件則採用標準評估腳本。正確的理解框架是:這是廠商自行測量的資料,可從已發布的模型卡重現——並非獨立的第三方執行結果,也不是對 GGUF 版本的聲明;GGUF 版本是為 llama.cpp 量化發佈的,應另行評估。

安全邊界

這部分是無法含糊帶過的。一個經過 abliteration(消融拒絕方向)處理的模型,其拒絕機制已被大幅移除。具體來說:對於基礎Qwen3.8 27B會拒絕的有害、不道德或非法請求,它都會順從照做,而且它沒有任何有意義的內建防護機制。其正當用途在於研究——可解釋性(研究拒絕方向是如何被編碼的)、AI 安全與拒絕機制研究、紅隊演練(以試圖繞過模型防護的輸入來探測模型),以及穩健性評估。本模型依循基礎模型,以 Apache 2.0 授權釋出,嚴格來說僅作為研究用途的產物。對於你如何使用它,以及它所產生的一切內容,你必須承擔全部責任與法律責任。請勿在沒有你自己的安全、審核與濫用防制層的情況下,將其部署給終端使用者或投入正式生產環境——而任何正式生產或面向消費者的用途,你真正該用的是標準的 Qwen3.8 27B。

當未經審查的基準測試是不該查詢的東西時

如果你的問題是「哪個模型在數學或程式設計上最強?」,那你讀錯數據了——無審查版本並不是能力升級。如果你的應用程式需要拒絕有害請求,這個模型正好與你想要的方向相反。如果你要推出產品,不要建立在經過 abliteration 處理的檢查點上。而如果你真正想要的是越獄,那完全是另一回事——提示層級的套件不屬於本文討論的權重層級干預,也不是本文的主題。本文中的基準數據只為了一個狹窄但正當的問題而存在:移除拒答機制會對 Qwen3.8 27B 造成什麼影響,並加以測量。

如何存取它?

這兩個建置均以 Apache 2.0 授權發布於 Hugging Face:orcarouter/Qwen3.8-27B-Uncensored-FP8(block-FP8 E4M3,權重約 30.9 GB,在標準 vLLM FP8 核心路徑上提供服務,並完整保留 262K 上下文、工具、思考與 MTP),以及 orcarouter/Qwen3.8-27B-Uncensored-GGUF(適用於 llama.cpp 的 F16 加上 12 個量化等級,其中 Q4_K_M 為 16.8 GB,是 24 GB GPU 的建議預設值)。模型卡在 OrcaRouter 上提供了定價與基準測試詳情——未審查版本在該處列為 obsidian/Qwen3.8-27B,價格為每百萬輸入 token 0.40 美元、每百萬輸出 token 4.21 美元,上下文為 262K,且存取權限僅限安全研究人員、紅隊與 AI 安全研究人員。

The OrcaRouter model page for obsidian Qwen3.8-27B, showing the uncensored build's 0.40 USD per million input and 4.21 USD per million output pricing, a 262K token context window, a released August 15 2026 label, and the researcher-access gating note.

最終結論

qwen uncensored 基準測試回答的是一個狹窄的問題,而答案很清楚:透過 abliteration 移除 Qwen3.8 27B 的拒答行為後,能力仍維持在 ±1.3 分以內,而對有害提示的拒答率從 64–99% 驟降至 0–6%,過度拒答從 5.6% 降至 0.4%,困惑度維持在 6.96。請把這些數字解讀為「不會拒答」,絕非「更強」。對於可解釋性、安全性和紅隊研究而言,這正是模型卡所描述的工具。對於任何面向使用者的用途,它從設計上就是錯誤的模型。

供合法研究使用,權重以 Apache 2.0 授權發佈於 Hugging Face — orcarouter/Qwen3.8-27B-Uncensored-FP8(供 llama.cpp 使用的 GGUF 版本位於 orcarouter/Qwen3.8-27B-Uncensored-GGUF)。