Qwen3.8-27B-Uncensored Benchmarks: Ablehnung kollabiert, Fähigkeit bleibt

Die Benchmark-Story von Qwen3.8 27B Uncensored (Aggressive) — der abliterierte Build von Qwen3.8 27B, veröffentlicht als FP8-Checkpoint am 15. August 2026 und als GGUF-Build am 16. August — geht nicht darum, dass er stärker geworden ist, sondern darum, dass er keine Antworten mehr verweigert. Die Modellkarte berichtet, dass die Verweigerungsrate bei schädlichen Prompts von 64–99 % beim Basismodell auf 0–6 % beim abliterierten Build mit deaktiviertem Denken und auf höchstens 1,7 % mit aktiviertem Denken gesunken ist, während alle Fähigkeits-Benchmarks innerhalb von ±1,3 Punkten des Basismodells liegen und die WikiText-2-Perplexität bei 6,96 liegt. Falls Sie wegen der Qwen-Uncensored-Benchmarks hier sind, dann sind das die wichtigsten Zahlen: Es ist kein intelligenteres Modell, sondern eines, das keine Antworten verweigert.

Dieser Unterschied ist wichtig, denn das meiste, was bei „unzensierten Benchmarks“ Ranglisten anführt, ist entweder eine dünne Liste von Fähigkeitswerten oder ein Hype-Beitrag, der behauptet, das Modell sei „besser“. Weder das eine noch das andere ist das, was Abliteration tut. Dieser Artikel geht die tatsächlich gemessenen Daten durch — Refusal-Collapse, Over-Refusal, Capability-Retention und Perplexität —, die Methode, die sie erzeugt hat, und die Sicherheitsgrenze, die du lesen solltest, bevor du die Gewichte anfasst.

Was ein unzensierter Benchmark-Überblick tatsächlich misst

Ein gewöhnlicher Modell-Review betrachtet eine Achse: Fähigkeiten – MMLU, GSM8K, Coding, Reasoning. Ein abliteriertes Modell ist auf einer anderen Achse interessant, und der ganze Sinn des Labels „uncensored“ ist, dass sich die Sicherheitsachse verschoben hat. Die nützliche Frage für Qwen3.8-27B-Uncensored-FP8 ist also nicht „Ist es intelligenter?“, sondern „Was hat das Entfernen des Verweigerungsmechanismus gekostet, und wie gründlich wurde er entfernt?“

Drei Familien von Zahlen müssen gemeinsam betrachtet werden. Verweigerungsrate bei Benchmarks mit schädlichen Prompts – wie oft das Modell ablehnt; je höher die Ausgangsbasis, desto sichtbarer die Entfernung. Übermäßige Verweigerung bei harmlosen Prompts – wie oft es eine unschuldige Anfrage fälschlich ablehnt; niedriger ist für alle besser. Und der Erhalt der Fähigkeiten – ob die Bearbeitung das Modell verschlechtert hat. Eine Benchmark-Zusammenfassung, die nur Fähigkeitswerte ausgibt, beantwortet die falsche Frage.

Die Methode: Abliteration ist eine Gewichtsänderung, kein Fine-Tuning.

Was Abliteration von den „Jailbreak“-Paketen der Community unterscheidet, ist, wo die Veränderung stattfindet. Ein Jailbreak auf Prompt-Ebene umhüllt die Eingabe; Abliteration verändert die Gewichte. Die Methode hier ist Arditi et al. (2024), „Refusal in Language Models Is Mediated by a Single Direction“. Die zentrale Erkenntnis ist, dass das Verweigerungsverhalten in vielen Modellen durch eine einzelne Richtung im Residualstrom gesteuert wird – schätzt man diese Richtung und entfernt sie, hört das Modell auf zu verweigern, ohne neu trainiert zu werden.

Konkret beschreibt die Karte die Schätzung einer Refusal-Richtung aus der durch massive Aktivierungen maskierten mittleren Differenz der Last-Token-Residuen von schädlich minus harmlos in Schicht 38 (round(0,6 × 64)), wobei AdvBench als die schädliche Menge und Alpaca als die harmlose Menge verwendet wird. Die Bearbeitung ist eine Orthogonalisierung, W′ = W − r(rᵀW), berechnet in float32 und angewendet auf 131 residualschreibende Matrizen — die Attention-Output-Projektionen, die Linear-Attention-Output-Projektionen, die MLP-Down-Projektionen und einen Embedding-Zeilenraum. Es läuft kein Trainingsschritt; der Vision-Tower bleibt unangetastet; der MTP-Spekulations-Decoding-Head wird konsistent abliteriert. Genau deshalb überlebt die Fähigkeit: Das Entfernen einer Richtung ist ein weitaus sanfterer Eingriff als das Feintuning des Modells auf Compliance.

Die Verweigerung bricht zusammen: die Zahlen.

Gemessen an dem vLLM-betriebenen FP8-Build und veröffentlicht auf der Hugging-Face-Modellkarte (2026-08-15), sinkt die Verweigerungsrate bei Benchmarks für schädliche Aufforderungen von 64–99 % beim Basismodell auf 0–6 % beim unzensierten Build bei deaktiviertem Denken:

• AdvBench — 99,0 % → 0,0 %

• JailbreakBench (schädlich) — 94,0 % → 0,0 %

• StrongREJECT — 97,3 % → 2,0 %

• HarmBench (standard) — 98.7% → 2.7%

• MaliciousInstruct — 99.0% → 0.0%

• SimpleSafetyTests — 64,0 % → 6,0 %

• ForbiddenQuestions — 73,3 % → 4,7 %

Mit aktiviertem Denken kommt es praktisch nie zu Verweigerungen — 1,7 % bei AdvBench und 0,0 % beim Großteil des Rests. Die Modellkarte fügt einen ehrlichen Vorbehalt hinzu: 30–50 % der Antworten stellen weiterhin einen kurzen Haftungsausschluss voran. Das ist ein Trainingsartefakt, keine Verweigerung — das Modell antwortet, relativiert aber seine Einleitung. Es wirkt wie Reibung, nicht wie Sicherheit.

Auch Überverweigerung ist ein Fehler.

Die weniger publik gemachte Zahl liegt auf der anderen Seite der Sicherheitsachse. Bei XSTest-safe – 250 harmlosen Prompts, die alignierte Modelle manchmal fälschlicherweise ablehnen – verweigert das Basismodell in 5,6 % der Fälle die Antwort. Die unzensierte Version verweigert sie in 0,4 % der Fälle. Das Entfernen der Ablehnungsrichtung bewirkt nicht nur, dass das Modell schädliche Anfragen nicht mehr ablehnt; es bewirkt auch, dass es harmlose Anfragen nicht mehr ablehnt, die es zuvor durch Überverallgemeinerung markiert hatte. Für alle, die Evaluierungs- oder Red-Team-Tools entwickeln, bei denen eine ablehnungsfreie Basislinie der Kern ist, ist dies eine echte Verbesserung des Werkzeugs – kein Nebeneffekt, für den man sich entschuldigen müsste.

Fähigkeit bleibt erhalten, nicht verbessert.

Hier stirbt das Narrativ „unzensiert = stärker“. Die Model Card vergleicht den abliterierten FP8-Build mit dem offiziellen Basis-FP8 unter Verwendung derselben Skripte und Einstellungen:

• MMLU (0-shot) — 84,3 % → 84,7 %

• GSM8K (CoT) — 90,0 % → 88,7 %

• MMLU-Pro (CoT) — 77,6 % → 76,8 %

• CMMLU (0-shot, Chinesisch) — 81,4 % → 80,8 %

Jede Punktzahl liegt innerhalb von ±1,3 Punkten um den Basiswert, und die rohe WikiText-2-Perplexität beträgt 6,96 – der Beleg der Karte, dass sich das Sprachmodell selbst nicht verschlechtert hat. Die ehrliche Lesart: Abliteration ist bei dieser Architektur nahezu fähigkeitsneutral. Du bekommst kein besseres Modell; du bekommst dasselbe Modell ohne das Verweigerungsverhalten.

Dieselbe Warnung gilt für das breitere Ökosystem: Behauptungen über „lossless uncensored“ bei Community-Builds verdienen eine skeptische Lektüre. Ein Dreifachvergleich bei einem 4B-Open-Weight-Build auf Hugging Face ergab, dass die Technik, die angeblich verlustfrei war, TruthfulQA tatsächlich um etwa 7 Punkte und Lambada um etwa 4 Punkte fallen ließ, während ihre HarmBench-Angriffserfolgsrate bei 100 % lag; die anderen beiden Methoden lagen bei 99,2 % und 95,5 %. Und ein aggressiver Test bei einem anderen Build erzielte null Verweigerungen, produzierte aber inkohärenten Wortsalat, weshalb sich die ausgelieferte Version auf sanftere schichtweise Parameter zurückzog. Abliterationsergebnisse sind methodenspezifisch – diese Zahlen sind speziell die Kartendaten des FP8-Builds.

Was die Karte nicht behauptet

Lesen Sie die Methodik, bevor Sie die Zahlen zitieren. Die Karte kennzeichnet ihre Verweigerungsmessung als „indikativ, keine LLM-Judge-/publikationsreife Zahl": Die Verweigerung wurde von einem regelbasierten Klassifikator für Eröffnungsphrasen beurteilt, mit einer separaten „Vorbehalts"-Kategorie für Antworten, die nachkamen, aber einen Haftungsausschluss voranstellten. Die Benchmarks sind rein textbasiert und wurden gegen den per vLLM bereitgestellten FP8-Build nur mit dem Sprachmodell ausgeführt; die Fähigkeits-Suite verwendete standardmäßige Evaluierungsskripte. Der richtige Rahmen: Dies sind die eigenen gemessenen Daten des Anbieters, die anhand der veröffentlichten Karte reproduzierbar sind — kein Lauf durch einen unabhängigen Dritten und keine Aussage über den GGUF-Build, der für llama.cpp quantisiert ausgeliefert wird und separat evaluiert werden sollte.

Die Sicherheitsgrenze

Dies ist der Teil, der nicht beschönigt werden kann. Ein abliteriertes Modell hat seinen Verweigerungsmechanismus weitgehend eingebüßt. Konkret: Es wird schädlichen, unethischen oder illegalen Anfragen nachkommen, die das Basismodell Qwen3.8 27B ablehnen würde, und es hat keine nennenswerten eingebauten Schutzmechanismen. Die legitimen Verwendungszwecke sind Forschung — Interpretierbarkeit (Untersuchung, wie Verweigerungsrichtungen kodiert sind), KI-Sicherheit und die Untersuchung von Verweigerungsmechanismen, Red-Teaming (Testen von Modellen mit Eingaben, die versuchen, ihre Schutzmechanismen zu umgehen) und Robustheitsbewertung. Es wird unter der Apache-2.0-Lizenz veröffentlicht, die vom Basismodell übernommen wurde, streng als Forschungsartefakt. Sie übernehmen die volle Verantwortung und Haftung für die Art und Weise, wie Sie es verwenden, und für alles, was es generiert. Stellen Sie es nicht ohne eigene Sicherheits-, Moderations- und Missbrauchsschutzschichten für Endnutzer oder in der Produktion bereit — und für jede Produktions- oder verbraucherorientierte Nutzung ist das Standardmodell Qwen3.8 27B das Modell, das Sie tatsächlich wollen.

Wenn es falsch ist, einen unzensierten Benchmark nachzuschlagen.

Wenn Ihre Frage lautet: „Welches Modell ist bei Mathematik oder Programmierung am stärksten?“, dann lesen Sie die falschen Zahlen — das unzensierte Build ist kein Leistungsupgrade. Wenn Ihre Anwendung schädliche Anfragen ablehnen muss, ist dieses Modell das Gegenteil von dem, was Sie wollen. Wenn Sie ein Produkt ausliefern, bauen Sie nicht auf einem abliterierten Checkpoint auf. Und wenn Sie eigentlich einen Jailbreak anstreben, ist das etwas völlig anderes — Prompt-Level-Pakete liegen außerhalb des hier diskutierten Eingriffs auf Gewichtsebene und sind nicht Gegenstand dieses Artikels. Die Benchmark-Daten in diesem Beitrag dienen einer einzigen engen, legitimen Frage: Was das Entfernen der Verweigerung bei einem Qwen3.8 27B bewirkt, gemessen.

Wie greife ich darauf zu?

Beide Builds sind auf Hugging Face unter Apache 2.0: orcarouter/Qwen3.8-27B-Uncensored-FP8 (block-FP8 E4M3, etwa 30,9 GB an Gewichten, bereitgestellt über den Standard-vLLM-FP8-Kernel-Pfad mit 262K Kontext, Tools, Thinking und MTP intakt) und orcarouter/Qwen3.8-27B-Uncensored-GGUF (F16 plus 12 Quantisierungsstufen für llama.cpp, wobei Q4_K_M mit 16,8 GB die empfohlene Standardeinstellung für eine 24-GB-GPU ist). Die Modellkarte auf OrcaRouter enthält die Preise und die Benchmark-Details — das unzensierte Build ist dort als obsidian/Qwen3.8-27B gelistet, mit 0,40 $ pro Million Input-Tokens und 4,21 $ pro Million Output-Tokens, mit 262K Kontext, und der Zugriff ist auf Sicherheitsforscher, Red Teams und KI-Sicherheitsforscher beschränkt.

Das Fazit

Die qwen-uncensored-Benchmarks beantworten eine eng gefasste Frage, und die Antwort ist eindeutig: Das Entfernen der Verweigerung aus Qwen3.8 27B per Abliteration hält die Leistungsfähigkeit innerhalb von ±1,3 Punkten, während die Verweigerung bei schädlichen Prompts von 64–99 % auf 0–6 % einbricht, die Überverweigerung von 5,6 % auf 0,4 % sinkt und die Perplexität bei 6,96 bleibt. Lesen Sie diese Zahlen als „verweigert nicht“, niemals als „stärker“. Für Forschung zu Interpretierbarkeit, Sicherheit und Red Teaming ist es genau das Werkzeug, das die Modellkarte beschreibt. Für alles, was einem Nutzer gegenübersteht, ist es konstruktionsbedingt das falsche Modell.

Für legitime Forschungszwecke sind die Gewichte unter Apache 2.0 auf Hugging Face verfügbar — orcarouter/Qwen3.8-27B-Uncensored-FP8 (die GGUF-Version für llama.cpp ist unter orcarouter/Qwen3.8-27B-Uncensored-GGUF zu finden).