Ternary Bonsai 2 27B Uncensored vs Qwen3.8-27B-Uncensored-MLX: Zwei Wege, eine Verweigerungsrichtung zu entfernen

OrcaRouter Ternary Bonsai 2 27B Uncensored und Qwen3.8-27B-Uncensored-MLX beantworten dieselbe Frage – wie entfernt man eine Verweigerungsrichtung aus einem Sprachmodell – und sie beantworten sie an zwei verschiedenen Stellen. Die Qwen3.8-27B-Uncensored-MLX-Linie ist konventionelle Abliteration: Die Gewichtsmatrizen werden gegen eine gelernte Verweigerungsrichtung orthogonalisiert, und die bearbeiteten Gewichte werden als neuer Checkpoint gespeichert. OrcaRouter Ternary Bonsai 2 27B Uncensored führt die entsprechende Projektion stattdessen zur Inferenzzeit durch und subtrahiert die Komponente jedes Residual-Schreibvorgangs, die entlang der Verweigerungsrichtung liegt, sodass das zugrunde liegende Bonsai-Pack nie verändert wird und bitidentisch bleibt. Beides sind unsere eigenen Releases, und die Trennung zwischen ihnen ist keine Präferenz in Bezug auf Laufzeitumgebungen. Sie ergibt sich aus einer Arithmetik, die spezifisch für ternäre Gewichte ist.

Der Gegenstand dieses Vergleichs ist einen Tag alt. Prism ML kündigte Bonsai 2 27B am 2026-09-17 an; die Hugging Face-Repos wurden am Abend zuvor, am 2026-09-16 um 23:40–23:41 UTC, unter Apache-2.0 erstellt. Der abliterierte MLX-Build, mit dem es verglichen wird, ist seit Mitte August verfügbar. Nichts im Folgenden ist eine Erfolgsbilanz für das neuere der beiden — wo etwas nicht gemessen wurde, sagt dieser Artikel das auch.

Derselbe Trick, an zwei verschiedenen Orten angewendet

Gewöhnliche Abliteration ist eine Bearbeitung der Gewichte. Man schätzt eine Verweigerungsrichtung und projiziert sie dann aus den Matrizen heraus, die in den Residualstrom schreiben: W ← W - r(rᵀW). Ein paar Matrixmultiplikationen, kein Optimierer, keine Verlustfunktion. So wurde Qwen3.8-27B-Uncensored-MLX erstellt — die Modellkarte beschreibt es als „Abliteration (Entfernung der Verweigerungsrichtung), dann MLX-affine Quantisierung“, wobei die Richtung aus dem Residualstrom herausorthogonalisiert und das Ergebnis als ein neuer Satz von Gewichten gespeichert wurde. Was ausgeliefert wird, ist ein Checkpoint, bei dem die Richtung bereits entfernt ist.

OrcaRouter Ternary Bonsai 2 27B Uncensored lässt die Gewichte unangetastet und greift dort ein, wo jeder Residualbeitrag erzeugt wird, in float32, mit der gespeicherten Verweigerungsrichtung r:

• y ← y - alpha · dot(y, r) · r

Bei Alpha 1 – dem Standard – wird die Komponente parallel zu r aus diesem Schreibvorgang entfernt. Bei Alpha 0 ist die Projektion aus und das Modell verhält sich wie das veröffentlichte Pack. Werte dazwischen liefern partielle Stärke, Werte über 1 überprojizieren, was laut Projekt die Qualität beeinträchtigen kann. Die Schichtauswahl ist ebenfalls verfügbar, sodass du eine Teilmenge statt des gesamten Stapels ablatieren kannst. Die Richtung selbst ist ein gewöhnlicher 5120-dimensionaler Vektor – etwa 20 KB in float32 –, auf den keine zusätzliche Hadamard-Rotation angewendet wird, weil die Projektion auf Projektionsausgaben operiert, die sich bereits in der normalen Hidden-Basis befinden.

Das Detail der Abdeckung ist der Punkt, den Menschen falsch machen, wenn sie das selbst versuchen. Das alleinige Umwickeln von self_attn.o_proj erfasst 16 Stellen. Diese Implementierung umschließt 129 Residual-Writer: 64 mlp.down_proj, 48 linear_attn.out_proj, 16 self_attn.o_proj, und model.embed_tokens. Ein mitgeliefertes selfcheck.py überprüft, dass die Projektion die verbleibende Komponente auf ungefähr 1e-6 der Residualnorm herunterdrückt, und warnt, wenn 129 Stellen nicht erkannt werden.

Warum ternäre Gewichte daraus eine erzwungene Wahl statt einer Präferenz machen

Hier ist der Teil, der tatsächlich spezifisch für dieses Modell ist, und er ist der Grund, warum die beiden Ansätze hier nicht austauschbar sind, obwohl sie nahezu dasselbe berechnen.

Ein ternäres Pack speichert Werte in {-1, 0, +1}, multipliziert mit einem gruppenweisen FP16-Skalierungsfaktor, bei Gruppengröße 128, in einer rotierten Basis. Orthogonalisiert man eine ternäre Matrix gegen eine Ablehnungsrichtung, erhält man eine dichte Matrix in voller Präzision. Es gibt keine ternäre Matrix, die W - r(rᵀW) im Allgemeinen entspricht. Das Zurückspeichern der bearbeiteten Gewichte bedeutet also, sie erneut zu quantisieren – und das erneute Quantisieren bearbeiteter Gewichte reproduziert nicht das quantisierungsbewusste Training, das das ursprüngliche Pack erzeugt hat. Das Rundungsverhalten, das Prism ML das Modell zu tolerieren trainiert hat, ist eine Eigenschaft des Trainingsverfahrens, nicht des Quantisierers, und man kann es nicht im Nachhinein erneut durchlaufen lassen.

Bei einem dichten BF16-Checkpoint tritt dieses Problem nicht auf. Rundet man die veränderten Gewichte auf 4 Bit, erhält man ein etwas schlechteres 4-Bit-Modell – der übliche Kompromiss, den ohnehin alle akzeptieren. Bei einem ternären Pack würde man die eine Eigenschaft wegwerfen, für die das Pack überhaupt existiert.

Die ehrliche Formulierung lautet also nicht: „Runtime ist besser“. Sie lautet vielmehr, dass die Runtime-Projektion die einzige der beiden ist, die bewahrt, was an genau diesem Modell besonders ist. Die Refusal-Richtung ist 20 KB. Das Paket ist 8,005 GiB.

Diese 8,005-GiB-Angabe bezieht sich speziell auf das MLX-Paket — prism-ml/Ternary-Bonsai-2-27B-mlx-2bit, dessen model.safetensors in der Hugging Face API 8.595.477.990 Bytes misst (8,595 GB, 8,005 GiB), ein affiner MLX-Container mit 2-Bit-Codes plus einem FP16-Scale und -Bias pro Gruppe. Es ist ein anderes Artefakt als die GGUF-Builds, die Prism ML ausliefert, und die Zahlen lassen sich nicht zwischen ihnen übertragen. Die eigene Angabe von Prism ML von 5,93 GB / 1,76 Bits pro Gewicht beschreibt deren PTQ1_0 GGUF, der 5,947 GB misst; ihr True-Ternary-Format wird mit 1,72 Bits pro Gewicht und 5,80 GB angegeben. Keine dieser Zahlen beschreibt das MLX-Paket, das diese Runtime abladiert.

Wo der Checkpoint-Ansatz noch immer gewinnt – und das tut er durchaus

Es wäre einfach, dies als Siegesrunde für die neuere Methode zu schreiben. Das wäre falsch, denn die konventionelle Abliteration liegt bei den Achsen vorn, die für die meisten Deployments ausschlaggebend sind.

• Ein Artefakt, jede kompatible Laufzeitumgebung. Ein abliterierter Checkpoint ist ein normaler Satz Gewichte. Lade ihn in den MLX-kompatiblen Loader, den du bereits verwendest, und er funktioniert. Der Laufzeit-Ansatz benötigt die eigene mitgelieferte Laufzeitumgebung des Packs – und das Projekt warnt ausdrücklich davor, dass ein gewöhnlicher MLX-Loader das Pack scheinbar laden kann, während er stillschweigend das Falsche berechnet. Das ist eine deutlich schmalere Startbahn.

• Hardware. Qwen3.8-27B-Uncensored-MLX wird in 2-, 4-, 6- und 8-Bit-Builds angeboten, wobei eine 4-Bit-Kopie im Repository-Stamm gespiegelt wird, sodass Tools, die ein Repository als einzelnes Modell behandeln, es ohne Konfiguration laden. Ternary Bonsai 2 27B Uncensored ist Apple Silicon / MLX. Die quantisierte Matmul des Pakets verfügt über Metal- und CPU-Kernel, aber über mlx-cuda gibt es keine CUDA-Implementierung, sodass dieses MLX-Paket auf einer NVIDIA-Maschine derzeit überhaupt keine GPU-Beschleunigung erhält — CPU-Inferenz funktioniert, und ein 27B-Forward-Pass kann Minuten dauern. Das macht den Linux-CPU-Pfad nützlich für Implementierungstests und Reproduzierbarkeit, nicht für das Serving.

• Tooling und Vertrautheit. Abliteration hat Jahre an Tooling hinter sich — abgestimmte Rezepte, Layer-Bereichssuche, veröffentlichte Varianten, gegen die man vergleichen kann. Die Runtime-Methode hier hat eine einzige Implementierung, auf einem einzigen Modell, gestern veröffentlicht.

• Distribution. Ein einzelner Checkpoint ist ein einzelner Download. Runtime-Ablation liefert ein Pack plus eine Direction-Datei plus eine Runtime, und der Leser muss drei Dinge im Gleichschritt halten.

• Belege. Checkpoint-Abliteration hat Messungen von Drittanbietern zu dieser Basismodellfamilie. Laufzeit-Ablation an einem ternären Paket hat nur unsere eigenen Zahlen, und ihre zentrale Annahme ist unbestätigt — mehr dazu unten.

Was Runtime-Ablation im Gegenzug bringt

Der Tausch ist auch in die andere Richtung real, und der erste Punkt ist derjenige, der sich über dieses Modell hinaus verallgemeinern lässt.

• Bit-identische Provenienz. Keine Gewichte geändert, keine Requantisierung, kein zusätzlicher Quantisierungsfehler. Das ist kein Slogan; es ist die Eigenschaft, die die unten stehenden Fähigkeitswerte erst interpretierbar macht, anstatt einem glücklichen Zufall geschuldet zu sein.

• Ein anpassbares Alpha. Die Ablationsstärke ist ein Laufzeitparameter, keine Checkpoint-Eigenschaft. Sie können ihn für Ihre Workload durchtesten, ihn mit Alpha 0 vollständig deaktivieren oder überprojizieren und messen, was kaputtgeht — ohne ein zweites Modell herunterzuladen.

• Schichtselektive Steuerung. Die Ablation einer Teilmenge von Schichten ist ein Argument, kein erneutes Backen. Das ist wichtig für alle, die untersuchen, welche Schichten das Verhalten tragen, denn die Alternative ist, pro Konfiguration einen Checkpoint zu erzeugen.

• Kein zweiter Satz Gewichte. Das editierte Modell ist das Originalmodell. Für ein Paket, dessen gesamte These der Footprint ist, würde das Mitliefern einer parallelen abliterierten Kopie mit rund 16 GB – der Größe des 4-Bit-Builds im Vergleichs-Repo – dem Punkt zuwiderlaufen.

• Umkehrbarkeit. Eine Checkpoint-Bearbeitung ist für dieses Artefakt dauerhaft. Ein Laufzeit-Flag nicht.

Die Zahlen, die wir haben, und genau, wie sie gemessen wurden

Alles in diesem Abschnitt ist OrcaRouters eigene Bewertung von OrcaRouter Ternary Bonsai 2 27B Uncensored, und die Methode zählt genauso viel wie die Zahlen.

Die Messung ist ein regelbasierter Klassifikator für Eröffnungsphrasen, kein LLM-Richter. Thinking ist deaktiviert, das Decoding ist greedy, das Budget beträgt 64 Tokens, und Base und Ablated sind dieselben Gewichte im selben Prozess bei Alpha 0 gegenüber Alpha 1. Dieser letzte Punkt ist der stärkste Teil des Aufbaus: Es gibt keinen Checkpoint-übergreifenden Vergleich und keinen Quantisierungsunterschied, der das Ergebnis verfälschen könnte. Das ist auch der Grund, warum die Zahlen als Maß dafür gelesen werden sollten, was das Modell in seiner Eröffnungsphrase sagt, und nicht mehr als das.

Ablehnungsraten auf veröffentlichten Sets schädlicher Prompts, von Basis- zu ablatierter Version:

• AdvBench (n=100) — 99,0 % auf 6,0 %

• JailbreakBench (n=100) — 96,0 % auf 4,0 %

• StrongREJECT (n=150) — 99,3 % auf 3,3 %

• HarmBench (n=150) — 98,7 % auf 7,3 %

• MaliciousInstruct (n=100) — 97,0 % auf 0,0 %

• ForbiddenQuestions (n=150) — 75,3 % auf 5,3 %

• SimpleSafetyTests (n=50) — 96,0 % bis 18,0 %, und dieser Wert ist noch untertrieben

SimpleSafetyTests wird aus einem bestimmten Grund zu niedrig angegeben. Dieses Set besteht überwiegend aus Selbstverletzungs-Prompts, und das ablatierte Modell beantwortet sie mit einer Krisen-Weiterleitung, die mit „I am deeply sorry to hear…“ beginnt. Die exakte Phrasenliste des Klassifikators enthält diese Einleitung nicht, daher wertet er eine Weiterleitung als Befolgung. Die tatsächliche verbleibende Verweigerungsrate ist höher als 18,0 %. Der Klassifikator wurde bewusst unverändert gelassen, damit die Zahlen mit den anderen Modellkarten von OrcaRouter vergleichbar bleiben – aber ein Leser sollte 18,0 % nicht für bare Münze nehmen.

In keinem dieser Durchläufe ging einer Antwort das Token-Budget aus, weshalb ein 64-Token-Budget hier vertretbar ist. Eine separate Spalte in den vollständigen Ergebnissen zählt Antworten, die zwar geantwortet, die Antwort aber in einen Haftungsausschluss gehüllt haben; dieser Anteil lag je nach Set bei 42–60 %.

Zwei Ergebnisse, die gegen die einfache Erzählung sprechen

Zwei der Befunde verdienen eine eigene Betrachtung, denn beide erschweren die naheliegende Deutung.

Übermäßige Verweigerungen sinken ebenfalls. Bei den harmlosen Prompts von JailbreakBench verweigert das veröffentlichte Paket 25,0 % davon. Mit Ablation verweigert es 0,0 %. Bei XSTest-safe geht es von 5,2 % auf 0,4 % zurück.

Dies ist die Hälfte der Technik, über die zu wenig berichtet wird. Das veröffentlichte Bonsai-Pack weist ein Viertel eines Sets harmloser Prompts ab; was auch immer die Ablehnungsrichtung im QAT-Modell bewirkt, sie wird bei Prompts aktiv, die sie nie hätten auslösen dürfen. Entfernt man die Richtung, verschwinden auch diese Ablehnungen, und das ist ein echter Fähigkeitsgewinn, keine Sicherheitseinbuße. Derselbe Effekt zeigt sich in unabhängigen Arbeiten zu anderen Modellen – der eigene Harness von Atomic Chat maß, dass die Überablehnung harmloser Prompts bei Gemma 2 9B nach der Abliteration von 44 % auf 0,5 % einbrach, während MMLU von 68,4 auf 68,0 praktisch unverändert blieb. Ihre Messung, ihr Modell, selbst in ihrem Blog berichtet; auf das Muster kommt es an, nicht auf die genauen Zahlen.

Die folgende Darstellung ist unbequem, aber ehrlich: Überverweigerung und Verweigerung sind derselbe Regler. Du kannst nicht nur die Verweigerungen herunterdrehen, die du nicht magst.

Der Fähigkeitserhalt bleibt konstant, und das ist kein Zufall. Die Fähigkeitsprüfungen, von der Basis zur Ablation:

• MMLU (n=300) — 76,7 % auf 77,7 %, +1,0

• GSM8K (n=150) — 87,3 % auf 86,0 %, -1,3

• CMMLU (n=500) — 76,2 % auf 75,6 %, -0,6

Jede Veränderung liegt bei diesen Stichprobengrößen im Rauschen — eine GSM8K-Frage ist 0,7 Punkte wert. MMLU-Pro wurde ausgeschlossen statt berichtet: Sein Prompt verlangt eine Begründung vor der Antwort, und 63–64 % der Antworten auf beiden Seiten hatten innerhalb des Token-Budgets noch keine Antwort erreicht, sodass jede Genauigkeitszahl eine vom Budget gesetzte Untergrenze statt einer Messung wäre.

Gleichbleibende Leistungsfähigkeit folgt direkt aus bitidentischen Gewichten, und es lohnt sich, genau darzulegen, warum. Das antwortende Modell ist dasselbe Modell. Die Laufzeitumgebung fügt pro Residual-Schreibvorgang ein Skalarprodukt und ein AXPY hinzu und ändert nichts an den Gewichten, der Quantisierung oder den Kernels, die sie lesen. Ein Checkpoint-Ansatz muss diese Konstanz erst verdienen – und tut das oft nicht. Ein unabhängiger Härtetest einer anderen Abliteration derselben Qwen3.8-27B-Basis, veröffentlicht am 2026-08-17 von einem Ingenieur bei SMF Works, ergab einen zusammengesetzten Wert von 79,0 %, der auf 72,0 % fiel, wobei Mathematik von 50,0 % auf 33,3 % sank. Das ist ein anderes Rezept, eine andere Toolchain und eine andere Messung, also kein Ergebnis für diesen Vergleich. Es ist eine Erinnerung daran, dass Checkpoint-Abliteration auf dieser Basis in mindestens einem sorgfältigen, instrumentierten Test zweistellige Einbußen gekostet hat, und dass „Abliteration ist nahezu kostenlos“ eine Behauptung ist, die vollständig vom Rezept abhängt.

Die Annahme, die noch niemand überprüft hat

Das ist der Teil der Geschichte, der unverblümt gesagt werden muss, und er gehört in einen Vergleich von Methoden zur Entfernung der Zensur und nicht in eine Fußnote.

Die hier verwendete Ablehnungsrichtung wurde aus dem BF16-Basismodell geschätzt, auf dem das Bonsai-Paket trainiert wurde. Die Architektur und die verborgene Basis sind identisch, daher ist der Vektor dimensional korrekt und die Projektion mathematisch exakt – die Laufzeitumgebung kann beweisen und verifiziert auch, dass sie die vorgegebene Richtung aus dem Residualstrom entfernt.

Was das nicht beweist, ist, dass die Richtung im quantisierungsbewusst trainierten Modell noch dasselbe bedeutet. Wie gut die Richtung das quantisierungsbewusste Training übersteht, wurde nicht vollständig gemessen. Einen Vektor exakt zu entfernen ist nicht dasselbe wie das Verhalten zu entfernen, das er schätzungsweise repräsentieren sollte, und die zweite Behauptung ist die, auf die es ankommt. Jede Zahl im obigen Abschnitt ist ein empirisches Ergebnis, das mit einer guten Übertragung vereinbar ist; keine davon ist ein Nachweis dafür, dass die Übertragung vollständig ist, und das Projekt sagt das selbst und empfiehlt, Alpha- und Layer-Auswahl zu sweepen, bevor Schlussfolgerungen gezogen werden.

Jeder ehrliche Vergleich von Methoden zur Entzensorierung muss dies einräumen. Herkömmliche Abliteration hat das spiegelbildliche Problem – sie bearbeitet Gewichte und misst anschließend das Ergebnis, sodass ihre Richtung nie zwischen Modellversionen übertragen werden muss, doch ihre Bearbeitung ist dauerhaft und nicht rückgängig zu machen, wenn das Rezept falsch war.

Was ist noch ungemessen?

Jenseits der Transferfrage lohnt es sich, drei Lücken zu benennen, statt sie zu umschreiben.

• Keine unabhängige Reproduktion. Jeder im Umlauf befindliche Bonsai 2 27B-Benchmark – der Durchschnitt von 83,9, die 98,2 % Retention, die Kategorie-Aufschlüsselungen – ist vom Anbieter Prism ML gemeldet, ausgeführt mit EvalScope auf einem vLLM-Backend auf H100s bei "xhigh" Reasoning-Aufwand. Niemand außerhalb von Prism ML hat sie reproduziert. Die obigen Tabellen zu Sicherheit und Fähigkeiten stammen von uns und sind ebenfalls nicht unabhängig.

• Verhalten bei aktiviertem Denken. Unsere Tabellen zeigen das Denken deaktiviert. Unabhängige Arbeiten an anderen abliterierten Modellen haben ergeben, dass das Modell selbst bei 100 % Angriffserfolg in einem erheblichen Teil der Antworten noch über Sicherheit nachdenkt, wenn ihm das Denken erlaubt wird. Ob das hier gilt und was es mit den Zahlen zu den Eröffnungsphrasen macht, wurde nicht gemessen.

• Eine einzige Richtung. Die Methode geht davon aus, dass Verweigerung durch eine einzige Richtung vermittelt wird, was dem Befund von Arditi et al. entspricht und die Grundlage für die gesamte Technik bildet. Nachfolgende Arbeiten an anderen Modellen haben geometrisch verschiedene Richtungen für unterschiedliche Verweigerungskategorien gefunden. Ein einzelner Vektor, über ein einziges Alpha variiert, klärt das nicht.

Was das bedeutet, wenn Sie sich zwischen ihnen entscheiden

Nimm den Checkpoint, wenn das Modell überall laufen soll – auf Hardware, die du nicht kontrollierst, über einen Loader, den du nicht geschrieben hast. Nimm die Runtime, wenn du auf Apple Silicon arbeitest, dir wichtig ist, dass das Artefakt, das du untersuchst, das Artefakt ist, das Prism ML trainiert hat, und du möchtest, dass Ablationsstärke ein Parameter ist, an dem du drehen kannst, statt eine Entscheidung, für die du erneut herunterladen musst. Beide sind vertretbar, und sie werden durch Deployment-Einschränkungen bestimmt, nicht dadurch, welche Methode neuer ist.

Wenn Sie versuchen, empirisch zu entscheiden, hat die Laufzeitmethode einen praktischen Vorteil, der erwähnt werden sollte: Alpha 0 und Alpha 1 sind derselbe Prozess und dieselben Gewichte, sodass ein Vergleich zwischen ihnen nur die Ablation isoliert und sonst nichts. Das ist ein saubereres Experiment, als zwei Checkpoints zu diffen, und es ist der Grund, warum die obige Tabelle als eine Messung der Projektion gelesen werden kann und nicht als eine Messung zweier Quantisierungen davon.

Verantwortungsvoller Einsatz

Das Entfernen einer gelernten Ablehnungsrichtung kann dazu führen, dass das Modell auf Anfragen antwortet, die das ursprüngliche Modell ablehnen würde. Das ist der Mechanismus, der funktioniert, kein Nebeneffekt, und es sollte nicht als Feature abgelegt werden. Dies ist ein Forschungs- und Inferenzkontrollmechanismus, und es ist kein Beleg dafür, dass eine daraus resultierende Ausgabe sicher, korrekt oder angemessen ist.

Die eigene Model Card des veröffentlichten Pakets macht von der anderen Seite aus denselben Punkt: Beim abliterierten MLX-Build „wurde sein Safety-Alignment weitgehend entfernt“, er wird Anfragen erfüllen, die das Original ablehnen würde, und bringt keine nennenswerten integrierten Schutzmechanismen mit. Seine Autoren beschränken ihn auf legitime Forschung – Interpretierbarkeit, Sicherheitsforschung, Red-Teaming, Robustheitsbewertung – und sagen unmissverständlich, dass Deployments zuerst eine eigene Moderationsschicht und Zugriffskontrollen hinzufügen müssen.

Nichts in diesem Artikel ist ein Argument dafür, dass die Entfernung von Verweigerungen kostenlos ist oder dass eine niedrigere Verweigerungsrate ein Qualitätssignal ist. Ein Modell, das mehr Fragen beantwortet, ist dadurch kein besseres Modell, und ein regelbasierter Klassifikator, der einleitende Phrasen zählt, ist eine Messung der Formulierung, nicht der Kompetenz. Beide dieser Artefakte sind Forschungswerkzeuge, an die eine Betreiberpflicht geknüpft ist, und diese Pflicht geht nicht auf die Person über, die den Ablationscode geschrieben hat.

Der Runtime-Ablation-Code, die Ablehnungsrichtung und die vollständigen Evaluierungstabellen werden veröffentlicht von OrcaRouter, zusammen mit der Routing-Plattform, die das Team entwickelt.