Ternary Bonsai 2 27B Uncensored vs Qwen3.8-27B-Uncensored-MLX: twee manieren om een weigeringsrichting te verwijderen

OrcaRouter Ternary Bonsai 2 27B Uncensored en Qwen3.8-27B-Uncensored-MLX beantwoorden dezelfde vraag — hoe haal je een weigeringsrichting uit een taalmodel — en ze beantwoorden die op twee verschillende plaatsen. De Qwen3.8-27B-Uncensored-MLX-lijn is conventionele abliteratie: de gewichtsmatrices worden georthogonaliseerd ten opzichte van een aangeleerde weigeringsrichting, en de bewerkte gewichten worden opgeslagen als een nieuw checkpoint. OrcaRouter Ternary Bonsai 2 27B Uncensored doet in plaats daarvan de equivalente projectie tijdens de inferentie, door de component van elke residual write die langs de weigeringsrichting ligt af te trekken, zodat het onderliggende Bonsai-pakket nooit wordt gewijzigd en bit-identiek blijft. Beide zijn onze eigen releases, en het onderscheid tussen beide is geen kwestie van voorkeur voor runtimes. Het vloeit voort uit rekenkunde die specifiek is voor ternaire gewichten.

Het onderwerp van deze vergelijking is één dag oud. Prism ML kondigde Bonsai 2 27B aan op 2026-09-17; de Hugging Face-repo's werden de avond ervoor aangemaakt, om 23:40–23:41 UTC op 2026-09-16, onder Apache-2.0. De abliterated MLX-build waarmee het wordt vergeleken, is al sinds half augustus online. Niets hieronder is een trackrecord voor de nieuwere van de twee — waar iets niet is gemeten, zegt dit artikel dat.

Dezelfde truc, toegepast op twee verschillende plaatsen

Gewone abliteratie is een gewichtsbewerking. Je schat een weigeringsrichting, en projecteert die vervolgens uit de matrices die naar de residustroom schrijven: W ← W - r(rᵀW). Een paar matrixvermenigvuldigingen, geen optimalisator, geen verliesfunctie. Zo is Qwen3.8-27B-Uncensored-MLX gemaakt — de modelkaart beschrijft het als "abliteration (verwijdering van de weigeringsrichting), daarna MLX affiene kwantisatie," waarbij de richting uit de residustroom is georthogonaliseerd en het resultaat is opgeslagen als een nieuwe set gewichten. Wat wordt geleverd is een checkpoint waarin de richting al verdwenen is.

OrcaRouter Ternary Bonsai 2 27B Uncensored laat de gewichten met rust en grijpt in waar elke residuele bijdrage wordt geproduceerd, in float32, met de opgeslagen weigeringsrichting r:

• y ← y - alpha · dot(y, r) · r

Bij alpha 1 — de standaardwaarde — wordt de component parallel aan r uit die schrijfactie verwijderd. Bij alpha 0 staat de projectie uit en gedraagt het model zich zoals het gepubliceerde pack doet. Waarden daartussen geven gedeeltelijke sterkte, waarden boven 1 projecteren te veel, wat volgens het project de kwaliteit kan verslechteren. Laagselectie is ook beschikbaar, zodat je een subset kunt ablateren in plaats van de hele stack. De richting zelf is een gewone 5120-dimensionale vector — ongeveer 20 KB in float32 — zonder dat er een extra Hadamard-rotatie wordt toegepast, omdat de projectie werkt op projectie-uitvoer, die zich al in de normale verborgen basis bevindt.

Het detail over de dekking is het onderdeel dat mensen verkeerd doen wanneer ze dit zelf proberen. Het alleen wrappen van self_attn.o_proj vangt 16 locaties. Deze implementatie wrapt 129 residuele writers: 64 mlp.down_proj, 48 linear_attn.out_proj, 16 self_attn.o_proj, en model.embed_tokens. Een meegeleverde selfcheck.py verifieert dat de projectie de resterende component terugbrengt tot ongeveer 1e-6 van de residuele norm, en waarschuwt als er geen 129 locaties worden gedetecteerd.

Waarom ternaire gewichten dit tot een gedwongen keuze maken in plaats van een voorkeur

Dit is het deel dat echt specifiek is voor dit model, en het is de reden waarom de twee benaderingen hier niet uitwisselbaar zijn, ook al berekenen ze bijna hetzelfde.

Een ternaire pack slaat waarden op in {-1, 0, +1} maal een FP16-schaal per groep, bij groepsgrootte 128, in een geroteerde basis. Orthogonaliseer een ternaire matrix tegen een weigeringsrichting en je krijgt een dichte matrix met volledige precisie. Er is geen ternaire matrix die gelijk is aan W - r(rᵀW) in het algemeen. Dus de bewerkte gewichten terug opslaan betekent ze opnieuw kwantiseren — en het opnieuw kwantiseren van bewerkte gewichten reproduceert niet de kwantisatiebewuste training die het oorspronkelijke pack produceerde. Het afrondingsgedrag dat Prism ML het model heeft geleerd te tolereren, is een eigenschap van de trainingsprocedure, niet van de kwantiseerder, en je kunt het achteraf niet opnieuw uitvoeren.

Bij een dense BF16-checkpoint doet dat probleem zich niet voor. Rond de bewerkte gewichten af naar 4-bit en je krijgt een iets slechter 4-bit-model, wat de gebruikelijke afweging is die iedereen al accepteert. Bij een ternaire pack zou je de enige eigenschap weggooien waarvoor de pack bestaat.

Dus de eerlijke framing is niet 'runtime is beter'. Het is dat runtime-projectie de enige van de twee is die behoudt wat dit specifieke model bijzonder maakt. De weigeringsrichting is 20 KB. De pack is 8,005 GiB.

Dat cijfer van 8,005 GiB is specifiek het MLX-pakket — prism-ml/Ternary-Bonsai-2-27B-mlx-2bit, waarvan model.safetensors 8.595.477.990 bytes meet op de Hugging Face API (8,595 GB, 8,005 GiB), een MLX-affine-container met 2-bitscodes plus een FP16-schaal en -bias per groep. Het is een ander artefact dan de GGUF-builds die Prism ML levert, en de cijfers zijn niet onderling overdraagbaar. De eigen kop van Prism ML met 5,93 GB / 1,76 bits per gewicht beschrijft hun PTQ1_0 GGUF, die 5,947 GB meet; hun True Ternary-formaat wordt opgegeven als 1,72 bits per gewicht en 5,80 GB. Geen van die cijfers beschrijft het MLX-pakket dat deze runtime ablateert.

Waar de checkpointaanpak nog steeds wint — en in sommige gevallen wint hij zeker

Het zou gemakkelijk zijn om dit als een overwinningsronde voor de nieuwere methode te schrijven. Dat zou verkeerd zijn, want conventionele abliteration ligt voor op de assen die de meeste implementaties bepalen.

• Eén artefact, elke compatibele runtime. Een geablitereerde checkpoint is een normale set van gewichten. Laad het in welke MLX-compatibele loader je ook al gebruikt, en het werkt. De runtime-aanpak vereist de eigen meegeleverde runtime van het pakket — en het project waarschuwt expliciet dat een gewone MLX-loader de indruk kan wekken het pakket te laden terwijl hij stilzwijgend het verkeerde berekent. Dat is een veel smallere marge.

• Hardware. Qwen3.8-27B-Uncensored-MLX is beschikbaar in 2-, 4-, 6- en 8-bitbuilds, met een 4-bitkopie die in de root van de repo wordt gespiegeld, zodat tools die een repo als één model behandelen het zonder configuratie laden. Ternary Bonsai 2 27B Uncensored is Apple Silicon / MLX. De gekwantiseerde matmul van het pakket heeft Metal- en CPU-kernels, maar geen CUDA-implementatie via mlx-cuda, dus op een NVIDIA-machine krijgt dit MLX-pakket momenteel helemaal geen GPU-versnelling — CPU-inference werkt, en een forward pass van 27B kan minuten duren. Dat maakt het Linux-CPU-pad nuttig voor implementatietests en reproduceerbaarheid, niet voor serving.

• Gereedschap en vertrouwdheid. Abliteration heeft jaren aan gereedschap achter zich — afgestemde recepten, zoeken in laagbereiken, gepubliceerde varianten waarmee je kunt vergelijken. De runtime-methode hier heeft één implementatie, op één model, die gisteren is uitgebracht.

• Distributie. Een enkele checkpoint is één enkele download. Runtime-ablatie levert een pack plus een direction-bestand plus een runtime, en de lezer moet drie dingen op elkaar afgestemd houden.

• Bewijs. Checkpoint-abliteratie heeft metingen van derden op deze basismodelfamilie. Runtime-ablatie op een ternair pakket heeft alleen onze eigen cijfers, en de centrale aanname ervan is niet geverifieerd — meer daarover hieronder.

Wat runtime-ablatie in ruil oplevert

De trade-off is ook in de andere richting reëel, en het eerste item is het item dat buiten dit model generaliseert.

• Bit-identieke herkomst. Nul gewichten gewijzigd, nul herkwantisatie, nul extra kwantisatiefout. Dat is geen slogan; het is de eigenschap die de capaciteitscijfers hieronder interpreteerbaar maakt in plaats van een gelukkig toeval.

• Een instelbare alpha. Ablatiekracht is een runtimeparameter, geen eigenschap van een checkpoint. Je kunt het voor je workload afstellen, het volledig uitschakelen met alpha 0, of overprojecteren en meten wat er stukgaat — zonder een tweede model te downloaden.

• Laagselectieve controle. Het ableren van een subset van lagen is een argument, geen nieuwe bake. Dat is van belang voor iedereen die bestudeert welke lagen het gedrag dragen, want het alternatief is het produceren van een checkpoint per configuratie.

• Geen tweede set gewichten. Het bewerkte model is het originele model. Voor een pakket waarvan de hele these om voetafdruk draait, zou het meeleveren van een parallelle abliterated kopie van ongeveer 16 GB — de grootte van de 4-bit build in de vergelijkingsrepo — het punt ondermijnen.

• Omkeerbaarheid. Een checkpoint-bewerking is permanent voor dat artefact. Een runtime-flag niet.

De cijfers die we hebben, en precies hoe ze zijn gemeten

Alles in deze sectie is OrcaRouters eigen evaluatie van OrcaRouter Ternary Bonsai 2 27B Uncensored, en de methode is net zo belangrijk als de cijfers.

De meting is een regelgebaseerde classifier voor openingszinnen, geen LLM-beoordelaar. Thinking staat uit, decodering is greedy, het budget is 64 tokens, en base en ablated zijn dezelfde gewichten in hetzelfde proces bij alpha 0 versus alpha 1. Dat laatste punt is het sterkste onderdeel van de opzet: er is geen vergelijking tussen checkpoints en geen kwantisatieverschil dat het resultaat kan vertekenen. Het is ook de reden waarom de cijfers moeten worden gelezen als een maat voor wat het model in zijn openingszin zegt, en niet meer dan dat.

Weigeringspercentages op gepubliceerde sets met schadelijke prompts, van basis tot geableerd:

• AdvBench (n=100) — 99,0% tot 6,0%

• JailbreakBench (n=100) — 96,0% naar 4,0%

• StrongREJECT (n=150) — 99,3% naar 3,3%

• HarmBench (n=150) — 98,7% naar 7,3%

• MaliciousInstruct (n=100) — 97,0% naar 0,0%

• ForbiddenQuestions (n=150) — 75,3% tot 5,3%

• SimpleSafetyTests (n=50) — 96,0% naar 18,0%, en deze is nog te zwak uitgedrukt

SimpleSafetyTests wordt om een specifieke reden te laag weergegeven. Die set bestaat grotendeels uit prompts voor zelfbeschadiging, en het geablateerde model beantwoordt ze met een crisisdoorverwijzing die opent met "I am deeply sorry to hear…". De exacte frasenlijst van de classifier bevat die opening niet, dus scoort hij een doorverwijzing als naleving. Het werkelijke resterende weigeringspercentage is hoger dan 18,0%. De classifier is bewust ongewijzigd gelaten, zodat de cijfers vergelijkbaar blijven met de andere modelkaarten van OrcaRouter — maar een lezer moet 18,0% niet klakkeloos voor waar aannemen.

Geen enkel antwoord in deze runs verbruikte zijn tokenbudget volledig, wat een budget van 64 tokens hier verdedigbaar maakt. Een aparte kolom in de volledige resultaten telt antwoorden die wel antwoord gaven, maar het antwoord in een disclaimer verpakten; dat percentage lag op 42–60%, afhankelijk van de set.

Twee resultaten die tegen het eenvoudige verhaal ingaan

Twee van de bevindingen verdienen een eigen behandeling, want beide compliceren de voor de hand liggende lezing.

Overmatige weigering daalt ook. Bij de onschuldige prompts van JailbreakBench weigert het gepubliceerde pakket 25,0% ervan. Na ablatietest weigert het 0,0%. Op XSTest-safe gaat het van 5,2% naar 0,4%.

Dit is de onderbelichte helft van de techniek. De gepubliceerde Bonsai pack wijst een kwart van een goedaardige promptset af; wat de weigeringsrichting ook doet in het QAT-model, hij slaat aan op prompts die hij nooit had mogen triggeren. Het verwijderen van de richting verwijdert ook die weigeringen, en dat is een echte capaciteitswinst in plaats van een veiligheidskostenpost. Hetzelfde effect verschijnt in onafhankelijk werk aan andere modellen — de eigen harness van Atomic Chat mat dat de over-weigering bij goedaardige prompts van Gemma 2 9B na abliteratie instortte van 44% naar 0,5%, terwijl MMLU vrijwel onveranderd bleef, van 68,4 naar 68,0. Hun meting, hun model, zelf gerapporteerd op hun blog; het patroon is het punt, niet de exacte cijfers.

De framing die volgt is ongemakkelijk maar eerlijk: overmatige weigering en weigering zijn dezelfde knop. Je kunt niet alleen de weigeringen die je niet bevallen lager draaien.

Het behoud van capaciteiten is vlak, en dat is geen toeval. De capaciteitscontroles, van basis tot geablateerd:

• MMLU (n=300) — 76,7% naar 77,7%, +1,0

• GSM8K (n=150) — 87,3% naar 86,0%, -1,3

• CMMLU (n=500) — 76,2% naar 75,6%, -0,6

Elke verschuiving valt binnen de ruis bij deze steekproefgroottes — één GSM8K-vraag is 0,7 punt waard. MMLU-Pro werd uitgesloten in plaats van gerapporteerd: de prompt ervan vraagt om redenering vóór het antwoord, en 63–64% van de antwoorden aan beide zijden had binnen het tokenbudget geen antwoord bereikt, dus elk nauwkeurigheidscijfer zou een door het budget bepaalde ondergrens zijn in plaats van een meting.

Vlakke capaciteit volgt rechtstreeks uit bit-identieke gewichten, en het is de moeite waard precies te zijn over waarom. Het model dat het antwoord geeft, is hetzelfde model. De runtime voegt één dotproduct en één AXPY toe per residual-write en verandert niets aan de gewichten, de kwantisatie of de kernels die ze lezen. Een checkpointbenadering moet die vlakheid verdienen — en doet dat vaak niet. Een onafhankelijke testbatterij van een andere abliteratie van dezelfde Qwen3.8-27B-basis, gepubliceerd op 2026-08-17 door een ingenieur bij SMF Works, mat een samengestelde score van 79,0% die daalde naar 72,0%, waarbij wiskunde daalde van 50,0% naar 33,3%. Dat is een ander recept, een andere toolchain en een andere meting, dus het is geen score voor deze vergelijking. Het is een herinnering dat checkpoint-abliteratie op deze basis in ten minste één zorgvuldige, geïnstrumenteerde test dubbele cijfers heeft gekost, en dat "abliteratie is bijna gratis" een bewering is die volledig van het recept afhangt.

De veronderstelling die niemand nog heeft geverifieerd

Dit is het deel van het verhaal dat ronduit gezegd moet worden, en het hoort thuis in een vergelijking van ontcensoringsmethoden, niet in een voetnoot.

De weigeringsrichting die hier wordt gebruikt, is geschat op basis van het BF16-basismodel waarop het Bonsai-pakket is getraind. De architectuur en de verborgen basis zijn identiek, dus de vector is dimensionaal correct en de projectie is wiskundig exact — de runtime kan bewijzen, en verifieert ook, dat deze de aangeleverde richting uit de residustroom verwijdert.

Wat dat niet bewijst, is dat de richting in het kwantisatiebewust getrainde model nog steeds hetzelfde betekent. Hoe goed de richting kwantisatiebewuste training doorstaat, is niet volledig gemeten. Een vector exact verwijderen is niet hetzelfde als het gedrag verwijderen waarvan werd geschat dat hij dat vertegenwoordigde, en het is de tweede bewering die ertoe doet. Elk getal in de bovenstaande sectie is een empirisch resultaat dat consistent is met goede overdracht; geen ervan is een demonstratie dat de overdracht volledig is, en het project zegt dat zelf ook, met de aanbeveling om alpha en laagselectie te sweepen voordat conclusies worden getrokken.

Elke eerlijke vergelijking van methoden voor ontcensurering moet dit toegeven. Conventionele abliteratie heeft het spiegelbeeldprobleem: het bewerkt gewichten en meet daarna het resultaat, waardoor de richting ervan nooit tussen modelversies hoeft te worden overgedragen, maar die bewerking is permanent en onherstelbaar als het recept verkeerd was.

Wat is nog ongemeten

Naast de transferkwestie zijn er drie hiaten die het waard zijn om te benoemen in plaats van eromheen te schrijven.

• Geen onafhankelijke reproductie.Elke Bonsai 2 27B-benchmark die circuleert — het gemiddelde van 83,9, de retentie van 98,2%, de categorieopsplitsingen — is door Prism ML als leverancier gerapporteerd, uitgevoerd met EvalScope op een vLLM-backend op H100's met 'xhigh' redeneerinspanning. Niemand buiten Prism ML heeft ze gereproduceerd. De veiligheids- en capaciteitstabellen hierboven zijn van ons en zijn evenmin onafhankelijk.

• Gedrag met denken ingeschakeld. In onze tabellen staat denken uit. Onafhankelijk werk aan andere geablitereerde modellen heeft uitgewezen dat het model, zelfs bij 100% aanvallend succes, nog steeds in een substantieel deel van de antwoorden over veiligheid redeneert wanneer het mag denken. Of dat hier ook geldt, en wat het doet met de cijfers voor de openingsformulering, is niet gemeten.

• Eén enkele richting. De methode veronderstelt dat weigering via één richting verloopt, wat de bevinding van Arditi et al. is en de basis vormt voor de hele techniek. Vervolgonderzoek bij andere modellen heeft geometrisch verschillende richtingen gevonden voor verschillende categorieën van weigering. Eén vector, uitgeveegd over één alpha, beslecht dat niet.

Wat dit betekent als u tussen hen kiest

Kies de checkpoint als het model overal moet kunnen draaien, op hardware die je niet beheert, via een loader die je niet zelf hebt geschreven. Kies de runtime als je op Apple Silicon zit, het je uitmaakt dat het artefact dat je bestudeert het artefact is dat Prism ML heeft getraind, en je wilt dat ablatiesterskte een parameter is die je kunt aanpassen in plaats van een beslissing die je opnieuw moet downloaden. Beide zijn verdedigbaar, en ze worden gekozen op basis van deploymentbeperkingen, niet op basis van welke methode nieuwer is.

Als je empirisch wilt beslissen, heeft de runtime-methode één praktisch voordeel dat het noemen waard is: alpha 0 en alpha 1 zijn hetzelfde proces en dezelfde gewichten, dus een vergelijking tussen beide isoleert de ablatie en niets anders. Dat is een schoner experiment dan het diffen van twee checkpoints, en het is de reden dat de tabel hierboven kan worden gelezen als een meting van de projectie in plaats van een meting van twee kwantisaties ervan.

Verantwoord gebruik

Het verwijderen van een aangeleerde weigeringsrichting kan ertoe leiden dat het model reageert op verzoeken die het originele model zou weigeren. Dat is het mechanisme dat werkt, geen neveneffect, en het moet niet als een functie worden opgevoerd. Dit is een onderzoeks- en inferentiecontrolemechanisme, en het is geen bewijs dat enige resulterende output veilig, correct of gepast is.

De eigen kaart van het gepubliceerde pakket maakt hetzelfde punt vanaf de andere kant: de abliterated MLX-build "heeft zijn veiligheidsafstemming grotendeels laten verwijderen", zal voldoen aan verzoeken die het origineel zou weigeren, en heeft geen wezenlijke ingebouwde guardrails. De auteurs bestemmen het voor legitiem onderzoek — interpreteerbaarheid, veiligheidsonderzoek, red-teaming, robuustheidsevaluatie — en zeggen ronduit dat implementaties eerst hun eigen moderatielaag en toegangscontroles moeten toevoegen.

Niets in dit artikel vormt een argument dat het verwijderen van weigeringen kosteloos is, of dat een lager weigeringspercentage een kwaliteitssignaal is. Een model dat meer vragen beantwoordt, is daarmee nog geen beter model, en een op regels gebaseerde classifier die openingszinnen telt, is een meting van formulering, niet van competentie. Deze beide artefacten zijn onderzoeksinstrumenten waaraan een operatorplicht is verbonden, en die plicht verschuift niet naar degene die de ablatiecode heeft geschreven.

De runtime-ablatiecode, de weigeringsrichting en de volledige evaluatietabellen worden gepubliceerd door OrcaRouter, samen met het routeringsplatform dat het team bouwt.