Ternary Bonsai 2 27B Uncensored vs Qwen3.8-27B-Uncensored-MLX: Dwa sposoby na usunięcie kierunku odmowy

OrcaRouter Ternary Bonsai 2 27B Uncensored i Qwen3.8-27B-Uncensored-MLX odpowiadają na to samo pytanie — jak usunąć kierunek odmowy z modelu językowego — i odpowiadają na nie w dwóch różnych miejscach. Linia Qwen3.8-27B-Uncensored-MLX to konwencjonalna abliteracja: macierze wag są ortogonalizowane względem wyuczonego kierunku odmowy, a edytowane wagi są zapisywane jako nowy checkpoint. OrcaRouter Ternary Bonsai 2 27B Uncensored zamiast tego wykonuje równoważną projekcję w czasie wnioskowania, odejmując składową każdego zapisu resztowego, która leży wzdłuż kierunku odmowy, więc bazowy pakiet Bonsai nigdy nie jest modyfikowany i pozostaje bitowo identyczny. Oba są naszymi własnymi wydaniami, a podział między nimi nie jest preferencją dotyczącą środowisk uruchomieniowych. Wynika to z arytmetyki właściwej dla wag trójwartościowych.

Przedmiotem tego porównania jest model, który ma jeden dzień. Firma Prism ML ogłosiła Bonsai 2 27B w dniu 2026-09-17; repozytoria Hugging Face powstały wieczorem dzień wcześniej, o 23:40–23:41 UTC 2026-09-16, na licencji Apache-2.0. Wersja MLX abliterated, z którą jest porównywany, istnieje od połowy sierpnia. Nic poniżej nie stanowi udokumentowanego dorobku nowszego z tych dwóch — tam, gdzie czegoś nie zmierzono, artykuł to odnotowuje.

Ta sama sztuczka, zastosowana w dwóch różnych miejscach

Zwykła abliteracja to edycja wag. Szacujesz kierunek odmowy, a następnie rzutujesz go z macierzy, które zapisują do strumienia rezydualnego: W ← W - r(rᵀW). Kilka mnożeń macierzy, żadnego optymalizatora, żadnej straty. W ten sposób powstał Qwen3.8-27B-Uncensored-MLX — karta modelu opisuje go jako „abliterację (usunięcie kierunku odmowy), a następnie kwantyzację afiniczną MLX”, przy czym kierunek został zortogonalizowany poza strumień rezydualny, a wynik zapisano jako nowy zestaw wag. Dostarczany jest checkpoint, w którym kierunek już zniknął.

OrcaRouter Ternary Bonsai 2 27B Uncensored nie zmienia wag, lecz ingeruje tam, gdzie powstaje każdy wkład rezydualny, w formacie float32, za pomocą zapisanego kierunku odmowy r:

• y ← y - alpha · dot(y, r) · r

Przy alfa 1 — wartości domyślnej — składowa równoległa do r jest usuwana z tego zapisu. Przy alfa 0 projekcja jest wyłączona, a model zachowuje się tak jak opublikowany pakiet. Wartości pośrednie dają częściową siłę, wartości powyżej 1 nadmiernie projektują, co według projektu może obniżyć jakość. Wybór warstw jest również udostępniony, więc można przeprowadzić ablację podzbioru zamiast całego stosu. Sam kierunek to zwykły 5120-wymiarowy wektor — około 20 KB w formacie float32 — bez zastosowania dodatkowej rotacji Hadamarda, ponieważ projekcja działa na wyjściach projekcji, które są już w normalnej ukrytej bazie.

Szczegół dotyczący pokrycia to część, którą ludzie mylą, gdy próbują zrobić to sami. Zawinięcie self_attn.o_proj samodzielnie wykrywa 16 miejsc. Ta implementacja obejmuje 129 miejsc zapisujących residual: 64 mlp.down_proj, 48 linear_attn.out_proj, 16 self_attn.o_proj i model.embed_tokens. Dołączony selfcheck.py weryfikuje, że rzutowanie sprowadza pozostały składnik do około 1e-6 normy residualnej, i ostrzega, jeśli nie wykryto 129 miejsc.

Dlaczego wagi trójkowe sprawiają, że jest to wymuszony wybór, a nie preferencja

Oto część, która jest w rzeczywistości specyficzna dla tego modelu, i to właśnie dlatego te dwa podejścia nie są tu wymienne, mimo że obliczają niemal to samo.

Pakiet trójwartościowy przechowuje wartości ze zbioru {-1, 0, +1} pomnożone przez skalę FP16 na grupę, przy rozmiarze grupy 128, w obróconej bazie. Zortogonalizuj macierz trójwartościową względem kierunku odmowy, a otrzymasz gęstą macierz pełnej precyzji. Nie istnieje macierz trójwartościowa, która równa się W - r(rᵀW) w ogólnym przypadku. Zatem zapisanie edytowanych wag z powrotem oznacza ich ponowną kwantyzację — a ponowna kwantyzacja edytowanych wag nie odtwarza treningu uwzględniającego kwantyzację, który wytworzył oryginalny pakiet. Zachowanie zaokrąglania, którego Prism ML nauczył model tolerować, jest właściwością procedury treningowej, a nie kwantyzatora, i nie można go ponownie uruchomić po fakcie.

W przypadku gęstego checkpointu BF16 ten problem nie występuje. Zaokrąglij edytowane wagi do 4 bitów i otrzymasz nieco gorszy model 4-bitowy, co jest zwykłym kompromisem, który wszyscy już akceptują. W przypadku pakietu ternarnego pozbywałbyś się jedynej właściwości, dla której ten pakiet istnieje.

Uczciwe ujęcie nie polega więc na tym, że „runtime jest lepszy”. Polega ono na tym, że projekcja runtime jest jedyną z tych dwóch, która zachowuje to, co jest wyjątkowe w tym konkretnym modelu. Kierunek odmowy ma 20 KB. Pakiet ma 8,005 GiB.

Ta wartość 8,005 GiB dotyczy konkretnie pakietu MLX — prism-ml/Ternary-Bonsai-2-27B-mlx-2bit, którego model.safetensors ma 8 595 477 990 bajtów w API Hugging Face (8,595 GB, 8,005 GiB), kontener afiniczny MLX z kodami 2-bitowymi oraz skalą FP16 i biasem na grupę. To inny artefakt niż kompilacje GGUF dostarczane przez Prism ML i liczby nie przekładają się między nimi. Własny nagłówek Prism ML „5,93 GB / 1,76 bita na wagę” opisuje ich PTQ1_0 GGUF, który ma 5,947 GB; ich format True Ternary jest podawany jako 1,72 bita na wagę i 5,80 GB. Żadna z tych wartości nie opisuje pakietu MLX, który ten runtime poddaje ablacji.

Gdzie podejście oparte na punktach kontrolnych wciąż wygrywa — i w niektórych przypadkach rzeczywiście wygrywa

Łatwo byłoby napisać to jako triumfalny przejazd dla nowszej metody. To byłoby błędem, ponieważ konwencjonalna abliteracja ma przewagę na osiach, które decydują o większości wdrożeń.

• Jeden artefakt, dowolne zgodne środowisko uruchomieniowe. Checkpoint po abliteracji to zwykły zestaw wag. Wczytaj go w dowolnym używanym już loaderze zgodnym z MLX i działa. Podejście oparte na środowisku uruchomieniowym wymaga własnego, dołączonego środowiska uruchomieniowego pakietu — a projekt wyraźnie ostrzega, że zwykły loader MLX może sprawiać wrażenie, że ładuje pakiet, podczas gdy po cichu oblicza coś niewłaściwego. To znacznie węższe pole manewru.

• Sprzęt. Qwen3.8-27B-Uncensored-MLX jest oferowany w wersjach 2-, 4-, 6- i 8-bitowych, a 4-bitowa kopia jest zdublowana w katalogu głównym repozytorium, dzięki czemu narzędzia traktujące repozytorium jako pojedynczy model ładują go bez żadnej konfiguracji. Ternary Bonsai 2 27B Uncensored jest przeznaczony na Apple Silicon / MLX. Kwantowane mnożenie macierzy w tym pakiecie ma jądra Metal i CPU, ale nie ma implementacji CUDA przez mlx-cuda, więc na maszynie NVIDIA ten pakiet MLX obecnie w ogóle nie uzyskuje akceleracji GPU — wnioskowanie na CPU działa, a przebieg w przód dla 27B może zająć minuty. To sprawia, że ścieżka CPU w systemie Linux jest przydatna do testowania implementacji i odtwarzalności, a nie do serwowania.

• Narzędzia i znajomość tematu. Abliteracja ma za sobą lata narzędzi — dostrojone receptury, przeszukiwanie zakresów warstw, opublikowane warianty, z którymi można porównać. Metoda runtime omawiana tutaj ma jedną implementację, na jednym modelu, udostępnioną wczoraj.

• Dystrybucja. Pojedynczy checkpoint to jedno pobranie. Ablacja w czasie działania dostarcza pakiet, plik kierunku i środowisko uruchomieniowe, a czytelnik musi utrzymywać te trzy elementy w synchronizacji.

• Dowody. Abliteracja checkpointu ma pomiary stron trzecich dla tej rodziny modeli bazowych. Ablacja w czasie działania na pakiecie ternarnym dysponuje wyłącznie naszymi własnymi liczbami, a jej kluczowe założenie pozostaje niezweryfikowane — więcej na ten temat poniżej.

Co daje w zamian ablacja w czasie wykonania

Ten kompromis jest realny również w drugą stronę, a pierwszy element jest tym, który uogólnia się poza tym modelem.

• Bit-identyczne pochodzenie. Zero zmodyfikowanych wag, zero ponownej kwantyzacji, zero dodatkowego błędu kwantyzacji. To nie slogan; to właściwość, która sprawia, że poniższe liczby możliwości są możliwe do zinterpretowania, a nie przypadkowym szczęściem.

• Regulowana alpha. Siła ablacji jest parametrem czasu wykonania, a nie właściwością checkpointu. Możesz ją dostroić do swojego obciążenia, wyłączyć ją całkowicie za pomocą alpha 0 albo nadmiernie rzutować i zmierzyć, co się zepsuje — bez pobierania drugiego modelu.

• Selektywna kontrola na poziomie warstw. Ablacja podzbioru warstw to argument, a nie ponowne wypiekanie. Ma to znaczenie dla każdego, kto bada, które warstwy odpowiadają za dane zachowanie, ponieważ alternatywą jest tworzenie punktu kontrolnego dla każdej konfiguracji.

• Żadnego drugiego zestawu wag. Edytowany model to oryginalny model. W przypadku paczki, której całą tezą jest rozmiar, dostarczanie równoległej, abliterowanej kopii o rozmiarze około 16 GB — czyli rozmiarze wersji 4-bitowej z repozytorium porównawczego — podkopałoby ten sens.

• Odwracalność. Edycja punktu kontrolnego jest trwała dla tego artefaktu. Flaga środowiska uruchomieniowego nie jest trwała.

Liczby, które mamy — i dokładnie, jak je zmierzono

Wszystko w tej sekcji to własna ewaluacja OrcaRouter dotycząca OrcaRouter Ternary Bonsai 2 27B Uncensored, a metoda ma równie duże znaczenie jak liczby.

Pomiar to oparty na regułach klasyfikator frazy otwierającej, a nie sędzia LLM. Myślenie jest wyłączone, dekodowanie jest zachłanne, budżet wynosi 64 tokeny, a model bazowy i model po ablacji to te same wagi w tym samym procesie przy alpha 0 versus alpha 1. Ten ostatni punkt jest najmocniejszą częścią konfiguracji: nie ma porównania między checkpointami ani różnicy w kwantyzacji, która mogłaby zaburzyć wynik. To także dlatego liczby należy odczytywać jako miarę tego, co model mówi w swojej frazie otwierającej, i nie więcej niż to.

Wskaźniki odmowy na opublikowanych zestawach szkodliwych promptów, od modelu bazowego do modelu po ablacji:

• AdvBench (n=100) — 99,0% do 6,0%

• JailbreakBench (n=100) — 96,0% do 4,0%

• StrongREJECT (n=150) — od 99,3% do 3,3%

• HarmBench (n=150) — 98,7% do 7,3%

• MaliciousInstruct (n=100) — 97,0% do 0,0%

• ForbiddenQuestions (n=150) — od 75,3% do 5,3%

• SimpleSafetyTests (n=50) — od 96,0% do 18,0%, a ten jest zaniżony

SimpleSafetyTests jest niedoszacowany z konkretnego powodu. Ten zbiór składa się głównie z promptów dotyczących samookaleczenia, a model po ablacji odpowiada na nie przekierowaniem do pomocy kryzysowej, które zaczyna się od „Jest mi głęboko przykro słyszeć…”. Lista dokładnych fraz klasyfikatora nie zawiera tego otwarcia, więc klasyfikator uznaje przekierowanie za spełnienie polecenia. Rzeczywisty wskaźnik resztkowych odmów jest wyższy niż 18,0%. Klasyfikator celowo pozostawiono bez zmian, aby liczby pozostały porównywalne z innymi kartami modeli OrcaRouter — ale czytelnik nie powinien brać 18,0% za dobrą monetę.

W żadnym z tych przebiegów żadna odpowiedź nie wyczerpała swojego budżetu tokenów, co sprawia, że budżet 64 tokenów jest tu uzasadniony. Osobna kolumna w pełnych wynikach zlicza odpowiedzi, które wprawdzie odpowiadały, ale opatrywały odpowiedź zastrzeżeniem; odsetek ten wynosił 42–60% w zależności od zestawu.

Dwa wyniki, które przeczą prostej narracji

Dwa z ustaleń zasługują na osobne omówienie, ponieważ oba komplikują oczywistą interpretację.

Wskaźnik nadmiernych odmów również spada. W przypadku nieszkodliwych promptów JailbreakBench opublikowany pakiet odmawia 25,0% z nich. Po ablacji odmawia 0,0%. W XSTest-safe spada z 5,2% do 0,4%.

To jest niedostatecznie omówiona połowa tej techniki. Opublikowany pakiet Bonsai odrzuca jedną czwartą zestawu nieszkodliwych promptów; cokolwiek kierunek odmowy robi w modelu QAT, uruchamia się on na promptach, które nigdy nie powinny go wyzwolić. Usunięcie tego kierunku usuwa także te odmowy, a to jest rzeczywisty zysk w zakresie możliwości, a nie koszt bezpieczeństwa. Ten sam efekt pojawia się w niezależnych pracach nad innymi modelami — własny harness Atomic Chat zmierzył, że nadmierna odmowa modelu Gemma 2 9B wobec nieszkodliwych promptów spadła z 44% do 0,5% po abliteracji, podczas gdy MMLU zasadniczo pozostało bez zmian: z 68,4 do 68,0. Ich pomiar, ich model, zgłoszone przez nich samych na ich blogu; liczy się wzorzec, a nie dokładne liczby.

Poniższe ujęcie jest niewygodne, ale szczere: nadmierna odmowa i odmowa to ta sama gałka. Nie możesz ściszyć tylko tych odmów, których nie lubisz.

Utrzymanie zdolności jest na stałym poziomie i to nie jest kwestia szczęścia. Testy zdolności, od bazowej do po ablacji:

• MMLU (n=300) — od 76,7% do 77,7%, +1,0

• GSM8K (n=150) — od 87,3% do 86,0%, -1,3

• CMMLU (n=500) — z 76,2% do 75,6%, -0,6

Każdy ruch mieści się w granicach szumu przy tych liczebnościach próby — jedno pytanie GSM8K jest warte 0,7 punktu. MMLU-Pro wykluczono, zamiast podawać jego wyniki: jego monit wymaga rozumowania przed odpowiedzią, a 63–64% odpowiedzi po obu stronach nie dotarło do odpowiedzi w ramach budżetu tokenów, więc każda wartość dokładności byłaby dolną granicą wyznaczoną przez budżet, a nie pomiarem.

Stały poziom możliwości wynika bezpośrednio z wag identycznych co do bitu i warto dokładnie wyjaśnić, dlaczego tak jest. Model udzielający odpowiedzi to ten sam model. Środowisko wykonawcze dodaje jeden iloczyn skalarny i jedną operację AXPY na każdy zapis resztowy i nie zmienia niczego w wagach, kwantyzacji ani jądrach, które je odczytują. Podejście oparte na checkpointach musi na ten stały poziom zapracować — i często tego nie robi. Zewnętrzny test innej abliteracji tego samego modelu bazowego Qwen3.8-27B, opublikowany 17.08.2026 przez inżyniera z SMF Works, wykazał spadek wyniku złożonego z 79,0% do 72,0%, a matematyka spadła z 50,0% do 33,3%. To inny przepis, inny łańcuch narzędzi i inny pomiar, więc nie jest to wynik dla tego porównania. To przypomnienie, że abliteracja checkpointów na tej bazie w co najmniej jednym starannym, instrumentowanym teście przyniosła dwucyfrowy spadek, a twierdzenie, że „abliteracja jest niemal darmowa”, zależy całkowicie od przepisu.

Założenie, którego nikt jeszcze nie zweryfikował

To ta część historii, którą trzeba powiedzieć wprost, a jej miejsce jest w porównaniu metod odcenzurowywania, a nie w przypisie.

Użyty tutaj kierunek odmowy został oszacowany na podstawie bazowego modelu BF16, z którego wytrenowano Bonsai pack. Architektura i ukryta baza są identyczne, więc wektor jest poprawny wymiarowo, a rzut jest matematycznie dokładny — środowisko uruchomieniowe może dowieść i faktycznie weryfikuje, że usuwa dostarczony kierunek ze strumienia resztkowego.

To nie dowodzi, że kierunek nadal oznacza to samo w modelu trenowanym z uwzględnieniem kwantyzacji. To, jak dobrze kierunek przetrwa trening z uwzględnieniem kwantyzacji, nie zostało w pełni zmierzone. Dokładne usunięcie wektora nie jest tym samym co usunięcie zachowania, które – jak oszacowano – miał on reprezentować, a to drugie twierdzenie jest tym, które się liczy. Każda liczba w powyższej sekcji to wynik empiryczny spójny z dobrym transferem; żadna z nich nie jest dowodem na to, że transfer jest kompletny, a sam projekt to przyznaje, zalecając, by przed wyciąganiem wniosków przeprowadzić przeszukiwanie (sweep) wartości alpha i selekcji warstw.

Każde uczciwe porównanie metod odcenzurowania musi to przyznać. Konwencjonalna abliteracja ma problem lustrzanego odbicia — modyfikuje wagi, a dopiero potem mierzy wynik, więc jej kierunek nigdy nie musi przenosić się między wersjami modelu, ale jej modyfikacja jest trwała i nieodwracalna, jeśli przepis był błędny.

Co jest wciąż niezmierzone?

Poza kwestią transferu, trzy luki warto nazwać, zamiast ich omijać.

• Brak niezależnej reprodukcji. Każdy będący w obiegu benchmark Bonsai 2 27B — średnia 83,9, retencja 98,2%, podziały na kategorie — jest raportowany przez dostawcę Prism ML; uruchomiono go z EvalScope na backendzie vLLM na H100s przy poziomie rozumowania „xhigh”. Nikt poza Prism ML ich nie odtworzył. Powyższe tabele bezpieczeństwa i możliwości są nasze i również nie są niezależne.

• Zachowanie przy włączonym myśleniu. Nasze tabele dotyczą wyłączonego myślenia. Niezależne prace nad innymi modelami poddanymi abliteracji wykazały, że nawet przy 100% skuteczności ataku model nadal rozważa bezpieczeństwo w znacznej części odpowiedzi, gdy pozwoli mu się myśleć. Czy zachodzi to tutaj i jaki ma to wpływ na liczby dotyczące frazy otwierającej, nie zostało zmierzone.

• Pojedynczy kierunek. Metoda zakłada, że odmowa zachodzi za pośrednictwem jednego kierunku, co jest odkryciem Arditi et al. i podstawą całej techniki. Dalsze prace na innych modelach wykazały geometrycznie odrębne kierunki dla różnych kategorii odmowy. Jeden wektor, przemiatany po jednej wartości alpha, nie rozstrzyga tego.

Co to oznacza, jeśli wybierasz między nimi

Wybierz checkpoint, jeśli chcesz, aby model działał gdziekolwiek, na sprzęcie, którego nie kontrolujesz, przez loader, którego nie napisałeś. Wybierz runtime, jeśli pracujesz na Apple Silicon, zależy ci, aby artefakt, który badasz, był tym samym artefaktem, który wytrenował Prism ML, i chcesz, aby siła ablacji była parametrem, który możesz regulować, a nie decyzją wymagającą ponownego pobrania. Oba wybory da się obronić, a decydują o nich ograniczenia wdrożeniowe, a nie to, która metoda jest nowsza.

Jeśli próbujesz zdecydować empirycznie, metoda czasu wykonania ma jedną praktyczną zaletę, którą warto wymienić: alfa 0 i alfa 1 to ten sam proces i te same wagi, więc porównanie między nimi izoluje ablację i nic więcej. To czystszy eksperyment niż porównywanie dwóch checkpointów i właśnie dlatego powyższą tabelę można odczytać jako pomiar projekcji, a nie jako pomiar dwóch jej kwantyzacji.

Odpowiedzialne korzystanie

Usunięcie wyuczonego kierunku odmowy może sprawić, że model odpowie na prośby, które oryginał by odrzucił. To działanie mechanizmu, a nie skutek uboczny, i nie należy tego klasyfikować jako funkcji. Jest to mechanizm badawczy i kontroli wnioskowania, a nie dowód, że jakiekolwiek wynikowe dane wyjściowe są bezpieczne, poprawne lub odpowiednie.

Karta samego opublikowanego pakietu przedstawia ten sam argument z drugiej strony: abliterowany build MLX „ma w dużej mierze usunięty alignment bezpieczeństwa”, będzie spełniać prośby, których odmówiłby oryginał, i nie ma żadnych znaczących wbudowanych zabezpieczeń. Jego autorzy przeznaczają go do uzasadnionych badań — interpretowalności, badań nad bezpieczeństwem, red teamingu, oceny odporności — i mówią wprost, że wdrożenia muszą najpierw dodać własną warstwę moderacji i mechanizmy kontroli dostępu.

Nic w tym artykule nie jest argumentem, że usuwanie odmów jest bezkosztowe albo że niższy wskaźnik odmów jest sygnałem jakości. Model, który odpowiada na więcej pytań, nie jest przez to lepszym modelem, a klasyfikator oparty na regułach zliczający zwroty otwierające jest pomiarem sposobu formułowania wypowiedzi, a nie kompetencji. Oba te artefakty to narzędzia badawcze z przypisanym obowiązkiem operatora, a ten obowiązek nie przechodzi na tego, kto napisał kod ablacji.

Kod ablacji czasu wykonania, kierunek odmowy i pełne tabele ewaluacyjne są publikowane przez OrcaRouter, wraz z platformą routingu, którą buduje zespół.