Ternary Bonsai 2 27B Uncensored vs Qwen3.8-27B-Uncensored-MLX: Dua Cara untuk Menghapus Arah Penolakan

OrcaRouter Ternary Bonsai 2 27B Uncensored dan Qwen3.8-27B-Uncensored-MLX menjawab pertanyaan yang sama — bagaimana cara menghilangkan arah penolakan dari sebuah model bahasa — dan keduanya menjawabnya di dua tempat berbeda. Lini Qwen3.8-27B-Uncensored-MLX adalah abliterasi konvensional: matriks bobotnya diortogonalisasi terhadap arah penolakan yang dipelajari, dan bobot yang telah diedit disimpan sebagai checkpoint baru. OrcaRouter Ternary Bonsai 2 27B Uncensored melakukan proyeksi yang setara pada waktu inferensi, dengan mengurangi komponen setiap penulisan residual yang terletak di sepanjang arah penolakan, sehingga paket Bonsai yang mendasarinya tidak pernah dimodifikasi dan tetap identik bit per bit. Keduanya adalah rilis kami sendiri, dan pemisahan di antara keduanya bukanlah preferensi tentang runtime. Hal itu muncul dari aritmetika yang spesifik untuk bobot ternary.

Subjek perbandingan ini berusia satu hari. Prism ML mengumumkan Bonsai 2 27B pada 2026-09-17; repo Hugging Face dibuat pada malam sebelumnya, pukul 23:40–23:41 UTC pada 2026-09-16, dengan lisensi Apache-2.0. Build MLX abliterated yang menjadi pembandingnya sudah tersedia sejak pertengahan Agustus. Tidak ada apa pun di bawah ini yang merupakan rekam jejak untuk yang lebih baru di antara keduanya — jika sesuatu belum diukur, artikel ini menyatakannya.

Trik yang sama, diterapkan di dua tempat berbeda

Abliterasi biasa adalah penyuntingan bobot. Anda memperkirakan arah penolakan, lalu memproyeksikannya keluar dari matriks yang menulis ke dalam aliran residual: W ← W - r(rᵀW). Beberapa perkalian matriks, tanpa pengoptimal, tanpa loss. Begitulah cara Qwen3.8-27B-Uncensored-MLX dibuat — kartu model mendeskripsikannya sebagai "abliterasi (penghapusan arah penolakan), lalu kuantisasi affine MLX," dengan arah tersebut diortogonalisasi keluar dari aliran residual dan hasilnya disimpan sebagai kumpulan bobot baru. Yang dikirimkan adalah checkpoint yang arahnya sudah hilang.

OrcaRouter Ternary Bonsai 2 27B Uncensored membiarkan bobotnya apa adanya dan melakukan intervensi di mana setiap kontribusi residual dihasilkan, dalam float32, dengan arah penolakan yang tersimpan r:

• y ← y - alpha · dot(y, r) · r

Pada alpha 1 — nilai bawaan — komponen yang sejajar dengan r dihapus dari penulisan itu. Pada alpha 0, proyeksi dinonaktifkan dan model berperilaku seperti paket yang dipublikasikan. Nilai di antaranya memberikan kekuatan parsial, nilai di atas 1 melakukan proyeksi berlebih, yang menurut proyek dapat menurunkan kualitas. Pemilihan lapisan juga tersedia, sehingga Anda dapat melakukan ablasi pada subset, bukan seluruh tumpukan. Arah itu sendiri adalah vektor 5120-dimensi biasa — sekitar 20 KB dalam float32 — tanpa rotasi Hadamard tambahan yang diterapkan, karena proyeksi beroperasi pada keluaran proyeksi, yang sudah berada dalam basis tersembunyi normal.

Detail cakupan adalah bagian yang sering salah dipahami orang saat mencobanya sendiri. Membungkus self_attn.o_proj saja hanya menjangkau 16 lokasi. Implementasi ini membungkus 129 penulis residual: 64 mlp.down_proj, 48 linear_attn.out_proj, 16 self_attn.o_proj, dan model.embed_tokens. Skrip selfcheck.py yang disertakan memverifikasi bahwa proyeksi tersebut menekan komponen yang tersisa hingga sekitar 1e-6 dari norma residual, dan memberi peringatan jika 129 lokasi tidak terdeteksi.

Mengapa bobot ternary menjadikan ini pilihan yang dipaksakan, bukan preferensi

Berikut adalah bagian yang benar-benar spesifik untuk model ini, dan itulah alasan kedua pendekatan tersebut tidak dapat saling dipertukarkan di sini meskipun keduanya menghitung hal yang hampir sama.

Paket ternary menyimpan nilai dalam {-1, 0, +1} dikali skala FP16 per grup, pada ukuran grup 128, dalam basis yang dirotasi. Ortogonalisasikan matriks ternary terhadap arah penolakan dan Anda mendapatkan matriks padat presisi penuh. Tidak ada matriks ternary yang sama dengan W - r(rᵀW) secara umum. Jadi menyimpan kembali bobot yang telah diedit berarti mengkuantisasinya ulang — dan mengkuantisasi ulang bobot yang telah diedit tidak mereproduksi pelatihan yang sadar kuantisasi yang menghasilkan paket asli. Perilaku pembulatan yang dilatih Prism ML agar ditoleransi oleh model adalah properti dari prosedur pelatihan, bukan dari pengkuantisasi, dan Anda tidak dapat menjalankannya kembali setelah fakta.

Pada checkpoint BF16 yang padat, masalah itu tidak muncul. Bulatkan bobot yang telah diedit ke 4-bit dan Anda mendapatkan model 4-bit yang sedikit lebih buruk, yang merupakan kompromi biasa yang sudah diterima semua orang. Pada paket terner, Anda akan membuang satu properti yang justru menjadi alasan paket itu ada.

Jadi, cara membingkai yang jujur bukanlah "runtime lebih baik." Melainkan bahwa proyeksi runtime adalah satu-satunya dari keduanya yang mempertahankan keistimewaan model khusus ini. Arah penolakan adalah 20 KB. Paketnya adalah 8,005 GiB.

Angka 8,005 GiB itu secara spesifik merujuk pada paket MLX — prism-ml/Ternary-Bonsai-2-27B-mlx-2bit, yang model.safetensors berukuran 8.595.477.990 byte pada Hugging Face API (8,595 GB, 8,005 GiB), sebuah kontainer affine MLX dengan kode 2-bit plus skala dan bias FP16 per grup. Ini adalah artefak yang berbeda dari build GGUF yang dikirim Prism ML, dan angka-angkanya tidak dapat dialihkan di antara keduanya. Angka utama Prism ML sendiri, 5,93 GB / 1,76 bit per bobot, menggambarkan PTQ1_0 GGUF mereka, yang berukuran 5,947 GB; format True Ternary mereka dikutip pada 1,72 bit per bobot dan 5,80 GB. Tidak satu pun dari angka-angka tersebut yang menggambarkan paket MLX yang menjalani ablasi pada runtime ini.

Di mana pendekatan checkpoint masih unggul, dan memang unggul dalam beberapa hal

Akan mudah untuk menulis ini sebagai putaran kemenangan bagi metode yang lebih baru. Itu keliru, karena abliterasi konvensional lebih unggul pada sumbu-sumbu yang menentukan sebagian besar deployment.

• Satu artefak, runtime apa pun yang kompatibel. Checkpoint hasil abliterasi adalah kumpulan bobot yang normal. Muatlah di loader apa pun yang kompatibel dengan MLX yang sudah Anda gunakan, dan ia akan berfungsi. Pendekatan runtime memerlukan runtime bawaan milik paket itu sendiri — dan proyek tersebut memperingatkan secara eksplisit bahwa loader MLX biasa bisa tampak memuat paket tersebut sementara diam-diam menghitung hal yang salah. Itu jalur yang jauh lebih sempit.

• Perangkat keras.Qwen3.8-27B-Uncensored-MLX ditawarkan dalam build 2, 4, 6, dan 8-bit dengan salinan 4-bit yang dicerminkan di root repo, sehingga alat yang memperlakukan repo sebagai satu model memuatnya tanpa konfigurasi. Ternary Bonsai 2 27B Uncensored adalah Apple Silicon / MLX. Matmul terkuantisasi dari paket ini memiliki kernel Metal dan CPU tetapi tidak memiliki implementasi CUDA melalui mlx-cuda, jadi pada mesin NVIDIA, paket MLX ini saat ini sama sekali tidak mendapatkan akselerasi GPU — inferensi CPU berfungsi, dan forward pass 27B dapat memakan waktu beberapa menit. Hal itu membuat jalur CPU Linux berguna untuk pengujian implementasi dan reproduksibilitas, bukan untuk penyajian.

• Perkakas dan keakraban. Abliterasi telah didukung perkakas selama bertahun-tahun — resep yang disetel, pencarian rentang lapisan, varian terbitan yang dapat Anda bandingkan. Metode runtime di sini hanya memiliki satu implementasi, pada satu model, yang dirilis kemarin.

• Distribusi. Satu checkpoint adalah satu unduhan. Ablasi runtime mengirimkan paket plus file arah plus runtime, dan pembaca harus menjaga tiga hal tetap selaras.

• Bukti. Abliterasi checkpoint memiliki pengukuran pihak ketiga pada keluarga model dasar ini. Ablasi runtime pada paket ternary hanya bermodal angka kami sendiri, dan asumsi intinya belum terverifikasi — selengkapnya di bawah ini.

Apa yang diperoleh dari ablasi runtime sebagai gantinya

Pertukaran itu juga nyata di arah sebaliknya, dan item pertama adalah yang dapat digeneralisasi di luar model ini.

• Provenans bit-identik. Nol bobot dimodifikasi, nol kuantisasi ulang, nol kesalahan kuantisasi tambahan. Itu bukan slogan; itu adalah properti yang membuat angka kemampuan di bawah ini dapat diinterpretasikan, bukan sekadar kebetulan yang menyenangkan.

• Alpha yang dapat disesuaikan. Kekuatan ablasi adalah parameter runtime, bukan properti checkpoint. Anda dapat menyapu rentangnya untuk beban kerja Anda, menonaktifkannya sepenuhnya dengan alpha 0, atau melakukan proyeksi berlebih dan mengukur apa yang rusak — tanpa mengunduh model kedua.

• Kontrol selektif per lapisan. Mengablasi sebagian lapisan adalah sebuah argumen, bukan memanggang ulang. Itu penting bagi siapa pun yang mempelajari lapisan mana yang membawa perilaku tersebut, karena alternatifnya adalah menghasilkan checkpoint untuk setiap konfigurasi.

• Tidak ada set bobot kedua. Model yang diedit adalah model aslinya. Untuk paket yang seluruh intinya adalah footprint, menyertakan salinan abliterated paralel berukuran sekitar 16 GB — ukuran build 4-bit di repo pembanding — akan melemahkan maksudnya.

• Reversibilitas. Perubahan checkpoint bersifat permanen untuk artefak tersebut. Flag runtime tidak.

Angka-angka yang kami miliki, dan bagaimana tepatnya angka-angka itu diukur

Semua yang ada di bagian ini adalah evaluasi OrcaRouter sendiri terhadap OrcaRouter Ternary Bonsai 2 27B Uncensored, dan metodenya sama pentingnya dengan angka-angkanya.

Pengukuran ini adalah pengklasifikasi frasa pembuka berbasis aturan, bukan penilai LLM. Berpikir dinonaktifkan, dekode bersifat greedy, anggarannya 64 token, dan base serta ablated adalah bobot yang sama dalam proses yang sama pada alpha 0 versus alpha 1. Poin terakhir itu adalah bagian terkuat dari rancangan ini: tidak ada perbandingan lintas checkpoint dan tidak ada perbedaan kuantisasi yang dapat mengacaukan hasil. Itu juga sebabnya angka-angka tersebut harus dibaca sebagai ukuran dari apa yang model katakan pada frasa pembukanya, dan tidak lebih dari itu.

Tingkat penolakan pada kumpulan prompt berbahaya yang dipublikasikan, dari base ke ablated:

• AdvBench (n=100) — 99,0% menjadi 6,0%

• JailbreakBench (n=100) — 96.0% menjadi 4.0%

• StrongREJECT (n=150) — 99,3% menjadi 3,3%

• HarmBench (n=150) — 98,7% menjadi 7,3%

• MaliciousInstruct (n=100) — 97,0% menjadi 0,0%

• ForbiddenQuestions (n=150) — 75,3% hingga 5,3%

• SimpleSafetyTests (n=50) — dari 96,0% menjadi 18,0%, dan yang ini diremehkan

SimpleSafetyTests dilaporkan terlalu rendah karena alasan tertentu. Kumpulan itu sebagian besar berisi prompt untuk menyakiti diri sendiri, dan model yang diablasi menjawabnya dengan pengalihan krisis yang diawali "Saya sangat menyesal mendengarnya…". Daftar frasa eksak pengklasifikasi tidak memuat pembuka itu, sehingga pengklasifikasi menilai pengalihan sebagai kepatuhan. Tingkat penolakan residual yang sebenarnya lebih tinggi daripada 18,0%. Pengklasifikasi sengaja dibiarkan apa adanya, agar angkanya tetap sebanding dengan kartu-kartu model OrcaRouter lainnya — tetapi pembaca tidak boleh menerima 18,0% begitu saja.

Tidak ada balasan dalam satu pun proses ini yang kehabisan anggaran tokennya, yang membuat anggaran 64 token dapat dipertahankan di sini. Kolom terpisah dalam hasil lengkap menghitung balasan yang menjawab tetapi membungkus jawabannya dalam penafian; itu berkisar 42–60% tergantung pada setnya.

Dua hasil yang bertentangan dengan cerita sederhana

Dua temuan memerlukan pembahasan tersendiri, karena keduanya mempersulit tafsir yang gamblang.

Penolakan berlebihan juga menurun. Pada prompt tidak berbahaya dari JailbreakBench, paket yang dipublikasikan menolak 25,0% di antaranya. Setelah diablasi, ia menolak 0,0%. Pada XSTest-safe, angkanya turun dari 5,2% menjadi 0,4%.

Ini adalah separuh dari teknik tersebut yang kurang dilaporkan. Paket Bonsai yang dipublikasikan menolak seperempat dari kumpulan prompt yang tidak berbahaya; apa pun yang dilakukan arah penolakan di model QAT, ia aktif pada prompt yang seharusnya tidak pernah memicunya. Menghapus arah tersebut juga menghilangkan penolakan-penolakan itu, dan itu adalah perolehan kapabilitas yang nyata, bukan biaya keselamatan. Efek yang sama muncul dalam pekerjaan independen pada model lain — harness milik Atomic Chat sendiri mengukur penolakan berlebihan terhadap prompt tidak berbahaya pada Gemma 2 9B turun dari 44% menjadi 0,5% setelah abliterasi, dengan MMLU pada dasarnya tidak berubah dari 68,4 ke 68,0. Pengukuran mereka, model mereka, dilaporkan sendiri di blog mereka; polanya adalah intinya, bukan angka persisnya.

Kerangka berikut ini tidak nyaman tetapi jujur: penolakan berlebihan dan penolakan adalah kenop yang sama. Anda tidak bisa hanya menurunkan penolakan yang tidak Anda sukai.

Retensi kapabilitas datar, dan itu bukan kebetulan. Pemeriksaan kapabilitas, dari basis hingga terablasi:

• MMLU (n=300) — 76,7% menjadi 77,7%, +1,0

• GSM8K (n=150) — 87,3% menjadi 86,0%, -1,3

• CMMLU (n=500) — 76,2% menjadi 75,6%, -0,6

Setiap pergerakan berada di dalam derau pada ukuran sampel ini — satu pertanyaan GSM8K bernilai 0,7 poin. MMLU-Pro dikecualikan alih-alih dilaporkan: prompt-nya meminta penalaran sebelum jawaban, dan 63–64% balasan di kedua sisi belum mencapai jawaban di dalam anggaran token, sehingga angka akurasi apa pun akan menjadi batas bawah yang ditentukan oleh anggaran, bukan pengukuran.

Kapabilitas yang datar berasal langsung dari bobot yang identik secara bit, dan ada baiknya kita menjelaskan secara tepat mengapa demikian. Model yang menjawab adalah model yang sama. Runtime menambahkan satu perkalian titik dan satu AXPY per penulisan residual dan tidak mengubah apa pun pada bobot, kuantisasi, atau kernel yang membacanya. Pendekatan checkpoint harus meraih kedataran itu — dan sering kali tidak berhasil. Gauntlet pihak ketiga atas abliterasi yang berbeda dari basis Qwen3.8-27B yang sama, yang diterbitkan pada 2026-08-17 oleh seorang insinyur di SMF Works, mengukur komposit 79,0% yang turun menjadi 72,0%, dengan matematika turun dari 50,0% menjadi 33,3%. Itu adalah resep yang berbeda, toolchain yang berbeda, dan pengukuran yang berbeda, jadi itu bukan skor untuk perbandingan ini. Ini adalah pengingat bahwa abliterasi checkpoint pada basis ini telah memakan biaya dua digit dalam setidaknya satu uji yang cermat dan terinstrumentasi, dan bahwa "abliterasi hampir gratis" adalah klaim yang sepenuhnya bergantung pada resep.

Asumsi yang belum diverifikasi oleh siapa pun

Ini adalah bagian dari cerita yang harus disampaikan secara terang-terangan, dan tempatnya adalah dalam perbandingan metode penghilangan sensor, bukan dalam catatan kaki.

Arah penolakan yang digunakan di sini diestimasi dari model dasar BF16 yang digunakan untuk melatih Bonsai pack. Arsitektur dan basis tersembunyi identik, sehingga vektor tersebut benar secara dimensi dan proyeksinya eksak secara matematis — runtime dapat membuktikan, dan memang memverifikasi, bahwa ia menghilangkan arah yang diberikan dari aliran residual.

Apa yang tidak dibuktikan oleh hal itu adalah bahwa arah tersebut masih berarti hal yang sama dalam model yang dilatih dengan sadar kuantisasi. Seberapa baik arah tersebut bertahan setelah pelatihan sadar kuantisasi belum sepenuhnya diukur. Menghapus sebuah vektor secara tepat tidak sama dengan menghapus perilaku yang diperkirakan diwakilinya, dan klaim kedualah yang penting. Setiap angka di bagian di atas adalah hasil empiris yang konsisten dengan transfer yang baik; tidak satu pun darinya merupakan demonstrasi bahwa transfer telah lengkap, dan proyek itu sendiri mengatakan demikian, merekomendasikan agar pemilihan alpha dan layer disapu sebelum menarik kesimpulan.

Perbandingan jujur apa pun terhadap metode penghilangan sensor harus mengakui hal ini. Abliterasi konvensional memiliki masalah yang berkebalikan — ia mengedit bobot lalu mengukur hasilnya, sehingga arahnya tidak pernah perlu berpindah antar versi model, tetapi editnya permanen dan tidak dapat dipulihkan jika resepnya salah.

Apa yang masih belum diukur

Di luar pertanyaan transfer, ada tiga kesenjangan yang layak disebutkan daripada dihindari.

• Tidak ada reproduksi independen. Setiap benchmark Bonsai 2 27B yang beredar — rata-rata 83,9, retensi 98,2%, dan pembagian per kategori — dilaporkan oleh vendor, Prism ML, dijalankan dengan EvalScope pada backend vLLM di H100s dengan upaya penalaran "xhigh". Tidak ada pihak di luar Prism ML yang mereproduksinya. Tabel keselamatan dan kapabilitas di atas adalah milik kami dan juga tidak independen.

• Perilaku mode berpikir aktif. Tabel kami dihasilkan dengan mode berpikir nonaktif. Penelitian independen pada model abliterated lain menemukan bahwa bahkan pada keberhasilan serangan 100%, model masih menalar tentang keamanan pada sebagian signifikan dari respons ketika diizinkan untuk berpikir. Apakah hal itu berlaku di sini, dan apa dampaknya terhadap angka frasa pembuka, belum diukur.

• Satu arah tunggal. Metode ini mengasumsikan bahwa penolakan dimediasi oleh satu arah, yang merupakan temuan Arditi dkk. dan dasar bagi seluruh teknik ini. Penelitian lanjutan pada model lain telah menemukan arah yang berbeda secara geometris untuk kategori penolakan yang berbeda. Satu vektor, yang disapu pada satu alpha, tidak menyelesaikan hal itu.

Apa artinya ini jika Anda memilih di antara keduanya

Pilih checkpoint jika Anda memerlukan model untuk berjalan di mana saja, pada perangkat keras yang tidak Anda kendalikan, melalui loader yang tidak Anda tulis. Pilih runtime jika Anda menggunakan Apple Silicon, Anda peduli bahwa artefak yang Anda pelajari adalah artefak yang dilatih Prism ML, dan Anda ingin kekuatan ablation menjadi parameter yang dapat Anda ubah alih-alih keputusan yang harus Anda unduh ulang. Keduanya sama-sama dapat dipertahankan, dan keduanya dipilih oleh batasan deployment, bukan oleh metode mana yang lebih baru.

Jika Anda ingin memutuskan secara empiris, metode runtime memiliki satu keuntungan praktis yang layak disebutkan: alpha 0 dan alpha 1 adalah proses yang sama dan bobot yang sama, sehingga perbandingan di antara keduanya mengisolasi ablasi dan tidak ada yang lain. Itu adalah eksperimen yang lebih bersih daripada membandingkan dua checkpoint, dan itulah alasan tabel di atas dapat dibaca sebagai pengukuran proyeksi, bukan sebagai pengukuran dua kuantisasi dari proyeksi tersebut.

Penggunaan yang bertanggung jawab

Menghapus arah penolakan yang telah dipelajari dapat menyebabkan model merespons permintaan yang akan ditolak oleh versi aslinya. Itu adalah mekanisme yang bekerja sebagaimana mestinya, bukan efek samping, dan hal itu tidak boleh dikategorikan sebagai fitur. Ini adalah mekanisme penelitian dan pengendalian inferensi, dan ini bukan bukti bahwa keluaran yang dihasilkan aman, benar, atau pantas.

Kartu milik paket yang dipublikasikan itu sendiri menyampaikan poin yang sama dari sisi lain: build MLX yang diabliterasi "alignment keamanannya telah dihilangkan secara substansial," akan mematuhi permintaan yang akan ditolak oleh versi aslinya, dan tidak membawa pengaman bawaan yang berarti. Para penulisnya membatasinya untuk penelitian yang sah — interpretabilitas, penelitian keamanan, red-teaming, evaluasi ketahanan — dan menyatakan secara gamblang bahwa deployment harus menambahkan lapisan moderasi dan kontrol aksesnya sendiri terlebih dahulu.

Tidak ada apa pun dalam artikel ini yang merupakan argumen bahwa penghapusan penolakan itu tanpa biaya, atau bahwa tingkat penolakan yang lebih rendah adalah sinyal kualitas. Model yang menjawab lebih banyak pertanyaan tidak dengan sendirinya menjadi model yang lebih baik, dan pengklasifikasi berbasis aturan yang menghitung frasa pembuka adalah pengukuran frasa, bukan kompetensi. Kedua artefak ini adalah alat penelitian dengan kewajiban operator yang melekat, dan kewajiban itu tidak berpindah kepada siapa pun yang menulis kode ablasi.

Kode ablasi runtime, arah penolakan, dan tabel evaluasi lengkap dipublikasikan oleh OrcaRouter, bersama dengan platform routing yang dibangun tim.