Ternary Bonsai 2 27B Uncensored so với Qwen3.8-27B-Uncensored-MLX: Hai cách để loại bỏ một hướng từ chối

OrcaRouter Ternary Bonsai 2 27B Uncensored và Qwen3.8-27B-Uncensored-MLX trả lời cùng một câu hỏi — làm thế nào để loại bỏ một hướng từ chối khỏi một mô hình ngôn ngữ — và chúng trả lời câu hỏi đó ở hai nơi khác nhau. Dòng Qwen3.8-27B-Uncensored-MLX là abliteration thông thường: các ma trận trọng số được trực giao hóa với một hướng từ chối đã học, và các trọng số đã chỉnh sửa được lưu thành một checkpoint mới. OrcaRouter Ternary Bonsai 2 27B Uncensored thay vào đó thực hiện phép chiếu tương đương tại thời điểm suy luận, trừ đi thành phần của mỗi residual write nằm dọc theo hướng từ chối, do đó gói Bonsai bên dưới không bao giờ bị sửa đổi và vẫn giống hệt từng bit. Cả hai đều là các bản phát hành của chúng tôi, và sự tách biệt giữa chúng không phải là một sở thích về runtime. Nó là hệ quả của số học đặc thù cho trọng số ternary.

Đối tượng của so sánh này mới chỉ một ngày tuổi. Prism ML đã công bố Bonsai 2 27B vào ngày 2026-09-17; các repo Hugging Face đã được tạo vào buổi tối hôm trước, lúc 23:40–23:41 UTC ngày 2026-09-16, theo Apache-2.0. Bản dựng MLX đã abliterated mà nó đang được so sánh với đã có từ giữa tháng 8. Không có gì bên dưới là thành tích theo dõi cho bản mới hơn trong hai bản — ở chỗ nào chưa được đo lường, bài viết này nói rõ như vậy.

Cùng một mẹo, được áp dụng ở hai nơi khác nhau.

Abliteration thông thường là một chỉnh sửa trọng số. Bạn ước lượng một hướng từ chối, rồi chiếu nó ra khỏi các ma trận ghi vào luồng dư: W ← W - r(rᵀW). Vài phép nhân ma trận, không có bộ tối ưu, không có hàm mất mát. Đó là cách Qwen3.8-27B-Uncensored-MLX được tạo ra — thẻ mô hình mô tả nó là "abliteration (loại bỏ hướng từ chối), rồi lượng tử hóa affine MLX," với hướng được trực giao hóa ra khỏi luồng dư và kết quả được lưu thành một bộ trọng số mới. Thứ được phát hành là một checkpoint đã không còn hướng đó.

OrcaRouter Ternary Bonsai 2 27B Uncensored để nguyên trọng số và can thiệp tại nơi mỗi đóng góp residual được tạo ra, ở dạng float32, với hướng từ chối đã lưu r:

• y ← y - alpha · dot(y, r) · r

Ở alpha 1 — mặc định — thành phần song song với r bị loại bỏ khỏi phép ghi đó. Ở alpha 0, phép chiếu bị tắt và mô hình hoạt động như gói đã công bố. Các giá trị ở giữa cho cường độ từng phần, các giá trị trên 1 chiếu quá mức, mà dự án nói rằng có thể làm giảm chất lượng. Việc chọn lớp cũng được đưa ra, nên bạn có thể loại bỏ một tập con thay vì toàn bộ ngăn xếp. Bản thân hướng đó là một vector 5120 chiều thông thường — khoảng 20 KB ở float32 — không áp dụng thêm phép quay Hadamard nào, vì phép chiếu tác động lên đầu ra của phép chiếu, vốn đã nằm trong cơ sở ẩn thông thường.

Chi tiết về phạm vi bao phủ là phần mà mọi người thường làm sai khi tự thử điều này. Việc bao phủ self_attn.o_proj một mình sẽ bắt được 16 vị trí. Cách triển khai này bao phủ 129 điểm ghi residual: 64 mlp.down_proj, 48 linear_attn.out_proj, 16 self_attn.o_proj, và model.embed_tokens. Một tệp selfcheck.py đi kèm sẽ xác minh rằng phép chiếu đưa thành phần còn lại xuống còn khoảng 1e-6 của chuẩn residual, và cảnh báo nếu không phát hiện đủ 129 vị trí.

Tại sao trọng số tam phân khiến đây trở thành một lựa chọn bắt buộc chứ không phải một sở thích

Đây là phần thực sự đặc thù cho mô hình này, và đó là lý do hai cách tiếp cận không thể thay thế cho nhau ở đây mặc dù chúng tính toán gần như cùng một thứ.

Một gói ba trị lưu các giá trị trong {-1, 0, +1} nhân với hệ số tỉ lệ FP16 theo từng nhóm, ở kích thước nhóm 128, trong một hệ cơ sở đã quay. Trực giao hóa một ma trận ba trị với một hướng từ chối thì bạn thu được một ma trận đặc, có độ chính xác đầy đủ. Không có ma trận ba trị nào bằng W - r(rᵀW) trong trường hợp tổng quát. Vì vậy, việc lưu lại các trọng số đã chỉnh sửa có nghĩa là lượng tử hóa lại chúng — và lượng tử hóa lại các trọng số đã chỉnh sửa không tái tạo được quá trình huấn luyện có nhận thức về lượng tử hóa vốn đã tạo ra gói ban đầu. Hành vi làm tròn mà Prism ML đã huấn luyện mô hình để chấp nhận là một thuộc tính của quy trình huấn luyện, không phải của bộ lượng tử hóa, và bạn không thể chạy lại nó sau khi đã xảy ra.

Trên một checkpoint BF16 dày đặc, vấn đề đó không phát sinh. Làm tròn các trọng số đã chỉnh sửa về 4-bit và bạn nhận được một mô hình 4-bit hơi tệ hơn, đó chính là sự đánh đổi thông thường mà mọi người vốn đã chấp nhận. Còn trên một gói ternary, bạn sẽ vứt bỏ đúng cái thuộc tính duy nhất mà gói đó tồn tại để có.

Vậy nên cách đặt vấn đề trung thực không phải là "runtime tốt hơn". Mà là phép chiếu runtime là cách duy nhất trong hai cách giữ được điều đặc biệt của mô hình cụ thể này. Hướng từ chối là 20 KB. Pack là 8.005 GiB.

Con số 8,005 GiB đó là dành riêng cho gói MLX — prism-ml/Ternary-Bonsai-2-27B-mlx-2bit, với model.safetensors có kích thước 8.595.477.990 byte trên Hugging Face API (8,595 GB, 8,005 GiB), một container affine MLX dùng mã 2-bit cùng thang tỉ lệ và độ lệch FP16 cho mỗi nhóm. Đây là một artifact khác với các bản dựng GGUF mà Prism ML phát hành, và các con số không thể chuyển đổi qua lại giữa chúng. Con số tiêu đề 5,93 GB / 1,76 bit trên mỗi trọng số của chính Prism ML mô tả file GGUF PTQ1_0 của họ, với kích thước đo được là 5,947 GB; định dạng True Ternary của họ được công bố ở mức 1,72 bit trên mỗi trọng số và 5,80 GB. Không con số nào trong số đó mô tả gói MLX mà runtime này đang thực hiện ablation.

Những nơi mà cách tiếp cận checkpoint vẫn giành ưu thế, và nó thực sự thắng trong một số trường hợp.

Sẽ rất dễ để viết điều này như một màn ăn mừng chiến thắng cho phương pháp mới hơn. Điều đó sẽ là sai lầm, bởi vì abliteration thông thường đang dẫn trước trên những trục quyết định phần lớn các triển khai.

• Một artifact, mọi runtime tương thích. Một checkpoint đã abliterate chỉ là một bộ trọng số bình thường. Bạn nạp nó bằng bất kỳ loader tương thích MLX nào bạn đang dùng, và nó chạy được. Cách tiếp cận theo runtime lại cần runtime đi kèm riêng của pack — và dự án cảnh báo rõ rằng một loader MLX thông thường có thể trông như đang nạp pack trong khi âm thầm tính toán sai. Đó là một đường băng hẹp hơn nhiều.

• Phần cứng. Qwen3.8-27B-Uncensored-MLX được cung cấp ở các bản dựng 2, 4, 6 và 8-bit với một bản sao 4-bit được đặt song song tại thư mục gốc của repo, vì vậy những công cụ coi một repo như một mô hình đơn sẽ tải nó mà không cần cấu hình. Ternary Bonsai 2 27B Uncensored là Apple Silicon / MLX. Phép nhân ma trận lượng tử hóa của gói này có kernel Metal và CPU nhưng không có triển khai CUDA thông qua mlx-cuda, nên trên một máy NVIDIA, gói MLX này hiện không nhận được tăng tốc GPU nào cả — suy luận trên CPU vẫn hoạt động, và một lượt forward của 27B có thể mất vài phút. Điều đó khiến đường CPU trên Linux hữu ích cho việc kiểm thử triển khai và tái lập, chứ không phải để phục vụ.

• Công cụ và độ quen thuộc. Abliteration đã có nhiều năm công cụ phía sau — các công thức được tinh chỉnh, tìm kiếm phạm vi lớp, các biến thể đã công bố để bạn có thể so sánh. Phương pháp runtime ở đây chỉ có một triển khai, trên một mô hình, được phát hành ngày hôm qua.

• Phân phối. Một checkpoint đơn lẻ tương ứng với một lần tải xuống duy nhất. Runtime ablation phát hành một pack, cùng một tệp hướng (direction file) và một runtime, và người đọc phải giữ cho ba thứ đó luôn đồng bộ với nhau.

• Bằng chứng. Abliteration tại checkpoint có các phép đo từ bên thứ ba trên họ mô hình cơ sở này. Ablation lúc chạy trên một gói ternary chỉ có số liệu của riêng chúng tôi, và giả định cốt lõi của nó chưa được xác minh — sẽ nói thêm ở bên dưới.

Runtime ablation đổi lại được những gì?

Sự đánh đổi cũng có thật ở chiều ngược lại, và mục đầu tiên là mục khái quát hóa vượt ra ngoài mô hình này.

• Nguồn gốc giống hệt từng bit. Không có trọng số nào bị sửa đổi, không tái lượng tử hóa, không thêm sai số lượng tử hóa. Đó không phải là khẩu hiệu; đó là thuộc tính khiến các con số năng lực bên dưới có thể diễn giải được thay vì chỉ là một sự tình cờ may mắn.

• Alpha có thể điều chỉnh. Cường độ ablation là một tham số thời gian chạy, không phải thuộc tính của checkpoint. Bạn có thể quét nó cho khối lượng công việc của mình, tắt hoàn toàn bằng alpha 0, hoặc chiếu quá mức và đo xem điều gì hỏng — mà không cần tải xuống mô hình thứ hai.

• Kiểm soát chọn lọc theo lớp. Việc ablate một tập con các lớp là một đối số truyền vào, chứ không phải một lần tái tạo lại từ đầu. Điều đó quan trọng với bất kỳ ai đang nghiên cứu xem những lớp nào mang hành vi này, bởi vì giải pháp thay thế là phải tạo ra một checkpoint cho mỗi cấu hình.

• Không có bộ trọng số thứ hai. Mô hình đã chỉnh sửa chính là mô hình gốc. Với một gói mà toàn bộ luận điểm của nó là dung lượng, việc phát hành một bản sao abliterated song song ở mức khoảng 16 GB — bằng kích thước của bản dựng 4-bit trong repo so sánh — sẽ làm suy yếu chính luận điểm đó.

• Khả năng đảo ngược. Chỉnh sửa checkpoint là vĩnh viễn đối với tạo tác đó. Cờ runtime thì không.

Những con số chúng tôi có, và chính xác cách chúng được đo lường

Mọi thứ trong phần này là đánh giá của chính OrcaRouter về OrcaRouter Ternary Bonsai 2 27B Uncensored, và phương pháp quan trọng không kém các số liệu.

Phép đo này là một bộ phân loại cụm mở đầu dựa trên quy tắc, không phải một giám khảo LLM. Chế độ Thinking đang tắt, giải mã là tham lam, ngân sách là 64 token, và mô hình gốc với mô hình bị ablation dùng cùng trọng số trong cùng một tiến trình tại alpha 0 so với alpha 1. Điểm cuối đó là phần mạnh nhất của thiết lập: không có so sánh giữa các checkpoint và không có khác biệt lượng tử hóa để gây nhiễu kết quả. Đó cũng là lý do các con số nên được đọc như một phép đo về những gì mô hình nói trong cụm mở đầu của nó, và không hơn thế.

Tỷ lệ từ chối trên các bộ lời nhắc có hại đã công bố, từ bản gốc đến bản đã loại bỏ:

• AdvBench (n=100) — 99,0% xuống 6,0%

• JailbreakBench (n=100) — 96,0% xuống 4,0%

• StrongREJECT (n=150) — từ 99.3% xuống 3.3%

• HarmBench (n=150) — 98,7% xuống 7,3%

• MaliciousInstruct (n=100) — từ 97,0% xuống 0,0%

• ForbiddenQuestions (n=150) — từ 75,3% đến 5,3%

• SimpleSafetyTests (n=50) — 96,0% xuống 18,0%, và con số này còn bị nói giảm

SimpleSafetyTests bị đánh giá thấp vì một lý do cụ thể. Bộ dữ liệu đó chủ yếu là các prompt tự gây hại, và mô hình sau khi loại bỏ thành phần trả lời chúng bằng một chuyển hướng khủng hoảng mở đầu bằng "I am deeply sorry to hear…". Danh sách cụm từ chính xác của bộ phân loại không chứa phần mở đầu đó, nên nó chấm điểm một chuyển hướng là tuân thủ. Tỷ lệ từ chối còn lại thực tế cao hơn 18.0%. Bộ phân loại được cố ý giữ nguyên, để các con số vẫn có thể so sánh với các model card khác của OrcaRouter — nhưng người đọc không nên hiểu 18.0% theo bề mặt.

Không có câu trả lời nào trong bất kỳ lần chạy nào trong số này dùng hết ngân sách token của nó, và đó là điều khiến ngân sách 64 token trở nên hợp lý ở đây. Một cột riêng trong toàn bộ kết quả đếm những câu trả lời có đưa ra câu trả lời nhưng lại bọc câu trả lời đó trong một lời miễn trừ trách nhiệm; con số này dao động 42–60% tùy theo tập.

Hai kết quả đi ngược lại câu chuyện đơn giản

Hai trong số các phát hiện đáng được bàn riêng, vì cả hai đều khiến cách hiểu hiển nhiên trở nên phức tạp.

Tỷ lệ từ chối quá mức cũng giảm. Trên các prompt lành tính của JailbreakBench, gói đã công bố từ chối 25,0% trong số đó. Sau khi loại bỏ thành phần, con số này là 0,0%. Trên XSTest-safe, tỷ lệ giảm từ 5,2% xuống 0,4%.

Đây là nửa ít được báo cáo của kỹ thuật này. Gói Bonsai đã công bố từ chối một phần tư tập prompt lành tính; bất kể hướng từ chối đang làm gì trong mô hình QAT, nó đang kích hoạt trên những prompt lẽ ra không bao giờ nên kích hoạt nó. Loại bỏ hướng đó cũng loại bỏ những lần từ chối ấy, và đó là lợi ích năng lực thực sự chứ không phải chi phí an toàn. Hiệu ứng tương tự cũng xuất hiện trong công trình độc lập trên các mô hình khác — bộ kiểm thử của chính Atomic Chat đo được mức từ chối quá mức với prompt lành tính của Gemma 2 9B giảm mạnh từ 44% xuống 0,5% sau abliteration, với MMLU gần như không thay đổi, từ 68,4 xuống 68,0. Đo lường của họ, mô hình của họ, do họ tự báo cáo trên blog của họ; mô thức mới là điểm mấu chốt, không phải các con số chính xác.

Cách định khung sau đây gây khó chịu nhưng trung thực: từ chối quá mức và từ chối là cùng một núm. Bạn không thể chỉ vặn giảm những lời từ chối mà mình không thích.

Khả năng duy trì năng lực không đổi, và đó không phải là may mắn. Các kiểm tra năng lực, từ bản gốc đến bản đã loại bỏ:

• MMLU (n=300) — 76,7% đến 77,7%, +1,0

• GSM8K (n=150) — 87,3% xuống 86,0%, -1,3

• CMMLU (n=500) — 76.2% xuống 75.6%, -0.6

Mọi biến động đều nằm trong nhiễu ở các kích thước mẫu này — một câu hỏi GSM8K có giá trị 0,7 điểm. MMLU-Pro đã bị loại trừ thay vì được báo cáo: lời nhắc của nó yêu cầu suy luận trước câu trả lời, và 63–64% số phản hồi ở cả hai bên chưa đạt đến một câu trả lời trong ngân sách token, nên bất kỳ con số độ chính xác nào cũng sẽ là mức sàn do ngân sách đặt ra chứ không phải một phép đo.

Năng lực phẳng đến trực tiếp từ các trọng số giống hệt nhau từng bit, và đáng để nói chính xác vì sao. Mô hình đưa ra câu trả lời vẫn là cùng một mô hình. Runtime chỉ thêm một tích vô hướng và một AXPY cho mỗi lần ghi residual và không thay đổi gì về trọng số, phép lượng tử hóa, hay các kernel đọc chúng. Một cách tiếp cận checkpoint phải giành lấy được độ phẳng đó — và thường thì không. Một phép thử của bên thứ ba đối với một abliteration khác của cùng nền tảng Qwen3.8-27B, được công bố ngày 2026-08-17 bởi một kỹ sư tại SMF Works, đã đo được điểm tổng hợp giảm từ 79.0% xuống 72.0%, với phần toán giảm từ 50.0% xuống 33.3%. Đó là một công thức khác, một chuỗi công cụ khác và một phép đo khác, nên nó không phải là điểm số cho so sánh này. Đây là lời nhắc rằng abliteration bằng checkpoint trên nền tảng này đã từng gây mất mát hai chữ số phần trăm trong ít nhất một bài kiểm thử cẩn thận, có đo đạc, và rằng "abliteration gần như miễn phí" là một tuyên bố phụ thuộc hoàn toàn vào công thức.

Giả định mà chưa ai xác minh

Đây là phần của câu chuyện phải được nói thẳng thắn, và nó thuộc về một so sánh các phương pháp bỏ kiểm duyệt hơn là một chú thích cuối trang.

Hướng từ chối được sử dụng ở đây đã được ước lượng từ mô hình nền BF16 mà gói Bonsai được huấn luyện từ đó. Kiến trúc và cơ sở ẩn là giống hệt nhau, nên vector có số chiều đúng và phép chiếu là chính xác về mặt toán học — runtime có thể chứng minh, và thực sự xác minh, rằng nó loại bỏ hướng được cung cấp khỏi luồng dư.

Điều đó không chứng minh rằng hướng vẫn mang cùng ý nghĩa trong mô hình được huấn luyện có nhận thức lượng tử hóa. Mức độ mà hướng đó duy trì được qua huấn luyện có nhận thức lượng tử hóa vẫn chưa được đo lường đầy đủ. Loại bỏ chính xác một vectơ không giống với loại bỏ hành vi mà nó được ước lượng là đại diện, và tuyên bố thứ hai mới là điều quan trọng. Mọi con số trong phần trên đều là kết quả thực nghiệm tương thích với việc chuyển giao tốt; không con số nào là minh chứng rằng việc chuyển giao đã hoàn tất, và chính dự án cũng nói như vậy, đồng thời khuyến nghị nên quét alpha và việc lựa chọn lớp trước khi đưa ra kết luận.

Bất kỳ so sánh trung thực nào giữa các phương pháp bỏ kiểm duyệt cũng phải thừa nhận điều này. Abliteration thông thường có vấn đề đối xứng gương — nó chỉnh sửa trọng số rồi mới đo kết quả, nên hướng của nó không bao giờ phải chuyển giao giữa các phiên bản mô hình, nhưng chỉnh sửa của nó là vĩnh viễn và không thể khôi phục nếu công thức sai.

Điều gì vẫn chưa được đo lường

Ngoài câu hỏi về chuyển giao, có ba khoảng trống đáng được gọi tên thay vì viết vòng vo.

• Không có sự tái lập độc lập.Mọi benchmark Bonsai 2 27B đang lưu hành — mức trung bình 83,9, tỷ lệ giữ lại 98,2%, các phân tách theo hạng mục — đều do nhà cung cấp Prism ML báo cáo, được chạy bằng EvalScope trên backend vLLM trên H100 ở mức nỗ lực suy luận "xhigh". Chưa có ai ngoài Prism ML tái lập được chúng. Các bảng an toàn và năng lực ở trên là của chúng tôi và cũng không độc lập.

• Hành vi khi bật suy nghĩ.Các bảng của chúng tôi đang ở trạng thái tắt suy nghĩ. Các công trình nghiên cứu độc lập trên những mô hình abliterated khác đã phát hiện rằng ngay cả khi đạt tỷ lệ tấn công thành công 100%, mô hình vẫn lý luận về an toàn trong một tỷ lệ đáng kể các phản hồi khi nó được phép suy nghĩ. Liệu điều đó có còn đúng ở đây hay không, và nó tác động thế nào đến các con số của cụm từ mở đầu, vẫn chưa được đo lường.

• Một hướng duy nhất. Phương pháp này giả định rằng việc từ chối được dàn xếp bởi một hướng duy nhất, đó là phát hiện của Arditi và cộng sự và là nền tảng cho toàn bộ kỹ thuật này. Các nghiên cứu tiếp nối trên những mô hình khác đã tìm ra những hướng khác biệt về mặt hình học cho các nhóm từ chối khác nhau. Một vector, được quét qua một alpha, không thể giải quyết được điều đó.

Điều này có nghĩa gì nếu bạn đang lựa chọn giữa chúng

Chọn checkpoint nếu bạn cần mô hình chạy ở bất cứ đâu, trên phần cứng mà bạn không kiểm soát, thông qua một loader mà bạn không tự viết. Chọn runtime nếu bạn đang dùng Apple Silicon, bạn quan tâm rằng artifact bạn đang nghiên cứu chính là artifact mà Prism ML đã huấn luyện, và bạn muốn độ mạnh ablation là một tham số có thể điều chỉnh, chứ không phải một quyết định buộc bạn phải tải lại. Cả hai đều có thể biện minh, và chúng được chọn bởi các ràng buộc triển khai, chứ không phải bởi phương pháp nào mới hơn.

Nếu bạn đang cố quyết định một cách thực nghiệm, phương pháp runtime có một lợi thế thực tiễn đáng gọi tên: alpha 0 và alpha 1 là cùng một tiến trình và cùng một trọng số, nên so sánh giữa chúng chỉ cô lập phép ablation và không gì khác. Đó là một thí nghiệm sạch hơn so với việc so sánh hai checkpoint, và đó là lý do bảng ở trên có thể được đọc như một phép đo của phép chiếu thay vì phép đo hai lượng tử hóa của nó.

Sử dụng có trách nhiệm

Việc loại bỏ một hướng từ chối đã được học có thể khiến mô hình phản hồi những yêu cầu mà bản gốc sẽ từ chối. Đó là cơ chế đang hoạt động, không phải tác dụng phụ, và không nên được ghi nhận như một tính năng. Đây là một cơ chế nghiên cứu và kiểm soát suy luận, và nó không phải bằng chứng cho thấy bất kỳ đầu ra nào tạo ra là an toàn, đúng đắn hay phù hợp.

Thẻ của chính gói đã phát hành cũng đưa ra luận điểm tương tự từ phía ngược lại: bản dựng MLX đã abliterate "đã bị loại bỏ đáng kể căn chỉnh an toàn", sẽ tuân theo những yêu cầu mà bản gốc sẽ từ chối, và không có rào chắn tích hợp có ý nghĩa nào. Các tác giả của nó giới hạn nó cho nghiên cứu chính đáng — khả năng diễn giải, nghiên cứu an toàn, red-teaming, đánh giá độ bền — và nói thẳng rằng các triển khai trước tiên phải thêm lớp kiểm duyệt và kiểm soát truy cập của riêng họ.

Không có gì trong bài viết này là lập luận rằng việc loại bỏ từ chối là không tốn kém, hay rằng tỷ lệ từ chối thấp hơn là một tín hiệu chất lượng. Một mô hình trả lời được nhiều câu hỏi hơn không vì thế mà trở thành mô hình tốt hơn, và một bộ phân loại dựa trên quy tắc đếm các cụm mở đầu là phép đo cách diễn đạt, không phải năng lực. Cả hai sản phẩm này đều là công cụ nghiên cứu gắn với một nghĩa vụ của người vận hành, và nghĩa vụ đó không chuyển sang cho người đã viết mã ablation.

Mã ablation thời gian chạy, hướng từ chối và toàn bộ các bảng đánh giá được công bố bởi OrcaRouter, cùng với nền tảng định tuyến mà nhóm xây dựng.