Qwen3.8-Flash-Next-Uncensored: Chạy mô hình MoE đã abliterated trên llama.cpp và Apple Silicon

Trước khi bạn tải bất cứ thứ gì: Qwen3.8-Flash-Next-Uncensored không phải là Qwen3.8-27B-Uncensored. Chúng có chung tên họ và kỹ thuật abliteration, nhưng là các mô hình khác nhau từ các bộ trọng số khác nhau, và mọi bài đăng "Qw​en uncensored" trước đó trên blog này đều nói về bản 27B. Chủ đề ở đây là cặp mô hình mà OrcaRouter đã xuất bản lên Hugging Face vào ngày 26 tháng 8 năm 2026 — orcarouter/Qwen3.8-Flash-Next-Uncensored-GGUF và orcarouter/Qwen3.8-Flash-Next-Uncensored-MLX — các bản abliterated của Qwen3.8-Flash-Next, mô hình hỗn hợp chuyên gia định tuyến (routed mixture-of-experts) 176B lưu trữ / 6B hoạt động của Alibaba, vốn là bản xem trước kiến trúc Qwen4. Chúng tôi đã công bố bản phát hành là "GGUF + MLX gốc, ngữ cảnh lên tới 262K," nhắm tới các nhà nghiên cứu bảo mật, đội đỏ và đội xanh. Sổ tay vận hành này được viết từ chính các model card của chúng tôi: việc loại bỏ từ chối (refusal removal) làm gì bên trong một MoE định tuyến, yêu cầu bộ nhớ thực tế của tuyên bố ngữ cảnh 262K là gì, cách phục vụ cả hai dòng tệp, và vị trí của dòng nghiên cứu. Nếu bạn đến đây muốn tìm bài giới thiệu abliteration hoặc phép toán lượng tử hóa 27B, các bài đăng trước trong loạt bài này sẽ đề cập đến chúng.

Đầu tiên, cái cổng.

Cả hai kho lưu trữ đều bị kiểm soát truy cập trên Hugging Face (gated: auto). Sẽ không có bản tải tệp nào cho đến khi bạn đăng nhập và chấp nhận các điều khoản của kho lưu trữ trên từng repo — kho GGUF và kho MLX mỗi bên đều có cổng kiểm soát riêng. Đây là điểm khác biệt thực tế nhất so với một dòng GGUF không bị kiểm soát: câu lệnh một dòng ngây thơ "just hf download" sẽ thất bại với lỗi xác thực trước khi tải xuống được một byte. Quy trình như sau:

• Đăng nhập vào Hugging Face (hoặc đăng ký) và cài đặt huggingface_hub, sau đó chạy hf auth login một lần để token của bạn được lưu trên đĩa.

• Mở orcarouter/Qwen3.8-Flash-Next-Uncensored-GGUF trong trình duyệt, chấp nhận các điều khoản, sau đó lặp lại cho orcarouter/Qwen3.8-Flash-Next-Uncensored-MLX.

• Từ đó trở đi, lệnh hf download với token xác thực của bạn hoạt động như bất kỳ kho lưu trữ nào khác. Mọi bản quant bạn tải về, cùng các trọng số MLX, là một sản phẩm nghiên cứu theo giấy phép Apache-2.0 — cùng một giấy phép với mô hình gốc — và cổng chặn là một phần của thỏa thuận: đọc các điều khoản là bước đầu tiên để sử dụng mô hình.

Abliteration tác động thế nào đến một MoE có định tuyến

Kỹ thuật này là phương pháp chỉnh sửa trọng số kiểu Arditi mà chúng tôi đã trình bày ở một bài viết khác trên blog này; điều thú vị nằm ở chỗ nó tác động cụ thể đến kiến trúc này ra sao. Trên mô hình dense 27B, có 131 ma trận residual. Còn trên Qwen3.8-Flash-Next-Uncensored, thẻ mô hình MLX ghi nhận rằng abliteration được áp dụng cho 149 tensor ghi residual, và những thành phần làm nên bản sắc của mô hình này — bộ định tuyến MoE, bảng embedding n-gram 51B, tháp thị giác — hoàn toàn không bị đụng tới.

Chuyện "không bao giờ bị đụng tới" là toàn bộ câu chuyện đối với một mô hình định tuyến. Mỗi token kích hoạt 10 trong số 512 chuyên gia; không một chuyên gia đơn lẻ nào nắm giữ hành vi từ chối. Hành vi từ chối nằm trong luồng phần dư cấu thành đầu ra cuối cùng — chính xác là hướng mà phép trực giao hóa loại bỏ. Vì vậy, bộ định tuyến vẫn tiếp tục định tuyến đến các chuyên gia giống như trước, bảng n-gram vẫn tiếp tục tạo ra các embedding giống hệt, và điều thay đổi là những gì mô hình nói ra khi phép chiếu đầu ra chạy. Các bài kiểm tra được công bố trên thẻ mô hình GGUF mô tả hình dạng của sự thay đổi đó là: tỷ lệ từ chối prompt độc hại giảm từ 64–100% trên bản gốc xuống còn khoảng 0–3.3% trên bản build này, tình trạng từ chối quá mức với prompt lành tính gần như bằng 0%, và năng lực nằm trong phạm vi ±2 điểm so với bản gốc trên các bài kiểm tra kiểu MMLU-Pro / GSM8K / CMMLU. Đây là những con số tự báo cáo của chính thẻ mô hình, chứ không phải được tái lập độc lập.

Đầu MTP: có trong MLX, bị loại bỏ trong GGUF

Qwen3.8-Flash-Next đi kèm một đầu dự đoán suy đoán đa token (multi-token-prediction) cỡ ~4B, và hai bản build có quan điểm khác nhau về nó. Kho GGUF loại trừ đầu này — thẻ mô tả nêu rõ rằng các tệp này không bao gồm đầu nháp suy đoán mtp — vì hỗ trợ qwen4exp của llama.cpp chưa triển khai MTP, nên đầu này sẽ chỉ là gánh nặng vô ích trong tệp. Bản build MLX giữ lại nó, vì vậy trên Apple Silicon bạn vẫn có giải mã suy đoán (speculative decoding). Hệ quả thực tế, được xác nhận bởi những người vận hành chạy mô hình cơ sở: nhánh llama.cpp GGUF hiện chạy mà không có giải mã suy đoán, trong khi thiết lập SGLang có MTP giúp tăng tốc giải mã hơn gấp đôi trên cùng phân khúc phần cứng. Nếu llama.cpp từng bổ sung MTP cho qwen4exp, nhánh GGUF sẽ được tăng tốc miễn phí — nhưng đừng mua phần cứng với hy vọng điều đó xảy ra trong tuần này.

Tuyên bố về ngữ cảnh 262K và chi phí của KV cache

Ngữ cảnh gốc là 262.144 token (có thể mở rộng bằng Ya-RN lên tới khoảng 1 triệu), và ràng buộc thực sự gây khó khăn là bộ nhớ. Tin tốt là kiến trúc này giữ cho bộ đệm KV nhỏ gọn: trong số 48 lớp, 36 lớp sử dụng cơ chế chú ý tuyến tính Gated DeltaNet, vốn nén lịch sử thành một trạng thái hồi quy có kích thước cố định, và chỉ 12 lớp chú ý đầy đủ mang bộ đệm KV thông thường tăng trưởng theo độ dài chuỗi.

Hai điểm dữ liệu được cộng đồng đo lường, cả hai trên mô hình cơ sở, đều áp dụng trực tiếp. Một triển khai GGUF trên 4× RTX 3090 báo cáo rằng việc tăng context từ 65K lên 131K chỉ tốn thêm khoảng 0,78 GB KV trên mỗi card, và một chiếc DGX Spark duy nhất đã chạy được context đầy đủ 262K với file loại Q4 trong khi vẫn giữ mô hình thường trực ở mức ~76,9 GB trong bộ nhớ 128 GB của nó bằng cách giữ cố định bảng n-gram trên CPU và mmap nó từ NVMe. Dòng ngân sách trên model card GGUF là: tổng = kích thước file + KV cache + mmproj khoảng 0,9 GB. Điểm mấu chốt cho việc chọn định lượng: ở mức 262K, KV cache là một hạng mục thực sự, nhưng trọng số mới là yếu tố chi phối, vì vậy cùng logic ưu tiên VRAM từ hướng dẫn GGUF 27B vẫn áp dụng — điểm khác biệt ở đây là chính kích thước file, dao động từ IQ2_XXS khoảng 52 GB đến Q5_K_M khoảng 125 GB.

Dòng GGUF: 13 quants, các tệp chia nhỏ, mmproj, và một bản build llama.cpp

Kho GGUF cung cấp 13 mức lượng tử hóa — IQ2_XXS, IQ2_M, IQ3_XXS, IQ3_M, IQ4_XS, Q2_K, Q3_K_S, Q3_K_M, Q3_K_L, Q4_K_S, Q4_K_M, Q5_K_S, Q5_K_M — trong đó các bản IQ được xây dựng từ ma trận tầm quan trọng (importance matrix) trên văn bản hiệu chuẩn tiếng Anh, tiếng Trung và mã nguồn. Mỗi bản lượng tử hóa được chia thành nhiều phần, tách bằng llama-gguf-split, vì vậy hãy tải toàn bộ tập tin của một mức và trỏ loader vào phần ...-00001-of-000NN.gguf. Không có mức Q6_K, Q8_0 hay F16, và lý do mang tính cấu trúc hơn là kinh tế: bảng nhúng n-gram (PLE) có kích thước một tensor quá lớn để đáp ứng giới hạn 50 GB mỗi tập tin của Hugging Face ở mức 6-bit trở lên, và một tensor GGUF đơn lẻ không thể chia nhỏ giữa nhiều tập tin — vì vậy dòng sản phẩm dừng ở Q5_K_M.

Tệp khác bạn không được bỏ qua là mmproj-...-F16.gguf, khoảng 0,9 GB: đây là mô hình ngôn ngữ-thị giác, và llama.cpp cần projector cho bất kỳ đầu vào hình ảnh nào. Qwen3.8-Flash-Next là mô hình đa phương thức, và bản build này cũng vậy — abliteration không ảnh hưởng đến vision tower.

Hỗ trợ llama.cpp chưa có trong mainline. Mã kiến trúc là qwen4exp, và các bản build tiêu chuẩn sẽ thất bại với lỗi "unknown architecture 'qwen4_exp'"; bạn cần một bản build từ PR #27742 (nhánh qwen4exp/qwen3.8-flash-next), được biên dịch với các target llama-cli, llama-mtmd-cli, llama-server và llama-gguf-split. Từ đó, hình thức phục vụ là máy chủ llama.cpp thông thường với các cờ riêng của Qwen, sử dụng tên quant từ các tệp part:

llama-server -m Qwen3.8-Flash-Next-Uncensored-Q4_K_M-00001-of-00003.gguf --jinja --mmproj mmproj-Qwen3.8-Flash-Next-Uncensored-F16.gguf -c 8192 --temp 1.0 --top-p 0.95 --top-k 20 --min-p 0.0

Đặt -c thành bất kỳ ngữ cảnh nào bạn có thể đưa vào; ví dụ trên thẻ bắt đầu từ 8192. Suy luận được bật theo mặc định và được trả về trong reasoning_content, và việc gọi công cụ hoạt động thông qua endpoint tương thích OpenAI. Các giá trị lấy mẫu ở trên là khuyến nghị của thẻ mô hình; những người dùng trên mô hình cơ sở sử dụng temp 0.7 / top-p 0.80 / top-k 20 với presence penalty 1.5 ở chế độ instruct không suy luận, và tinh chỉnh độ sâu suy luận bằng --chat-template-kwargs {"reasoning_effort":"medium"}.

Bản build MLX trên Apple Silicon

Repo MLX là lựa chọn native dành cho Apple Silicon: cùng trọng số, cùng việc gỡ bỏ cơ chế từ chối, với runtime thuần Metal. Bản phát hành này cung cấp sẵn bản 4-bit làm mặc định (~163 GB), bản dựng 6-bit đã được công bố (~192 GB) và một bản 8-bit (~221 GB). Và vì các expert fused-3D cùng bảng n-gram được giữ ở độ chính xác cao hơn mức danh nghĩa của nhãn, độ chính xác hiệu dụng cao hơn hẳn mức 4-bit đồng nhất — thẻ thông số ghi khoảng 7,85 bit hiệu dụng cho mỗi trọng số với nhãn "4-bit". Đây là lý do vì sao kích thước repo trông lớn: bảng n-gram không bị nén xuống theo cách mà các bản quant cộng đồng vẫn nén nó.

Phần cứng là ràng buộc quyết định. MLX chỉ chạy trên Apple Silicon (Metal) và bạn cần bộ nhớ hợp nhất cho các trọng số — dòng mô tả trên model card là "một chiếc Mac có đủ bộ nhớ hợp nhất cho 163 GB trọng số (ví dụ: M-series Ultra)". Hãy coi phiên bản 4-bit như một máy thuộc lớp 192 GB và bản build 6-bit thuộc lớp 256 GB. Các tags trên model card ghi lại đầy đủ bộ tính năng — qwen4_exp, MoE, MTP, function calling, vision-language — và nó được điều khiển qua mlx-vlm cho đầu vào hình ảnh. Phần đầu dự đoán (speculative head) MTP được bao gồm ở đây, đây là lợi thế thầm lặng của bản MLX so với dòng GGUF.

Lộ trình tầm nhìn, dành cho những người sử dụng nó

Vì đây là mô hình ngôn ngữ–thị giác, đường dẫn đa phương thức là một phần của runbook chứ không phải phần bổ sung. Trên llama.cpp, đầu vào hình ảnh yêu cầu cả bộ chiếu mmproj lẫn một bản build có bao gồm llama-mtmd-cli / llama-server. Trên MLX, bạn điều khiển nó bằng mlx-vlm thay vì trình điều khiển mlx-lm chỉ hỗ trợ văn bản. Đối với các nhóm red team, đường dẫn thị giác là nơi chứa các công việc đánh giá thú vị: rào chắn đa phương thức, prompt injection được truyền tải trong hình ảnh, OCR trên ảnh chụp màn hình hệ thống của chính bạn, và các hình ảnh đối nghịch nhắm vào toàn bộ pipeline. Vì abliteration bao phủ toàn bộ mô hình và để nguyên tháp thị giác, một hình ảnh từng kích hoạt hành vi từ chối ở đầu văn bản giờ chỉ đơn giản rơi vào một mô hình không còn hành vi từ chối nào để kích hoạt. Thẻ GGUF cho biết khả năng thị giác và gọi công cụ đa lượt đã được xác minh trên bản build này; không có bộ đánh giá thị giác riêng nào được công bố.

Điều này dùng để làm gì, và ranh giới nằm ở đâu

Bản build này tồn tại cho một loại hình công việc duy nhất: đánh giá những gì một mô hình đã bị loại bỏ khả năng từ chối có thể làm, phục vụ cho việc hiểu và bảo vệ các hệ thống. Đối với một red team, điều đó có nghĩa là kiểm thử các rào chắn bảo vệ của chính bạn trước một mô hình sẽ không từ chối một cách lịch sự — khả năng chống prompt injection, các kịch bản đánh cắp dữ liệu (exfiltration), lạm dụng công cụ, và khoảng cách giữa {{1}}"mô hình cơ sở từ chối" và "mô hình thực sự không thể làm điều này".{{/1}} Khoảng cách đó chính là toàn bộ giá trị nghiên cứu của một bản build abliterated: nó cho bạn biết lớp từ chối đang che giấu điều gì, và đó chính là sự khác biệt giữa bảo mật bằng chính sách và bảo mật bằng năng lực. Đối với một blue team, cùng các trọng số đó là đường cơ sở hợp lý của kẻ thù: nếu một tác nhân thù địch có thể tải xuống và chạy bản này, hệ thống phòng thủ của bạn cần phải trụ vững trước một mô hình trả lời thay vì khước từ. Các đánh giá được xây dựng dựa trên nó là giới hạn dưới cho những gì một mô hình tùy chỉnh, chưa bao giờ được căn chỉnh có thể làm — {{2}}hãy coi chúng như vậy, không phải là trần giới hạn.{{/2}}

Hãy nói rõ việc loại bỏ hành vi từ chối thay đổi điều gì và không thay đổi điều gì. Nó thay đổi hành vi đầu ra — mô hình không còn từ chối — và không thay đổi năng lực. Không có kiến thức mới, không có kỹ năng mới, không có sức mạnh tính toán mới; cùng quá trình huấn luyện, cùng những giới hạn về những gì mô hình thực sự có thể tạo ra. Một mô hình abliterated không thể tạo ra phần mềm độc hại mà trước đây nó không có khả năng tạo ra; nó chỉ đơn giản trả lời thay vì né tránh, và đầu ra của nó không trung thực hơn chỉ vì dễ dãi hơn. Dải năng lực ±2 điểm của thẻ mô hình và sự sụp đổ của các con số từ chối là cùng một sự thật được nhìn từ hai phía.

Điểm phân định nằm ở thỏa thuận kho lưu trữ có kiểm soát (gated-repo), và đó không phải văn bản rập khuôn. Sử dụng hợp pháp: đánh giá hệ thống của chính bạn, nghiên cứu lỗ hổng công khai trên các mô hình, xây dựng các đánh giá phát hiện và phòng thủ, nghiên cứu cơ chế từ chối. Không hợp pháp: triển khai mô hình này như một trợ lý hướng tới người dùng, tạo phần mềm độc hại hoạt động được hoặc khai thác lỗ hổng nhắm vào các hệ thống bạn không sở hữu hoặc không được ủy quyền kiểm thử, gian lận, vật liệu chế tạo vũ khí. Giấy phép Apache-2.0 và luật hiện hành là mức sàn; cánh cổng là thỏa thuận mục đích nghiên cứu rõ ràng nằm phía trên đó. Nếu trường hợp sử dụng của bạn là "đưa chatbot đến với người dùng," thì đây không phải là mô hình dành cho bạn — và điều đó là có chủ đích, không phải sơ suất.

Cách lấy baseline được phục vụ

Các trọng số này cố ý chỉ dùng cục bộ: payload thăm dò của red team không bao giờ nên đi qua API của bên thứ ba, và tự lưu trữ chính là mục đích. Khi bạn muốn có đường cơ sở đã bị kiểm duyệt và được phục vụ qua API để so sánh — Qwen3.8-Flash của Alibaba với giá $0,16 cho mỗi triệu token đầu vào và $0,47 cho mỗi triệu token đầu ra — OrcaRouter định tuyến nó theo đúng giá niêm yết của nhà cung cấp với mức phụ phí 0% và tự động chuyển dự phòng, nhờ đó một bộ khung đánh giá (eval harness) có thể chuyển qua lại giữa bản cơ sở được lưu trữ và bản build cục bộ không kiểm duyệt của bạn chỉ với một khóa API và không cần hợp đồng thứ hai. Bộ trọng số mở Qwen3.8-Flash-Next chưa có trong danh mục của chúng tôi; khi một runtime mà chúng tôi định tuyến hỗ trợ chúng, chúng sẽ nằm trong chính thiết lập một khóa API, giá niêm yết đó.

Bắt đầu tại đây

Hãy xác định dòng nào khớp với phần cứng của bạn, rồi đọc cổng tương ứng. Trên Mac có bộ nhớ hợp nhất từ 128 GB trở lên, bản dựng MLX cung cấp MTP và thị giác trong một nơi duy nhất — hãy chấp nhận các điều khoản của kho lưu trữ MLX, tải trọng số 4-bit hoặc 6-bit, và vận hành chúng bằng mlx-vlm. Trên máy NVIDIA, AMD hoặc CPU, hãy dựng llama.cpp từ PR #27742, chấp nhận các điều khoản của kho lưu trữ GGUF, tải một bản lượng tử phù hợp, và đừng quên tệp mmproj. Trong cả hai trường hợp, các con số từ chối và dải năng lực là của chính kho lưu trữ, được công bố trên thẻ và chưa được tái kiểm chứng tính đến thời điểm viết bài này — cách đọc trung thực là coi chúng như phép đo của nhà cung cấp đối với bản chỉnh sửa của chính mình, chứ không phải một cuộc kiểm toán độc lập. Cổng, giấy phép và ranh giới an toàn nêu trên là cùng một văn bản nhìn từ ba góc độ: đây là một công cụ nghiên cứu, và nó được phát hành với điều kiện đó.

Tất cả năm bản dựng Flash-Next — BF16, GGUF, MLX, FP8 và NVFP4 — được tập hợp trong bộ sưu tập Qwen3.8-Flash-Next-Uncensored trên Hugging Face.

Không nên nhầm lẫn với dòng 27B: Qwen3.8-27B-Uncensored là một mô hình khác được tạo ra bằng kỹ thuật abliteration từ một mô hình nền khác, có bộ sưu tập và runbook riêng. Cùng kỹ thuật, trọng số khác nhau.

Các trọng số này chỉ dùng cục bộ theo thiết kế. Để có một đường cơ sở được lưu trữ nhằm so sánh với bản build đã abliterated, Qwen3.8-Flash được phục vụ trên OrcaRouter với giá niêm yết của nhà cung cấp và không cộng thêm phí — mô hình gốc, nguyên vẹn phần an toàn.