Qwen Tanpa Sensor, Dijelaskan: Cara Menjalankan Qwen3.8-27B-FP8 yang Abliterated

Qwen tanpa sensor di Hugging Face hampir selalu berarti abliterasi — arah penolakan model dihilangkan dari aliran residualnya — dan build yang menjadi titik awal adalah Qwen3.8-27B-Uncensored-FP8, dirilis di Hugging Face pada 15 Agustus 2026. Ini adalah build block-FP8 hasil abliterasi dari Qwen3.8-27B yang berjalan di jalur kernel vLLM yang persis sama dengan rilis FP8 resmi, dengan konteks 262K, vision tower, dan kepala decoding spekulatif MTP tetap utuh — dan menarik 257 suka serta 4.285 unduhan pada hari pertama. Ini adalah alat riset, bukan chatbot: tidak ada guardrail bawaan, Apache 2.0, dan ia akan memenuhi permintaan yang ditolak oleh model dasar. Panduan ini membahas apa yang sebenarnya diubah oleh abliterasi, cara mengunduh 30,9 GB bobot dari Hugging Face, cara melayani model dengan vLLM, SGLang, atau Transformers, dan apa yang bisa dijalankan di atasnya untuk riset yang sah.

Apa sebenarnya arti "qwen uncensored"?

Abliteration adalah intervensi tingkat bobot, bukan fine-tune. Arah penolakan adalah vektor dalam aliran residual model yang, saat diaktifkan, menghasilkan "Saya tidak bisa membantu dengan itu"; abliteration menemukan arah tersebut dan mengeluarkannya secara ortogonal dari bobot. Pada build ini, penghapusan diterapkan pada 131 matriks penulisan residual (metode dari Arditi et al. 2024, "Refusal in Language Models Is Mediated by a Single Direction"), dan hasilnya dikuantisasi ulang agar sesuai dengan skema Qwen3.8-27B-FP8 resmi byte-demi-byte sehingga vLLM menyajikannya pada jalur kernel FP8 yang identik. Tidak ada bobot baru yang dilatih.

Perbedaan itu penting karena hasil teratas untuk "qwen uncensored" mencampur tiga hal yang berbeda: edit bobot yang di-abliterated seperti yang satu ini, paket "uncensored" prompt sistem yang hanya menutupi penolakan di tingkat prompt, dan fine-tune LoRA yang dilatih tanpa data keselamatan. Ketiganya tidak setara, dan sebagian besar halaman yang masuk peringkat untuk kueri tersebut tidak memberi tahu Anda keluarga mana yang sedang mereka deskripsikan. Jika Anda ingin mempelajari mekanisme penolakan itu sendiri, hanya intervensi tingkat bobot yang merupakan hal yang sesungguhnya.

Apa yang sebenarnya dilakukan oleh penghapusan penolakan — angkanya

Kartu model menerbitkan rangkaian evaluasi keselamatan, yang dijalankan pada model yang dilayani vLLM dan bertanggal 15 Agustus 2026. Dengan mode berpikir dimatikan, penolakan pada tujuh tolok ukur prompt berbahaya turun drastis dari 64–99% pada model dasar menjadi 0–6% pada build ini: AdvBench 99.0% menjadi 0.0%, JailbreakBench 94.0% menjadi 0.0%, StrongREJECT 97.3% menjadi 2.0%, HarmBench 98.7% menjadi 2.7%, MaliciousInstruct 99.0% menjadi 0.0%, SimpleSafetyTests 64.0% menjadi 6.0%, ForbiddenQuestions 73.3% menjadi 4.7%. Dengan mode berpikir aktif, model pada dasarnya tidak pernah menolak — 1.7% atau kurang. Angka terpisah yang penting adalah tingkat peringatan: 30–50% jawaban 'tidak disensor' masih menambahkan pernyataan singkat di awal sebelum menjawab; itu adalah artefak pelatihan, bukan penolakan.

Sisi sebaliknya adalah apa yang tidak berubah. Penolakan berlebihan terhadap prompt jinak turun dari 5,6% menjadi 0,4% pada XSTest-safe, dan setiap tolok ukur kemampuan tetap dalam ±1,3 poin dari basis: MMLU 84,3% menjadi 84,7%, GSM8K 90,0% menjadi 88,7%, MMLU-Pro 77,6% menjadi 76,8%, CMMLU 81,4% menjadi 80,8%. Perplexity WikiText-2 adalah 6,96. Dengan kata lain, intervensi tersebut menghilangkan perilaku penolakan tanpa menurunkan model secara signifikan.

Cara menariknya dari Hugging Face

Repositori ini adalah orcarouter/Qwen3.8-27B-Uncensored-FP8, dan bersifat gated: Anda masuk dengan akun Hugging Face dan menyetujui persyaratan sebelum file diunduh — gate itu sendiri adalah disclaimer, karena membaca README adalah bagian dari menerima model ini. Yang Anda unduh adalah 30,9 GB dalam tujuh pecahan safetensors (1.606 tensor) dalam block-FP8 (E4M3, blok 128×128, aktivasi dinamis), dengan vision tower, norma, embedding, dan lm_head tetap dalam BF16. Lisensinya adalah Apache 2.0, diwarisi dari basis Qwen/Qwen3.8-27B. Tidak ada Hugging Face Inference Provider yang menghostingnya — Anda menjalankannya sendiri, atau menggunakan kartu yang dihosting.

Cara menjalankannya

Bobotnya sekitar 31 GB — sekitar setengah dari checkpoint BF16 ~56 GB — dan kartu model merekomendasikan satu H100 80GB atau H200 143GB, dengan ~40 GB VRAM sebagai batas bawah praktis untuk bobot ditambah cache KV kecil. Konteks penuh 262K membutuhkan lebih banyak, tetapi cache KV FP8 mengurangi setengahnya. Konfigurasi yang diverifikasi kartu model adalah satu H200 dengan --max-num-seqs 96, cache KV FP8, dan MTP diaktifkan.

vLLM adalah jalur yang dituju, dan itu satu perintah, karena skema FP8 cocok persis dengan build resmi:

vllm serve "orcarouter/Qwen3.8-27B-Uncensored-FP8"

Itu memberi Anda endpoint yang kompatibel dengan OpenAI di localhost:8000/v1/chat/completions. Padanan Docker-nya adalah docker model run hf.co/orcarouter/Qwen3.8-27B-Uncensored-FP8. Untuk pengaturan lengkap, kartu tersebut menyarankan: --language-model-only untuk serving khusus teks, --speculative-config '{"method":"mtp","num_speculative_tokens":3}' untuk mengaktifkan head speculative-decoding MTP, --kv-cache-dtype fp8, --max-model-len 262144, --reasoning-parser qwen3, dan --enable-auto-tool-choice --tool-call-parser qwen3_coder untuk tool calling. Jangan berikan --quantization fp8 — skema tersebut dibaca dari config.json. Hapus --kv-cache-dtype fp8 jika Anda menginginkan cache KV BF16, dan hapus --language-model-only jika Anda memerlukan vision tower.

Untuk SGLang: python3 -m sglang.launch_server --model-path "orcarouter/Qwen3.8-27B-Uncensored-FP8" --host 0.0.0.0 --port 30000. Untuk Transformers, kartu tersebut mendokumentasikan baik API pipeline — pipeline("image-text-to-text", model="orcarouter/Qwen3.8-27B-Uncensored-FP8") — maupun AutoProcessor.from_pretrained(...) serta AutoModelForMultimodalLM.from_pretrained(..., device_map="auto").

Apa yang sebenarnya harus dilakukan dengan itu dalam penelitian.

Inti dari model yang telah dihapus penolakannya adalah menjadi objek kajian, dan build ini luar biasa mudah untuk dikaji karena intervensinya terdokumentasi. Tiga proyek penelitian yang konkret dan sah:

• Reproduksi delta penolakan. Jalankan AdvBench, HarmBench, StrongREJECT, atau XSTest-safe terhadap build abliterated dan FP8 dasar, dan konfirmasi angka pada kartu: 64–99% menjadi 0–6% pada prompt berbahaya, 5,6% menjadi 0,4% over-refusal pada prompt yang jinak. Pasangan sebelum/sesudah itulah tepatnya pengukuran yang dibutuhkan tim keselamatan untuk mengetahui apakah metode penghapusan penolakan berhasil dan berapa biayanya.

• Pelajari di mana penolakan berada. Karena build tersebut mendokumentasikan 131 matriks yang diortogonalisasi, Anda dapat membandingkan arah aliran residual dengan basis dan melihat apa yang digerakkan oleh intervensi. Hasil dengan pemikiran aktif informatif di sini: penolakan turun hingga 1,7% atau kurang ketika pemikiran diaktifkan, yang merupakan bukti bahwa jejak penalaran adalah tempat arah tersebut paling berpengaruh.

• Evaluasi guardrail Anda sendiri. Baseline tanpa guardrail adalah kontrol yang tepat untuk menguji lapisan moderasi. Jalankan filter Anda pada keluaran model ini dan ukur apa yang ditangkapnya — begitulah cara Anda mengukur lapisan keamanan yang Anda tambahkan di atasnya.

Ketika model ini adalah jawaban yang salah

Jika Anda menginginkan asisten normal, atau apa pun yang akan Anda hadapkan ke pengguna akhir, ini adalah model yang salah — model ini tidak memiliki pengaman bawaan yang berarti, ia akan mematuhi permintaan yang ditolak model dasar, dan Apache 2.0 tidak mengalihkan tanggung jawab Anda. Gunakan Qwen3.8-27B yang selaras asli sebagai gantinya. Jika Anda ingin mengalihkan penolakan pada chatbot, paket system-prompt mencapai lebih banyak dengan risiko lebih kecil daripada edit bobot. Dan jika Anda tidak memiliki kartu ~40 GB tetapi masih ingin mempelajari model ini, model yang dihosting obsidian/Qwen3.8-27B di OrcaRouter menyajikan lini 27B tanpa sensor yang sama dengan harga $0,40 per juta token input dan $4,21 per juta token output, dengan konteks 262K yang sama — aksesnya dibatasi untuk peneliti keamanan dan keselamatan AI, dan keputusan moderasi tetap berada di tangan Anda.

Batas keamanan — baca ini sebelum Anda mengunduh

Model ini telah mengalami penyelarasan keamanan yang {{1}}dihilangkan secara substansial{{/1}}. Model ini akan memenuhi permintaan {{2}}berbahaya, tidak etis, ofensif, atau ilegal{{/2}} yang akan ditolak oleh Qwen3.8-27B asli, dan tidak memiliki pengaman bawaan yang berarti. Model ini dirilis secara ketat untuk penelitian yang sah — {{3}}studi interpretabilitas, keamanan AI, dan mekanisme penolakan, red-teaming, evaluasi ketahanan, serta eksperimen terkendali{{/3}}. Anda memikul tanggung jawab dan kewajiban penuh atas cara Anda menggunakannya dan atas segala sesuatu yang dihasilkannya, dan Anda tidak boleh menyebarkannya kepada pengguna akhir atau ke produksi tanpa menambahkan {{4}}lapisan keamanan, moderasi, dan pencegahan penyalahgunaan{{/4}} Anda sendiri. Para penulis tidak menerima tanggung jawab atas penyalahgunaan. Mengunduh repositori berarti Anda menerima ketentuan ini; lisensinya adalah {{5}}Apache 2.0{{/5}}.

Artikel ini sengaja tidak memuat prompt yang berbahaya. Angka penolakan di atas berasal dari rangkaian evaluasi keamanan kartu model itu sendiri, yang merupakan cara yang tepat untuk mengukur model kelas ini: jalankan benchmark penolakan standar, baca angkanya, dan rancang riset Anda berdasarkan apa yang ditunjukkan angka-angka tersebut.

Intinya

"Qwen uncensored" adalah pencarian akan sebuah teknik, dan versi yang pertama kali dicoba adalah Qwen3.8-27B-Uncensored-FP8: satu-satunya build Qwen3.8 tanpa penolakan yang berjalan di jalur kernel FP8 vLLM resmi dengan konteks 262K, visi, dan MTP yang utuh, didukung oleh evaluasi sebelum/sesudah yang dipublikasikan. Unduh 30,9 GB yang terkunci dari Hugging Face, jalankan dengan vLLM pada satu H100 atau H200, dan gunakan untuk apa ia dimaksudkan — mengukur penolakan, mempelajari mekanisme penolakan, dan menguji guardrail. Jangan gunakan sebagai chatbot, dan jangan distribusikan ke pengguna akhir. Bobotnya gratis; tanggung jawab atas apa yang Anda lakukan dengannya sepenuhnya ada di tangan Anda.

Untuk penelitian yang sah, bobotnya ada di Hugging Face: Unduh dari Hugging Face