Scheda del titolo per l'articolo "Qwen Uncensored, Explained", che mostra una scheda di ricerca arrotondata con uno scudo che viene aperto per rivelare un cervello-circuiti, un'icona di un microscopio e un'etichetta con scritto SOLO RICERCA, con chip con scritto ABLITERATED, BLOCK-FP8 e CONTESTO 262K.
Guides & Insights

Qwen Uncensored, spiegato: come eseguire il Qwen3.8-27B-FP8 abliterato

Autore

jinhao.song

Data di pubblicazione

Ultimi modelli · 20Vedi tutti i modelli →
Benchmark: Artificial Analysis · aggiornato ogni giorno
Torna a tutti gli articoli

Qwen senza censura su Hugging Face significa quasi sempre abliterazione — la direzione di rifiuto del modello rimossa dal suo residual stream — e la build da cui partire è Qwen3.8-27B-Uncensored-FP8, rilasciata su Hugging Face il 15 agosto 2026. È una versione abliterata block-FP8 di Qwen3.8-27B che viene servita esattamente sullo stesso percorso kernel vLLM della versione FP8 ufficiale, con il contesto 262K, la vision tower e la testa di speculative decoding MTP intatti — e ha ottenuto 257 like e 4.285 download il primo giorno. È uno strumento di ricerca, non un chatbot: nessun guardrail integrato, Apache 2.0, e soddisfa richieste che il modello base rifiuta. Questa guida illustra cosa ha effettivamente cambiato l'abliterazione, come scaricare i 30,9 GB di pesi da Hugging Face, come servire il modello con vLLM, SGLang o Transformers e cosa eseguirci sopra per una ricerca legittima. Il confronto di questa build con gli altri repository senza censura per numero di download è riportato nella classifica llm senza censura.

Cosa significa realmente "qwen uncensored"

L'abliterazione è un intervento a livello di pesi, non un fine-tuning. La direzione di rifiuto è un vettore nel residual stream del modello che, quando viene attivata, produce "Non posso aiutarti con questo"; l'abliterazione individua quella direzione e la ortogonalizza rimuovendola dai pesi. In questa build la rimozione è stata applicata a 131 matrici di scrittura nel residual (il metodo di Arditi et al. 2024, "Refusal in Language Models Is Mediated by a Single Direction"), e il risultato è stato riquantizzato per corrispondere byte per byte allo schema ufficiale Qwen3.8-27B-FP8, così che vLLM lo serva sull'identico percorso kernel FP8. Nessun nuovo peso è stato addestrato.

Questa distinzione è importante perché i risultati principali per "qwen uncensored" mescolano tre cose diverse: modifiche ai pesi tramite abliteration come questa, "uncensored pack" basati su system prompt che mascherano i rifiuti solo a livello di prompt, e fine-tune LoRA addestrati senza dati di sicurezza. Non sono equivalenti, e la maggior parte delle pagine che si posizionano per la query non ti dice quale famiglia stia descrivendo. Se vuoi studiare il meccanismo di rifiuto in sé, solo l'intervento a livello dei pesi è quello reale.

Che cosa ha effettivamente fatto la rimozione del rifiuto — i numeri

La model card pubblica una suite di valutazione della sicurezza, eseguita sul modello servito da vLLM e datata 15 agosto 2026. Con il thinking disattivato, il rifiuto su sette benchmark di prompt dannosi crolla dal 64–99% sul modello base allo 0–6% su questa build: AdvBench da 99,0% a 0,0%, JailbreakBench da 94,0% a 0,0%, StrongREJECT da 97,3% a 2,0%, HarmBench da 98,7% a 2,7%, MaliciousInstruct da 99,0% a 0,0%, SimpleSafetyTests da 64,0% a 6,0%, ForbiddenQuestions da 73,3% a 4,7%. Con il thinking attivato, il modello non rifiuta praticamente mai — 1,7% o meno. Un dato separato e degno di nota è il tasso di avvertenze: il 30–50% delle risposte "non censurate" antepone comunque un breve disclaimer prima di rispondere; si tratta di un artefatto dell'addestramento, non di un rifiuto.

Il rovescio della medaglia è ciò che non è cambiato. Il rifiuto eccessivo su prompt benigni scende dal 5,6% allo 0,4% su XSTest-safe, e ogni benchmark di capacità resta entro ±1,3 punti dalla base: MMLU dall'84,3% all'84,7%, GSM8K dal 90,0% all'88,7%, MMLU-Pro dal 77,6% al 76,8%, CMMLU dall'81,4% all'80,8%. La perplessità di WikiText-2 è 6,96. In altre parole, l'intervento ha rimosso il comportamento di rifiuto senza degradare in modo significativo il modello.

A before-and-after card for Qwen3.8-27B-Uncensored-FP8, with a Base column and an Abliterated column: refusal with thinking off 64-99% down to 0-6%, refusal with thinking on down to 1.7% or less, over-refusal on benign prompts 5.6% down to 0.4%, MMLU 84.3% to 84.7%, GSM8K 90.0% to 88.7%, and WikiText-2 perplexity 6.96, with a footer reading Model-card evaluation, vLLM-served, August 15 2026.

Come scaricarlo da Hugging Face

Il repository è orcarouter/Qwen3.8-27B-Uncensored-FP8 ed è ad accesso controllato (gated): si accede con un account Hugging Face e si accettano le condizioni prima che i file vengano scaricati — il gate stesso è il disclaimer, perché leggere il README fa parte dell'accettazione di ciò che questo modello è. Ciò che si sta scaricando sono 30,9 GB distribuiti su sette shard safetensors (1.606 tensori) in block-FP8 (E4M3, blocchi 128×128, attivazioni dinamiche), con vision tower, norm, embedding e lm_head mantenuti in BF16. La licenza è Apache 2.0, ereditata dal modello base Qwen/Qwen3.8-27B. Nessun Hugging Face Inference Provider lo ospita — lo esegui tu stesso, oppure usi una card ospitata.

Come eseguirlo

I pesi occupano circa 31 GB — all'incirca la metà del checkpoint BF16 da ~56 GB — e la scheda consiglia una singola H100 80GB o H200 143GB, con ~40 GB di VRAM come soglia pratica per i pesi più una piccola KV cache. Il contesto completo da 262K richiede di più, ma una KV cache FP8 lo dimezza. La configurazione verificata dalla scheda era una H200 con --max-num-seqs 96, KV cache FP8 e MTP abilitati.

vLLM è il percorso previsto, ed è un solo comando, perché lo schema FP8 corrisponde esattamente alla build ufficiale:

vllm serve "orcarouter/Qwen3.8-27B-Uncensored-FP8"

Questo ti fornisce un endpoint compatibile con OpenAI su localhost:8000/v1/chat/completions. L'equivalente Docker è docker model run hf.co/orcarouter/Qwen3.8-27B-Uncensored-FP8. Per la configurazione completa, la scheda suggerisce: --language-model-only per il servizio solo testuale, --speculative-config '{"method":"mtp","num_speculative_tokens":3}' per abilitare l'head di decodifica speculativa MTP, --kv-cache-dtype fp8, --max-model-len 262144, --reasoning-parser qwen3, e --enable-auto-tool-choice --tool-call-parser qwen3_coder per le chiamate agli strumenti. Non passare --quantization fp8 — lo schema viene letto da config.json. Rimuovi --kv-cache-dtype fp8 se desideri una KV cache BF16, e rimuovi --language-model-only se hai bisogno della vision tower.

Per SGLang: python3 -m sglang.launch_server --model-path "orcarouter/Qwen3.8-27B-Uncensored-FP8" --host 0.0.0.0 --port 30000. Per Transformers, la scheda documenta sia l'API pipeline — pipeline("image-text-to-text", model="orcarouter/Qwen3.8-27B-Uncensored-FP8") — sia AutoProcessor.from_pretrained(...) insieme ad AutoModelForMultimodalLM.from_pretrained(..., device_map="auto").

A how-to-run card for Qwen3.8-27B-Uncensored-FP8 listing the essentials: 30.9 GB of block-FP8 weights across 7 shards, roughly 40 GB of VRAM floor with H100 80GB or H200 143GB recommended, the vLLM one-liner vllm serve orcarouter/Qwen3.8-27B-Uncensored-FP8, serve flags MTP 3 speculative tokens, FP8 KV cache, max-model-len 262144, tool-call-parser qwen3_coder, and a footer reading From the Hugging Face model card, August 15 2026.

Cosa farne effettivamente nella ricerca

Lo scopo di un modello con rifiuto rimosso è essere un oggetto di studio, e questa build è insolitamente facile da studiare perché il suo intervento è documentato. Tre progetti di ricerca concreti e legittimi:

• Riproduci il delta di rifiuto. Esegui AdvBench, HarmBench, StrongREJECT o XSTest-safe sia sulla build abliterated sia sulla base FP8, e conferma i numeri della scheda: dal 64–99% allo 0–6% sui prompt dannosi, dal 5,6% allo 0,4% di rifiuto eccessivo su quelli benigni. Quella coppia prima/dopo è esattamente la misurazione di cui un team di sicurezza ha bisogno per sapere se un metodo di rimozione del rifiuto funziona e quanto costa.

• Studia dove risiede il rifiuto. Poiché la build documenta le 131 matrici che sono state ortogonalizzate, puoi confrontare le direzioni del residual stream con la base e vedere cosa ha spostato l'intervento. Il risultato con il thinking attivo è informativo qui: il rifiuto scende a 1,7% o meno quando il thinking è abilitato, il che è prova che la traccia di ragionamento è dove la direzione conta di più.

• Valuta il tuo stesso guardrail. Una baseline senza guardrail è il controllo corretto per testare un livello di moderazione. Esegui il tuo filtro sugli output di questo modello e misura ciò che intercetta — è così che quantifichi il livello di sicurezza che aggiungi sopra.

Quando questo modello è la risposta sbagliata

Se vuoi un assistente normale, o qualcosa che metteresti davanti agli utenti finali, questo è il modello sbagliato: non ha salvaguardie integrate significative, rispetterà richieste che il modello base rifiuta, e Apache 2.0 non trasferisce altrove la tua responsabilità. Usa invece l'originale Qwen3.8-27B allineato. Se vuoi deviare i rifiuti su un chatbot, un pacchetto di prompt di sistema ottiene di più con meno rischio rispetto a una modifica dei pesi. E se non hai una scheda da ~40 GB ma vuoi comunque studiare il modello, la scheda ospitata obsidian/Qwen3.8-27B su OrcaRouter serve la stessa linea 27B senza censura a $0,40 per milione di token di input e $4,21 per milione di output, con lo stesso contesto da 262K: l'accesso è riservato a ricercatori di sicurezza e di sicurezza AI, e la decisione di moderazione resta comunque dalla tua parte.

A safety-boundary card for Qwen3.8-27B-Uncensored-FP8 with two columns: under Research use it lists refusal-mechanism study, interpretability, red-teaming, robustness evaluation and guardrail testing; under Never deploy it lists end-user chatbots, production applications and consumer services with a warning that the model has no built-in guardrails, and a footer reading Apache 2.0, research-only, you assume full responsibility.

Il confine di sicurezza — leggilo prima di scaricare

Questo modello ha subito la rimozione sostanziale del suo allineamento di sicurezza. Soddisfarà richieste dannose, non etiche, offensive o illegali che l'originale Qwen3.8-27B rifiuterebbe, e non dispone di salvaguardie integrate significative. È rilasciato esclusivamente per ricerca legittima — interpretabilità, studio della sicurezza dell'IA e dei meccanismi di rifiuto, red-teaming, valutazione della robustezza ed esperimenti controllati. Ti assumi la piena responsabilità e ogni responsabilità legale per il modo in cui lo usi e per tutto ciò che genera, e non devi distribuirlo agli utenti finali o in produzione senza aggiungere i tuoi livelli di sicurezza, moderazione e prevenzione degli abusi. Gli autori non si assumono alcuna responsabilità per uso improprio. Scaricare il repository significa accettare queste condizioni; la licenza è Apache 2.0.

Questo articolo non contiene deliberatamente prompt dannosi. I numeri di rifiuto sopra provengono dalla suite di valutazione della sicurezza della scheda del modello stessa, che è il modo corretto per misurare un modello di questa classe: eseguire i benchmark standard di rifiuto, leggere i numeri e progettare la propria ricerca in base a ciò che mostrano.

In definitiva

"Qwen uncensored" è la ricerca di una tecnica, e la versione da provare per prima è Qwen3.8-27B-Uncensored-FP8: l'unica build di Qwen3.8 con rifiuti rimossi che funziona sul percorso ufficiale del kernel FP8 di vLLM con contesto 262K, visione e MTP intatti, supportata da una valutazione prima/dopo pubblicata. Scarica i 30,9 GB ad accesso limitato da Hugging Face, servili con vLLM su una singola H100 o H200 e usala per ciò per cui è pensata: misurare i rifiuti, studiare il meccanismo di rifiuto e testare le barriere di sicurezza. Non usarla come chatbot e non distribuirla agli utenti finali. I pesi sono gratuiti; la responsabilità di ciò che ne fai è interamente tua.

Per la ricerca legittima, i pesi sono su Hugging Face: Scarica da Hugging Face