Qwen3.8-27B-Uncensoredのローカル実行方法: GGUF量子化、llama.cpp、Ollama

Qwen3.8-27B-Uncensored をローカルで実行するには、Hugging Face からゲート付き GGUF リポジトリ orcarouter/Qwen3.8-27B-Uncensored-GGUF を取得し、VRAM に応じて量子化を選択します — 24 GB GPU なら Q4_K_M (16.8 GB)、16 GB GPU なら IQ4_XS (15.3 GB)、コンテキストの余裕が必要なら Q3_K_M (13.5 GB) — そして、現在の llama.cpp ビルドで --jinja フラグを使用してサーブし、ビジョンが必要なら --mmproj を追加します。同じファイルは3つのコマンドで Ollama にインポートできます。これは、2026年8月16日にリリースされたアブリテーション済み Qwen3.8 27B ビルドの GGUF バージョンであり、すべての量子化で、ネイティブの 262K コンテキスト、ビジョンプロジェクター、MTP 投機的デコーディングヘッドが保持されています。これはアシスタントではなく研究ツールです。拒否動作が除去されており、組み込みのガードレールはなく、ライセンスは Apache 2.0 です。ダウンロードする前に、このページの下部にある安全性の境界を読んでください — それがゲート付きリポジトリの存在意義です。

VRAM別：どのGGUFをダウンロードすべきか

このリポジトリには、フル精度のペアが1つと量子化されたファイルが12個含まれているため、ダウンロードするかどうかは実質的にVRAMの容量次第です。以下の数値は、2026-08-16にHugging Faceリポジトリから読み取ったファイルサイズです。

実際にリポジトリには何が含まれているか

orcarouter/Qwen3.8-27B-Uncensored-GGUFは、F16ウェイト（2つのパートに分割）、12個の量子化GGUF（Q2_K、Q3_K_S、Q3_K_M、Q3_K_L、Q4_K_S、Q4_K_M、Q5_K_S、Q5_K_M、Q6_K、Q8_0、IQ3_M、IQ4_XS）、およびmmprojビジョンプロジェクターの計15個のモデルファイルを保持しています。これは、Qwen3.8-27B-Uncensored-FP8と同じアブリテレーション済みビルドのGGUFエクスポートであり、llama.cpp系のローカルランタイム向けに再パッケージされています。また、ベースモデルのApache 2.0ライセンスとネイティブの262,144トークンコンテキストを継承しています。

すべての量子化に共通する3つの特性があります。アーキテクチャはqwen35です。これは、48層のGated DeltaNet線形層と16層のフルアテンション層によるハイブリッドアテンションであり、そのため、このリポジトリは旧バージョンのllama.cppビルドでは読み込めず、KVキャッシュも小さいままです。また、MTP（nextn）投機的デコードヘッドは、すべての量子化（K-quantとIQの両方）で保持されています。そして、チャットテンプレートはQwen Jinjaテンプレートであり、これを明示的に有効化しないと（下記参照）、マルチターン会話が壊れます。

KVキャッシュが、意味を持つほど小さく保たれる理由

これが、ローカルでの動作を成立させる肝となる詳細です。64層のうち、フルアテンションを使用するのはわずか16層で、残りの48層はGated DeltaNet線形アテンションを使用しており、従来のKVキャッシュを保持しません。このアーキテクチャの元のランブックで測定した実際の効果は、KVキャッシュがおよそ32Kコンテキストで2GB — これは従来の27Bが必要とする量の約4分の1です。だからこそ、16.8GBのQ4_K_Mファイルが長いコンテキストウィンドウでも24GBカードに収まり、55.6GBのBF16チェックポイントをまったくホストできないハードウェアでも、無検閲のGGUFシリーズがプレイ可能なのです。

llama.cppで実行する

llama.cppが意図されたパスです。最新のビルドが必要です: トランクはqwen35アーキテクチャを登録しており、古いビルドはファイルを完全に拒否します。コマンドの形は、モデルカードの使用上の注意とこのアーキテクチャのランブックから、次のようになります:

llama-server -m Qwen3.8-27B-Uncensored-Q4_K_M.gguf --ctx-size 32768 --n-gpu-layers 99 --jinja

これで、localhost:8080 に OpenAI 互換のエンドポイントが作成されます。画像入力を追加するには--mmproj mmproj-Qwen3.8-27B-Uncensored-f16.ggufを追加します。Q4_K_M は、お使いの VRAM に合った量子化タイプに置き換えてください。フラグは同じです。

Ollama で実行してください

Ollamaは、ライブラリにないGGUFを追加するためのサポートされている方法であるModelfileからインポートすることで、同じファイルを実行します。ダウンロードしたquantが置かれているディレクトリで：

./Qwen3.8-27B-Uncensored-Q4_K_M.gguf から

その行をModelfileとして保存し、ollama create qwen3.8-27b-uncensored -f Modelfileでモデルを作成してから、ollama run qwen3.8-27b-uncensoredを実行します。ビジョン対応にするには、Modelfileにmmproj行を追加してください（FROM ... Q4_K_M.gguf に加えて mmprojパス）。そうすればOllamaがプロジェクターを自動的に組み込みます。--ctx とテンプレートについての注意点も同様です。実際に収まるコンテキストサイズを設定し、拒否応答を除去したモデルは、あなたと出力の間にガードレールがないまま回答することを覚えておいてください。

拒否の除去が実際に変えたもの

モデルカードは、このビルドの安全性評価スイートを公開している。思考モードをオフにした場合、標準的な有害プロンプトのベンチマークにおける拒否率は、ベースモデルの64〜99%から0〜6%（アブリテレーション適用後の重み）へと低下する。思考モードをオンにした場合、拒否は実質的にほぼ発生せず、1.7%以下である。能力ベンチマークはベースモデルから±1.3ポイント以内に留まる。これがこのシリーズのすべてのアブリテレーション版リリースに共通する形状である：拒否は除去され、能力は無傷のまま、そしてかなりの割合の回答が応答前に短い免責事項を前置きするという注意点がある——これはトレーニングのアーティファクトであり、拒否ではない。

その裏返しが、以下の安全境界線の要点そのものです。決して拒否しないモデルは、より優れたアシスタントではなく、別種のオブジェクトです。それは拒否メカニズムを測定し、自分のガードレールが機能しているかどうかを確かめるための試験器具です。

研究において実際にそれで何をするのか

拒否応答を除去したモデルの認可された使用法である、3つの正当なプロジェクト：

このビルドが間違った答えである場合

通常のアシスタント、つまりエンドユーザーの前に置くようなものを求めているなら、このモデルは間違いです。意味のある組み込みのガードレールはなく、ベースモデルが拒否するリクエストにも応じます。また、Apache 2.0はあなたの責任を移譲してくれるわけでもありません。そういう目的には、元の調整済みQwen3.8-27Bを使ってください。チャットボットで拒否を回避したいだけなら、ウェイト編集よりもシステムプロンプトパックの方がリスクが少なく効果的です。GPUがまったくなくてもモデルを研究したいなら、OrcaRouter上のホスト型カードobsidian/Qwen3.8-27Bが、同じ無検閲ラインを入力100万トークンあたり0.40ドル、出力100万トークンあたり4.21ドル、同じ262Kコンテキストで提供しています。リポジトリと同様にセキュリティおよびAI安全性の研究者に限定されており、モデレーションの判断は依然としてあなたの側にあります。モデルカードには価格とベンチマークの詳細が記載されています。

安全の境界線 — ダウンロードする前に必ずお読みください

このモデルは、セーフティアライメントが大幅に除去されています。元のQwen3.8-27Bであれば拒否するような、有害・非倫理的・攻撃的・違法なリクエストにも応じる可能性があり、実質的な内蔵ガードレールは備わっていません。本モデルは厳密に正当な研究目的——解釈可能性、AI安全性・拒否メカニズムの研究、レッドチーミング、堅牢性評価、統制された実験——のためにのみ公開されています。ご利用方法および生成されるすべての内容について、利用者は全責任と法的責任を負うものとします。また、独自の安全性・モデレーション・悪用防止レイヤーを追加せずに、エンドユーザーへの展開や本番環境への導入を行うことはできません。著者は誤用に対するいかなる責任も負いません。リポジトリをダウンロードした時点で、これらの条件に同意したものとみなされます。ライセンスはApache 2.0です。

この記事には、意図的に有害なプロンプトは含まれていません。上記の拒否率は、モデルカード自体の安全性評価スイートに由来しています。これは、このクラスのモデルを測定する正しい方法です。つまり、標準的な拒否ベンチマークを実行し、数値を読み、それらが示す内容に基づいて研究を設計するということです。

出典と日付

上記のすべての事実は2026-08-16に検証されました。ファイル一覧とサイズは、Hugging Faceリポジトリorcarouter/Qwen3.8-27B-Uncensored-GGUF（2026年8月16日作成、アーキテクチャqwen35、Apache 2.0、ゲート付き）から読み取られています。拒否率と性能数値は、モデルカードの安全性評価スイートに基づいています。KVキャッシュの測定値（32Kコンテキストで約2GB）は、このアーキテクチャのOrcaRouterランブック「How to Run Qwen 3.8 27B Locally」に記載のものです。ホスティング価格とゲート設定は、同日に確認したobsidian/Qwen3.8-27Bモデルページに基づいています。量子化ファイルのサイズは、Hugging Faceに保存されている10進数GB表記です。

正当な研究用途であれば、重みはHugging Faceにあります：Hugging Faceからダウンロード — クレジットカード不要、60秒で利用可能。