Qwen 3.8 MoE：どのメンバーがMixture-of-Expertsで、それがあなたにとって何を変えるのか

はい — 3.8世代にはMixture-of-Expertsモデルが含まれており、その問いにそのまま答えるのはQwen3.8-2.4T-A95B、つまり2026年8月にA​libabaがオープンウェイトとして公開した2.4兆パラメータのMaxコアであり、Qwen3.8-Flash-Next、つまりQwen4アーキテクチャの1250億パラメータのスパースプレビューです。読者が実際に呼び出せる2つのメンバー — Qwen3.8-MaxとQwen3.8-Flash — は、これら2つのアーキテクチャから派生したベンダー自身の提供ビルドであるため、内部構成が公開されていなくても、系譜上はスパースです。唯一の例外は、多くの人がここに来る時点ですでに手にしているメンバー、Qwen3.8-27Bは密（dense）であり、その名前からは何もわかりません。これが答えのすべてで、このページの残りはその背後にある数字であり、その一つひとつは議論スレッドからではなく、A​libaba自身のモデルカードから取られています。

この記事の日付はモデルの日付を示すために使われているのであって、モデルを発表するためのものではありません。このページが答えるのは、読者が今まさに入力している問いです。2026-09-15から2026-10-12の期間に、当社自身のSearch Consoleプロパティは単一のクエリ qwen 3.8 moe で432インプレッションと35クリックを記録しました — クリックスルー率8.1%はそのバッチ内のどのクエリよりも高く、さらに3件のロングテール行を加えると、このファミリーは440インプレッション、36クリックになります。これを入力している読者はニュースを探しているのではありません。これからダウンロードしたり呼び出したりしようとしているモデルがスパースなのかどうかを知ろうとしているのです。なぜならその答えが、自分が何を動かせるかを決めるからです。本サイトのどこもこれに答えておらず、それがこのページが存在する理由です。問いがアーキテクチャではなく特定のメンバーに関するものである場合、それを扱うページはその都度名前を挙げます。

名前が教えてくれる、記法を知っていれば

AlibabaはどのQwen 3.8モデル名にも「MoE」を入れていない。パラメータ数は総-Aアクティブとして表記する。したがって2.4T-A95Bは、2.4兆個のパラメータが保存され、トークンあたり950億個が活性化される、と読める。その-Aの部分が鍵だ。名前に活性化の数値が含まれていればスパースモデルであり、10億台の単一の丸められた数値だけなら密なモデルである。Qwen3.8-27Bには活性化の数値がない。そのパラメータはすべてトークンごとに有効だからであり、そのモデルカードでは、それを説明する最初の文で「コンパクトでデプロイしやすい密なモデル」と呼んでいる。

その解釈は世代を通じて当てはまる：

• Qwen3.8-2.4T-A95B — 混合エキスパート、512エキスパート、2.4T保存／95Bアクティブ、オープンウェイト、独自ライセンス。

• Qwen3.8-Flash-Next — 混合エキスパート、512エキスパート、125B保存＋51Bのn-gramテーブル／6Bアクティブ、オープンウェイト、コミュニティライセンス。

• Qwen3.8-Max — 提供されているビルド。アリババ自身の重みのカードには、Maxは「Qwen3.8-2.4T-A95Bに基づく公式バージョン」と記載されており、同社のクラウドモデルページでは「2.4兆パラメータのMoEフラッグシップ」と説明されている。スパース。

• Qwen3.8-Flash — Flash-Next から派生した提供ビルドで、デフォルトで 100 万トークンのコンテキストを備えています。生まれながらにしてスパースです。

• Qwen3.8-27B — デンス型、27B保存・27Bアクティブ、Apache 2.0。その構成のどこにもエキスパートは存在しません。

アーキテクチャは、カードそのものから

両方のスパースモデルは Hugging Face 上で同じ形式で文書化されており、以下の数値はQwen/Qwen3.8-2.4T-A95BとQwen/Qwen3.8-Flash-Nextからそれぞれ引用したものです。数値がモデルカードに記載されていない場合、本ページではフォーラムから借用するのではなく、その旨を明記しています。

Qwen3.8-2.4T-A95B — Maxコア

これは92層の因果言語モデルで、そのブロック構造はカードに 23 × (3 × (Gated DeltaNet → MoE) → 1 × (Gated Attention → MoE)) と記載されています。平たく言えば、フルアテンションブロックごとに3つの線形アテンションブロックがあり、その両方の後にMixture-of-Expertsフィードフォワード層があります。エキスパート層は 512エキスパート、トークンごとにルーティング10個＋共有1個が活性化 と指定されており、エキスパート中間次元は2048です。保存パラメータは2.4T、活性化パラメータは95Bです。アテンション方式はハイブリッドで、V用の128線形ヘッドとQK用の16ヘッド（ヘッド次元128）を備えたGated DeltaNetと、64クエリヘッド、4 KVヘッド（ヘッド次元256）、ロータリー次元64のGated Attentionを組み合わせています。コンテキストはネイティブで262,144トークン、1,010,000まで拡張可能です。カードには、複数ステップで訓練されたマルチトークン予測についても記載されており、設定ファイルはスパースなフィールドを直接確認しています：num_experts: 512、num_experts_per_tok: 10、num_hidden_layers: 92。

このカードが明示していて、読み手が軽視すべきでない点が二つある。それはテキスト専用——ビジョンタワーはなし——であり、カード自身の注記にも、ホスト版のMaxはこれらの重みに加えてビジョン入力、ノンシンキング対応、デフォルトで1Mコンテキスト、組み込みツールを追加すると記されている。つまり、ダウンロード可能な成果物は、同じコアを共有するAPIよりも範囲が狭い。そして、これは独自契約qwen3.8-maxの下で提供されており、Apache 2.0でもコミュニティライセンスでもない。本ページではそれらの条件について改めて論じることはせず、それらは重み自体のページで扱われている。

Qwen3.8-Flash-Next — より小さなスパースアーキテクチャ

これは、スパース比率が最も極端で、最も誤読されやすいモデルです。そのカードには、48層が次のように配置されていると記載されています：12 × (3 × (Gated DeltaNet → MoE) → 1 × (Qwen Sparse Attention → MoE))、同じ512個のエキスパートを持ち、ルーティングされるのは10個、共有が1個で、エキスパート中間次元は640 — Maxコアの3分の1です。パラメータは異例な形で示されています：「125B（うち6Bがアクティブ）に加えて、51Bのn-gram埋め込みと4BのMTP」。これら3つのコンポーネントが、そのリポジトリのサイドバーに180Bと表示される一方でMoE本体は125Bである理由であり、「125B vs 2.4T」を比較する読者が間違った数値を比較している理由でもあります。アテンションはGated DeltaNetとQwen Sparse Attentionを組み合わせたもので、カードによれば、個々のトークンを選択するのではなくマイクロブロックレベルで動作します。コンテキストはネイティブで262,144、1,000,000まで拡張可能です。ライセンス：Qwen Community License 1.0。その設定ファイルには、num_experts: 512、num_experts_per_tok: 10および48層も記録されています。

A​libabaが公開していないもの

提供中のQwen3.8-Maxについて、本ページが参照できたベンダー資料のいずれにも、エキスパート数、レイヤー数、活性化パラメータ数、トークンごとのルーティング仕様は記載されていません。ベンダーはこれを2.4兆パラメータのMoEフラッグシップと説明し、Qwen3.8-2.4T-A95Bを基盤としていると述べていますが、公表されている詳細はそこまでであり、これら2つの記述からアーキテクチャが一致すると推測するのは妥当ではあるものの、文書化された事実ではありません。同じ欠落は、提供中のQwen3.8-Flashにも同種の形で当てはまります。同モデルはFlash-Nextからの派生であると述べられている一方で、その内部構成は一切公表されていません。ホスト版Maxのエキスパート数を提示してくるページは、ベンダーが開けたままにした空白を埋めているにすぎません。

アクティブパラメータの数値が実行の何を変えるか

これこそが、その問いがそもそも投げかけられる理由であり、そしてその答えは同時に二つの方向へ向かう。

ダウンロードサイズはアクティブな数ではなく、合計に従います。 Qwen3.8-2.4T-A95B は、BF16 リポジトリでは 213 シャードにまたがって約 4.9 TB、FP8 の兄弟モデルでは約 2.5 TB です。いずれにせよワークステーション向けではなく、ラックスケールの成果物です。Qwen3.8-Flash-Next は BF16 で 131 シャードにまたがって約 360 GB、コンポーネントを合計した独自のサイドバー集計では約 180 GB です。ディスク上では、スパース設計によってどちらかが小さくなることはありません。エキスパートの重みはすべて存在し、すべて保存する必要があります。

計算帯域とメモリ帯域はアクティブ数に連動します。Max コアの 2.4T パラメータのうち 95B だけが、そして Flash-Next の保存パラメータのうち 6B だけが、いずれか 1 トークンに関与するため、これらのモデルのトークンあたりのコストは、ファイルサイズから想像されるよりもはるかに小さい密なモデルのそれに近くなります。この差こそが、2.4 兆パラメータのモデルをそもそも提供できる唯一の理由であり、カード上では脚注のように見える同じ総パラメータ対アクティブパラメータ比が、そこに載る数値の中で運用上最も重要なものである理由でもあります。本ページではその隣に 1 秒あたりトークン数の数値を掲載しません。われわれが示し得るいかなるレートも、2 つの異なる量子化と未知のサービングスタックをまたいで成り立つことはないからです——転用可能な事実はこの比率であり、スループットはそうではありません。

Flash-Next は、脚注ではなくここで扱うべき第二の厄介な点を加える。その 51B n-gram 埋め込みテーブルはルックアップ構造であり、このカード自身の説明では、埋め込みは「Mixture-of-Experts よりもオフロードしやすい」とされている。それによって、このサイズのチェックポイントを、埋め込みテーブルをアクセラレータメモリに固定するのではなくホストメモリに常駐させたまま実行できる——これは設計上の選択であり、あなたのマシンについての主張ではない。実用上の帰結として、Flash-Next は VRAM を増やすよりもシステム RAM を増やすほうが収まりやすく、これは同等の保存サイズの密なモデルの挙動とは逆である。

密な兄弟が座る場所

Qwen3.8-27Bは、この世代の他のモデルを測る際の反例となる。64層、エキスパートバンクではなく幅17,408の中間フィードフォワード次元、保存時27B・稼働時27B、Apache 2.0、そして個人が所有するハードウェアに収まる約55.6 GBのBF16重み。スパースなモデルがストレージを引き換えにトークンあたりの小さな計算フットプリントを得るのに対し、高密度モデルはトークンあたりのコストを引き換えに予測可能性を得る。すべてのパラメータが稼働するため、メモリと速度の見積もりはきわめて容易だ。Qwen3.8-27Bページはそのモデルを所有しており、その完全な解説、各種フォーマット、適合性はそちらに譲る。このページに必要なのは対比だけだ。

何が未解決なのか

提供される Qwen3.8-Max と Qwen3.8-Flash が、ダウンロード可能なコアと同じエキスパート数とルーティングを実際にインスタンス化しているかどうかは検証されていない。ベンダーは導出について述べるだけで、それ以上は触れていない。そのため、API モデルに関する具体的なエキスパート数は未確認として扱うべきだ。また、Flash-Next をめぐるオープンな量子化エコシステムでは、およそ 1 ビットからフル精度までのビルドが生まれているが、同一ハードウェア上で行われた制御された低ビット比較は公開されていない。ビット幅を選ぶのであれば、その判断は自分で測定して下すべきものだ。

利用可能性

エキスパート数が記載されている2つのメンバー — Qwen3.8-2.4T-A95B と Qwen3.8-Flash-Next — は、ダウンロードして自らホスティングする成果物です。どちらも本日時点で当社のモデル一覧には含まれておらず、これらに似た id も存在しないため、本ページはこれらのモデルについても、「Qwen3.8-MoE」という名前のいかなるモデルについても、提供状況に関する主張は行いません。この名前はアーキテクチャを表すものであり、当社のカタログにこの名前で販売されているものはありません。当社が実際に提供しているのは、同じ世代に属する他の3つのメンバーであり、質問がアーキテクチャに関するものだった読者は、そのいずれを呼び出してもかまいません：

• qwen/qwen3.8-27b — dense で Apache-2.0、セルフホスト可能なモデル。テキスト・画像・動画の入力に対応し、コンテキスト長は262,144トークン。プロバイダーの公開価格表では入力100万トークンあたり0.33ドル、出力100万トークンあたり2.40ドル。

• qwen/qwen3.8-flash — Flash-Next から派生したスパースな本番運用レーン。100万トークンのコンテキスト、入力は100万トークンあたり $0.15、出力は100万トークンあたり $0.47、キャッシュ済み入力は約 $0.018。

• qwen/qwen3.8-max — エンドポイントの背後にあるMaxコア。100万トークンのコンテキスト、入力100万トークンあたり$2.00、出力100万トークンあたり$6.00。

3つとも1つのOpenAI互換エンドポイントの背後に位置しているため、ご自身のトラフィックで、提供されているスパースモデルに対してデンス形状を実行する際に必要なのは、統合ではなくモデルIDの変更だけです。これらの価格は、プロバイダーが公開している定価をマークアップなしでそのまま通したものであり、だからこそベンダーの価格変更が当日にはあなたのエンドポイントに反映されるのです。

その比較の高密度（デンス）側は、ハードウェアにおける逃げ道でもあり、このページの読者の大半が最終的に選ぶ道でもある。Qwen3.8-27BはBF16ウェイトで約55.6 GB、27Bを保存し27Bがアクティブ、Apache 2.0——つまり、この世代で唯一、電卓ひとつで収まるかどうかを見積もれるモデルだ。スパースな側は、提供されるトークンあたりのコストは安いが、所有するには重い。Maxコアで約4.9 TBのウェイト、Flash-Nextで約360 GBで、どちらもレンタルではなく自前でプロビジョニングするインフラを必要とする。Qwen3.8-27Bのページが、収まり具合、フォーマット、ライセンスに関する疑問を扱っている。このページはアーキテクチャまでで止まる。

では、アーキテクチャの答えは、あなたが実行すべきものを変えるのでしょうか？ここにたどり着いた検索が示唆するほどではありません。モデルを呼び出しているなら、スパースメンバーによる節約分はすでに私たちの料金に織り込まれており、選択はアーキテクチャ上のものではなく、コストと品質のものです。モデルをダウンロードする場合、答えは、512エキスパートを持つQwen 3.8モデルはどれもワークステーションには収まらないということです。収まるのはdenseな27Bであり、それこそが-A表記がずっとあなたのために静かに下していた決定なのです。

その比較におけるdenseな側は、ハードウェア上の逃げ道でもあり、このページの読者の大半が最終的に選ぶのもそれです。Qwen3.8-27BはBF16ウェイトで約55.6 GB、保存27B・アクティブ27B、Apache 2.0 —— つまり、この世代で唯一、その収まりを電卓1台で見積もれるモデルです。