主視覺標題卡寫著「Qwen 3.8 MoE」,副標為「哪些成員屬於混合專家」,四張卡片分別寫著「Qwen3.8-2.4T-A95B — 512 個專家,2.4T / 95B 啟用參數」、「Qwen3.8-Flash-Next — 512 個專家,125B / 6B 啟用參數」、「Qwen3.8-Max / Flash — 已上線服務,稀疏架構一脈相承」與「Qwen3.8-27B — 稠密,無專家」,頁尾寫著「數據依據 Hugging Face 上 Qwen/Qwen3.8-2.4T-A95B 與 Qwen/Qwen3.8-Flash-Next 的模型卡,讀取於 2026 年 10 月 13 日。」OrcaRouter 標誌合成於右下角。
Guides & Insights

Qwen 3.8 MoE:哪些成員是混合專家,以及這對你有什麼改變

作者

Magnus Corvin

發佈日期

最新模型 · 20查看全部模型 →
基準測試:Artificial Analysis · 每日更新
返回全部文章

是的——3.8 世代包含混合專家(mixture-of-experts)模型,而會回應這個直白問題的,是 Qwen3.8-2.4T-A95B,也就是阿里巴巴於 2026 年 8 月以開放權重發布的 2.4 兆參數 Max 核心,以及 Qwen3.8-Flash-Next,Qwen4 架構的 1,250 億參數稀疏預覽版。讀者真正能呼叫的兩個成員——Qwen3.8-Max 與 Qwen3.8-Flash——是該廠商自家提供的服務版本,衍生自這兩個架構,因此就血統而言它們是稀疏的,儘管其內部組態並未公布。唯一的例外,是大多數人來到這裡時手上早已握有的那個成員:Qwen3.8-27B 是稠密的,而它的名稱裡完全沒提到這一點。這就是完整的答案,而本頁其餘部分則是支撐這個答案的數字,每一項都取自阿里巴巴自家的模型卡,而非來自某個討論串。

本文中的日期用於標定這些模型的時間,而非用來發布它們。本頁回答的是讀者現在正在輸入的問題:在 2026-09-15 到 2026-10-12 期間,我們自家的 Search Console 資源在單一查詢 qwen 3.8 moe 上記錄到 432 次曝光與 35 次點擊——點閱率 8.1%,是同一批次所有查詢中最高的——再加上三個長尾資料列,使該系列來到 440 次曝光與 36 次點擊。輸入該查詢的讀者並不是在找新聞。他們是想弄清楚自己即將下載或呼叫的模型是否為稀疏模型,因為答案決定了他們能執行什麼。本站上沒有任何內容回答這個問題,這就是本頁存在的原因。當問題涉及的是特定成員而非架構時,我們會隨文指出負責該問題的頁面。

名字本身就告訴你了,只要你看得懂這個標記法

A​libaba 不會在任何 Qwen 3.8 模型名稱中放入「MoE」。它把參數數量寫成 總數-A啟用數,所以 2.4T-A95B 讀作 2.4 兆個已儲存參數,以及每個 token 啟用 950 億個。-A 那一半就是線索:名稱中含有啟用數字的是稀疏模型,而只有一個十億級整數的名稱則是稠密模型。Qwen3.8-27B 不帶啟用數字,因為它的每一個參數在每個 token 上都會生效,而它的模型卡在描述它的第一句話就稱它為「精巧、部署友善的稠密模型」。

這種解讀在整個世代中都成立:

• Qwen3.8-2.4T-A95B — 混合專家、512 個專家、2.4T 儲存/95B 啟用、開放權重、自訂授權。

• Qwen3.8-Flash-Next — 混合專家架構,512 個專家,125B 儲存參數加上 51B 的 n-gram 表/6B 啟用參數,開放權重,社群授權條款。

• Qwen3.8-Max——實際提供服務的版本;Alibaba 自家針對權重發布的說明卡指出,Max 是「以 Qwen3.8-2.4T-A95B 為基礎的官方版本」,而其雲端模型頁面則將其描述為「2.4 兆參數的 MoE 旗艦」。稀疏。

• Qwen3.8-Flash — 由 Flash-Next 衍生的服務版本,預設具備 100 萬個 token 的上下文。承襲稀疏血統。

• Qwen3.8-27B — 稠密模型,儲存 27B、啟用 27B,Apache 2.0。其組態中完全沒有專家。

架構,從卡片本身而來

A headless-browser capture of the Hugging Face model card for Qwen/Qwen3.8-2.4T-A95B, showing the Model Overview block: "Number of Parameters: 2.4T in total and 95B activated", "Number of Layers: 92", the hidden layout line "23 x (3 x (Gated DeltaNet - MoE) - 1x (Gated Attention - MoE))", Gated DeltaNet and Gated Attention head counts, and the Mixture of Experts block listing "Number of Experts: 512", "Number of Activated Experts: 10 Routed + 1 Shared" and "Expert Intermediate Dimension: 2048".

這兩個稀疏成員在 Hugging Face 上以相同形式載明,下方數字分別引自Qwen/Qwen3.8-2.4T-A95B與Qwen/Qwen3.8-Flash-Next;若某項數字未見於卡片上,本頁會如實說明,而不會從論壇借用。

Qwen3.8-2.4T-A95B — Max 核心

它是一個 92 層的因果語言模型,其區塊結構在卡片上寫為 23 × (3 × (Gated DeltaNet → MoE) → 1 × (Gated Attention → MoE))。簡單來說:每個全注意力區塊之間有三個線性注意力區塊,而兩者之後都接一個專家混合前饋層。專家層指定為 512 個專家,每個 token 啟動 10 個路由專家加 1 個共享專家,專家中間維度為 2048。儲存參數量為 2.4T,啟動參數量為 95B。注意力機制是混合式的:Gated DeltaNet 在頭維度 128 下,V 有 128 個線性頭,QK 有 16 個,搭配 Gated Attention,其查詢頭為 64 個、KV 頭為 4 個,頭維度為 256,旋轉維度為 64。上下文原生為 262,144 個 token,可擴展至 1,010,000。卡片也提到以多個步驟訓練的多 token 預測,而設定檔直接確認了這些稀疏欄位:num_experts: 512、num_experts_per_tok: 10、num_hidden_layers: 92。

這張模型卡明確指出兩件事,讀者不應輕輕帶過。它是純文字——沒有視覺塔——而模型卡本身的提示也說明,託管版 Max 在這些權重之上額外提供視覺輸入、非思考模式的支援、預設 1M 上下文,以及內建工具,因此這個可下載的產出物,比與它共用核心的 API 範圍更窄。而且它是以自訂協議 qwen3.8-max 發布,並非 Apache 2.0,也不是社群授權條款;本頁不會重新爭論這些條款,相關內容在權重本身的頁面上已有涵蓋。

Qwen3.8-Flash-Next — 較小的稀疏架構

這是稀疏比例最極端、也最容易被誤讀的成員。它的卡牌標示為 48 層,排列方式為 12 × (3 × (Gated DeltaNet → MoE) → 1 × (Qwen Sparse Attention → MoE)),同樣是 512 個專家,其中 10 個路由加上 1 個共享,專家中間維度為 640——是 Max 核心的三分之一。參數的陳述方式很不尋常:「125B with 6B activated, plus 51B n-gram embedding and 4B MTP」。這三個組成部分正是為什麼它的儲存庫側邊欄列出 180B,而 MoE 本體卻是 125B,也是為什麼拿「125B 對比 2.4T」來比較的讀者,比的其實是錯誤的數字。注意力機制是 Gated DeltaNet 搭配 Qwen Sparse Attention,卡牌上說後者是在微區塊層級運作,而非挑選個別詞元。上下文原生為 262,144,可延伸至 1,000,000。授權:Qwen Community License 1.0。它的設定檔也記錄了 num_experts: 512、num_experts_per_tok: 10 以及 48 層。

阿里巴巴尚未發布的內容

就所供應的Qwen3.8-Max而言,本頁所能找到的任何廠商資料中,都沒有專家數量、層數、啟動參數數字,也沒有逐詞元的路由規格。廠商將其描述為 2.4 兆參數的 MoE 旗艦模型,並表示它建構於 Qwen3.8-2.4T-A95B 之上;這就是已公布細節的極限,而從這兩項陳述推論其架構相符,是合理的推斷,並非有文件記載的事實。同樣的落差在本質上也適用於所供應的 Qwen3.8-Flash:其源自 Flash-Next 的衍生關係雖有說明,內部組態卻完全未公布。任何直接給你託管版 Max 專家數量的頁面,都是在填補廠商留下的空白。

活躍參數的數字對運行它有什麼影響

這就是為什麼這個問題終究會被提出,而答案同時朝兩個方向展開。

下載大小取決於總量,而非作用中的數量。Qwen3.8-2.4T-A95B 在其 BF16 儲存庫中約為 4.9 TB,分散於 213 個分片,而其 FP8 同系列版本約為 2.5 TB——無論哪一種,都是機櫃規模的產物,而非工作站等級。Qwen3.8-Flash-Next 在 BF16 下約為 360 GB,分散於 131 個分片,而依其側邊欄所列的元件加總起來則約為 180 GB。就磁碟而言,稀疏設計並不會讓兩者中任何一個變小;專家權重全都存在,且全都必須儲存。

運算與記憶體頻寬取決於活躍參數的數量。由於 Max 核心的 2.4T 參數中只有 95B、Flash-Next 已儲存的參數中只有 6B 會參與任一個 token 的運算,這些模型的每 token 成本,遠比其檔案大小所暗示的更接近一個小得多的稠密模型。這段落差正是 2.4 兆參數模型之所以能夠提供服務的根本原因,也是為什麼規格表上看起來像註腳的「總參數對活躍參數比」,實際上是其中最具營運相關性的數字。本頁不會在其旁邊標上每秒 token 數,因為我們能給出的任何速率,都無法同時成立於兩種不同的量化方式與一個未知的服務堆疊——比率是可轉移的事實,吞吐量則不是。

Flash-Next 還帶來了第二個應該放在這裡、而非塞進註腳的細節。它的 51B n-gram 嵌入表是一種查找結構,而這張卡本身的說法是,嵌入「比混合專家模型更容易卸載」。這正是為什麼這種規模的檢查點能執行,且嵌入表常駐於主機記憶體,而不是釘在加速器記憶體中——這是設計選擇,不是對你機器的宣稱。實務上的結果是,比起增加 VRAM,增加系統 RAM 能讓 Flash-Next 更容易裝得下;這與同等儲存大小的稠密模型的行為正好相反。

A single-column spec scoreboard titled "Qwen3.8-2.4T-A95B — the scoreboard" with six rows reading "Mode: mixture-of-experts", "Experts: 512, 10 routed + 1 shared", "Parameters: 2.4T total / 95B activated", "Layers: 92 per the model card", "Attention: Gated DeltaNet + Gated Attention" and "Context: 262,144 native, 1,010,000 extended", with a footer reading "Vendor-reported per the Qwen/Qwen3.8-2.4T-A95B model card, August 2026; no independent score yet." The OrcaRouter logo is composited in the bottom-right corner.

稠密的同類所在之處

Qwen3.8-27B 是這個世代其餘模型所對照的反例:64 層、17,408 寬的前饋中間維度而非專家庫、27B 儲存與 27B 啟用、Apache 2.0,以及約 55.6 GB 的 BF16 權重,能裝在個人自有的硬體上。稀疏成員以儲存空間換取較小的每詞元運算足跡,而稠密模型則以每詞元成本換取可預測性——每個參數都是活的,因此記憶體與速度的規模評估輕而易舉。該模型的完整說明、其格式與適用性屬於 Qwen3.8-27B 頁面,由該頁面負責;本頁只需要這個對比。

什麼尚未確定?

實際提供服務的 Qwen3.8-Max 與 Qwen3.8-Flash 是否真的實例化出與可下載核心相同的專家數量與路由,仍未經驗證:廠商只陳述了其推導方式,便止步於此,因此請將 API 模型的任何具體專家數量都視為未經確認。而 Flash-Next 周邊的開放量化生態系已產出從大約 1 位元到全精度的各種建置,且在相匹配的硬體上未曾發表受控的低位元比較——如果你正在選擇位元寬度,那個判斷就得由你自己測量。

可用性

專家數量有記載的兩個成員——Qwen3.8-2.4T-A95B與Qwen3.8-Flash-Next——是可供下載並自行託管的產物。兩者目前都不在我們的模型清單中,也沒有任何與它們相似的 ID,因此本頁不會對它們或任何名為「Qwen3.8-MoE」的模型作出任何可用性聲明:這個名稱描述的是一種架構,而我們的型錄中沒有任何商品以它為名販售。我們實際提供的是同一世代的另外三個成員,而問題屬於架構層面的讀者可以呼叫其中任何一個:

• qwen/qwen3.8-27b — 那款稠密、Apache-2.0、可自行託管的模型;支援文字、圖像與影片輸入,上下文長度為 262,144 符元,依供應商公布的價目表,每百萬輸入符元為 $0.33,每百萬輸出符元為 $2.40。

• qwen/qwen3.8-flash — 衍生自 Flash-Next 的稀疏生產通道;100 萬 token 上下文,每百萬輸入 token 0.15 美元、每百萬輸出 token 0.47 美元,快取輸入約為 0.018 美元。

• qwen/qwen3.8-max — 端點背後的 Max 核心;100 萬 token 上下文,每百萬輸入 $2.00、每百萬輸出 $6.00。

A headless-browser capture of the OrcaRouter model page for qwen/qwen3.8-max, showing the model name Qwen3.8 Max, the id qwen/qwen3.8-max, capability badges for vision, tools, JSON and reasoning, the provider line "by Qwen · 2026-08-03", a description calling it Alibaba's flagship, and the published price row of $2.00 per million input tokens and $6.00 per million output tokens.

這三者都位於同一個與 OpenAI 相容的端點之後,因此在你自己的流量上,讓稠密形態對上所服務的稀疏形態,代價只是更換模型 ID,而不是進行一次整合工程。這些價格是供應商公布的定價清單原樣傳遞、不加任何加價,這正是為什麼供應商一旦調價,當天就會反映到你的端點上。

那項比較中「稠密」的那一半,同時也是硬體上的逃生出口,而且正是本頁大多數讀者最後會選擇的那一個。Qwen3.8-27B 的 BF16 權重約為 55.6 GB,27B 儲存、27B 啟用,Apache 2.0——所以它是這一代中唯一能用一台計算機就估算出適配性的成員。稀疏成員每服務一個 token 都更便宜,持有起來卻更沉重:Max 核心約需 4.9 TB 權重,Flash-Next 約需 360 GB,兩者都需要自行建置、而非租用的基礎設施。Qwen3.8-27B 頁面負責適配性、格式與授權問題;本頁只談到架構為止。

所以,架構上的答案會改變你該執行什麼嗎?影響比帶你來到這裡的那次搜尋所暗示的更小。如果你是在呼叫模型,稀疏成員帶來的節省早已計入我們的收費中,因此這是成本與品質之間的取捨,而不是架構上的取捨。如果你是在下載模型,答案是:沒有任何搭載 512 個專家的 Qwen 3.8 模型能裝進工作站——能裝得下的,是稠密的 27B,而這正是 -A 標記一直以來默默替你做的決定。

那個比較中的稠密那一半,也是硬體上的逃生出口,而這正是本頁大多數讀者最終會走的路。Qwen3.8-27B大約有 55.6 GB 的 BF16 權重,儲存 27B、啟用 27B,Apache 2.0 —— 所以它是這一代中唯一能用一台計算機估算其裝載可行性的成員。

本文中的比較1

根據本文內容識別 · 基準測試:Artificial Analysis · 每日更新