
Qwen 3.8 MoE:哪些成員是混合專家,以及這對你有什麼改變
- Orca新Orca: OrcaCyber Zero 1.52026-10-10$3.00 / $7.50 每百萬 tokens · 56 tok/s
- openaiOpenAI: GPT-6.1 Sol2026-09-2952智能
- anthropicAnthropic: Claude Sonnet 5.52026-09-2856智能
- typesafeTypeSafe: Jev 1.132026-09-24$0.04 / $0.00 每百萬 tokens · 993 tok/s
- OpenAIOpenAI: GPT-6 Luna2026-09-2238智能
- OpenAIOpenAI: GPT-6 Sol2026-09-2248智能
- AnthropicAnthropic: Claude Opus 5.52026-09-2258智能
- xAIGrok 4.72026-09-2146智能
- OrcaOrca: OrcaCyber Zero 1.02026-09-17$3.00 / $7.50 每百萬 tokens · 40 tok/s
- OrcaOrca: OrcaVerify Text 1.02026-09-16$2.00 / $0.00 每百萬 tokens · 2230 tok/s
- DeepSeekDeepSeek: DeepSeek V4.1 Flash2026-09-1040智能
- OpenAIOpenAI: GPT-6 Astra2026-09-0453智能77程式
- GoogleGoogle: Gemini 3.8 Flash2026-09-0241智能76程式
- AlibabaQwen: Qwen3.8 Max (0902)2026-09-0245智能76程式
- AnthropicAnthropic: Claude Fable 5.12026-09-0153智能82程式
- TencentTencent: Hy4 preview2026-08-28$0.83 / $2.50 每百萬 tokens · 57 tok/s
- AlibabaQwen: Qwen3.8 Flash2026-08-26$0.15 / $0.47 每百萬 tokens · 125 tok/s
- z-aiZ.ai: GLM 5.3 Flash2026-08-2642智能72程式
- DeepSeekDeepSeek: DeepSeek V4 Flash Vision (Exp)2026-08-21$0.22 / $0.66 每百萬 tokens · 206 tok/s
- z-aiZ.ai: GLM 5.32026-08-1845智能75程式
是的——3.8 世代包含混合專家(mixture-of-experts)模型,而會回應這個直白問題的,是 Qwen3.8-2.4T-A95B,也就是阿里巴巴於 2026 年 8 月以開放權重發布的 2.4 兆參數 Max 核心,以及 Qwen3.8-Flash-Next,Qwen4 架構的 1,250 億參數稀疏預覽版。讀者真正能呼叫的兩個成員——Qwen3.8-Max 與 Qwen3.8-Flash——是該廠商自家提供的服務版本,衍生自這兩個架構,因此就血統而言它們是稀疏的,儘管其內部組態並未公布。唯一的例外,是大多數人來到這裡時手上早已握有的那個成員:Qwen3.8-27B 是稠密的,而它的名稱裡完全沒提到這一點。這就是完整的答案,而本頁其餘部分則是支撐這個答案的數字,每一項都取自阿里巴巴自家的模型卡,而非來自某個討論串。
本文中的日期用於標定這些模型的時間,而非用來發布它們。本頁回答的是讀者現在正在輸入的問題:在 2026-09-15 到 2026-10-12 期間,我們自家的 Search Console 資源在單一查詢 qwen 3.8 moe 上記錄到 432 次曝光與 35 次點擊——點閱率 8.1%,是同一批次所有查詢中最高的——再加上三個長尾資料列,使該系列來到 440 次曝光與 36 次點擊。輸入該查詢的讀者並不是在找新聞。他們是想弄清楚自己即將下載或呼叫的模型是否為稀疏模型,因為答案決定了他們能執行什麼。本站上沒有任何內容回答這個問題,這就是本頁存在的原因。當問題涉及的是特定成員而非架構時,我們會隨文指出負責該問題的頁面。
名字本身就告訴你了,只要你看得懂這個標記法
Alibaba 不會在任何 Qwen 3.8 模型名稱中放入「MoE」。它把參數數量寫成 總數-A啟用數,所以 2.4T-A95B 讀作 2.4 兆個已儲存參數,以及每個 token 啟用 950 億個。-A 那一半就是線索:名稱中含有啟用數字的是稀疏模型,而只有一個十億級整數的名稱則是稠密模型。Qwen3.8-27B 不帶啟用數字,因為它的每一個參數在每個 token 上都會生效,而它的模型卡在描述它的第一句話就稱它為「精巧、部署友善的稠密模型」。
這種解讀在整個世代中都成立:
• Qwen3.8-2.4T-A95B — 混合專家、512 個專家、2.4T 儲存/95B 啟用、開放權重、自訂授權。
• Qwen3.8-Flash-Next — 混合專家架構,512 個專家,125B 儲存參數加上 51B 的 n-gram 表/6B 啟用參數,開放權重,社群授權條款。
• Qwen3.8-Max——實際提供服務的版本;Alibaba 自家針對權重發布的說明卡指出,Max 是「以 Qwen3.8-2.4T-A95B 為基礎的官方版本」,而其雲端模型頁面則將其描述為「2.4 兆參數的 MoE 旗艦」。稀疏。
• Qwen3.8-Flash — 由 Flash-Next 衍生的服務版本,預設具備 100 萬個 token 的上下文。承襲稀疏血統。
• Qwen3.8-27B — 稠密模型,儲存 27B、啟用 27B,Apache 2.0。其組態中完全沒有專家。
架構,從卡片本身而來

這兩個稀疏成員在 Hugging Face 上以相同形式載明,下方數字分別引自Qwen/Qwen3.8-2.4T-A95B與Qwen/Qwen3.8-Flash-Next;若某項數字未見於卡片上,本頁會如實說明,而不會從論壇借用。
Qwen3.8-2.4T-A95B — Max 核心
它是一個 92 層的因果語言模型,其區塊結構在卡片上寫為 23 × (3 × (Gated DeltaNet → MoE) → 1 × (Gated Attention → MoE))。簡單來說:每個全注意力區塊之間有三個線性注意力區塊,而兩者之後都接一個專家混合前饋層。專家層指定為 512 個專家,每個 token 啟動 10 個路由專家加 1 個共享專家,專家中間維度為 2048。儲存參數量為 2.4T,啟動參數量為 95B。注意力機制是混合式的:Gated DeltaNet 在頭維度 128 下,V 有 128 個線性頭,QK 有 16 個,搭配 Gated Attention,其查詢頭為 64 個、KV 頭為 4 個,頭維度為 256,旋轉維度為 64。上下文原生為 262,144 個 token,可擴展至 1,010,000。卡片也提到以多個步驟訓練的多 token 預測,而設定檔直接確認了這些稀疏欄位:num_experts: 512、num_experts_per_tok: 10、num_hidden_layers: 92。
這張模型卡明確指出兩件事,讀者不應輕輕帶過。它是純文字——沒有視覺塔——而模型卡本身的提示也說明,託管版 Max 在這些權重之上額外提供視覺輸入、非思考模式的支援、預設 1M 上下文,以及內建工具,因此這個可下載的產出物,比與它共用核心的 API 範圍更窄。而且它是以自訂協議 qwen3.8-max 發布,並非 Apache 2.0,也不是社群授權條款;本頁不會重新爭論這些條款,相關內容在權重本身的頁面上已有涵蓋。
Qwen3.8-Flash-Next — 較小的稀疏架構
這是稀疏比例最極端、也最容易被誤讀的成員。它的卡牌標示為 48 層,排列方式為 12 × (3 × (Gated DeltaNet → MoE) → 1 × (Qwen Sparse Attention → MoE)),同樣是 512 個專家,其中 10 個路由加上 1 個共享,專家中間維度為 640——是 Max 核心的三分之一。參數的陳述方式很不尋常:「125B with 6B activated, plus 51B n-gram embedding and 4B MTP」。這三個組成部分正是為什麼它的儲存庫側邊欄列出 180B,而 MoE 本體卻是 125B,也是為什麼拿「125B 對比 2.4T」來比較的讀者,比的其實是錯誤的數字。注意力機制是 Gated DeltaNet 搭配 Qwen Sparse Attention,卡牌上說後者是在微區塊層級運作,而非挑選個別詞元。上下文原生為 262,144,可延伸至 1,000,000。授權:Qwen Community License 1.0。它的設定檔也記錄了 num_experts: 512、num_experts_per_tok: 10 以及 48 層。
阿里巴巴尚未發布的內容
就所供應的Qwen3.8-Max而言,本頁所能找到的任何廠商資料中,都沒有專家數量、層數、啟動參數數字,也沒有逐詞元的路由規格。廠商將其描述為 2.4 兆參數的 MoE 旗艦模型,並表示它建構於 Qwen3.8-2.4T-A95B 之上;這就是已公布細節的極限,而從這兩項陳述推論其架構相符,是合理的推斷,並非有文件記載的事實。同樣的落差在本質上也適用於所供應的 Qwen3.8-Flash:其源自 Flash-Next 的衍生關係雖有說明,內部組態卻完全未公布。任何直接給你託管版 Max 專家數量的頁面,都是在填補廠商留下的空白。
活躍參數的數字對運行它有什麼影響
這就是為什麼這個問題終究會被提出,而答案同時朝兩個方向展開。
下載大小取決於總量,而非作用中的數量。Qwen3.8-2.4T-A95B 在其 BF16 儲存庫中約為 4.9 TB,分散於 213 個分片,而其 FP8 同系列版本約為 2.5 TB——無論哪一種,都是機櫃規模的產物,而非工作站等級。Qwen3.8-Flash-Next 在 BF16 下約為 360 GB,分散於 131 個分片,而依其側邊欄所列的元件加總起來則約為 180 GB。就磁碟而言,稀疏設計並不會讓兩者中任何一個變小;專家權重全都存在,且全都必須儲存。
運算與記憶體頻寬取決於活躍參數的數量。由於 Max 核心的 2.4T 參數中只有 95B、Flash-Next 已儲存的參數中只有 6B 會參與任一個 token 的運算,這些模型的每 token 成本,遠比其檔案大小所暗示的更接近一個小得多的稠密模型。這段落差正是 2.4 兆參數模型之所以能夠提供服務的根本原因,也是為什麼規格表上看起來像註腳的「總參數對活躍參數比」,實際上是其中最具營運相關性的數字。本頁不會在其旁邊標上每秒 token 數,因為我們能給出的任何速率,都無法同時成立於兩種不同的量化方式與一個未知的服務堆疊——比率是可轉移的事實,吞吐量則不是。
Flash-Next 還帶來了第二個應該放在這裡、而非塞進註腳的細節。它的 51B n-gram 嵌入表是一種查找結構,而這張卡本身的說法是,嵌入「比混合專家模型更容易卸載」。這正是為什麼這種規模的檢查點能執行,且嵌入表常駐於主機記憶體,而不是釘在加速器記憶體中——這是設計選擇,不是對你機器的宣稱。實務上的結果是,比起增加 VRAM,增加系統 RAM 能讓 Flash-Next 更容易裝得下;這與同等儲存大小的稠密模型的行為正好相反。

稠密的同類所在之處
Qwen3.8-27B 是這個世代其餘模型所對照的反例:64 層、17,408 寬的前饋中間維度而非專家庫、27B 儲存與 27B 啟用、Apache 2.0,以及約 55.6 GB 的 BF16 權重,能裝在個人自有的硬體上。稀疏成員以儲存空間換取較小的每詞元運算足跡,而稠密模型則以每詞元成本換取可預測性——每個參數都是活的,因此記憶體與速度的規模評估輕而易舉。該模型的完整說明、其格式與適用性屬於 Qwen3.8-27B 頁面,由該頁面負責;本頁只需要這個對比。
什麼尚未確定?
實際提供服務的 Qwen3.8-Max 與 Qwen3.8-Flash 是否真的實例化出與可下載核心相同的專家數量與路由,仍未經驗證:廠商只陳述了其推導方式,便止步於此,因此請將 API 模型的任何具體專家數量都視為未經確認。而 Flash-Next 周邊的開放量化生態系已產出從大約 1 位元到全精度的各種建置,且在相匹配的硬體上未曾發表受控的低位元比較——如果你正在選擇位元寬度,那個判斷就得由你自己測量。
可用性
專家數量有記載的兩個成員——Qwen3.8-2.4T-A95B與Qwen3.8-Flash-Next——是可供下載並自行託管的產物。兩者目前都不在我們的模型清單中,也沒有任何與它們相似的 ID,因此本頁不會對它們或任何名為「Qwen3.8-MoE」的模型作出任何可用性聲明:這個名稱描述的是一種架構,而我們的型錄中沒有任何商品以它為名販售。我們實際提供的是同一世代的另外三個成員,而問題屬於架構層面的讀者可以呼叫其中任何一個:
• qwen/qwen3.8-27b — 那款稠密、Apache-2.0、可自行託管的模型;支援文字、圖像與影片輸入,上下文長度為 262,144 符元,依供應商公布的價目表,每百萬輸入符元為 $0.33,每百萬輸出符元為 $2.40。
• qwen/qwen3.8-flash — 衍生自 Flash-Next 的稀疏生產通道;100 萬 token 上下文,每百萬輸入 token 0.15 美元、每百萬輸出 token 0.47 美元,快取輸入約為 0.018 美元。
• qwen/qwen3.8-max — 端點背後的 Max 核心;100 萬 token 上下文,每百萬輸入 $2.00、每百萬輸出 $6.00。

這三者都位於同一個與 OpenAI 相容的端點之後,因此在你自己的流量上,讓稠密形態對上所服務的稀疏形態,代價只是更換模型 ID,而不是進行一次整合工程。這些價格是供應商公布的定價清單原樣傳遞、不加任何加價,這正是為什麼供應商一旦調價,當天就會反映到你的端點上。
那項比較中「稠密」的那一半,同時也是硬體上的逃生出口,而且正是本頁大多數讀者最後會選擇的那一個。Qwen3.8-27B 的 BF16 權重約為 55.6 GB,27B 儲存、27B 啟用,Apache 2.0——所以它是這一代中唯一能用一台計算機就估算出適配性的成員。稀疏成員每服務一個 token 都更便宜,持有起來卻更沉重:Max 核心約需 4.9 TB 權重,Flash-Next 約需 360 GB,兩者都需要自行建置、而非租用的基礎設施。Qwen3.8-27B 頁面負責適配性、格式與授權問題;本頁只談到架構為止。
所以,架構上的答案會改變你該執行什麼嗎?影響比帶你來到這裡的那次搜尋所暗示的更小。如果你是在呼叫模型,稀疏成員帶來的節省早已計入我們的收費中,因此這是成本與品質之間的取捨,而不是架構上的取捨。如果你是在下載模型,答案是:沒有任何搭載 512 個專家的 Qwen 3.8 模型能裝進工作站——能裝得下的,是稠密的 27B,而這正是 -A 標記一直以來默默替你做的決定。
那個比較中的稠密那一半,也是硬體上的逃生出口,而這正是本頁大多數讀者最終會走的路。Qwen3.8-27B大約有 55.6 GB 的 BF16 權重,儲存 27B、啟用 27B,Apache 2.0 —— 所以它是這一代中唯一能用一台計算機估算其裝載可行性的成員。
本文中的比較1
根據本文內容識別 · 基準測試:Artificial Analysis · 每日更新
