
Qwen 4 QSA 獲得解碼上下文並行:深入解析 vLLM 針對 Qwen3.8-Flash-Next 的草稿 PR
- Orca新OrcaCyber: Hy4 Flash Abliterated / Uncensored2026-11-18$0.07 / $0.28 每百萬 tokens · 185 tok/s
- openai新OpenAI: GPT-6.2 Astra2026-11-17$8.00 / $40.00 每百萬 tokens · 76 tok/s
- openai新OpenAI: GPT-6.2 Sol2026-11-17$2.00 / $10.00 每百萬 tokens · 151 tok/s
- tencent新Tencent: Hy4 Flash2026-11-16$0.02 / $0.07 每百萬 tokens · 240 tok/s
- Alibaba新Qwen: Qwen4 Max2026-11-16$1.50 / $4.50 每百萬 tokens · 178 tok/s
- Google新Google: Gemini 4 Carbon2026-11-10$2.00 / $10.00 每百萬 tokens · 94 tok/s
- Anthropic新Anthropic: Claude Fable 5.22026-11-09$8.00 / $40.00 每百萬 tokens · 212 tok/s
- OrcaOrcaCyber: GLM 5.3 Abliterated / Uncensored2026-11-04$3.00 / $5.00 每百萬 tokens · 99 tok/s
- OrcaOrcaCyber: Hy4 Abliterated / Uncensored2026-11-04$0.80 / $1.60 每百萬 tokens · 131 tok/s
- OrcaOrcaCyber: Kimi K3.1 Pro Abliterated / Uncensored2026-11-04$2.00 / $5.00 每百萬 tokens · 82 tok/s
- tencentTencent: Hy42026-11-04$0.83 / $2.50 每百萬 tokens · 122 tok/s
- OrcaOrcaCyber: MiniMax M3.1 Flash Abliterated / Uncensored2026-10-29$0.80 / $1.60 每百萬 tokens · 105 tok/s
- OrcaOrcaCyber: GLM 5.3 Flash Abliterated / Uncensored2026-10-27$0.80 / $1.60 每百萬 tokens · 68 tok/s
- openaiOpenAI: GPT-6.1 Terra2026-10-26$1.00 / $5.00 每百萬 tokens · 36 tok/s
- OrcaOrcaCyber: Qwen3.8 Flash Next Abliterated / Uncensored2026-10-26$0.80 / $1.60 每百萬 tokens · 89 tok/s
- OrcaOrcaCyber: MiMo V2.6 Flash Abliterated / Uncensored2026-10-26$0.80 / $1.60 每百萬 tokens · 39 tok/s
- MoonshotMoonshotAI: Kimi K3.1 Pro2026-10-2447智能
- OrcaOrcaCyber: DeepSeek V4.1 Flash Abliterated / Uncensored2026-10-23$0.80 / $1.60 每百萬 tokens · 222 tok/s
- minimaxMiniMax: M3.1 Flash2026-10-1929智能
- OrcaOrca: OrcaCyber Ultra 1.02026-10-17$5.00 / $10.00 每百萬 tokens · 104 tok/s
2026-09-29,vLLM 儲存庫出現一份草稿拉取請求,標題為「[Model][DCP] 支援 Qwen4Exp QSA」,而對它所描述的模型而言,這份請求承載了整個月以來任何人公開過最具體的服務數據:在四張 GPU 上配對運行 Qwen3.8-Flash-Next,顯示 KV token 容量從 9,759,529 提升到 17,603,636,最大併發數從 37.23× 提升到 67.15×,首個 token 時間從 1,869 ms 降至 767 ms。Qwen3.8-Flash-Next 是開放權重、1,250 億參數的混合專家預覽版,其 Hugging Face 卡片稱它為「A Preview of the Qwen4 Architecture」;該拉取請求為這個架構所依託的稀疏注意力路徑加入了幾何?解碼上下文平行化。Qwen4 本身——廠商在 2026-09-22 的 Apsara 大會上命名的 Qwen4 Max、Flash、Plus 與 27B 級別——仍未發布,沒有權重、沒有識別碼、沒有價格,也沒有日期。因此,請如實看待它:這不是發布,不是基準測試,而是一件工程產物,告訴你在 Qwen4 家族尚未問世之前,其服務邊界正如何被拓寬。
這是一篇「目前我們所知」的報導,消息來源比平常更重要。這個 pull request 是一份草稿、處於開啟狀態且尚未合併——vllm-project/vllm#59279,由 NVIDIA 軟體工程師 Sungsoo Ha 於 2026-09-29 提出,至今仍處於草稿狀態。以下每個數字都是作者自己配對測量的結果,報告於 PR 內文,取自此相同工作的較早修訂版。這裡沒有任何內容經過獨立審核,也沒有任何內容進入正式發行版,而作者附加的注意事項重要到足以在下方單獨成節。
這個 pull request 實際上的變更內容
解碼階段的上下文平行(Decode Context Parallelism,DCP)是一種服務技術,而非模型改動。DCP 不讓單一 GPU 群組持有整份 KV 快取,而是把這份快取拆分到各個 rank 上,因此每個 rank 只讀取自己負責的那一段上下文,最後再跨 rank 合併注意力結果。重點在於容量:快取一經分區,同一套硬體上的部署就能承載遠多於以往的並行長上下文流量,而這正是每個請求都帶著 25 萬個 token 時最致命的限制。
複雜之處在於,Qwen Sparse Attention——QSA——並不是單純的注意力層。正如 Qwen3.8-Flash-Next 模型卡所載明的,輕量級索引器會以 4 的壓縮比將鍵壓縮成微區塊、對它們評分,並保留最佳的 512 個區塊,約 2,048 個 token 位置,而最終的 softmax 與 value 聚合仍在未壓縮的 K 和 V 上執行。這意味著 QSA 攜帶的狀態比 KV 快取更多:有主快取,還有索引器維護的選擇器快取與側快取。vLLM 中的通用 DCP 實作對此一無所知。
根據 #59279 的說明,它的作用是讓 DCP 了解 QSA 特有的部分:
• 每個 rank 讀取自己在主要 KV 快取中的部分,而 QSA 的選擇器與側快取則保持複製於各 rank 間,而非分片
• 在分割讀取後,注意力結果會跨 rank 合併。
• 選擇器與主 KV 快取會保留在同一個快取群組中,因此兩者不會彼此脫節。
• 系統會阻止 Synthetic V2 批次寫入 QSA 側快取。
![A capture of the vLLM GitHub pull request #59279, titled '[Model][DCP] Support Qwen4Exp QSA', showing an Open state with a Draft badge, the head branch sungsooha:n4/qsa-dcp-clean-20260929, the description of how decode context parallelism is enabled for Qwen4Exp QSA, and the labels kv-cache-manager, mrv2, speculative-decoding, dflash, nvidia, qwen and ci/build.](https://cms.orcarouter.ai/api/media/file/2-1437.png)
如果你在意的是正確性而非吞吐量,最後那兩項細節才是有趣的部分。分片式注意力快取若與複製式選擇器悄悄不一致,這類錯誤會在長上下文下表現為緩慢的準確率衰減,而不是崩潰;而這項變更明確要求讓兩者保持同步。作者也表明使用了 AI 輔助,並將 Codex 列為共同作者——這點值得直說,因為在這種形式的草稿 PR 中,詢問誰寫了什麼是合理的。
成對的數字,以及它們是如何取得的
測試計畫足夠具體、可供核查,因此結果值得引用。兩組都在四張 GPU 上服務 Qwen/Qwen3.8-Flash-Next-FP8,並啟用張量平行度 4 與專家平行,設定為 --gpu-memory-utilization 0.90,且開啟前綴快取。兩組之間唯一的差異是 --decode-context-parallel-size:DCP=1 時省略,DCP=2 時設為 2,且兩組之間會重新啟動,讓基準測試從冷快取開始。負載是 AgentX 256k 軌跡、128 位使用者、持續 900 秒;準確率是 EvalScope 的 GSM8K 加上已簽入的 MRCR 評估器,每組執行六次,並捨棄重新啟動後的第一次執行。
所報告的輸送量差異,DCP=2 對比 DCP=1:
• KV token — 9,759,529 對比 17,603,636,快取容量提升至 1.80 倍。
• 最大並行數 — 37.23× 對比 67.15×,另有 1.80×。
• 每秒請求數 — 1.69 對 2.30,1.36×。
• 每秒輸入 token 數 — 128,730 對 179,702,1.40 倍。
• 首個 Token 產生時間 — 1,869 毫秒 vs 767 毫秒,低 2.44 倍。
• Token 間延遲 — 43.48 ms 對 26.27 ms,低 1.66 倍。
• 穩態下的前綴快取命中率——67.85% 對比 88.98%,提升了 21.1 個百分點。

準確率(以預熱後各次執行間的平均值 ± 樣本標準差表示)基本上持平:MRCR 彙總在 DCP=1 為 0.8630 ± 0.0005,對比 DCP=2 的 0.8697 ± 0.0153;GSM8K 則為 0.9788 ± 0.0020,對比 0.9790 ± 0.0016。2-needle 與 4-needle 的 MRCR 樣本在兩組上都固定為 0.9960 與 0.9906,因此所有逐次執行間的變動都來自 8-needle 樣本——而且有一次 DCP=2 彙總執行得分為 0.8970,其餘四次則介於 0.8620 與 0.8632 之間。這是真實的離散程度,不是可以輕易忽視的雜訊,而且 PR 中如實寫出,並未加以粉飾。
這些數字無法證明的事
這個注意事項就寫在 PR 文字中,而且份量不小。成對的 AgentX 與準確度結果,是在一個較早的 QSA DCP 修訂版上測得,使用的是以 commit 3df4ae153eb 為基礎的 vLLM nightly。Pull request 中最終的乾淨 commit 包含後續的 QSA 本地化 kernel 修正,並已通過針對性的 B200 驗證——但完整的 AgentX 與準確度評估並未在那個確切來源上重新執行。換句話說:吞吐量表現的敘事與實際交付的 diff 並非同一個產物,而作者也這麼說了。
除此之外,慣常的紀律仍然適用,而且在這裡適用得格外嚴格。這些是單一配置的數字,來自單一貢獻者、單一四 GPU 設定。它們偏向廠商而非中立:框架貢獻者衡量框架變更,是正常且有用的事,但這不是獨立稽核,也沒有第三方重現過這次執行。今天沒有任何已發行的 vLLM 版本包含這項變更,因為該變更尚未合併。而 DCP=2 是針對某一特定 shape 的雙向切分——這些差異值不代表 DCP=4 或 DCP=8 會有什麼表現的承諾,PR 中也沒有任何內容聲稱如此。
為什麼一個關於未發布架構的 serving PR 仍值得你花時間
顯而易見的反對意見是:標題中的模型並不存在,那又何必在意?因為正在被調校的東西並不是 Qwen 4,而是 Qwen3.8-Flash-Next,而這個模型確實存在——Alibaba 於 2026-08-24 發布它,它是一個 125B 參數的 MoE,其中 6B 為啟用參數,具有 510 億參數的 n-gram 嵌入表、用於推測性解碼的 4B MTP 頭、48 層,排列方式為十二次重複「三個 Gated DeltaNet 區塊後接一個 QSA 區塊」,512 個專家,其中 10 個路由專家與 1 個共享專家處於啟用狀態,原生上下文為 262,144 個 token,而模型卡稱其可擴展至 1,000,000。它是 Qwen4 架構的開放權重參考實作,而 QSA——這個 pull request 正教導 DCP 對其進行分片的微區塊稀疏注意力——是它最具特色的單一組成部分。
這些數字所描述的,是當你不再把那個 262K 上下文視為必須由單一 GPU 群組完整持有的東西時,會發生什麼事。KV token 容量與併發數的 1.80× 躍升,是把快取拆成兩半的算術結果,也是這份清單中最不令人意外的結果。更有趣的是延遲相關的數字:在相同提供負載下,首 token 時間降低 2.44×、token 間延遲降低 1.66×,再加上穩態前綴快取命中率提升 21 個百分點。這些數字說明,DCP 路徑並非只是以延遲為代價換取容量——在這次配對執行中,它兩者都拿到了。對於任何要服務帶有超長系統提示的 agent 流量的人來說,這正是關鍵的變化形態,因為長上下文下的前綴快取行為,通常正是長上下文吞吐量悄然崩壞之處。
而且這不是孤立的修補。同一週還出現了一連串 Qwen4Exp 引擎相關工作:#59214 為 B200 形狀新增 SM100 低延遲解碼 GEMM 方案,#59010 為 Hopper 上的 QSA 路徑新增 SM90 原生稀疏 prefill 核心,#58977 涵蓋 BF16 INC PLE 嵌入,而 #58961——實際已於 2026-09-28 合併的那一個——修正了一個效能剖析用 KV 快取,該快取先前因 QSA 鍵視圖而一直保持存活。綜合來看,它們勾勒出 Qwen4 架構的服務邊界;該架構正於各執行環境中公開建構,距離該系列推出還有數個月。如果你正在為 Qwen 4 做規劃,有用的訊號不是發布日期——根本沒有——而是這些核心與快取佈局已經對你將必須如何服務它所做出的假設。
你今天可以稱呼什麼
如果你想在這個 PR 所探討的架構上測試長上下文行為,該選用的模型是阿里巴巴實際提供的 Flash 層級。Qwen3.8-Flash —— 建構於 Qwen3.8-Flash-Next 之上的正式部署,具備 1,000,000 個 token 的上下文與 131,072 個 token 的最大輸出,可接受文字、圖像與影片輸入 —— 已經上線,而它就是一個端點,對應到今天真正運行 Qwen4Exp 架構的模型,列名為qwen/qwen3.8-flash,價格為每百萬輸入 token 0.15 美元、每百萬輸出 token 0.47 美元,快取讀取則為 0.0184 美元。由於這些是供應商的定價,我們這邊不加價直接轉呈,因此供應商對其價格或限制的任何變更,會在公告當天就反映到你身上。

兩個誠實的附帶說明。首先,Qwen3.8-Flash-Next 本身——也就是 PR 測試計畫中的 FP8 權重,你在本機重現這些量測值所需的那些權重——並不在我們的型錄中;所提供服務的 Flash 層級是 QwenCloud 產品線,不是原始預覽檢查點。如果你想執行 PR 中的確切配置,你是在四張 GPU 上自行託管。其次,DCP 變更尚未合併,所以今天無論你在哪裡能呼叫到的東西,都沒有在執行它。所提供服務的層級給你的,是一種查明你的工作負載是否真的適合 DCP 所解決之問題形態的方法:如果你的提示詞很長、具代理性且前綴比重高,那麼 1.80× 容量與前綴快取差異就是你應該在自己追蹤資料中留意的數字。
而如果你感興趣的部分不是單一模型,而是切換問題——在 Qwen 4 系列仍未定名時該建構在哪一層級——那屬於路由問題,而非服務問題,且一套 API 支援 200+ 個模型正是讓你在該系列終於推出時,無須第二份合約或修改程式碼,就能保留選項的方法。
值得直接回答的問題
#59279 是否代表 Qwen 4 已經推出,還是即將推出?
不是。這個拉取請求談的是 Qwen4Exp 架構,也就是 Alibaba 在 2026-08-24 於 Qwen3.8-Flash-Next 中實作的版本。Qwen 4 系列——Max、Flash、Plus 與 27B——於 2026-09-22 在 Apsara 的舞台上被命名,並被列入公司路線圖,其後繼產品線預計達 5 到 10 兆個參數;但它仍然沒有模型卡、沒有權重、沒有 API 識別碼、沒有上下文視窗、沒有價格,也沒有日期。一個為預覽架構新增並行模式的框架 PR,是朝把 Qwen 4 服務好邁進的一步。這不是朝 Qwen 4 存在邁進的一步。
解碼上下文並行與張量並行有什麼不同?
它們切分的是不同的東西,也會以不同方式失敗。張量平行會把每一層的權重與計算分散到各 GPU 上,因此每個 rank 都會參與每個 token,但會看到整個序列。解碼上下文平行則會切分KV cache本身,因此每個 rank 只持有並讀取上下文的一個切片,部分注意力結果之後再合併。TP 著眼於容納模型;DCP 著眼於容納上下文以及隨之而來的並行流量。這項區別正是為什麼這個 PR 並非易事:QSA 的選擇器與側邊快取無法像主 KV cache 那樣直接分片,因此這項變更必須分片其中一個、複製其餘的,然後證明兩者保持一致。
如果我今天透過託管 API 呼叫 Qwen3.8-Flash-Next,我已經能得到這些數字了嗎?
不,而且這個差距有三個部分。這項變更尚未合併,因此沒有任何已發布的 vLLM 版本包含它。即使合併之後,供應商也必須採用該版本,並選擇以 DCP 大小大於 1 的方式執行——這是服務配置,不是預設值。而且測得的差值來自修補程式的較早修訂版,而非最終提交;作者表示,最終提交目前僅針對 B200 做過聚焦驗證。請把回報的差值視為此方法在單一配置下所能帶來效益的、有充分記錄的上界,而不是本週你能租用的任何端點的規格。
懸而未決的問題
真正該留意的,不是這份特定草案是否會合併——它大概率會以某種形式合併,因為它新增的 QSA 專用快取處理是真正的缺口,而不是偏好問題。真正該留意的是,最終提交是否會獲得與中間修訂版相同的配對評估。一項推論服務變更,若其吞吐量主張來自某個建置,而正確性主張來自另一個建置,那麼目前它只是論證充分的提案,而非實測結果;而且 8-needle MRCR 樣本上的準確率變異幅度夠大,因此在正式發布的原始碼上重跑一次,會是任何人能針對它發表的最有用的一件事。在那之前:方向清楚可辨,帳尚未結清,而開放權重中唯一的 Qwen4 架構模型仍是八月的那一個。
