主視覺標題卡寫著「Qwen4-Exp QSA 登陸華為 Ascend」,置於「未驗證 — 草稿 PR,未合併」徽章下方,副標題為「深入 SGLang PR #41855 — 選用式 CANN prefill 路徑」,三個標籤寫著「開啟於 2026-09-30」、「旗標預設關閉」與「Ascend 910C / CANN 9.0」,頁尾一行寫著「貢獻者回報的數據;未經獨立重現。」OrcaRouter 標誌合成於右下角。
Guides & Insights

Qwen4-Exp QSA 登陸 Huawei Ascend:深入剖析 SGLang 可選擇啟用的 CANN 預填充 PR

作者

Alistair Wren

發佈日期

最新模型 · 20查看全部模型 →
基準測試:Artificial Analysis · 每日更新
返回全部文章

2026 年 9 月 30 日,一位貢獻者開啟了 SGLang 拉取請求 #41855,標題為「[NPU] 為 Qwen4-Exp QSA 預填新增可選擇啟用的 CANN 稀疏注意力」,而有趣之處不在於算術,而在於硬體。Qwen4Exp 架構如今有了一條為華為昇騰 910C 加速器手寫的稀疏注意力路徑,藏在一個預設關閉的旗標之後,且位於一份尚未合併的草稿拉取請求中——而這個架構名稱所屬的模型 Qwen4-Exp,從未以任何形式發布。唯一以開放權重承載此架構的檢查點仍是 Qwen3.8-Flash-Next,這是該廠商於 2026 年 8 月 24 日在 Hugging Face 發布的 1,250 億參數混合專家預覽版,而其模型卡實際上將其架構聲明為 qwen4_exp。Qwen 4 本身——該廠商於 2026 年 9 月 22 日在雲棲大會上命名的 Max、Flash、Plus 與 27B 層級——仍沒有權重、沒有識別碼、沒有價格,也沒有日期。因此,這是一篇關於工程產物、而非產品發布的「目前已知」文章:又一家廠商的服務堆疊悄然認定,一個尚未發布的架構值得提早支援。

這個 pull request 實際新增了什麼

這項變更刻意保持小規模,且刻意限縮範圍。五個檔案、一個提交,相對於主分支的提交 b87a241,帶有 SGLang npu 標籤。作者 w1ida 一開始就說明意圖:為 Qwen4-Exp QSA eager prefill 提供可選用的 CANN 主注意力路徑,建構於 torch_npu.npu_sparse_flash_attention,而 indexer、Top-K 選擇、token 預算與 KV-cache 內容皆保持完全原樣。

它用來達成此目標的技巧值得用一段來說明,因為這說明了為何這是版面配置配接器,而不是新的注意力核心。對於已經完成旋轉的 Q 和 K,這條路徑會把快取打包成 C = [K, V],並將查詢打包為 Q' = [Q, 0]。乘積 Q' @ C.T便等於 Q @ K.T,而由於填充的查詢不貢獻任何東西,softmax(scale * Q' @ C.T) @ C會傳回 [P @ K, P @ V]堆疊而成的結果——因此可以把 V 那一半切出來。用作者自己的話來說,這是「一種注意力版面配置嵌入,而不是對模型注意力機制的變更,也不是低秩 KV 壓縮」。每個 KV 頭都會在原生 MLA 版面配置中成為獨立的批次,原始 D256 縮放比例會保留,輔助 RoPE 會設為零。

操作細節與數學同樣重要:

• 啟用 — SGLANG_NPU_QSA_NATIVE_PREFILL=1,預設為關閉。只有一般的 ForwardMode.EXTEND 會啟用;解碼、推測模式、混合前向與圖形擷取都維持在既有路徑上,且圖形擷取會完全繞過配接器。

• 硬體與 dtype — BF16,head 維度 256,Ascend 910C(Ascend910_93*),已對 CANN 9.0 與 torch-npu 2.10 測試。任何不支援的 dtype 或 shape 都會靜默回退至參考路徑。

• 頭部形狀 — 支援的本地(Q 頭數、KV 頭數)配對為(16,2)、(24,2)、(12,1)、(6,1) 以及 (3,1)。CANN 直接拒絕 query/KV 比例為 12 的情況——它的 tiler 只接受 2 的冪次——因此頭數會被填充為 12→16、6→8 或 3→4,多出來的輸出則被丟棄。這是整個 PR 中最清楚的跡象,顯示硬體在設計時並未考慮稀疏注意力(sparse-attention)的頭部比例,而適配器是在吸收這種不匹配,而不是讓模型為此改變形狀。

• 大小界限 — 只會打包所參照的實體快取範圍,上限為 262,144 個 token;作者計算,在兩個 KV 頭下,打包後的 BF16 K/V 張量至多為 512 MiB。內部-1 填充會被偵測並交由後備路徑處理,因為 CANN 要求有效槽位必須連續;完全遮罩的列則維持現有的零輸出慣例。

• 為何僅限於 prefill——範圍與版面配置檢查會將兩個純量複製到主機,而暫存複本加上原生工作區會佔用記憶體。這道同步作業正是此路徑僅限於 eager prefill,並在擷取期間保持停用的原因。

A capture of the SGLang GitHub pull request #41855, titled '[NPU] Add opt-in CANN sparse attention for Qwen4-Exp QSA prefill', showing an Open state with no merged marker, the line 'w1ida wants to merge 1 commit into main from npu/qsa-cann-prefill', the npu label, and the start of the Motivation section describing the Q' = [Q, 0] and C = [K, V] packing and stating that the approach avoids modifying the indexer, Top-K selection, or KV-cache layout.

九項通過的測試,以及一個並非來自這個分支的速度數字

正確性證據具體且可重現,這比大多數 kernel PR 所提供的都更多。作者回報在 Ascend 910C(Ascend910_9362)上以 CANN 9.0 與 torch-npu 2.10.0 執行,9 項測試於 40.772 秒內通過,且無需 checkpoint:以非零隨機 BF16 Q/K/V 對照由相同 BF16 輸入計算出的 FP32 CPU 參考結果、寬度為 1/63/64/65/2051 的無序物理槽位、預設與明確指定的 scale、完全遮罩的列、零值列、零選取寬度、非連續張量、壓縮比為 4 的因果尾端餘數 0 到 3、帶共享前綴的雙請求物理映射、快取內容重用,以及 1 與 257 個查詢列下的 Flash-Next 本地頭部形狀。

最受關注的案例是一個長預填充:7,810 個查詢 token 對上 65,536 個 token 的快取,每次查詢選取 2,051 個槽位,所有輸出皆為有限值,並以八個取樣列與 FP32 參考進行比較。觀測到的相對 L2 誤差在小型 head-shape 案例上達到 0.209%,在取樣的長預填充列上達到 0.231%,而測試門檻為 atol=0.025、rtol=0.025,且相對 L2 低於 0.008,空列則必須恰好為零。該次執行的 NPU 峰值配置記憶體引用為 1,042.7 MiB——作者標明這是 PyTorch 配置器指標,而非板載 HBM,也不是完整模型記憶體,這正是應該附上的正確但書。

接著還有一個會被引用、但不應該被引用的數字。PR 內文附有一張速度表,顯示既有的本地注意力路徑為每秒 2,270.79 個新 token,而原生 packed 主注意力為 3,890.06——帶來 1.713× / +71.3% 的提升,平均首個 token 時間從 3.109 秒降至 1.812 秒。作者明確表示,這些是 2026-09-29 在改編過的 Whittle-Next-26B-A3B checkpoint 上取得的歷史原型測量值,於 TP1 上以 W8A8 權重與 BF16 注意力在 910C、CANN 9.0 下執行,使用官方 sglang.bench_serving 測試工具,並行度為 1、六個請求、每個請求一個輸出 token,且有 36,096 個快取前綴 token 已從新 token 吞吐量中排除。這些不是此 PR 中上游分支的基準測試;原始 serving JSON 產物不在 checkout 中,而後來約每秒 5,000 個 token 的本地結果使用了額外的原生 indexer 與 block4 工作,這些工作明確不歸因於此變更。作者也指出,改編後 checkpoint 的 indexer 權重並不生效,且其預算與原始版本不同,因此這些都不能作為 indexer 正確性或完整預算生成品質的證據。

有一個命名上的澄清,因為這會讓任何搜尋該檢查點的人混淆:基準模型是貢獻者自行改編的產物。另外,「Whittle-Next」也是一個公開系列的 Qwen3.8 衍生 MoE 微調模型名稱,由第三方的 Hugging Face 帳號發布,其中包括一個於九月上傳的 26B-A3B 變體。那些並不是此 PR 所針對的 Qwen4Exp 模型,也不應被解讀為那個 1.713× 數字背後的基準配置。

另外兩點注意事項來自作者,而非我本人。完整的服務整合、分散式張量平行,以及完整的 Qwen3.8-Flash-Next 模型,尚未在此分支上驗證;貢獻者表示,在整合與相依性問題討論期間讓它維持草稿狀態是刻意為之,甚至還在 PR 內容中詢問此轉接器應歸屬於 SGLang,還是應放在獨立的 sgl-kernel-npu 儲存庫中。CI 狀態也不乾淨——PR 內容的狀態區塊顯示 PR Test (Base)、PR Test (Extra) 與 AMD ROCm 10 執行項目出現失敗。上述的正確性是運算子層級;PR 中並未聲稱整合後的堆疊具有端到端的準確度或輸送量結果。

為什麼 QSA 是最棘手的部分,用數字來說明

Qwen Sparse Attention 並非傳統的注意力層,而公開的組態說明了為何加速器廠商必須為它撰寫專門的客製化路徑。從 Qwen3.8-Flash-Next 的組態來看:48 層以十二組重複排列,每組由三個 Gated DeltaNet 區塊後接一個全注意力區塊組成,full_attention_interval 為 4,隱藏大小 2,560,注意力頭維度 256,24 個查詢頭對上 2 個 KV 頭,RoPE 維度 64。讓注意力變得稀疏的索引器是一種多查詢結構,具有 4 個查詢頭共用 1 個鍵頭、頭維度 128、壓縮比 4,以及每個查詢 2,048 個選定微區塊的預算。

那個預算就是 PR 維持固定的部分。稀疏區塊大小維持 1,稀疏模式維持 0,注意力模式維持 2,而選取 token 的介面則未更動;原生 indexer 與 block4 最佳化明確不在範圍內。因此,這是在既有選取機制下外掛的轉接器,而非重新實作 QSA——這也是為什麼作者能有把握地宣稱 KV-cache 內容未改變。

A two-column scoreboard titled 'Qwen4-Exp QSA on Ascend — what was measured where'. The left column, headed 'Correctness (this branch)', reads: Suite 9 unit tests, Runtime 40.772 s, Reference FP32 CPU, Long prefill 7,810 query tokens, Relative L2 error up to 0.231%, Model needed none. The right column, headed 'Speed (historical prototype)', reads: Suite sglang.bench_serving, Tokens/s 2,270.79 to 3,890.06, Reported gain 1.713x, Mean TTFT 3.109 s to 1.812 s, Checkpoint adapted 26B-A3B, Model card not on this branch. A footer line reads that both columns are contributor-reported in SGLang PR #41855 and unaudited, and that the speed arm is a 2026-09-29 prototype, not this branch. The OrcaRouter logo is composited in the bottom-right corner.

模型卡清楚說明了設計意圖:QSA 並非選取個別 token,而是在微區塊層級運作,以降低長上下文延遲;而這種微區塊粒度,以及隨之而來的複製選擇器狀態,正是無法順利對應到任一廠商晶片上的通用分頁注意力核心之處。

這在 Qwen4Exp 服務建置中的定位

單獨來看,某個加速器上的一份草稿 PR 只是個稀奇玩意。對照九月其餘的動態來看,它是一個平台的第四或第五塊拼板;這個平台正在它所服務的家族尚未存在之前,於公開場合被組裝起來:

• 以開放權重釋出的架構——Qwen3.8-Flash-Next,2026-08-24,一款 125B 參數的 MoE,其中 6B 為啟用參數,搭配 510 億參數的 n-gram 嵌入表與 4B 的 MTP 頭,帶有 model_type: qwen4_exp 與架構 Qwen4ExpForConditionalGeneration。

• vLLM 端——#53909,也就是加入 HyperConnection、QSA 與 PLE 核心的「qwen4 fuse op」PR,自 2026-08-26 起仍處於開啟且尚未合併的狀態;#59279,則是為同一條 QSA 路徑加入解碼上下文平行處理,於 2026-09-29 開啟的草稿;以及於九月期間落地的 PLE 卸載工作。

• SGLang 這邊——#38642 用於 DFlash 隱藏狀態擷取,#39548 用於在 Ascend 上進行 Qwen4-Exp PLE 的 CPU 卸載,#40235 為檔案支援的 PLE 表新增主機暫存,而現在 #41855 則用於 Ascend 注意力路徑。

• NPU 啟用工作線——sglang #37570,在 NPU 上將 Qwen3.8-Flash-Next 加入 SGLang,並支援圖重放、MTP 與 Triton 核心(2026-09-02 建立,目前仍開啟,橫跨 20 個檔案、新增 2,590 行),以及搭配的 Triton 核心 sgl-kernel-npu #807(2026-09-17 建立,新增 4,643 行)。兩者出自同一位貢獻者。#41855 則是屬於這項更大規模啟用工作的注意力層。

讀者可據以行動的兩點觀察。第一,整個 Ascend Qwen4Exp 的故事建立在極少數貢獻者之上——啟用相關的 PR 與 kernel 儲存庫是同一位作者,而 attention adapter 則是另一位。這種集中程度,相當合理地反映了 Ascend Qwen4Exp 推論服務距離成為受支援的產品路徑、而非實驗,還有多遠。第二,kernel 瓶頸並非特定廠商獨有:2026-08-28 提出的兩個 SGLang issue 記錄了在 NVIDIA DGX Spark 上進行 Qwen4Exp decode 的情況,其中 QSA、PLE 與 Gated DeltaNet 的 kernel 時間佔據主導,且量測到 NVFP4 KV cache 相較於 fp8_e4m3 使 decode 退步約 29%。這個架構的 attention 與 embedding 層,在各個平台上都是最困難的部分。

這並不代表什麼

這不代表 Qwen 4 已經推出,也不代表它即將推出。阿里巴巴於 2026-09-22 命名的 Qwen 4 系列——Max、Flash、Plus 與 27B 層級——仍只是一份路線圖,沒有模型卡、沒有權重、沒有 API 識別碼、沒有上下文視窗、沒有授權條款,也沒有價格。以內部架構名稱為目標的框架適配器,是朝向有朝一日能妥善支援該系列邁出的一步;這並不是朝向該系列存在邁出的一步。

這不代表你今天就能執行它。該 PR 仍是草稿,CI 失敗,且沒有合併日期。即使合併了,這條路徑仍需要 Ascend 910C、BF16、CANN 9.0 搭配 torch-npu 2.10,以及五種特定本機 head 形狀之一,而且是 opt-in——意味著部署必須選擇啟用它。作者也拒絕聲稱已通過伺服器層級驗證,而這正是能真正告訴你它在真實 batching 下是否撐得住的部份。

這並不代表 Qwen3.8-Flash-Next 是 Ascend 上受支援的產品,也不代表它已獲得任何已出貨引擎組建的支援。兩大主要開放執行環境中的 Qwen4Exp 路徑,都還是尚未合併的 pull request。目前沒有任何已發佈的 SGLang 或 vLLM 版本可供安裝,並能原生支援此架構——託管端點那種 FastAPI 風格的便利性,與可自行執行的 kernel 是兩回事,而像這個 PR 這類的 PR,正是為了填補這道落差。

等待期間你實際可以呼叫的內容

如果你關注 Qwen4Exp 的原因,是想測試該架構的長上下文行為,而不是它的核心(kernel)內部實作,那麼你該選用的模型,是阿里巴巴實際提供服務的層級。Qwen3.8-Flash——這條建構於 Qwen3.8-Flash-Next 之上的正式產品線,具備官方內建工具與 1,000,000 個 token 的上下文——已在 OrcaRouter 上線,型號為 qwen/qwen3.8-flash:支援文字、圖像與影片輸入,最大輸出為 131,072 個 token,每百萬輸入 token 為 $0.15、每百萬輸出 token 為 $0.47,快取讀取為 $0.0184。這些是供應商定價,並且在我們這邊以 0% 加價原樣轉供,因此供應商對其價格或限制的變更,會在公告當天就反映到你身上。在過去七天視窗內,即時資訊卡顯示 p50 首 token 延遲為 4,416 毫秒、每秒約 106 個輸出 token,以及 2.68% 的錯誤率——這是高流量文字層級的特徵,而不是實驗室預覽版。

兩點坦白的但書,而這也正是同系列探討此架構的文章同樣附帶的兩點。Qwen3.8-Flash-Next 本身——也就是 FP8 預覽檢查點,你在本機重現上述任何 kernel 量測時所需的東西——並不在我們的型錄中;目前提供服務的 Flash 層級是以它為基礎建置的正式部署,而非原始預覽產物。此外,前述的 Ascend 或 DCP 工作,都不存在於任何你可以呼叫的內容中,因為它們全都尚未合併。目前提供服務的層級確實能給你一個低成本的方法,用來判斷你的工作負載形態是否契合這些 kernel 所要解決的問題——也就是在超長上下文中處理冗長、前綴密集型、代理式的提示。若是如此,你在那裡觀察到的輸送量與快取行為,正是 Qwen 4 服務堆疊將調校以保障的相同行為。

還有一個基礎管線層面的理由,說明為何不該等待一個尚未公布日期的模型系列。無論最後是哪個層級在 Qwen 4 陣容中勝出,切換成本都是路由問題,而不是整合專案,而用一個 API 存取 200+ 個模型,就是當權重釋出時,不必再簽第二份合約或改動程式碼,也能讓這個選項保持開放的方法。容錯移轉在這裡基於同樣理由而以特定方式顯得重要:如果你想以尚未驗證的層級來建置,你會希望請求能改落到穩定的服務,而不是在你押注的路徑短暫出狀況時直接失敗。

A capture of the OrcaRouter model page for Qwen: Qwen3.8 Flash (qwen/qwen3.8-flash), showing the Qwen provider, a release date of 2026-08-26, the Quick Facts tags General Chat and High Volume, an independent-provider throughput of 106.2 output tok/s and 4,416 ms first-token latency, pricing of $0.23 cache write, $0.0184 cache read, $0.15 input and $0.47 output per 1M tokens, a PERFORMANCE panel for the seven-day window Sep 23 to Sep 30 2026 reading throughput 106.2 tok/s, first-token latency 4.4 s and error rate 3.9%, a traffic chart reading 2.57B tokens last 7 days with +6.9% versus the earlier half, a 0% markup note, and a vendor rate card cross-check block crediting Qwen Cloud, published 2026-08-26 and last checked 2026-09-30 12:08 UTC.

三個值得直接回答的問題

SGLang #41855 是否代表 Qwen 4 已經推出,還是可以預覽?

不,這兩點都不是。該拉取請求針對的是 Qwen4Exp 架構,也就是 Qwen3.8-Flash-Next 中所實作的版本,而 Alibaba 於 2026-08-24 推出該版本。它不涉及 Qwen 4 權重,而且沒有任何 Qwen 4 層級有權重可涉及。這裡要解讀的訊號是關於預覽架構的服務容量,而非該系列的可用性。

如果模型卡上寫的是 qwen4_exp,那是指 Qwen 4 嗎?

不——而這正是整個故事裡的命名陷阱。qwen4_exp是內部的架構識別碼,也是你在 Qwen3.8-Flash-Next 及其 FP8 兄弟版本config.json裡會看到的東西。「實驗性架構」是關鍵字:權重已公開,架構是真的,而這個模型是 Qwen 4 系列預計將建立於其上的預覽。搜尋這個識別碼,找到標題帶有 Qwen4Exp 的 SGLang 或 vLLM PR,只代表引擎方面的工作,與正式發布無關。

這是 Ascend 對抗 NVIDIA 的故事嗎?

其實不然。在 NVIDIA 這一側,同一條注意力路徑同樣需要專門打造的轉接層——也就是 vLLM 中為 QSA 實作的解碼情境平行(decode context parallelism),以及為 Hopper 打造的原生稀疏 prefill 核心——而 DGX Spark 的種種問題也顯示,QSA、PLE 與 Gated DeltaNet 的核心執行時間在那裡同樣主宰了 decode 階段。QSA 的微塊索引器(micro-block indexer)與其複製的選擇器狀態,根本不是通用 paged-attention 核心所假設的樣子。Ascend 為這個模式帶來的,是更嚴苛的限制:一個只接受 2 的冪次的 head-ratio 切割器,迫使轉接層必須把隨之而來的填充隱藏起來。

值得留意的事

重點不在於它是否會被合併。這個 adapter 坦然承認自己就是 adapter,正確性測試無需 checkpoint 即可重現,而且作者已標示出整合問題,而不是假裝它已成定論。真正要觀察的是,NPU 啟用這條線與這條 attention 路徑結合之後會發生什麼——整合後的分支是否會獲得兩者都未曾有過的端到端執行,也就是在完整模型上進行真實批次處理,而不是用本地的 head-shape 張量。1.713× 這個數字將會流傳開來,而它是在不同的建置上、用經過適配的 checkpoint、搭配一個不具作用的 indexer 計算出來的。在完成後的技術堆疊上實測得到的數字,價值會遠高於一個歷史數字。

在那之前,誠實的總結就是 PR 本身所堅持的那個說法:算術驗算無誤,旗標預設為關閉,CI 是紅的,而標題裡的模型仍然不存在。