主视觉标题卡上写着“Qwen4-Exp QSA 登陆华为昇腾”,位于“未验证 — 草稿 PR,未合并”徽章下方,副标题为“深入 SGLang PR #41855 — 可选启用的 CANN 预填充路径”,三个标签分别写着“创建于 2026-09-30”、“标志默认关闭”和“Ascend 910C / CANN 9.0”,页脚一行写着“贡献者报告的数据;未经独立复现。”OrcaRouter 标志合成在右下角。
Guides & Insights

Qwen4-Exp QSA 登陆华为昇腾:深入解读 SGLang 需主动启用的 CANN 预填充 PR

作者

Alistair Wren

发布日期

最新模型 · 20查看全部模型 →
基准测试:Artificial Analysis · 每日更新
返回全部文章

2026年9月30日,一位贡献者发起了 SGLang 拉取请求 #41855,标题为“[NPU] 为 Qwen4-Exp QSA 预填充添加可选的 CANN 稀疏注意力”,而有趣之处不在于算术,而在于硬件。Qwen4Exp 架构现在在一个尚未合并的草稿拉取请求中,为华为 Ascend 910C 加速器提供了一条手写的稀疏注意力路径,并由一个默认关闭的标志控制——而该架构名称所属的模型 Qwen4-Exp,从未以任何形式发布过。唯一以开放权重承载这一架构的检查点仍然是 Qwen3.8-Flash-Next,即厂商于 2026 年 8 月 24 日在 Hugging Face 上发布的 1250 亿参数混合专家预览版,其模型卡实际上将其架构声明为qwen4_exp。Qwen 4 本身——厂商在 2026 年 9 月 22 日的 Apsara 大会上公布的 Max、Flash、Plus 和 27B 层级——仍然没有权重、没有标识符、没有价格,也没有日期。因此,这是一篇关于工程产物、而非产品发布的“目前已知”文章:又一家厂商的服务栈悄然认定,一个尚未发布的架构值得提前支持。

pull request 实际添加的内容

这一改动有意做得很小,也刻意收窄范围。五个文件,一次提交,相对于主分支提交 b87a241,带有 SGLang npu 标签。作者 w1ida,在开头就说明了意图:这是一条面向 Qwen4-Exp QSA 急切预填充、可选择启用的 CANN 主注意力路径,构建于 torch_npu.npu_sparse_flash_attention,其中索引器、Top-K 选择、token 预算和 KV 缓存内容都完全保持原样。

它用来实现这一点的小技巧值得用一段话说明,因为这解释了为什么这是一种布局适配器,而不是一种新的注意力内核。对于已经旋转过的 Q 和 K,该路径将缓存打包为 C = [K, V],并将查询打包为 Q' = [Q, 0]。乘积 Q' @ C.T 于是等于 Q @ K.T,并且由于填充后的查询不贡献任何内容,softmax(scale * Q' @ C.T) @ C 会返回堆叠后的 [P @ K, P @ V]——因此可以切出 V 那一半。用作者自己的话说,这是一种“注意力布局嵌入,而不是对模型注意力或低秩 KV 压缩的改动”。每个 KV 头在原生 MLA 布局中成为独立批次,原始的 D256 缩放得以保留,辅助 RoPE 被置零。

操作细节与数学同样重要:

• 启用方式 — SGLANG_NPU_QSA_NATIVE_PREFILL=1,默认为 关闭。只有普通的 ForwardMode.EXTEND 才会启用;decode、投机模式、混合前向和图捕获均继续走现有路径,且图捕获会完全绕过该适配器。

• 硬件与数据类型 — 头维度为 256 的 BF16,Ascend 910C(Ascend910_93*),已针对 CANN 9.0 与 torch-npu 2.10 进行测试。任何不受支持的数据类型或形状都会静默回退到参考路径。

• 头形状 — 本地支持的 (Q 头数、KV 头数) 对为 (16,2)、(24,2)、(12,1)、(6,1) 和 (3,1)。CANN 会直接拒绝 query/KV 比率为 12 的情况——其 tiler 只接受 2 的幂——因此头数会被填充为 12→16、6→8 或 3→4,多出的输出则被丢弃。这是整个 PR 中最清晰的迹象,表明该硬件在设计时并未考虑稀疏注意力头比率,而适配器正在吸收这种不匹配,而不是让模型为此改变形状。

• 尺寸边界——仅打包被引用的物理缓存范围,上限为 262,144 个 token,作者计算出在两个 KV 头下,打包后的 BF16 K/V 张量至多为 512 MiB。内部的 -1 填充会被检测并路由到回退路径,因为 CANN 要求连续的有效的槽位;完全被掩码的行保留现有的零输出约定。

• 为何仅限预填充——范围和布局检查会将两个标量复制到主机,而临时副本加上原生工作区会占用内存。正是这次同步使该路径被限制为仅用于即时预填充,并在捕获期间保持关闭。

A capture of the SGLang GitHub pull request #41855, titled '[NPU] Add opt-in CANN sparse attention for Qwen4-Exp QSA prefill', showing an Open state with no merged marker, the line 'w1ida wants to merge 1 commit into main from npu/qsa-cann-prefill', the npu label, and the start of the Motivation section describing the Q' = [Q, 0] and C = [K, V] packing and stating that the approach avoids modifying the indexer, Top-K selection, or KV-cache layout.

九项通过的测试,以及一个并非来自此分支的速度数值

正确性证据具体且可复现,这比大多数内核 PR 所能提供的还要多。作者报告,在 Ascend 910C(Ascend910_9362)上,9 项测试在 40.772 秒内通过,使用 CANN 9.0 和 torch-npu 2.10.0,且无需检查点:非零随机 BF16 Q/K/V,对照基于相同 BF16 输入计算得到的 FP32 CPU 参考;宽度为 1/63/64/65/2051 的无序物理槽;默认缩放与显式缩放;全掩码行;零行;零选择宽度;非连续张量;压缩比为 4 的因果尾部余数 0 至 3;带共享前缀的双请求物理映射;缓存内容复用;以及 1 和 257 查询行下的 Flash-Next 局部头形状。

主要案例是一次长 prefill:7,810 个查询 token,对应 65,536 token 的缓存,每个查询选取 2,051 个槽位,所有输出均为有限值,并抽取八行与 FP32 参考结果进行比对。在小型 head-shape 用例上观测到的相对 L2 误差达到 0.209%,在抽样的长 prefill 行上为 0.231%,而测试门槛为 atol=0.025, rtol=0.025以及相对 L2 低于 0.008,且空行必须严格为零。该次运行的 NPU 峰值已分配内存被记录为 1,042.7 MiB —— 作者将其标注为 PyTorch 分配器指标,而非板载 HBM,也非完整模型内存,这正是应当附加的恰当说明。

然后还有一个会被引用、但不该被引用的数字。PR 正文附有一张速度表,显示现有的本地注意力路径为每秒 2,270.79 个新 token,而原生打包的主注意力为 3,890.06 —— 提升 1.713 倍 / +71.3%,平均首 token 时间从 3.109 秒降至 1.812 秒。作者明确指出,这些是历史原型测量数据,于 2026-09-29 在适配的 Whittle-Next-26B-A3B 检查点上进行,运行于 TP1,采用 W8A8 权重和 BF16 注意力,在 910C 上、CANN 9.0 下,使用官方 sglang.bench_serving 测试框架,并发数为 1,六个请求,每个请求一个输出 token,并且新 token 吞吐量中排除了 36,096 个缓存前缀 token。它们不是对 PR 中上游分支的基准测试,原始 serving JSON 产物不在检出内容中,而后来约每秒 5,000 个 token 的本地结果使用了额外的原生 indexer 和 block4 工作,这些工作明确不归因于本次变更。作者还指出,适配检查点的 indexer 权重是惰性的,其预算与原始版本不同,因此所有这些都不能作为关于 indexer 正确性或全预算生成质量的证据。

需要澄清一下命名,因为这会误导任何搜索该检查点的人:基准模型是贡献者自己适配的产物。另外,“Whittle-Next”也是一个公开系列的名称,该系列是由第三方 Hugging Face 账号发布的、源自 Qwen3.8 的 MoE 微调模型,其中包括 9 月上传的一个 26B-A3B 变体。这些并不是此 PR 所针对的 Qwen4Exp 模型,也不应被解读为那个 1.713× 数字背后的基准配置。

还有两点提醒来自作者而非我本人。完整的服务集成、分布式张量并行以及完整的 Qwen3.8-Flash-Next 模型尚未在该分支上验证;贡献者表示,在集成和依赖问题讨论期间将其保持为草稿是有意为之,甚至在 PR 正文中询问该适配器究竟应属于 SGLang 还是单独的 sgl-kernel-npu 仓库。CI 也不干净——PR 正文的状态块显示 PR Test (Base)、PR Test (Extra) 和 AMD ROCm 10 运行均失败。上述正确性仅停留在算子层面;PR 中没有任何内容声称在集成栈上取得了端到端的精度或吞吐量结果。

为什么QSA是棘手的部分,用数字来说明

Qwen Sparse Attention 并不是一种常规的注意力层,而已发布的配置也说明了为何加速器厂商必须为它专门编写一条定制路径。从 Qwen3.8-Flash-Next 的配置来看:48 层,其布局为“三个 Gated DeltaNet 块后接一个全注意力块”这一结构重复十二次,full_attention_interval 为 4,隐藏层大小为 2,560,注意力头维度为 256,24 个查询头对应 2 个 KV 头,RoPE 维度为 64。使注意力变得稀疏的索引器是一种多查询结构:4 个查询头共享 1 个键头,头维度为 128,压缩比为 4,每个查询的预算为 2,048 个被选中的微块。

该预算正是 PR 保持不变的部分。稀疏块大小保持为 1,稀疏模式保持为 0,注意力模式保持为 2,选定 token 接口未被改动;原生索引器和 block4 优化明确不在范围内。因此,这是一个加装在现有选择机制之下的适配器,而不是对 QSA 的重新实现——这也正是作者能够可信地声称 KV-cache 内容未发生变化的原因。

A two-column scoreboard titled 'Qwen4-Exp QSA on Ascend — what was measured where'. The left column, headed 'Correctness (this branch)', reads: Suite 9 unit tests, Runtime 40.772 s, Reference FP32 CPU, Long prefill 7,810 query tokens, Relative L2 error up to 0.231%, Model needed none. The right column, headed 'Speed (historical prototype)', reads: Suite sglang.bench_serving, Tokens/s 2,270.79 to 3,890.06, Reported gain 1.713x, Mean TTFT 3.109 s to 1.812 s, Checkpoint adapted 26B-A3B, Model card not on this branch. A footer line reads that both columns are contributor-reported in SGLang PR #41855 and unaudited, and that the speed arm is a 2026-09-29 prototype, not this branch. The OrcaRouter logo is composited in the bottom-right corner.

模型卡直白地阐明了设计意图:QSA 并非选择单个 token,而是在微块层面工作,以降低长上下文延迟;而这种微块粒度,以及随之而来的复制选择器状态,恰恰无法干净地映射到两家厂商芯片上的通用分页注意力内核上。

这在 Qwen4Exp 服务部署中的位置

单独来看,一个加速器上的一个草稿 PR 不过是件新鲜事。对照九月的其余部分来看,它却是一个平台的第四或第五块木板,而这个平台正在它所服务的家族尚未存在之前,就被公开搭建起来:

• 开放权重中的架构——Qwen3.8-Flash-Next,2026-08-24,一个 125B 参数的 MoE,激活参数 6B,带有 510 亿参数的 n-gram 嵌入表和 4B 的 MTP 头,其 model_type: qwen4_exp 和架构为 Qwen4ExpForConditionalGeneration。

• vLLM 侧 —— #53909,即添加 HyperConnection、QSA 和 PLE 内核的“qwen4 fuse op”PR,自 2026-08-26 起仍处于开放且未合并状态;#59279 为同一 QSA 路径添加了解码上下文并行,是一份于 2026-09-29 开启的草稿;以及在整个九月期间落地的 PLE 卸载工作。

• SGLang 这一侧 —— #38642 用于 DFlash 隐状态捕获,#39548 用于 Ascend 上 Qwen4-Exp 的 PLE CPU 卸载,#40235 为基于文件的 PLE 表增加主机暂存,以及如今的 #41855 用于 Ascend 注意力路径。

• NPU 支持这条线——sglang #37570,在 NPU 上为 SGLang 加入 Qwen3.8-Flash-Next,支持 graph replay、MTP 和 Triton kernel(2026-09-02 开启,至今仍处于开启状态,涉及 20 个文件、+2,590 行),以及配套 Triton kernel 的 sgl-kernel-npu #807(2026-09-17 开启,+4,643 行)。两者来自同一位贡献者。#41855 是位于这项更大规模支持工作之中的 attention 层。

两点可供读者参考并据此行动的观察。首先,整个 Ascend Qwen4Exp 的故事只依赖极少数贡献者——启用 PR 与内核仓库出自同一位作者,而注意力适配器则是另一位。这种集中度恰好说明,Ascend Qwen4Exp 推理服务距离成为受支持的产品路径、而非实验性方案,还有多远。其次,内核瓶颈并非某家厂商独有:2026-08-28 提交的两个 SGLang issue 记录了在 NVIDIA DGX Spark 上运行 Qwen4Exp 解码的情况,其中 QSA、PLE 和 Gated DeltaNet 的内核耗时占主导,并且测得 NVFP4 KV 缓存相比 fp8_e4m3 使解码性能回退了约 29%。这一架构的注意力层与嵌入层在任何地方都是最难啃的部分。

这不意味着什么

这并不意味着 Qwen 4 已经发布,或即将发布。阿里巴巴在 2026-09-22 命名的 Qwen 4 系列——Max、Flash、Plus 以及一个 27B 层级——仍然只是一份路线图,没有模型卡、没有权重、没有 API 标识符、没有上下文窗口、没有许可证,也没有价格。一个以内部架构名称为目标的框架适配器,是朝着有朝一日能很好地服务该系列迈出的一步;但它并不是让该系列成为现实的一步。

这并不意味着你今天就能跑起来。这个 PR 还是草稿,CI 处于失败状态,也没有合并日期。即便合并了,这条路径也需要 Ascend 910C、BF16、CANN 9.0 搭配 torch-npu 2.10,以及五种特定本地 head 形状中的一种,而且它是可选项——也就是说部署时必须主动选择启用。作者也没有声称做过服务器级验证,而这恰恰是能真正说明它在真实批处理下是否站得住脚的部分。

而这并不意味着 Qwen3.8-Flash-Next 是昇腾上受支持的产品,也不是任何已发布引擎构建中被支持的产品。两大主流开放运行时里的 Qwen4Exp 路径都还是尚未合并的拉取请求。你找不到任何一个已发布的 SGLang 或 vLLM 版本能原生地服务这一架构——托管端点那种 FastAPI 式的便利,与你亲手可跑的算子内核,是两回事,而两者之间的落差,恰恰正是像这个 PR 这样的工作存在的意义。

等待时你实际可以呼叫什么

如果你关注 Qwen4Exp 的原因是想测试该架构的长上下文行为,而不是它的内核内部实现,那么你该伸手去够的,是阿里巴巴实际对外提供的那个层级。Qwen3.8-Flash —— 基于 Qwen3.8-Flash-Next 打造的生产线模型,带有官方内置工具和 1,000,000 token 上下文 —— 已在 OrcaRouter 上线,型号为 qwen/qwen3.8-flash:支持文本、图像和视频输入,最大输出 131,072 token,输入每百万 token 收费 $0.15,输出每百万 token 收费 $0.47,缓存读取为 $0.0184。这些都是供应商的标价,在我们这边以 0% 加价原样透传,因此供应商对该模型的价格或限制一旦变动,你会在其公布当天就同步感知到。在过去七天的窗口内,实时卡片显示首 token 延迟 p50 为 4,416 ms,输出速度约每秒 106 token,错误率 2.68% —— 这是高吞吐文本层级的面貌,而非实验室预览版。

两点坦诚的说明,而与本文同属这一架构的其他几篇文稿所载的,也正是同样这两点。Qwen3.8-Flash-Next 本身——即那个 FP8 预览检查点,也就是你要在本地复现上述任何一项内核测量结果都需要的东西——并不在我们的目录中;所服务的 Flash 层级是由它构建而成的生产部署,而非原始的预览产物。而且,上文所述的 Ascend 或 DCP 相关工作,都不存在于任何你能调用的东西中,因为它们全都尚未合并。所服务的层级确实能给你的,是一种低成本的方式,用来弄清你的工作负载是否契合这些内核所解决的问题形态——即针对极长上下文的长篇、前缀密集、智能体式的提示词。如果是,你在那里观察到的吞吐量与缓存行为,正是 Qwen 4 服务栈将被调优去保护的同一行为。

还有一个底层管线层面的理由,说明不必等待一个尚未公布日期的模型家族。无论最终是哪个档位在 Qwen 4 阵容中胜出,切换成本都是一个路由问题,而不是一个集成项目,而一个 API 覆盖 200+ 模型正是当权重落地时,让你无需第二份合同或改动代码就能保留这个选项的方式。故障转移在这里也因同样的原因而以一种特定方式重要:如果你想基于一个未经检验的档位来构建,你会希望当你看好的路径正经历糟糕时刻时,请求能转移到稳定的东西上,而不是直接失败。

A capture of the OrcaRouter model page for Qwen: Qwen3.8 Flash (qwen/qwen3.8-flash), showing the Qwen provider, a release date of 2026-08-26, the Quick Facts tags General Chat and High Volume, an independent-provider throughput of 106.2 output tok/s and 4,416 ms first-token latency, pricing of $0.23 cache write, $0.0184 cache read, $0.15 input and $0.47 output per 1M tokens, a PERFORMANCE panel for the seven-day window Sep 23 to Sep 30 2026 reading throughput 106.2 tok/s, first-token latency 4.4 s and error rate 3.9%, a traffic chart reading 2.57B tokens last 7 days with +6.9% versus the earlier half, a 0% markup note, and a vendor rate card cross-check block crediting Qwen Cloud, published 2026-08-26 and last checked 2026-09-30 12:08 UTC.

三个值得直接回答的问题

SGLang #41855 是否意味着 Qwen 4 已经发布,还是可以预览了?

不,两点都不对。这个 pull request 针对的是 Qwen3.8-Flash-Next 中实现的 Qwen4Exp 架构,Alibaba 于 2026-08-24 发布了它。它不涉及 Qwen 4 权重,而且没有任何 Qwen 4 层级有可供涉及的权重。这里要解读的信号,是关于一个预览架构的服务容量,而不是该系列的可用性。

如果模型卡上写着 qwen4_exp,那就是 Qwen 4 吗?

不——而这就是整个故事里的命名陷阱。qwen4_exp 是内部架构标识符,而它就是你会在 config.json 中找到的内容,对应 Qwen3.8-Flash-Next 及其 FP8 同系列模型。“实验性架构”才是关键词:权重已发布,架构是真实存在的,而该模型是 Qwen 4 系列预期将基于什么构建的一个预览。搜索这个标识符,并发现一个标题中带有 Qwen4Exp 的 SGLang 或 vLLM PR,只能说明与引擎工作有关,而不是一次发布。

这是一个昇腾对抗英伟达的故事吗?

不完全是。同一条注意力路径在 NVIDIA 侧也需要一个定制适配器——vLLM 中面向 QSA 的解码上下文并行,以及面向 Hopper 的原生稀疏预填充内核——而 DGX Spark 的问题表明,QSA、PLE 和 Gated DeltaNet 的内核时间在那里同样主导了解码。QSA 的微块索引器及其复制的选择器状态,根本不是通用分页注意力内核所假设的样子。Ascend 对这一模式带来的贡献是更尖锐的约束:一个只接受 2 的幂的头比例平铺器,这迫使适配器不得不去隐藏由此产生的填充。

值得关注的事

问题不在于它是否会被合并。适配器坦承自己就是个适配器,正确性测试无需检查点即可复现,作者也标出了集成问题,而不是假装它已有定论。真正要关注的是,把 NPU 启用那条线和这条注意力路径结合起来之后会发生什么——集成分支能否得到二者都未曾有过的端到端运行,在完整模型上进行真实批处理,而不是用局部的头形状张量。1.713× 这个数字是会被传开的那个,而它是在不同的构建上、基于经过适配的检查点、带着一个不起作用的索引器算出来的。在最终完成的栈上实测出的数字,价值会远高于一个历史数字。

在那之前,诚实的总结只能是 PR 自己始终坚持的那一句:算术对得上,开关默认关闭,CI 是红的,而标题里的那个模型仍然并不存在。