Qwen 4：vLLM 的“qwen4 fuse op”PR 命名了架构——Apsara 2026 命名了家族

一份标题为“Add qwen4 fuse op”的拉取请求自8月26日以来一直挂在 vLLM 仓库中处于开放状态，而在当月大部分时间里，它是公司外部对阿里巴巴下一代模型最接近的描述。这一状况在2026年9月22日发生变化，当天阿里巴巴 Qwen 负责人刘大一恒借杭州云栖大会开幕之机，公布了该系列的名称：Qwen 4 Max、Qwen 4 Flash、Qwen 4 Plus 和 Qwen 4 27B——开放权重层级，也是本地推理领域一直在等待的那一个。两天后，会议闭幕，该公司首次将该系列列入路线图：Qwen 4 正在训练，以及后续产品线——Qwen 4.5 和 Qwen 5——预计达到5万亿至10万亿参数，这一数字由阿里巴巴集团 CEO 吴泳铭在台上给出，公司随后在自己的英文新闻稿中重复了这一数字。两周过去，这份路线图并不是一份时间表。如今流传的时间点是一个窗口——10月或11月初——而这一切都无法追溯到阿里巴巴已发布的任何内容。该公司自己的书面材料没有月份、没有季度，也没有日期；该模型没有标识符、没有上下文窗口，也没有价格；而且 Hugging Face 上的 Qwen 组织下不存在 Qwen 4 仓库。请把这个窗口当作愿望，而不是计划。这个拉取请求——vllm-project/vllm#53909，仍然开放、仍未合并、仍在等待审查——也没有提供发布日期和参数数量。它为三个算子族添加了独立的 Triton 内核：HyperConnection、Qwen 稀疏注意力（QSA）和 PLE 状态操作。它的标题写着“qwen4”，而其算子列表与阿里巴巴在 Qwen3.8-Flash-Next 的开放权重中发布的架构几乎完全吻合——这是一个多模态混合专家模型，于2026年8月26日发布，其 Hugging Face 模型卡上写着“Qwen4 架构预览”。Qwen 4 本身仍未发布。这个系列有了名称、路线图上的位置和传闻中的窗口；而内核仍然是唯一描述它的东西。

这是一篇“目前我们所知”的汇总，而非发布报道。Aliba​ba 如今已在公开场合为这一系列命名，并将其列入公司路线图，但命名不等于交付：任何 Qwe​n 4 档位都没有模型卡、没有权重，也没有 API，且下文每一项架构说法仍来自 Qwen3.8-Flash-Next 预览版及其周边工程产物，而非任何 Qwe​n 4 文档。硬证据是仍在审阅中的 vLLM 拉取请求、已发布的预览模型、8 月 27 日提交并为同一 Qwe​n4-Exp 架构配置添加原生支持的 sglang PR，以及此后进入 vLLM 自身 main 分支模型注册表的 qwen4_exp 条目——Qwen4ExpForCausalLM、Qwen4ExpForConditionalGeneration 和 Qwen4ExpMTP——还有已于 9 月 1 日合并的 Rust 前端多模态工作。我们从中得出的结论——这些 PR 中的算子就是 Aliba​ba 所预览的架构——是对该证据的一种解读，下文每一项具体内容都据此标注。这里有一项说法完全不是 Alibaba 的：10 月至 11 月初的时间窗口来自 X 上的一则观察名单帖子，以及过去两周内重复该说法的追踪页面；它未经复现，且无论在何处出现，都按社区来源标注。

阿里巴巴在9月22日究竟说了什么

阿里巴巴在云栖大会（Apsara）开幕式上预览了 Qwen 4 系列，该大会于 2026 年 9 月 22 日至 9 月 24 日在杭州举行，Qwen 负责人刘大一恒登台亮相。开幕式上公布了四个层级，沿用 3.8 代已经确立的架构：

• Qwen 4 Max —— 旗舰层级，也是用来对标其他所有前沿实验室顶级型号的那一款。

• Qwe​n 4 Flash — 高吞吐量层级，面向对延迟敏感、高并发的工作负载，而非追求峰值推理能力。

• Qwe​n 4 Plus — 均衡的中端之选。

• Qwe​n 4 27B —— 开放权重层级：这是 Qwe​n 此前以开放权重形式发布过的规模级别，也是被描述为可在本地运行的选项。

27B 条目是此次公告中的具体部分，也是本文背后的信源信号所回应的对象。在 3.8 代中，27B 档位是开放权重发布，在发布后几天内就被转换为 MLX、量化为 NVFP4 并进行微调，因此一个被点名的 Qwen 4 27B 再次为下游生态系统提供了一个目标。它是一个目标，而不是一次发布，这一区分值得坚持：Alibaba 没有公布其参数构成、许可证、上下文窗口，也没有公布日期，而且这个档位名称甚至没有说明它是密集模型还是专家混合模型。让先前 27B 档位可运行的一切——其规模级别、单机导向——都继承自产品线的历史，而非针对该模型作出的规定。

这场大会未能提供的，恰恰是读者可以据此做规划的东西。阿里巴巴所表明的立场——属于厂商话术，在台上发布、由多家独立媒体报道，而非经过独立核实——是：Qwen 4 建立在新一代架构之上，目前正在训练中，并将“很快”推出。没有任何一个档位给出上下文窗口、价格、模态列表或已公布的评分。大会上唯一有明确日期的项目，是一款定于 11 月推出的新一代视频模型。同一个台上抛出的一个数字需要各归其位：5 万亿到 10 万亿参数的雄心属于 Qwen 4.5 和 Qwen 5 的时间框架，而非 Qwen 4——Qwen 4 的任何档位都没有附带参数规模。这个数字已不再是什么泄露或流传的说法：它出现在阿里巴巴自己的英文新闻稿中，被归于 CEO 吴泳铭（Eddie Wu）的主旨演讲，并且是以一项预测的形式给出的，既无日期，背后也没有架构支撑——由公司自己陈述，且仍未被复现。

命名改变的是这个家族的地位，而不是证据的状态。以下内容仍然是服务层对这一架构是什么的描述——而且，由于该公告本身没有添加任何规格说明，这一描述仍然比 Alibaba 已发布的任何内容都更详细。

“qwen4 fuse op” PR 究竟是什么

vllm-project/vllm 中的拉取请求 #53909 处于打开状态，来自一个贡献者的 fork，并且仍在等待代码所有者审查——自动审查被禁用，正是因为它来自 fork。这是一项小型的、内核相关的工作：

• 三个 HyperConnection 内核 —— 一个分组 Ge​ma RMSNorm、一个门控归约，以及一个注入合并。

• 三个 QSA 内核，外加三个用于对比的厂商基线封装。

• PLE 状态收集与掩码散射内核。

• 十三项通过的测试，涵盖 dtype 与 shape 防护、分页元数据、缓存槽位、MRoPE 布局、跨步状态、空索引与重复索引，以及确定性执行。

除了算子列表之外，还有两个细节值得注意。首先，该实现采用故障关闭（fail-closed）策略：主机侧守卫会抛出错误，而不是回退到通用的 Torch 计算路径，因为注意力内核中一个静默错误的值比硬性失败更糟糕。其次，命名上的分裂——标题写的是“qwen4”，而描述中却称其为 Qwen3.8-Flash-Next——本身就是一种信号。vLLM 一方将预览模型视为 qwen4 系列的首个实例，并以该系列名来构建内核，以覆盖其后出现的任何模型。

为了说明什么是“fuse op”（融合算子）：推理引擎通常按模型的计算图执行，每个算子对应一次内核启动，而每次启动都伴随着开销——内核之间的内存往返、调度成本。将多个逐元素运算和状态运算融合进单个内核可以减少这种开销，而这正是一款新架构的成本和延迟成败所在。如果一个模型所依赖的算子在任何地方都没有融合实现，那么无论训练多么巧妙，它都会又慢又耗内存；第一个把它们很好地融合起来的引擎，就决定了该模型在现实世界中的成本。

将内核名称当作蓝图来解读

这些算子都不存在于标准 Transformer 算子集中，这正是它们需要新内核的根本原因——而每一个都对应着 Aliba​ba 在 Qwen3.8-Flash-Next 中预览的架构中的一个特定部分：

• HyperConnection → 门控残差连接。单一残差流被拓宽为四个并行分支，并采用逐元素动态门控，让模型自行决定从每个分支读取多少以及向每个分支写入多少；残差状态可以以 FP8 存储，以减少内存流量。

• QSA → Qwen 稀疏注意力（Sparse Attention）。一个轻量级索引器以 4 的压缩比将键压缩为微块，对其打分，并保留最好的 512 个块——约 2,051 个逻辑 token 位置——而最终的 softmax 与值聚合仍在原始的、未压缩的 K/V 上运行。48 层中有 12 层是 QSA；其余 36 层是 GDN 线性注意力层，具有固定大小的循环状态，且没有不断增长的 KV 缓存。

• PLE 状态操作 → n-gram 记忆。那张 510 亿参数的查找表——SGLang 文章中所称的“逐层嵌入”（Per-Layer Embeddings）——以当前 token 加上其前两三个 token 进行哈希寻址，每个 token 取 16 行。其位置可预先计算，因此可以驻留于主机内存并异步预取，而不必占用 GPU 显存。

• 内核所在的 MoE 主体：125B 总参数，每个 token 约 6B 激活——激活率不到 5%——通过 top-10 路由在 512 个专家上进行路由。

有两点说明能让这话保持诚实。首先，上述架构读自 Qwen3.8-Flash-Next 的模型卡和社区拆解，而非任何 Qwe​n 4 文档——它是关于该系列的证据，而不是该系列的规格说明。其次，这些都不改变核心事实：Qwe​n 4 不存在于任何目录中。

另一条独立的证据线索是视觉路径，值得与上面的内核解读分开来看。不依赖于任何算子映射，vLLM 自己在 main 分支上的模型注册表列出了一个 qwen4_exp 条目——Qwen4ExpForConditionalGeneration——注册为多模态模型，配备 Qwen3-VL 视觉塔和 Qwen3VLMultiModalProcessor。将这个配置接入引擎多模态 crate 的 Rust 前端 PR（#54813）——即把图像输入转换为 token 的代码路径——已于 2026 年 9 月 1 日合并。这比同一 PR 处于打开状态是更强的证明，因为 qwen4 系列的多模态路径如今已在引擎中，而不是在某个人的分支里。它仍然不是一次发布：那个注册表条目所描述的模型既没有权重，也没有 API。但这是首个工程层面的确认，表明下一代 Qwen 接受图像输入，而且该架构上的“多模态”标签不再只是预览版模型卡上的一行字。

为什么该架构会改变成本图景

如果 Qwe​n 4 基于这一架构发布，其经济性就与标准的稠密 Transformer——甚至普通的 MoE——不同，而正是这一差异，让内核工作值得关注。

• 内存与计算分离。内存成本取决于总参数量——要服务该模型，全部 125B 参数都必须常驻。计算成本取决于活跃参数量——每次前向传播只有约 6B 参与运行。正是这种分离，使一个“125B”模型能够以一个小得多的模型的成本来提供服务。

• KV 缓存在大多数层上停止增长。48 层中有 36 层采用固定大小的循环状态注意力，不断增长的键/值缓存被限制在 12 层之内。在 262K token 的原生上下文——经由 YaRN 可达 1M——这正是长上下文服务之所以能够变得经济可行的主要原因之一。

• 大表可以卸载。n-gram 表是单一最大的内存占用者，参数量达 51B，而且它无需驻留在 GPU 上。SGLang 的 day-0 工作测量了将 BF16 表卸载到锁页主机内存的效果：在 H200 上每块 GPU 释放约 23 GiB，并将可分配的 KV 容量提升约 78%——且输出比特完全一致。在 vLLM 一侧，同样的卸载是以分阶段方式落地的，而非通过单个 PR：最初的支持 PR（#53899）于 9 月 21 日未合并即被关闭，而该能力本身则通过若干独立的合并到来——#54371，基于 UVA 的 PLE 卸载并支持 Engram 张量并行，于 9 月 9 日；以及一条 ROCm 路径（#57497），于 9 月 25 日。

这些数字目前都尚未经过独立审计——7.6×/4.9× 的长上下文加速比说法、SGLang 帖子中 540 tok/s 的解码数据，以及“Qwen3.7-Plus 的 1/9”训练成本说法——在中立指数复现它们之前，都应被视为厂商或社区报告的结果。

为它服务的竞赛

两大主流引擎都在推进 qwen4 的相关工作——SGLang 在 8 月 26 日预览版发布后的几天内就推出了首日支持，而此后双方的工作不断累积，从配置注册到内核与内存工程，层层叠加。

• SGLang 于 8 月 26 日发布了一篇 day-0 文章，该文章由 SGLang、Alibaba、NVIDIA 和 AMD 合作完成，发布了 NVFP4 检查点，并声称在 B200 上以 TP4 配合投机解码时，解码速度达到 540 tokens/s。

• 8月27日，一个 sglang PR（#36585）为引擎本身添加了原生 Qwen4-Exp 支持——注册了 Qwen4ExpForConditionalGeneration 配置，以及一个由相同的 GatedResidual、Gated DeltaNet、Qwen 稀疏注意力、PLE 和 MoE 组件构建的文本模型。该 PR 尚未合并：它来自一位非维护者贡献者，相关工作被归功于一个名为 Argus 的自主智能体，目前仍处于开放状态，等待审查。不过，它的锚点是可以独立核查的——Qwen3.8-Flash-Next 自身的配置声明了 model_type=qwen4_exp，而参考实现如今就位于 huggingface/transformers 下的 models/qwen4_exp 中。

• 9 月 8 日，一份 sglang PR（#38492）针对 qwen4-main-squashed 开出，这是专属于 Qwen4/Flash-Next 产品线的 sglang 分支，而这一次不是注册。它为该架构的多 token 预测（MTP）验证移植了 RecoverSSM——一条最初为 SM120 上的 Qwen3.8-Flash-Next 构建的已接受状态恢复路径。MTP 草稿会流经 Gated DeltaNet 层的固定大小循环状态，引擎不会在草稿被验证期间把所有中间推测状态都保留在内存中，而是从已提交状态和已接受的 token 前缀重建已接受状态。该模式为可选启用（一个 --gdn-mtp-cache-mode none 标志；当前的全缓存行为仍是默认值），而且即便以本报道的标准来看也仍属早期：一份最后修改于 9 月 14 日的草稿，其当前 head 仍有九项检查未通过，作者自己的检查清单也仍未完成，之后才能被标记为可审查。方向才是关键——sglang 正在工程化 Qwen4 的服务路径，而不仅仅是注册其配置。

• 自本文首次发布以来的数周里，vLLM 的 qwen4 系列已从三个开放的 PR 变成了一份喜忧参半的记录。Rust 前端多模态 PR（#54813）已于 9 月 1 日合并。PLE-offload 工作分两部分合并——#54371 于 9 月 9 日合并，#57497 于 9 月 25 日合并——而最初的 PLE-offload PR（#53899）已于 9 月 21 日关闭且未合并。此后，该 config 已进入上游：#57387 将 qwen4_exp config 和 processor 切换为上游 Transformers 实现，已于 10 月 2 日合并。目前仍然开放的是本文所讨论的 fuse-op PR（#53909）——同时还有 10 月 1 日提交的 QSA ring-buffer 错误修复（#59528），以及自 9 月 26 日起开放、针对 510 亿参数 n-gram 表进行的 SM86（Ampere）处理（#58856）；当人们正试图在较旧硬件上服务某个模型，而不是这个模型根本没人跑过时，就会做这类工作。qwen4_exp config 本身在 vLLM 中注册为多模态：一个 Qwen3-VL 视觉塔与 Qwen4-Exp 文本模型配对。

这是一场有真正奖品的竞赛。最能融合新算子的引擎，将决定 Qwen4 这一代的服务定价，因为内核效率——而非原始参数量——才是混合注意力模型 token 成本的构成要素。

今天实际已经发布的是什么：Qwen3.8-Flash-Next 对比 Qwen 4

值得对这个故事中的两件事保持精确，因为命名在其中发挥了很大作用。

• Qwen3.8-Flash-Next 发布了。开放权重已在 Hugging Face 和 ModelScope 上以 qwen-community-1.0 许可证提供，分为标准版和 FP8 版本；模型卡给出了完整规格——125B MoE、约 6B 激活参数、51B n-gram 表、262K 上下文、多模态。这是架构预览版，而非旗舰型号。

• Qwen3.8-Flash 是 Alibaba 随之一同发布的已上线生产版本，在 Qwen Cloud 上标价为每百万输入 token ¥1、每百万输出 token ¥3（约合 $0.16 / $0.47），默认 1M-token 上下文并内置工具。厂商自报定价，尚未进入任何独立指数。

• Qwen 4 尚未发布。Alibaba 于 2026 年 9 月 22 日公布了全部四个档位，并表示该系列正在训练中、即将推出——这是官方首次就时间安排发声，但仍算不上时间表。任何档位都没有日期、没有模型卡，也没有权重。眼下流传的时间窗口是 10 月至 11 月初，而它来自观察名单帖和追踪页面，并非来自 Alibaba：训练状态是公司口径，时间安排则来自社区。7 月路线图泄露中流传的 9 月窗口已经过去，这本身就是答案。

• Qwen 4 27B 这一档才是出于非基准测试原因值得关注的那个：它是该系列中唯一有发布开放权重记录的档位，而一款已公布的 27B 正是本地推理栈据以规划的对象——这就是为什么尺寸细分、许可证和日期的缺失在这里比在旗舰款上更为要紧。

预览中的基准测试表——DeepSWE 1.1 为 58.7，SWE-bench Pro 为 62.5，LiveCodeBench v6 为 91.9——是厂商在说明卡上自行报告的，尚未经过独立复现。请围绕架构本身来做规划；把这些分数当作一句承诺，而非一次实测。

开发者现在应该做什么

今天，你当前的技术栈没有任何变化：Qwen 4 在任何地方都无法调用——Apsara 命名了各个层级，并把该系列列入了路线图，却没有交付其中任何一项——而截至撰写本文时，Qwen3.8-Flash-Next 的开源权重也仍未出现在我们自己的模型列表中——我们今天所提供的最接近的东西，是托管服务的 Qwen3.8 Flash 变体，价格为每百万 token 0.15 美元/0.47 美元，以及 Qwen3.8 27B 开源权重路线，价格为 0.33 美元/2.40 美元；在后继代际仍只是传闻之际，这是目录中最接近可在本地运行的 Qwen 的东西。路线图中的这一条是唯一值得读两遍的内容，因为这是阿里巴巴首次将后继代际落到纸面上：如果 Qwen 4.5 和 Qwen 5 真的落在 5 万亿到 10 万亿参数区间，那么那一代中你负担得起自行托管的层级就更加重要，而非更不重要。如果你想在该系列发布前感受其架构，诚实的路径是自己拉取权重，或者等待预览版在 API 后面落地。对于任何围绕 27B 层级做规划的人，同样适用，但还有一点补充：它值得追踪，恰恰因为它是那个最有可能无需 API 即可运行的层级，而它目前是四者中规格说明最少的。

当 Qwen3.8-Flash-Next 或 Qwen 4 模型真的出现在某个提供商目录中时，在 OrcaRouter 上的切换成本大约为零：一个 API 接入 200+ 模型，以 0% 加价率传递提供商的标价，并且供应商降价当天就在我们这边生效。你已经在用于 Qwen3.8 Max 的同一个端点和密钥——今天即可通过 qwen/qwen3.8-max 调用，价格为每百万 token $2.00/$6.00，标价原样传递——也就是 Qwen 4 调用将使用的同一个端点。

对于未经验证的架构，自动故障转移是正确的第一步：将一部分流量路由到新模型，并在出现故障时回退到 Qwen3.8 Max（或该工作负载实际需要的任何模型），然后让你自己的流量来决定这个预览版是否名副其实——这只是一次路由 DSL 的编辑，而非重写。

我们正在关注的

• fuse-op 内核是否会合并（#53909），如今是 vLLM 最初三个 qwen4 PR 中最后一个仍处于打开状态的——多模态前端和 PLE 卸载工作已经落地，配置也已进入上游。在 sglang 方面，原生支持 PR 和 RecoverSSM 草案也都仍处于打开状态。一套合并后的内核是迄今最强的信号，表明 qwen4 产品线已进入两个运行时的近期路线图。

• qwen4-main-squashed 是否会固化为 sglang 的 Qwen4 主线——一个内核与内存工作持续合入的集成分支，比单个贡献者 PR 代表着更强的承诺；而且一旦旗舰版本有了发布日期，它会发生什么就值得关注。

• 视觉路径能否保留到发布版本——qwen4_exp 的多模态注册表条目和 Rust 前端集成是首个硬信号，表明旗舰模型将随发布提供图像输入，而这两者现在都已进入 vLLM 的主线代码，而不是在某个 fork 中。悬而未决的问题是，发布后的模型是否保留那个视觉塔。

• 关于 Qwen3.8-Flash-Next 的首批独立数据，这将是检验该架构的成本主张能否在供应商之外成立的首次测试。

• 一个属于 Qwe​n 4 本身的日期或模型卡。如今这个家族已经有了名字、一份梯队榜单、一个训练状态，以及在已公布路线图上的一席之地，而这些都不是时间表。社区流传的时间窗口是 10 月到 11 月初；Aliba​ba 在 Apsara 上发布的路线图完全没有日期，Hugging Face 上也没有出现任何 Qwe​n 4 仓库。下一个真正的信号，将是第一个附带日期的信号——一份模型卡、一个 API 标识符，或者权重。

• 尤其是 Qwen 4 27B 这一层级——它是否会按照 Qwen3.8-27B 的模式开放权重、以何种许可证发布，以及转换与微调生态的跟进速度有多快。

• 该系列模型的许可证——Qwen 4 是会重演 Qwen3.8 Max 的模式，即在限制使用的许可证下开放权重，还是会进一步开放。

• 预览环境上的已服务价格对比测试，它将告诉我们混合架构的 tokens 在生产环境中的实际成本。

常见问题

Qwen​ 4 什么时候发布？目前依然没有确定日期，而且关于时间安排如今已有两份官方声明，而非一份。阿里巴巴集团 CEO 吴泳铭于 2026 年 9 月 22 日在云栖大会上确认，Qwen​ 4 正在训练中，而其后续产品线——Qwen​ 4.5 与 Qwen​ 5——预计参数规模将达到 5 万亿至 10 万亿；阿里巴巴的英文新闻稿对这两点均有复述。两份声明都未给出时间表。目前流传的三种时间说法，没有一种出自阿里巴巴：7 月 roadmap 泄露所传的 2026 年 9 月窗口，如今期限已过却并未发布；而眼下在关注清单帖和陈旧追踪页面上流传的 10 月至 11 月初窗口，只是对该实验室发布节奏的解读，并非实验室本身的声明。8 月 26 日发布的 Qwen3.8-Flash-Next 明确只是该架构的预览版，而非旗舰型号。

Qwen 4 和 Qwen3.8-Flash-Next 是同一个模型吗？不是。Qwen3.8-Flash-Next 是一个已发布的开放权重模型，其模型卡称其为“Qwen4 架构的预览版”。Qwen 4 则是 Alibaba 于 9 月 22 日公布的尚未发布的系列——共四个层级，未公布任何规格——两者架构相同，产品却并非同一个。

今天我能使用 Qwe*n 4 吗？不能——没有任何请求会路由到一个既没有权重、也没有 API 的模型，而 9 月 22 日的公告并没有改变这一点。你实际能接触到的最接近的东西，是 8 月 26 日发布的 Qwen3.8-Flash-Next 开放权重，或是已在 OrcaRouter 上线的 Qwen3.8 Max API，价格为每百万 token 2.00 美元/6.00 美元。

内核就是信息——而 9 月 22 日的公告，尽管占尽舞台时间，也并未改写它。vLLM 不会花评审周期去为它预计要放弃的算子族构建 Triton 内核，阿里巴巴也不会发布一个它预计要放弃的架构预览。在仍然开放的“qwen4 fuse op”PR、8 月 26 日发布的 Qwen3.8-Flash-Next 预览、如今位于 vLLM 主线注册表且配置已上游、多模态集成已合入的 qwen4_exp 条目、9 月同时落地 CUDA 和 ROCm 的 PLE-offload 工作，以及 9 月 8 日提交、仍在为该系列的多 token 预测路径调优 SM120 内存的 sglang 草稿 PR 之间，下一代 Qwen 的形态已不再是传闻——它写在两个运行时正为其构建的内核与内存路径之中。Apsara 补充的是每一档的名称、训练状态，以及再下一代的一个参数区间。社区此后补充的是一个时间窗口而非事实：10 月至 11 月初，来自同样的关注列表讨论帖。阿里巴巴两者都未公布。为架构做规划；不要押注日期。