Kimi Linear正在蔓延：每一个我们能验证的模型实际上都在运行KDA

"哇！Kimi-Linear 正在获得越来越多的采用！这已经是我看到的第三个外部模型了。" 这就是那条帖子的全部内容——@teortaxesTex 在 2026 年 8 月 5 日发出的短短一行，附带一张截图，却一个模型名字都没提。其中的短链接指向的是图片，而不是代码仓库，所以没有可点击跳转的内容，也没有任何可佐证的资料。不过这个说法无论如何都是可以核实的，而且它的分量远超一条一句话帖子给人的印象：如果除了 Moonshot AI 之外的其他实验室现在也在基于 Kimi-Linear-48B-A3B-Instruct 和 Kimi K3 背后的注意力设计进行构建，那么 Kimi Delta Attention 就不再只是一家实验室的内部技巧，而是开始成为其他人愿意采用的一种组件。于是我们没有去看截图，而是去找这些模型。简短的回答是：最有说服力的案例是 Ling-3.0-flash，其模型卡描述了 KDA 层与 MLA 层按 5:1 的比例堆叠；最有用的案例是一家美国实验室的研究检查点，它量化了纯 KDA 的成本；而在前沿规模上，除了 Moonshot 之外，还没有人将其落地。

该主张是什么，以及它不是什么

一位从业者、一张截图、没有点名模型、没有佐证。这就是“正在获得采用”的全部证据基础，它应被视作前去核实的提示，而非新闻。我们无法复现该截图，因此下文并不构成对它的确认——以下内容皆为我们在2026年8月5日检索时公开模型元数据所显示的信息，再加上各实验室在自家模型卡中的说明。凡数字来自厂商自身的测量，均已如此标注，因为在这个特别的报道里，几乎每一个标题数字都是如此。

Kimi Linear 上的一个屏幕，因为“adoption”意味着采用这个

Kimi Linear 是一种注意力架构，由 Kimi 团队于 2025 年 10 月 30 日以 arXiv 2510.26692 发布，并非产品。其核心是 Kimi Delta Attention（KDA），它采用 Gated DeltaNet，并将其粗粒度的遗忘门替换为细粒度的逐通道衰减，从而使循环状态能够逐通道地学习该保留什么，而非整体性地保留。更新被重构为分块的 Diagonal-Plus-Low-Rank 形式，这样做正是为了让它落到张量核心上，而不是让张量核心闲置。这种面向硬件的框架正是设计的核心所在：线性注意力在理论上向来廉价，但在实践中往往令人失望。

已发布的检查点——{{1}}Kimi-Linear-48B-A3B-Base 和 Kimi-Linear-48B-A3B-Instruct{{/1}}——总参数量为{{2}}480亿，其中30亿为激活参数{{/2}}，支持{{3}}100万token的上下文窗口{{/3}}，并采用{{4}}MIT许可证{{/4}}。层数大致按{{5}}3:1{{/5}}的比例交替：{{6}}二十个KDA层对应七个多头潜在注意力层{{/6}}，因此{{7}}每四层中有三层{{/7}}是廉价的循环层，而{{8}}每第四层{{/8}}保持精确的全局注意力。

Moonshot 所报告的均以使用相同配方训练的完整 MLA 基线为基准——厂商数据，未经独立复现：

• 解码吞吐量 — 在1M上下文下，每个输出token的耗时相比完整MLA最多可快6倍

• KV缓存 — 体积最多缩小75%，而这正是吞吐量提升的来源

• 长上下文 — 128k 下的 RULER：Kimi Linear 为 84.3，加速 3.98 倍；MLA 基线为 81.3

• 简要背景 — MMLU-Pro 在 4k 上下文下：51.0，对比 MLA 基线的 47.2 和 Gated DeltaNet 混合模型的 47.9，速度与完整注意力大致相当，因此该设计并非以牺牲短上下文质量来换取长上下文速度。

• 预训练消融实验 — 3:1混合模型达到5.65的验证困惑度，而完全注意力模型则为5.77

关于这一切，诚实的限度在于：匹配基线的证据止步于48B。没有人构建一个全注意力2.8T的Kimi K3孪生模型来与之对比；而且截至2026年7月下旬针对K3架构声称的事实核查，这两个模型都尚未发表独立的、无捷径的长上下文召回探针。效率方面的说法得到了充分支持；而“优于全注意力”的说法，则是由撰写论文的实验室在研究规模上支持的。

迄今为止，所谓的吸引力看起来只是下载量，而非他人基于其构建的架构：上月有98,164次下载、570个赞、Hugging Face上列出一家推理提供商，以及包含2个适配器、8个微调和24个量化版本的模型树。显然很受欢迎。但被复制则是另一回事。

最强的采用案例：Ling-3.0-flash

Ling-3.0-flash 是让这一说法成为现实的那个模型。它的 Hugging Face 模型卡描述了一种原生混合线性注意力架构，由 Kimi Delta Attention 与 MLA 以 5:1 的比例交替堆叠而成——35 个 KDA 层配 7 个门控 MLA 层——构建于一个 124B 参数的混合专家模型之上，每个 token 仅激活 5.1B 参数，上下文长度按 8K 到 32K 再到 256K 的梯度训练至 256K，并采用 MIT 许可证。这绝非业余爱好者手中的研究玩具；它出自成熟实验室之手，是一款正式上线的模型，而且其架构描述中直接点名了 Moonshot 的注意力模块。

此外，它在这方面比Moonshot更为激进。Moonshot每四层保留一个精确注意力层；Ling-3.0-flash每六层保留一个。如果一种设计是短板，你就应当对其加以对冲；所使用的全局层数量不应少于发明它的人。与上一代对照来看，这是一个转变：2026年2月对这类模型进行编目整理的架构综述显示，上一代Ling旗舰将Lightning Attention与MLA以7:1的比例配对使用。机制在代际之间发生了变化，而变化的方向是朝KDA演进。

我们不会掩盖两个注意事项。这是卡片所报告的：我们阅读了仓库自身的架构描述及其配置，其中声明了一种自定义的 `bailing_hybrid` 模型类型，带有 `BailingMoeV3` 实现——我们并未审计内核，以确认其数学是 KDA 而非受 KDA 启发。而且该仓库完全没有 KDA 标签；标签搜索中出现的是别人贴标的第三方 GGUF 转换。这是关于方法的一个有用警示，并直接引向接下来的两个部分。

Arcee AI 进行了一项 Moonshot 未进行的实验。

KDA最具信息量的外部应用根本不是一款产品。在Kimi Linear论文发表约六周后，即2025年12月中旬，Arcee AI基于自家ArceeKDAForCausalLM实现，发布了两个Apache-2.0研究检查点——AFM-4.5B-Base-KDA-Only和AFM-4.5B-Base-KDA-NoPE——并明确将其标记为kimi-delta-attention。他们提出的问题正是Moonshot的混合设计所谨慎回避的：完全注意力能否被彻底取代？于是，他们将全部24个注意力层转换为KDA，不再保留任何全局注意力层，并以原始AFM-4.5B-Base为教师模型，在32k序列长度下对结果进行了蒸馏。

他们报告的结果，教师对比纯KDA学生：

• MMLU — 63.1 到 55.8，真实但可承受的下降

• GSM8K — 52.1 降至 26.8，约减半

• HellaSwag — 从78.0降至74.3，基本完好

这种损伤的形态才是耐人寻味之处。广泛的知识和常识续写大多能在被推过固定大小的循环状态后幸存；而多步算术需要精确检索模型几步之前写下的中间结果，因此无法幸存。Arcee 还报告称，长上下文退化是平缓的，没有断崖。综合来看，这是最清晰的公开证据，说明了为什么每个严肃的 KDA 部署都是混合式的：Moonshot 四分之一的全局层和 Ant 六分之一的全局层并非胆怯，而是保住算术能力的部分。

它不是什么：对KDA在大规模下的定论。这是一次4.5B蒸馏，而非预训练运行；向改动后的架构进行蒸馏，会丢失从头预训练不会丢失的东西。请将其视为供应商没有动力发表的消融实验——来自一个对答案没有利害关系的独立实验室。

长尾：一周内的一批微型 KDA 仓库

在这两个严肃案例之下，散落着一批小案例，而日期正是它们值得一提的原因。NEXIVON-1B-BASE 于 2026 年 7 月 31 日上传，其模型类型字面声明为 kda——Apache-2.0 许可，285 次下载，零点赞。qingyi-kda-0.6b 于同一周发布，是基于 Qwen3-0.6B-Base 的微调模型，搭载自定义的 qingyi_kda 实现。Scrapegoat-Tiny-Coder 同样于那一周发布，将 kda 标签与自有的“双轨并行注意力”设计相结合。另外两个模型，maccy-106m-base 和 maccy-96m-16k-base，分别于 7 月 27 日和 28 日被标记为 kimi-delta-attention。

这些单独来看都不重要——个位数的点赞数、不知名的作者、研究规模的参数数量。但合在一起，它们大概就是“我看到的第三个外部模型”这一计数所统计的内容，而我们无法确认是哪三个，因为帖子里一个都没点名。其中的信号不在于这些模型，而在于那十天：四个独立的小型训练运行在一周半之内就触及了 KDA——当某个内核不再是研究产物，而是变成你可以在一个周末内直接塞进训练脚本的东西时，就会出现这种情况。

扫描未发现的内容

我们查询了Hugging Face上所有携带kimi_linear模型类型的仓库。共有47个。除三个外，其余名称中都包含“Kimi”，而那些不是Moonshot官方的模型都是衍生品而非采用者：AWQ、GPTQ、FP8、NVFP4、SINQ、GGUF和MLX在每种位宽下的量化版本；来自Cerebras的REAP专家剪枝35B变体；以及针对NVIDIA、MetaX和Hygon加速器构建的Instruct检查点的FlagRelease FlagOS版本。最后这一组之所以真正有趣，是出于另一个原因——有人做了工作让KDA能在国产中国芯片上运行——但这些都不是另一个实验室在设计另一个模型。

在 Moonshot 之外，没有前沿规模的模型宣称 KDA。Ling-3.0-flash 总计 124B 参数、5.1B 活跃参数，是当下外部采用的天花板。

而这种方法有一个值得指出的漏洞，因为它与我们的负面结果相抵触。一个重新实现 KDA 的实验室会注册自己的模型类型——arcee_kda、qingyi_kda、bailing_hybrid——因此标签扫描会系统性地低估我们所要寻找的采用者，而且模型可以在其卡片上完全不写“KDA”的情况下使用该机制。标签上的缺席是弱证据，而非确证。如果还有第四或第五个低调的采用者，这正是它们得以保持不可见的方式。

其他所有人都选择了不同的线性注意力

「Kimi Linear 正在获得采用」之所以能成为一则新闻，是因为在 2026 年的大部分时间里，它并没有。混合线性注意力席卷了开放权重领域——但这一变体并未如此。根据 2026 年 2 月发布的架构综述：Qwen3-Next 80B-A3B 和 Qwen3.5-397B-A17B 都将 Gated DeltaNet 与门控注意力以 3:1 的比例配对，这意味着 Qwen3.5-397B-A17B 在 60 层中运行 45 层循环层和 15 层全注意力层。之前的 Ling 旗舰使用了 Lightning Attention 与 MLA，比例为 7:1。Nemotron 3 Nano 30B-A3B 和 Super 120B-A12B 是 Mamba-2 混合模型，分别在 52 层堆栈中仅有 6 个注意力层，在 88 层堆栈中有 8 个。GLM-5 保留了 MLA，并在其之上添加了稀疏注意力。MiniMax-M2.5 则完全走向了另一个方向，保留了普通的多头注意力，据称是为了可靠性。而 Moonshot 在 K3 之前的自家旗舰 Kimi K2.5 使用的是 MLA——该实验室于 2025 年 10 月发布了 KDA，但直到 2026 年 7 月才将其应用到前沿模型中。

所以，类别胜出了，而具体变体没有。大家都同意，你四分之三的层可以是循环的；但没人就采用哪种循环达成一致。KDA 的差异化在于逐通道衰减门，而它的代价是，你需要它的定制内核和前缀缓存管道，而不是生态系统中已有一半人采用的 Gated DeltaNet 路径。直到本月，只有一个实验室为此付出了代价。

已经发生的采用是在服务栈中。

架构的普及不是因为它们优雅，而是因为基础设施让它们变得廉价。对 KDA 而言，这一部分已经完成，而且比模型卡的采用来得更快。2026 年 7 月 27 日 Kimi K3 权重落地时，vLLM 和 SGLang 均在当天就提供了支持；Moonshot 将 KDA 前缀缓存实现直接上游合入 vLLM 本身，而不是维护分支。SGLang 发布了融合 KDA 与 Gated DeltaNet 的内核，并报告称在相同硬件上逻辑 KV 容量从 150 万 token 提升至 1220 万 token——这是它自己的测量结果，也是整个事件中最具体的第三方效率数据。参考内核位于 fla-core 中，任何小型训练任务都可以直接导入。

这就是Arcee在2025年12月需要一次慎重的专门研究工作，与2026年7月那一周四个匿名仓库随意宣称KDA之间的区别。该机制变成了一种你可以安装的依赖。至于前沿是否会跟进，那是另一个问题，但反对KDA的摩擦论点已基本消散。

如果你只是购买代币，会有什么变化？

这与你的代码无关。你从不直接调用KDA；你体验到的只是百万token上下文的成本，以及首个token需要多久才能返回。Kimi K3就是当今在商业上体现这一点的模型——在OrcaRouter上，每百万输入token收费3.00美元，每百万输出token收费15.00美元，支持完整的100万token上下文，过去七天测得的p50首token延迟为8.88秒。这种成本结构实质上就是3:1的KDA混合架构所买来的：以仅仅昂贵、而非令人望而却步的价格，提供百万token上下文的服务。

研究检查点是另一回事。Kimi-Linear-48B-A3B-Instruct 采用 MIT 许可，其 Hugging Face 页面上列出了一家推理提供商，并且它不在 OrcaRouter 上——如果你想运行它，那就意味着要自托管或使用该提供商。自托管的算力账比参数数量所暗示的要友好得多：48B 权重在 bf16 下大约为 96 GB，因此需要两张 80 GB 的显卡，而 4-bit MLX 和 GGUF 转换版本大约在 25-30 GB 之间，可以装进一张显卡或一台配置不错的 Mac。Ling-3.0-flash 目前同样不在 OrcaRouter 上。我们不会为了在路由问题上证明什么而假装不是这样。

路由在这里真正重要的，是对一个架构赌注判断错误的代价。混合线性注意力模型恰恰是这样一个类别，供应商的基准表和你实际的工作负载可能不一致——固定大小的循环状态在检索模式上会失效，而任何聚合分数都暴露不了这一点，这就是那个GSM8K数字减半所带来的教训。通过一个API密钥在200多个模型上运行对比，意味着测试只是改一个模型字符串，而不是走一遍采购流程，按供应商列表价格收费，我们这边零加价，并且带有自动故障转移，这样你仍在评估的长上下文模型不会成为生产路径中的单点故障。拿你自己的长上下文流量试跑一天。这比任何基准表——包括我们自己的——都更便宜、更直接。

真正值得问的问题

Kimi Linear 和 Kimi K3 是一样的吗？

不，把两者混为一谈是对这两者报道中最常见的错误。Kimi Linear 是一篇架构论文，外加一个总参数480亿、激活参数30亿的研究模型，支持100万上下文，于2025年末以MIT许可证发布，旨在证明在同等训练条件下，以KDA为主的重型混合架构能击败完整的MLA。Kimi K3 是Moonshot于2026年7月推出的2.8万亿参数旗舰模型——激活参数1040亿、原生多模态、100万上下文——它将KDA 3:1的思路推向前沿规模，并加入了注意力残差（Attention Residuals）这一独立技巧；实验室报告称，该技巧以不到2%的额外成本换来了约25%的训练效率提升。底层机制相同，但规模、能力和价格截然不同。从其中一个得到的基准测试结果，对另一个几乎没有参考价值。

既然大多数选择了Gated DeltaNet，为什么实验室还会选择KDA而不是Gated DeltaNet呢？

KDA是Gated DeltaNet的严格改进，因此问题在于这项改进是否值得切换成本。改进之处在于门控：Gated DeltaNet每一步用一个标量来衰减其循环记忆，而KDA则为每个特征通道学习一个衰减值，这使得状态能够在相隔一万个token时仍记住一个变量名，同时又能清除它所在的那句话。Moonshot的消融实验显示，在48B规模下这大约带来0.12的验证困惑度差异，而其分块的DPLR公式设计是为了让张量核心保持忙碌，因此额外的表达能力并不会牺牲它换来的吞吐量。相比之下，Gated DeltaNet在两者流行之前就已经拥有广泛的核函数和框架支持，这值得投入实际的工程时间。2026年的答案大多是“不值得”。Ling-3.0-flash是第一个反其道而行之的生产级押注。

这些是否应该改变我本季度部署的内容？

只有在您运行非常长的上下文时才如此。如果您的提示词大约在32k token以内，混合线性注意力只是一个实现细节，对您的模型选择没有影响；照常根据质量、价格和延迟来选择。如果达到128k及以上，值得知道的是，在那种长度下让成本可控的模型越来越多是KDA混合模型，而且它们公布的长上下文分数是聚合基准，而非对抗性召回探测。请以您的真实上下文长度测试检索，而不是轻信RULER分数。如果机制是Gated DeltaNet或Mamba-2，这一建议完全相同。

这将该主张置于何地

方向正确，而且比听起来要小。2026年8月5日可以验证的是：一个来自成熟实验室的生产模型，一个来自美国独立实验室的研究配对——该实验室发表了诚实的负面结果——过去十天里的一小批sub-1B仓库，以及一个已经吸收了内核的服务生态系统。这比"一个实验室的把戏"要多，但离标准还差得很远。值得关注的数字不是三个外部模型，而是：下一个来自非Moonshot实验室的前沿开放权重版本是否会搭载按通道门控，以及Moonshot之外是否有人发布召回探针，去测试固定大小状态真正遗忘的内容。这两者能告诉你的，都比又一张截图更多。