Ling-3.0-flash:我们现在所了解的蚂蚁集团开放权重快速层MoE
Guides & Insights

Ling-3.0-flash:我们现在所了解的蚂蚁集团开放权重快速层MoE

作者

jinhao.song

发布日期

最新模型 · 20查看全部模型 →
基准测试:Artificial Analysis · 每日更新
返回全部文章

Ling-3.0-flash —— 蚂蚁集团旗下 InclusionAI 的快速层级 MoE 模型,于 2026 年 7 月 24 日发布,并于 8 月 7 日以 MIT 许可证开源 —— 如今已有明确的单设备部署路径。10 月 27 日,NVIDIA 发布了一份技术方案,显示该模型的 FP4 版本在单台 DGX Spark 上解码速度达到每秒 53.89 个 token,较每秒 37.81 个 token 提升 42.5%,且在全部 1,319 道 GSM8K 问题上准确率在统计上没有变化。这些是 NVIDIA 在其自有硬件上自行测得的结果,并非独立第三方运行,且适用于批大小为 1 的场景。它们不能取代下文中的托管 API 数据。但它们确实将该模型此前模糊的“单 DGX Spark 部署路径”转变为一份已发布的配置,包含基线、协议以及有文档记录的失败模式。

模型本身并未改变。它是一个原生的混合推理混合专家模型,总参数为 124B,每 token 激活 5.1B,作为 Ling 系列中快速、低成本的一档而构建;采用 MIT 许可证的权重自 8 月 7 日起已在 Hugging Face 和 ModelScope 上发布。自本文 8 月版发布以来,发生变化的是其周边的记录。本文在 8 月引用的 Artificial Analysis 评测,在其 Intelligence Index 上给 Ling-3.0-flash 打了 38 分,并将其列入开放权重模型在智能与总参数对比上的帕累托前沿。AA 的实时页面现已将该模型标记为弃用,改为推荐 Ling-3.1-flash,引导读者前往该处,并且不再显示当前的 Intelligence Index 分数。38 分仍是该检查点获得的最后一个独立评分;它不是实时数字。

本次修订纳入了 10 月的 DGX Spark 测量结果,并修正了 8 月文章中已经发生变化的部分——AA 当前的速度数据及其弃用状态——同时保持来源标签不变。凡某个数字的唯一来源为蚂蚁集团或英伟达,句中均已注明。

简而言之。Ling-3.0-flash 是蚂蚁集团快速档的开放权重 MoE 模型:总参数 124B / 激活参数 5.1B,MIT 许可证,原生上下文 256K(实际服务时为 262K)。它已不再是最新的 Ling——AA 将其标记为已弃用,转而推荐 Ling-3.1-flash——但它仍可使用、有文档记录,并且现在已有经过实测的单设备配置方案。NVIDIA 10 月 27 日的 DGX Spark 配置在 GSM8K 上以批次大小 1 运行达到 53.89 tok/s,较其自身基线提升 42.5%,为厂商报告数据。在托管 API 上,AA 目前列出 243 输出 tok/s 和 2.79 秒的首 token 时间。仍仅来自厂商的信息包括:蚂蚁的 1,100+ tok/s 峰值吞吐量声明、低于 100ms 的 TTFT 数据,以及模型卡基准表。第一方 API 定价为每 100 万 tokens 输入 $0.075 / 输出 $0.22(缓存命中享 80% 折扣);发布时的免费层级已于 8 月 3 日结束,Ling Studio 的 75% 折扣促销已于 8 月 31 日结束。

关键要点

• 这是快速/低成本层级,而非旗舰。上一代 1T 参数旗舰仍是 InclusionAI 最大的模型;Ling-3.0-flash 是更小、更快的同系列模型,面向高吞吐量文本和工具调用。

• 权重仍以 MIT 许可证开放。它们于 8 月 7 日登陆 Hugging Face(inclusionAI/Ling-3.0-flash)和 ModelScope,而 NVIDIA 为 DGX Spark 记录的 MXFP4 版本与 BF16 和 FP8 检查点一同发布。

• 那项独立评分如今已成历史。本文引用的 AA 八月评测给了它 38 分,比 Ling-2.6-flash 高出 24 分,并将其推上开放权重模型的帕累托前沿;而 AA 的实时页面现已将该模型标记为弃用,转而推荐 Ling-3.1-flash,且不再显示当前的 Intelligence Index。

• 速度有三个参照点,且它们不可互换。AA 目前在托管 API 上列出 243 输出 tok/s;NVIDIA 在单台 DGX Spark、批大小为 1 的条件下测得 53.89 tok/s;Ant 仍声称在指定集群硬件上可达 1,100+ tok/s。

定价已确定,促销活动也已结束。每 1M token 输入 $0.075 / 输出 $0.22,缓存命中可享 80% 折扣;发布时的免费额度已于 8 月 3 日结束,Ling Studio 的 75% 折扣期已于 8 月 31 日结束。

• 它是三模型系列中的一员。InclusionAI 将其阵容分为 Ling(通用文本与工具 MoE,即本模型)、Ring(推理)和 Ming(多模态)。

关于如何阅读本次更新的一点说明:本次更新是对 7 月 24 日预览版以及此前 8 月 8 日修订版的修订。10 月 27 日的 DGX Spark 结果是新增内容;AA 的更正属于例行整理,以免文章引用一个已不复存在的实时分数。下文中的每项规格、基准测试和价格均标注了来源。

我们实际所知

该架构已在模型卡上完整记录。Ling-3.0-flash 采用原生混合线性注意力栈——Kimi Delta Attention(KDA)层与 Gated MLA 层以 5:1 的比例交替排列(35 层 KDA + 7 层 MLA,共 42 层),并采用 KDA 细粒度对角线门控——其上是 1/64 稀疏 MoE(512 个路由专家,每个 token 激活 8 个,另加一个共享专家)。借此,它以仅 5.1B 激活参数实现了 124B 总参数。上下文窗口原生为 256K,在推理方案中以 262,144 个 token 提供,Ant 声称该架构可扩展至 1M。最大输出长度未披露。该模型仅支持文本,并支持工具调用;多模态输入属于单独的 Ming 系列。

实验室发布了两种权重格式——BF16(约 255GB)和 FP8(约 128GB)——模型卡中还链接了社区量化变体。DGX Spark 方案使用第三种:适合该设备 121GB 统一内存的 MXFP4 构建。实验室自己的部署方案面向 SGLang 和 vLLM;NVIDIA 的 Spark 路径使用 InclusionAI 的 SGLang 构建,并加入了 Humming MoE 后端。

可用性:开放权重,遵循MIT许可

8月7日,蚂蚁集团旗下的 InclusionAI 团队在 Hugging Face(inclusionAI/Ling-3.0-flash)和 ModelScope 上以 MIT 许可证开源了模型权重。这是一个宽松、可商用的许可证——与 Ling 2.0 和 Ling 2.6 发布时所采用的许可证相同——这意味着你可以自行托管、微调并部署 Ling-3.0-flash,而不必通过 API 租用。该模型也可通过蚂蚁自有的开发者 API 以及多个第三方平台调用。对于这一价位的快速层模型,有趣的问题已不再是你能否自行托管;而是一台 121GB 的设备是否足够。InclusionAI 的 Ling Cookbook 现在收录了一份由蚂蚁集团和 NVIDIA 联合署名的 DGX Spark notebook,其使用的 MXFP4 检查点也已与其他格式一同发布。下面这一节就是对这个问题给出的首个实测答案。

独立评分:八月的结果,如今已成为历史

与七月那篇文章相比,最大的单一变化是独立数字的出现。本文在八月曾引用 Artificial Analysis 的评测,该评测给 Ling-3.0-flash 的智能指数(Intelligence Index)打出 38 分——比上一代 fast 档的 Ling-2.6-flash(14 分)高出 24 分,与 MiMo-V2.5 和 Qwen 3.6 27B 持平,而激活的参数量仅为它们的一小部分。AA 还将该模型列入开放权重模型"智能与总参数量"对比的帕累托前沿:当时,总参数量更少的开放权重模型中没有得分更高的。AA 上 fast 档开放权重模型的领先者 DeepSeek V4 Flash 得分更高(在最高推理强度下指数为 52)。

该记录后来已被停用,而不是被推翻。AA 的 Ling-3.0-flash 实时页面现在已将该模型标记为弃用,转而推荐 Ling-3.1-flash,引导读者查看这一较新的模型,并且不再显示当前的 Intelligence Index。38 仍是该检查点获得的最后一个独立评分;应将其视为一个有日期标注的结果,而不是实时排名。如果你今天要选择一款 Ling 模型,应该拿来比较的是 Ling-3.1-flash,AA 目前覆盖了这款模型。

该评估中的智能体与长上下文结果在方向上也表现强劲。在 AA 的 τ3-Bench Banking 套件中,Ling-3.0-flash 得分 27%,在 flash 档开源权重模型中排名第二,仅次于 DeepSeek V4 Flash(39%)。在 GDPval-AA v2 上,它达到 1108 的 Elo 分,较 Ling-2.6-flash 的 545 有所提升。Ant 在 10,000+ 个交互式环境中训练了该模型(厂商报告),并将其推介为智能体工作流的执行节点——快速、低成本且可弃用,将繁重推理留给更大的旗舰模型。

关于来源有一点需要注意:Ant 模型卡上的基准测试表——SWE-Bench Pro 56.6、SWE-bench Multilingual 72.4、MathArena AIME 2026 93.2、HLE 22.7——由厂商报告,尚未经过独立复现。应将其视为该实验室自己的说法,与下文的峰值速度数据属于同一类。

速度:三个数字,三种不同的配置

关于速度的说法现在有三个数字,首先要做的就是不再把它们当作同一种测量值。

在托管 API 上,Artificial Analysis 目前列出每秒 243 个输出 token,以及 2.79 秒的首 token 时间。这低于本文在 8 月报告的 368 tok/s 和 1.98 秒——AA 的提供商面板和运行结果会变化,如今应以实时页面为准。它仍将该模型排在其速度类别的前列附近。

在单台 DGX Spark 上,NVIDIA 报告称在 GSM8K 上、批大小为 1 时解码速度为每秒 53.89 个 token,相比其自身基线提升 42.5%。这是本地单用户的数据,无法与 API 吞吐量指标相提并论,也不是并发场景下的结果。下一节将对此展开说明。

在指定的集群硬件上,Ant 声称平均输出速率超过每秒 1,100 个 token,并且在使用基于 SGLang HiCache 和 Mooncake 构建的分层缓存层时,首个 token 的生成时间低于 100 毫秒。这仍然只是厂商单方面公布的数据——是在 Ant 所控制的硬件和批处理配置上测得的,尚未公布任何独立复测结果。制定规划时,对于托管工作负载应采用 AA 的数据,对于单台 Spark 应采用 NVIDIA 的数据,并将 1,100+ tok/s 视为上限,需在你自己的工作负载上验证。

一台 DGX Spark:42.5% 实际衡量的到底是什么

10月27日,NVIDIA 技术博客发布了一套方案,介绍如何在单台 DGX Spark 上为 Ling-3.0-flash-fp4 提供推理服务——DGX Spark 是配备 121GB 统一内存的 GB10 桌面系统——InclusionAI 的 Ling Cookbook 收录了相应的 notebook,并由 Ant Group 与 NVIDIA 联合署名。Ant Group 自己的说明将这项工作描述为与 NVIDIA 的技术合作。这是一次严谨的基准测试,而非演示:覆盖全部 1,319 道 GSM8K 题目,采用五样本思维链,批大小为 1,temperature 0.6,top-p 0.95,top-k 29,并设有 32,768 个 token 的上限。

基线是一个 W4A8 版本,使用 FlashInfer 的 MXFP4 MoE 内核、CUTLASS 稠密 GEMM 和 32 位 LM head 提供服务。在该基线上,解码速度为 37.81 tok/s。叠加三项改动后,速度达到 53.89 tok/s——也就是标题中所说的 42.5%。每个输出 token 的平均耗时从 26.45ms 降至 18.56ms(−29.8%),平均端到端延迟从 15.21s 降至 11.49s(−24.5%),P50 从 8.36s 降至 6.11s,P95 从 50.20s 降至 38.60s。GSM8K 准确率从 96.89% 变为 96.82%,相差 0.08 个百分点,NVIDIA 称这一差异在统计上无法检测。平均首 token 时间基本持平,从 0.207s 到 0.214s。这些是解码阶段的提升,而不是预填充阶段的提升。

这三项变更针对的是不同的成本:

• Humming MXFP4 MoE 内核取代了 FlashInfer 后端。Humming 使用 NVRTC 在运行时针对模型的确切形状编译内核——包括其较窄的 768 宽 MoE 中间尺寸——并将它们缓存到 ~/.humming/cache。在 NVIDIA 的合成测试中,仅此一项就将吞吐量提升了 9.3%。

LM head 的在线 FP8 量化。该 head 在检查点中保持 BF16,其 157,184 × 2,560 的 GEMM 在每个 token 上都会读取完整权重块;在加载时将其量化为 FP8 可将该读取量减半。它通过 SGLANG_ENABLE_FP8_LM_HEAD=1 启用,这与基线的 --enable-fp32-lm-head 冲突,并且相比仅使用 Humming 可额外提升 11.4%。

• NEXTN 多 token 预测。模型内置的 NEXTN 层会草拟三个 token,并验证一个四 token 窗口。在 GSM8K 上,每轮平均接受的草稿长度为 2.68 个 token。

同一帖子中还有第二个更引人注目的数字:批大小为 1 的合成 32K 输入 / 2K 输出工作负载从 36.09 tok/s 升至 102.88 tok/s,+185.1%。NVIDIA 自己也警告不要将其泛化。那次运行使用贪婪解码、固定 2K 输出和重复文本;接受度达到每轮 3.90 个 token,而 GSM8K 上为 2.68 个。42.5% 的 GSM8K 数字才是规划时应依据的那个。185.1% 则是合成场景下的最佳上限。

有一个部署层面的陷阱比加速本身更关键。FP8 LM-head 量化与 MTP 只有在草稿模型共享目标模型的整个 LM-head 模块(而不只是其权重张量)时才能组合使用。缺少这一接口时,框架会静默回退,把 FP8 权重当作 BF16 读取,使接受率降至 1.00,最终可能比未优化的基线还慢。NVIDIA 的建议是:在启动时验证每一项优化都已生效,而不是根据之后的计时结果去推断。

这对读者的改变在于:单 Spark 路径不再是厂商的宣传幻灯片,而是一份公开的配方,包含基线、测量协议和明确的失效模式——足以让你在自己的设备上复现或否定它。它没有改变的是:这仍然是 NVIDIA 自己的测量,仅在一台设备上、批大小为 1、针对解码阶段。它完全没有涉及并发服务、长上下文吞吐量或托管 API。而且它只适用于 FP4 构建;BF16 和 FP8 检查点的内存与带宽特性并不相同。

价格:便宜,而且促销已经结束了。

Artificial Analysis 列出的第一方 API 价格为每 100 万输入 token $0.075、每 100 万输出 token $0.22,缓存命中为 $0.015(−80%)——均为供应商设定的定价。发布时的免费额度(每天 50 万免费 token、免费 API 访问)已于 8 月 3 日结束。Ling Studio 的限时 75% 折扣期持续至 2026 年 8 月 31 日;自 9 月 1 日起已按标价收费。即便按完整标价,$0.075/$0.22 也使 Ling-3.0-flash 稳居廉价档位——毕竟在该评测中,这款模型的 Index 达到了 38。

在如此低的价格下,切换成本比每 token 的价格更重要。OrcaRouter 的职责是让这一对比中托管服务一侧保持诚实:一个 API 覆盖 200+ 个模型,按 0% 加价透传提供商标价,并支持跨提供商自动故障转移。本地 DGX Spark 部署必须胜过真实、当前的市场价格,而不是厂商幻灯片——而且当托管提供商调整价格时,透传机制会在同一天、同一个 key 上体现出来。

凌/林/明家族

Ling-3.0-flash 并非孤立存在——InclusionAI 将其发布产品组织为三个命名系列,每个系列面向不同的任务。Ling 是通用 MoE 系列,用于日常文本生成和工具调用,而 Ling-3.0-flash 位于其快速/低成本端,比上一代 1T 参数旗舰低一档。Ring 是专注推理的系列,专为多步思维链而构建。Ming 是多模态系列。如果你的任务需要更重的推理或图像输入,合适的 InclusionAI 模型很可能不是 Ling-3.0-flash——它专为文本与工具领域内的大批量处理和高速度而构建。

适用对象:四种场景

1. 高吞吐量、延迟敏感的文本或工具调用流水线

这是该模型的主场。凭借 MIT 许可证、已发布的单 Spark 配置方案,以及一份标注日期的独立指数 38 分,"快档"这一押注是可验证的,而非纸上谈兵——你可以用自己的评测集跑一遍,或者拉取权重自行托管。只是在你用自己的工作负载实测之前,别把厂商宣称的 1,100+ tok/s 上限当作架构设计的基础。

2. 希望在有限预算下获得长上下文的团队

256K 原生上下文(实际提供 262K),并明确表示可扩展至 1M,价格为 $0.075/$0.22,对于检索密集型或文档处理类工作而言,这是一个颇具吸引力的组合。模型卡中的长上下文数据由厂商自行报告,因此请将其与已有的长上下文方案一并列入候选,并在正式采用前用你自己的语料库进行验证。

3. 观察者追踪中国的MoE格局与InclusionAI路线图

七月的问题——InclusionAI 会继续保持开放吗?——现在有了答案:会,采用 MIT 许可证,而且很快。Ling-3.0-flash 以 5.1B 激活参数登上 AA 帕累托前沿,这是一个数据点。十月的 DGX Spark 方案是第二个数据点:一个 124B 模型在单台桌面设备上以批大小 1 解码达到 53.89 tok/s,并且该方案已公开发布。

4. 桌面上配备单台 DGX Spark 的团队

如果你已经拥有这台设备,NVIDIA 的这套方案是第一个值得照搬的配置:MXFP4 构建、InclusionAI 的 SGLang 分支、Humming MoE 内核、FP8 LM head,以及 NEXTN MTP。要把它看作某家厂商在批大小为 1 时的一次测量结果,并在启动时确认 FP8 和 MTP 相关部分确实已生效——静默回退这种失效模式是真实存在的。如果你没有 Spark,这套方案只是一个数据点,说明 121GB 统一内存能换来什么,而不是购买它的理由。

还有什么仍未验证

一份简短的清单,既然主要缺口已经补齐。Ant 的峰值速度声明(1,100+ tok/s、低于 100ms 的 TTFT)仍然没有独立的重新测量。模型卡基准表仍为厂商报告。FP4/INT4 构建和单 DGX-Spark 路径不再含糊——NVIDIA 公布了配置,InclusionAI 发布了 notebook——但 53.89 tok/s 和 96.82% 这些数字是 NVIDIA 自己在单台设备、批大小为 1 时测得,而非第三方复现。独立评分已是历史数据:本文在 8 月引用的那次评估给它 38 分,而实时页面现在已将模型标记为弃用,转而推荐 Ling-3.1-flash。而在知识方面,该评估中的 Omniscience Index 显示,相比上一代的提升主要来自弃答——幻觉率下降(97% → 44%),而准确率仅略有上升(16% → 18%)——所以不要把标题数字上的 Index 跃升误认为是全面知识飞跃。

何时不应使用它

多模态任务请跳过 Ling-3.0-flash——那是 Ming 系列负责的领域。如果你需要的是重型推理旗舰而不是快速执行器,也请跳过它——那是 Ring 的专长领域。如果你打算自托管,就要为真实硬件做好预算:BF16 大约需要 255GB,FP8 大约需要 128GB,而 MXFP4 版本才是能装进 121GB DGX Spark 的那个。如果你是全新选择 Ling 模型而不是维护现有部署,请先与 Ling-3.1-flash 比较;AA 已将其覆盖范围转移到那里。如果某个说法对你很重要,就验证它——在独立实验室重新跑出结果之前,峰值速度和长上下文数据都是 Ant 的。

常见问题

Ling-3.0-flash 的权重是开放的吗?

是的。权重已于8月7日以MIT许可证开源,发布在Hugging Face(inclusionAI/Ling-3.0-flash)和ModelScope上。这是一个宽松且可商业使用的许可证——与Ling 2.0和Ling 2.6发布时所用的许可证相同。

Ling-3.0-flash 在基准测试中的表现如何?

本篇文章在8月引用的 Artificial Analysis 评测在 Intelligence Index 上给它打了38分,比 Ling-2.6-flash 高出24分,并将其置于开放权重模型在智能与总参数量对比中的帕累托前沿。AA 的实时页面现在将该模型标记为已弃用,转而推荐 Ling-3.1-flash,并且不再显示当前的 Intelligence Index,因此38是一个历史结果。Ant 模型卡上的基准测试表(例如 SWE-Bench Pro 56.6)由厂商报告,尚未经过独立复现。

它到底有多快?

三个不同的配置对应三个不同的数字。AA 目前在托管 API 上列出每秒 243 个输出 token,以及 2.79 秒的首 token 时间。NVIDIA 报告,在一台 DGX Spark 上、批大小为 1 时,解码速度为 53.89 tok/s。Ant 声称在指定集群硬件上达到 1,100+ tok/s,且 TTFT 低于 100ms。只有 AA 的数字是独立的;另外两个是厂商在不同硬件上的测量结果。

Ling-3.0-flash 的价格是多少?

AA 将第一方 API 的价格列为每 100 万输入 token 0.075 美元、每 100 万输出 token 0.22 美元,并提供 80% 的缓存命中折扣。上线免费套餐已于 8 月 3 日结束,Ling Studio 的临时 75% 折扣期已于 2026 年 8 月 31 日结束。

Ling、Ring和Ming有什么区别?

Ling 是 InclusionAI 的通用文本与工具调用 MoE 系列,Ling-3.0-flash 位于其快速、低成本的一端。Ring 是专注推理的系列。Ming 负责多模态任务。它们是面向不同任务的独立系列,而非同一个模型的不同层级。

Ling-3.0-flash 能在单台 DGX Spark 上运行吗?

是的。NVIDIA 于 10 月 27 日发布了一份方案,介绍在单台 DGX Spark(121GB 统一内存)上构建 MXFP4 版本,使用 Humming MXFP4 内核、FP8 LM head 和 NEXTN 多 token 预测。据报告,在 1,319 道 GSM8K 问题上,批量大小为 1 时解码速度达到 53.89 tok/s,提升 42.5%,准确率为 96.82%。这些结果是 NVIDIA 自行发布的,未经独立复现,且仅在批量大小为 1 时成立;将 FP8 与 MTP 结合要求草稿模型共享完整的 LM head,否则吞吐量可能低于未经优化的基线。

我今天应该在生产环境中使用Ling-3.0-flash吗?

它是一个成熟的开放权重模型,但它已不再是最新的 Ling:AA 已将其标记为弃用,转而推荐 Ling-3.1-flash。如果你已经在运行 Ling-3.0-flash,DGX Spark 方案是一套值得复现的具体优化。如果你是全新选型,请与 Ling-3.1-flash 对比,并运行你自己的评测集;MIT 许可证和 $0.075/$0.22 的价格仍然使它成为可信的低价档位。

底线

Ling-3.0-flash 不再是最新的 Ling,AA 的实时页面也表明了这一点。它拥有大多数开放权重模型从未获得的东西:一项经过实测的单设备配置:一台 DGX Spark,批大小为 1 时解码速度为 53.89 tok/s,GSM8K 上达到 96.82%,并同时公布了基线、协议和失败模式。请将 42.5% 视为 NVIDIA 自己的结果,而非独立结论,并将 8 月指数 38 视为历史。在这些限制之内,该模型仍是可信的本地快速层级选项;如果你是从头开始,首先应运行的对比是 Ling-3.1-flash。