一张用于 Ling 3.0 Flash DSPark 的主视觉标题卡,副标题为“为 Ling 3.0 Flash 悄然发布的 1.36B 草稿模型”,展示一张标有“Drafter 1.36B”的小型草稿卡,将一排 token 芯片传递给标有“Ling 3.0 Flash 124B”的大卡片,已接受的芯片上带有对勾标记,两张卡片之间有一个快进箭头,右下角是 OrcaRouter 标志。
Engineering & Research

Ling 3.0 Flash DSPark:为 Ling 3.0 Flash 悄然推出的 1.36B 草稿模型

作者

Elias Hawthorne

发布日期

最新模型 · 20查看全部模型 →
基准测试:Artificial Analysis · 每日更新
返回全部文章

Ling 3.0 Flash DSPark 是蚂蚁集团 inclusionAI 实验室于 8 月 9 日上传到 Hugging Face 的一个 13.6 亿参数草稿模型——没有新闻稿、没有博客文章、也没有发布帖;截至本文撰写时,该仓库显示有 7 次下载和 1 个赞。它不是 Ling 3.0 Flash 的新版本,也不是你会直接调用的模型。它是一个投机解码组件:将其加载在 Ling 3.0 Flash 之前,它会为大型模型提出待验证的 token,让 124B/5.1B MoE 每次前向传播生成多个 token,而非仅一个。以下所有无法从仓库本身直观证实的内容均标注为未确认,因为厂商未作任何说明。

蚂蚁集团于7月27日发布了Ling 3.0 Flash,并于8月7日在MIT许可下开源了其权重。DSPark仓库则是另一艘独立而低调的船:创建于8月9日,仅在模型卡中有一段描述,将检查点标识为"用于Ling3的DSpark推测器",并于8月21日再次更新了config.json。没有公告,没有文档页面,没有基准测试博客文章。本文汇总了该仓库实际包含的信息,并将其余内容标记为待解问题。

不用行话来说,"DSpark 投机者"是什么

推测解码会先运行一个更小、更廉价的模型,而不是直接运行真正的模型。这个小模型(草稿模型)会猜测接下来的几个词元;大模型(目标模型)会在单次前向传播中检查整批猜测,并保留它认可的猜测。当草稿模型猜对时,目标模型的一次前向传播就能产出多个词元,从而在不改动目标模型权重的情况下提升吞吐量。

DSpark 是 DeepSeek 研究人员提出的这一思路的一个版本——于 2026 年 7 月推出,并已部署在 DeepSeek-V4 中——也就是 SGLang 所称的 DSPARK 算法。它有两个不同于普通草稿模型(drafter)的特点。它用从目标模型自身提取的辅助特征扩展了 DFlash(一种并行草稿方法),使草稿模型能够获知大模型当前在做什么。此外,它还带有一个置信度头(confidence head),对每个提议的 token 进行评分,并在某个后缀看起来不太可能通过验证时提前终止该块——因此不会把验证阶段浪费在即将被丢弃的 token 上。

A flow diagram titled 'How DSpark speeds up Ling 3.0 Flash' showing a card labeled 'Drafter 1.36B proposes 8 tokens' with a row of eight token chips flowing into a card labeled 'Target verifies in one pass' with a checkmark over the accepted chips, a note reading 'Confidence head trims low-confidence suffixes', and a footer 'A cheap model proposes, a strong model verifies — output is unchanged', with the OrcaRouter logo in the bottom-right corner.

Ling-3.0-flash-dspark 检查点所实现的正是这一点:一个使用 SpecForge 训练的投机模型,其规模设计为一次提出八个草稿 token 的块;计入目标模型的奖励 token 后,验证宽度为九个 token。

仓库确切说了什么

模型卡片信息不多但很具体。Ling 3.0 Flash DSPark 是一个约 13.6 亿参数的草稿模型(1,363,707,905 个参数,BF16),包含五个全注意力 Transformer 层,隐藏大小为 2,560,多头注意力采用 32 个查询头和 32 个键/值头。它从目标模型的五个层读取辅助特征——卡片列出了第 1、11、23、29 和 35 层——并将其与一个被描述为“普通马尔可夫头,秩 256”的置信度头配对。其位置嵌入上限为 262,144,与目标模型所支持的 256K 上下文相同。

• 参数 — 1,363,707,905(约13.6亿),BF16,权重约2.7 GB。

• 架构 — 5 个全注意力层,隐藏大小 2,560,MHA 具有 32 个查询头和 32 个键/值头;标记为 qwen3。

• 目标钩子 — 来自 Ling 3.0 Flash 第 1、11、23、29 和 35 层的辅助特征。

• 置信头——一个普通的马尔可夫头,秩为256。

• Block — 8 个草稿代币;验证宽度 9,包括目标奖励代币。

上下文 — 262,144个位置嵌入,与目标的256K原生窗口匹配。

A one-column scoreboard for Ling 3.0 Flash DSPark listing: role DSpark speculator (draft model), draft params 1.36B (1,363,707,905) BF16, block 8 draft tokens (verify width 9), mean acceptance 5.29 of 9 (vendor), context 262,144, license other — not yet stated, with a footer 'All figures vendor-reported; no independent scores yet', and the OrcaRouter logo in the bottom-right corner.

最后一行对部署规划很重要:起草模型是为与目标模型相同的长上下文服务配置而构建的,因此它不会缩小你可以进行推测的上下文范围。

验收数字,请仔细阅读

该卡片报告了一组性能指标:平均接受长度,定义为“每次投机验证步骤中接受的平均标记数,包括目标奖励标记。”在九个工作负载中,宏平均值为5.29——即每个验证步骤约接受九个位置中的五个,这个数字将驱动加速。各工作负载的分布体现了草稿模型的优势所在:

• 代码和数学 — GSM8K 6.40、MATH-500 6.29、HumanEval 6.57、MBPP 6.34、LiveCodeBench 5.33。

• 推理 — AIME 2025 5.56.

• 对话能力 — MT-Bench 3.92、Alpaca 3.51、Arena-Hard-v2 3.72。

这些数字附带三点注意事项。它们是接受长度,而非端到端加速倍数:模型卡没有给出每秒 token 数,因此“5.29 个已接受 token”尚未转化为该模型“快多少倍”的说法。它们由供应商报告且未经复现——inclusionAI 之外没有人发表过测量结果。而且它们取决于上下文:接受长度会随工作负载、采样温度和确切的目标检查点而变化,因此应将代码与数学列视为较强情形,而将聊天列视为现实中的较低端。

哪些是已确认的,哪些不是

经公共仓库确认:该检查点存在且可下载;它是面向 Ling 3.0 Flash 的 DSpark 推测器;它使用 SpecForge 进行训练;通过 SGLang 的 DSPARK 算法提供服务;创建于 8 月 9 日,最近更新于 8 月 21 日。

尚未确认,而且值得精确指出的是:许可证。模型卡的 frontmatter 中写着 license: other,且没有附带任何许可证文本——因此,与采用 MIT 许可的 Ling 3.0 Flash 权重不同,DSPark 推测器的条款目前未作说明。同样未获确认的还有:接受长度能否在其他硬件上复现、它们意味着怎样的端到端每秒 token 数、是否有推理服务商提供这个草稿模型(没有任何迹象表明有),以及是否会有官方公告。以上这些都算不上指责;该发布还不到两周。它们正是“有前景的组件”与“经验证的组件”之间的差别。

运行它

在实践中,你需要一个支持 DSPARK 的 SGLang 构建——该算法于 7 月随 SGLang v0.5.16 落地,当时正值由 DeepSeek-V4 驱动的 DSpark 集成。启动服务器以针对目标模型,并命名草稿器:

sglang serve --trust-remote-code --model-path <LING3_MODEL_PATH> --tp-size <TP_SIZE> --speculative-algorithm DSPARK --speculative-draft-model-path <LING3_DSPARK_MODEL_PATH>

该命令来自模型卡本身;块大小从草稿模型的配置中读取。目前还没有 llama.cpp 路径——即便是主模型,混合 KDA + MLA 架构也需要自定义分支,因此推测器目前只能依靠 SGLang 来实现。

A screenshot of the Hugging Face model page for inclusionAI/Ling-3.0-flash-dspark, showing the model card 'Ling3-DSpark — A DSpark speculator for Ling3', the tags (text-generation, transformers, safetensors, qwen3, speculative-decoding, dspark, dflash, specforge, sglang), the draft model specifications (1,363,707,905 params, BF16, hidden size 2,560, 5 full-attention layers, MHA 32 query and 32 key/value heads, target auxiliary feature layers 1/11/23/29/35, confidence head vanilla Markov head rank 256, DSpark block size 8 draft tokens, maximum position embeddings 262,144), the acceptance-length section, license other, model size 1B params, and downloads last month 7 (captured August 22, 2026).

是否值得运行

Ling 3.0 Flash DSPark 只有在你自行部署 Ling 3.0 Flash 时才起作用。它是一个本地组件:大约需要 2.7 GB 的额外 BF16 权重,与 124B 目标模型并存,还需要一个支持该算法的 SGLang 构建版本,以及内存充裕的硬件。其回报是比典型的小型草稿模型更高的接受长度,代价则是内存和额外的活动部件。对于已经在自己 GPU 上以交互式、延迟受限负载运行目标模型的团队来说,这个草稿模型的测量成本很低——两个标志、贪心解码、看一眼每秒令牌数的差值。对于通过托管 API 调用 Ling 3.0 Flash 的任何人来说,它则无关紧要:你无法将本地草稿模型附加到别人的服务栈上。

模型卡片的诚实性差距是需要重点权衡的主要问题。5.29 的平均接受率是一个强劲的数字——根据 LMSYS 的报告,DeepSeek-V4 的 DSpark 推测器报告的接受长度在 3.2–3.6 范围内,而 Liquid AI 的 LFM2.5-2.6B 草稿模型平均为 4.83——但接受长度并不等于加速,除非有人发布这一确切配对上的端到端吞吐量数据,否则收益的大小仍只是估计。

而正是在这里,自托管与托管的混合方案才真正成为决策的关键。草稿器是在模型之前又多出的一个自托管组件,而该模型本身也以 API 形式提供——让这两种选项保持可比,正是路由层要做的事。一个 API 覆盖 200 多个模型,当服务商性能下降时自动故障转移,并且服务商标价按 0% 加价原样透传,这些能力让你可以在延迟关键路径上运行自己的 Ling-3.0-flash 服务器,同时将其他流量路由到托管端点,并通过配置而非改写代码来切换。DSPark 草稿器不会改变 Ling 3.0 Flash 的运行位置;它改变的是当它运行在你自己的硬件上时的运行速度。

值得关注的未决问题

需要关注四件事。官方公告或博客文章将填补发布信息中缺失的上下文。一个已发布的每秒令牌数(tokens-per-second)数据——无论来自 inclusionAI 还是其他任何人——都会将 5.29 这个验收数值转化为实际的加速效果。许可证从“other”改为具体命名的许可证,将扫清生产环境使用的最大障碍。而某个提供商开始提供启用推测(speculation)的 Ling 3.0 Flash 服务,将改变那些完全不自行托管之人的决策考量。

在那之前,Ling 3.0 Flash DSPark 正如其仓库所描述的那样:一个真实、可下载的、面向 Ling 3.0 Flash 的 1.36B DSpark 投机器,悄无声息地发布,拥有亮眼但未经证实的接受率数字,且未公布任何加速数据。这是一个可行的实验基础——也是对某个尚未被任何人独立测量过的组件的诚实描述。

本文中的对比1

根据本文内容识别 · 基准测试:Artificial Analysis · 每日更新