用于 ZwZ2-27B 与 ZwZ2-9B 的标题卡,通过两张大小不同的卡片展示这两个检查点之间三倍的参数差异。
Guides & Insights

ZwZ2-27B 与 ZwZ2-9B:三倍参数究竟能换来什么

作者

Magnus Corvin

发布日期

最新模型 · 20查看全部模型 →
基准测试:Artificial Analysis · 每日更新
返回全部文章

在 inclusionAI 的 25 项测试表中,恰好有一项基准上,较小的模型胜出。Chartography——从图表中读取数值——给ZwZ2-9B打出的分数是 13.00,给ZwZ2-27B打出的分数是 12.00。两者都很低。两者都不好。但方向才是有意思的部分,因为这两个模型是同一实验在两种规模下的版本:同一套训练配方、同一个数据集、同一种论文方法,分别应用于 Qwen3.5-9B 主体和 Qwen3.6-27B 主体。如果配方完全相同,而更大的模型参数量是较小的三倍,那么这种规模究竟体现在哪里,这笔账比总体得分所暗示的更令人意外。

同样值得在开头说明的是,两个模型都是以同样低调的方式出现的。ZwZ2-9B 的仓库创建于 2026 年 10 月 16 日 03:42 UTC;ZwZ2-27B 的仓库则创建于当天清晨 05:42。两者都在十天里只有权重、没有任何文档,并且都在 10 月 26 日收到了带有完整基准测试表的模型卡。两者都没有声明许可证。两者都没有已发表的论文——模型卡里仍然保留着占位符 PAPER_URL。

一个配方,两副身体

训练方法在两者之间不仅相似,而是将同一方法应用于两个骨干网络,这使得它们之间的比较异常清晰。EvidenceConnect 从 SA-1B 图像中分组三到七个相关区域,使用特权放大裁剪生成问题,通过跨模型一致性和留一区域测试过滤这些问题,将保留下来的问题转换为四选一任务,并用 GRPO 训练——没有监督微调阶段。两个模型都使用约 20,000 个训练样本。

这些身体以寻常的方式有所不同:

• 规模 — 9B 参数、32 层、隐藏大小 4,096,对比 27B 参数、64 层、隐藏大小 5,120。

• 注意力——9B 为 16 个查询头和 4 个 KV 头,维度为 256;相比之下,27B 为 24 个查询头和 4 个 KV 头,维度相同。

• 前馈 — 中间大小为 12,288,对比 17,408。

• Vision —— 两者使用相同的塔:27 层,隐藏维度为 1,152,分别投影到 4,096 和 5,120。

• 上下文与词汇 — 在 262,144 个位置和 248,320 个 token 上完全一致。

• 多 token 预测——已从两者中移除,mtp_num_hidden_layers 设为 0。

基础模型——小模型用 Qwen3.5-9B,大模型用 Qwen3.6-27B。正是这个细节让比较变得复杂,下一节将说明原因。

A two-column scoreboard for ZwZ2-27B and ZwZ2-9B: 27B versus 9B parameters, 64 versus 32 layers, 5,120 versus 4,096 hidden size, about 54 GB versus about 19 GB in bf16, an overall score of 60.51 versus 56.59, and UI-Vision at 66.66 versus 45.48.

3.92个百分点的总体差距究竟从何而来

这是我在做减法之前没有预料到的发现。总体均值方面,ZwZ2-27B 为 60.51,ZwZ2-9B 为 56.59——相差 3.92 分。现在看看每个配方为其自身基座增加了什么,而这些数据由同一个实验室在同一测试框架下发布在同一批表格中:

• ZwZ2-27B — 基础版 Qwen3.6-27B 为 55.52,调优版为 60.51。增益为 4.99。

• ZwZ2-9B — 基础版 Qwen3.5-9B 为 51.63,调优版为 56.59。提升 4.96。

这套方法在两个规模上带来的提升几乎完全相同。参数增至三倍,只换来 0.03 个百分点的额外训练收益。而在其中任何一个被改动之前,基础模型之间就已经相差 3.89 个百分点。

因此,在最终完成的模型之间3.92分的差距中,有3.89分是从它们各自的初始检查点继承而来的。这种专门化训练并没有造成差距,而是几乎原封不动地把它保留了下来。

这是一项单实验室、单测试框架内的比较,因此这种相减是合理的,而跨厂商比较从来都不是——那四个数字中的每一个都来自同一张表,由同一套评测代码在同一基准集上生成。舍入足够粗,因此不应把 0.03 解读为精度;诚实的解读是“无法区分”。

实际意义在于,在这两个模型之间做选择,几乎就等同于在 Qwen3.5-9B 和 Qwen3.6-27B 之间做选择,再加上一个固定的感知调整。如果你本来就不会为你的工作负载选择更大的基础模型,那么 ZwZ2 训练也不会改变这个决定。

The inclusionAI/ZwZ2-9B model card on Hugging Face, showing its Qwen3.5-9B base model, the claim of 51.63 to 56.59 on 25 benchmarks, a +4.96 gain, and 147 downloads last month.

逐域来看:大小只在一个地方显示

平均值掩盖了结构,而这里的结构是失衡的。比较两个调优模型在六个领域中的表现:

• 细粒度感知——27B 为 67.57,而 9B 为 66.02。差距为 1.55,是六项中最小的。

• 空间感知 — 55.98 对 52.33。差距为 3.65。

• 通用视觉推理 —— 53.71 对 49.83。相差 3.88。

• 具身空间推理——55.71 对 51.11。差距为 4.60。

• 长上下文理解——68.77 对 64.08。差距为 4.69。

• 多模态智能体——51.81 对 42.43。差距为 9.38。

模式是一致的:当任务从查看图像转变为对图像采取行动时,较大模型的优势大约翻倍。在八个细粒度感知基准上——该方法正是为此明确设计的——两个模型之间的差距在 1.5 个百分点以内,而 Chartography 则出现倒退。

智能体领域正是 27B 体现其内存占用价值的地方,而这一差距的大部分来自一项测试。在 UI-Vision 上,ZwZ2-27B 得分为 66.66,ZwZ2-9B 得分为 45.48——相差 21.18 分,是表中所有项里最大的差距。ScreenSpot-Pro 和 AgentVista 的贡献较小,分别为 70.59 对 66.98,以及 18.18 对 14.83。

UI-Vision 是一个界面定位基准,而结果说明的是一个具体问题,而非泛泛结论:如果你的工作负载是阅读和操作软件界面,那么 27B 能做的是 9B 大多做不到的事。如果你的工作负载是比较照片或文档页面上的标记区域,那么 9B 用三分之一的权重就做到了几乎相同的事。

A bar chart of the average score gap between ZwZ2-27B and ZwZ2-9B by domain, rising from +1.55 on fine-grained perception and +3.65 on spatial perception to +9.38 on multimodal agents, with a note that UI-Vision alone differs by 21.18 points.

小模型唯一胜出的那项测试,以及它该占多大分量

Chartography 之所以值得细细探讨,恰恰因为它是那个例外,而正是这个例外证明了这种专业化有多么狭窄。两个分数都很糟糕——满分 100 分中分别只有 13.00 和 12.00,而 Qwen3.6-27B 的基线为 8.00,Qwen3.5-9B 的基线为 7.00。训练让两个模型在这项它们仍然无法可靠完成的任务上提升了大约五到六分,而 9B 的提升恰好高出一分。

正确的结论并不是 9B 更擅长图表。而是:在这样一个远远超出训练分布的任务上,两个模型之间的差异只是噪声,合理做法是将读图任务完全分流到别处。一个在图表基准测试中得分 12 或 13 的模型,并不具备可供取舍的图表能力。

同样的谨慎也适用于其他较低的绝对分数。{{1}}ZwZ2-9B{{/1}}在多模态智能体上的平均得分为42.43,在{{2}}AgentVista{{/2}}上为18.18;{{3}}ZwZ2-27B{{/3}}的平均得分分别为51.81和18.18。从绝对意义上讲,两者在智能体任务上都表现较弱,而较大者远没有那么弱这一事实,并不能使它变强。

内存占用实际上是什么样的

参数差异是你每天都要为之付出代价的部分。ZwZ2-9B 是单个 94.1 亿参数的 safetensors 文件,在 bf16 下约为 19 GB。ZwZ2-27B 则分成两个分片,约为 54 GB。再加上视觉塔激活和 262,144 个位置的 KV 预算,实际拆分方案就是:

• ZwZ2-9B — 在单块 24 GB 消费级加速卡上以 bf16 运行时适配尚可,虽紧张但可用;目前没有量化版本发布,因此除非自行量化,否则你使用的是完整精度。

• ZwZ2-27B — 一张 80 GB 显卡并留有余量,或两张 40 GB 显卡进行紧凑的张量并行拆分。低于此配置的任何方案都无法以 bf16 运行它。

• 推理服务支持——两个仓库都没有提供 vLLM 或 SGLang 方案。两者在快速入门中都固定使用 transformers==5.13.1,并且文档都只说明了非思考模式,答案包裹在 <answer> 标签中。两者都未声明许可证,对于生产部署来说,这比任一内存数值都是更大的障碍。

最后这一点值得单独用一句话来说明,因为两边的情况完全相同:根本没有许可证可供阅读。这些卡片都推给“随已发布权重一同提供的许可证”,而权重本身并不附带任何许可证。无论你选择哪个规模,商业上的问题都没有答案。

两者兼用,而非二选一

领域表所显示的更多是一种双层模式,而非某个单一胜出者。细粒度感知在不同规模之间几乎不变,因此 9B 在那里是合理的第一轮选择;智能体界面工作在领域平均值上变化超过九个百分点,在 UI-Vision 上变化二十一 United? Need ensure exact. Let's output clean. "领域表所显示的更多是一种双层模式,而非某个单一胜出者。细粒度感知在不同规模之间几乎不变,因此 9B 在那里是合理的第一轮选择;智能体界面工作在领域平均值上移动超过九个百分点,在 UI-Vision 上移动二十一个百分点,所以这类流量应交给 27B。按任务类型分发的路由器会把大部分 token 花在便宜模型上,并把昂贵模型留给屏幕类任务。" Need "moves by more than nine points" translate "变化超过九个百分点" maybe. "twenty-one" 21. Fine. No preamble.领域表所显示的更多是一种双层模式,而非某个单一胜出者。细粒度感知在不同规模之间几乎不变,因此 9B 在那里是合理的第一轮选择;智能体界面工作在领域平均值上变化超过九个百分点,在 UI-Vision 上变化二十一个百分点,所以这类流量应交给 27B。按任务类型分发的路由器会把大部分 token 花在便宜模型上,并把昂贵模型留给屏幕类任务。

ZwZ2 的两个规格都不在我们的产品目录中,因此如今要实现那种模式,就意味着要在你自己的硬件上运行两个检查点,并自行编写调度逻辑。OrcaRouter 所适合的,是同一技术栈中的通用部分:Qwen3.8-27B 和 Qwen3.5-27B 均可通过一个密钥在此路由,按提供商标价计费、无加价,因此不需要进行区域比较的工作负载可以交给支持自动故障转移的托管模型,而专用流量则留在本地。这个说法比“让 ZwZ2 经由我们路由”要小——后者我们无法提供——但它正是该架构中目前实际可用的那部分。

诚实的总结并不光鲜。两个检查点,相同的配方,相同的沉默,同样缺失的许可证,以及一个性能差距——几乎完全来自基础模型既有的差距,再加上高端针对界面工作的一项真正专精。如果你需要 27B 的 UI 数据,你就需要 27B 和那块 80 GB 的显卡。如果不需要,9B 能让你在整个项目旨在改进的任务上差距在 1.5 个百分点以内,而且它能装进你很可能已经拥有的硬件里。