ZwZ2-4B 对比 ZwZ2-9B：深度相同，参数量翻倍，差距 1.8 分

关于同系列的 4B 模型和 9B 模型，一个显而易见的假设是较小的那个更浅。ZwZ2-4B 和 ZwZ2-9B 并非如此。两者都声明恰好 32 个 transformer 层。两者都在头维度为 256 时使用 16 个查询头对 4 个键值头。两者都携带相同的 248,320 词元词汇表和相同的 262,144 位置上下文上限，并且都运行相同的 3:1 线性到全注意力调度。9B 并不是更深的 ZwZ2-4B；而是更宽的那个，一旦你看到这一点，本次比较的其余部分——包括厂商自己的得分差距——就不再看起来像一条直线。

这两个检查点在时间和来源上也很接近。ZwZ2-4B 创建于 2026 年 10 月 15 日，ZwZ2-9B 创建于 10 月 16 日，二者均由 inclusionAI 打造，都是用同一套流程在同一个包含 20,662 道多项选择题的数据集上训练而成，且均未对外公布。它们的区别在于各自的基座模型——分别为 Qwen3.5-4B 和 Qwen3.5-9B——以及由此而来的每个块的宽度。

配置差异，以及它意味着什么

对这两个配置文件进行逐层解读，会发现一处真正的结构性差异，以及若干由该差异机械衍生出的差异。

• 深度 — 两者均为 32 层，完全相同

• 隐藏层宽度——4B 为 2,560，9B 为 4,096，两者相差 1.6 倍

• 前馈宽度 — 中间层大小 9,216 对比 12,288

• 注意力几何结构——16 个查询头、4 个键值头、头维度为 256，二者均如此

• 注意力调度——在两者中均为 24 个线性层和 8 个全注意力层

• 上下文——两者均为 262,144 个位置，M-RoPE 为 11/11/10，部分旋转 0.25

• 词表——两者均为 248,320 个词元，4B 采用绑定嵌入，9B 采用非绑定嵌入

• 视觉塔 — 隐藏维度为 1,024 时是 24 层，而隐藏维度为 1,152 时是 27 层

多令牌预测——两者中的 MTP 层均为零，推测头已从每个基座中剥离

• 参数 — 4,539,265,536 对 9,409,813,744，相差 2.07 倍

这些行中有两行值得说明。9B 中的非绑定嵌入意味着其输入矩阵和输出矩阵是 248,320×4,096 表的两个独立副本；仅这一项就贡献了约二十亿参数，这也是参数比（2.07）明显高于宽度比（1.6）的重要原因。而且视觉塔会随语言栈一同扩展——在 1,152 隐藏维度下有 27 层，而在 1,024 隐藏维度下为 24 层——因此 9B 是通过更宽的编码器而不只是更宽的解码器来看图像的。

数字：更大的收益，更低的上限

inclusionAI 为每个模型发布一个汇总指标：在六个领域的 25 个基准上的总体准确率，等权计算。根据模型卡自身的数据，该系列的表现如下。

• ZwZ2-4B — 基准 49.41，调优后 54.79，提升 5.38 分

• ZwZ2-9B — 基础 51.63，调优 56.59，提升 4.96 分

• ZwZ2-27B — 基础版 55.52，调优版 60.51，提升了 4.99 分

所以，4B 的提升最大，但最终排名最后。9B 的提升较小，但最终得分高出 1.80 分。这两种说法都成立，而哪一个更重要完全取决于你问的是什么问题。如果你问的是“这个训练配方带来了多少提升”，答案在 4B 上最大。如果你问的是“哪个模型更准确”，答案是 9B，高出 1.80 分，而且无论怎么表述，这一点都不会改变。

所有这些数字都是厂商在其自行选定的基准测试集上报告的结果。没有人独立评测过该系列中的任何成员，而且每个基准测试的细节都放在图表里，而不是文字中——每张卡片上都有一个 SVG 和一个 PNG。1.80 分的差距是对已公布内容的诚实概括；它并不是你或我见过有人复现过的测量结果。

为什么模型越大，增益反而越小

这种模式——4B 时为 5.38，9B 时为 4.96，27B 时为 4.99——值得认真对待，而不是轻描淡写地略过。一个能为小模型增加能力的训练配方是在填补空白：基础模型没有足够的容量或训练信号去关注细粒度的区域证据，而 20,000 道经过精心筛选的选择题教会了它一项原本缺乏的技能。更大的基础模型已经具备更多这种能力，因此同样的训练课程能增加的东西更少。随着基础模型变得更强，这些数据的边际回报会下降。

这是一种善意的解读，也是数据所支持的解读。不那么善意的解读则是：基准测试套件存在上限，或者四选项任务形式会不成比例地奖励小模型。这两种解读都与已公布的数据一致，因此 1.80 分的差距应被视为一种方向，而非幅度。

还有第三种可能性，它对采用而言更重要：提升可能集中在少数任务上。“在每项基准上都提升了”是卡片上的说法，但对 25 个等权任务取平均，可能掩盖两项大幅领先和二十项小幅领先。没有逐项基准表——而正文中也没有——你就无法判断 4B 的 5.38 是均匀分布，还是恰好集中在配方所针对的细粒度感知任务上。如果提升是集中的，那么小模型就是专才，9B 是通才，而平均值就是在二者之间做选择时用错的统计量。

27B 是对照实验。

第三种规模让这一系列论证变得可检验。ZwZ2-27B基于 Qwen3.6-27B 构建——与它的两个同系列模型属于不同的基础代际——并取得 4.99 个百分点的提升，基本与 9B 的 4.96 相同，且远低于 4B 的 5.38。如果该配方的价值仅在于数据质量，那么你会预期各规模上的增益持平。相反，4B 才是异常值。这与容量差距的解释一致，而与训练数据只是统一优异的说法不一致。

27B 也澄清了该系列发布的一个实际问题。三个代码仓库在彼此相隔 23 小时内相继出现，4B 最先、27B 最后，这是批量推送而非分阶段发布的特征。数据集随后于 10 月 19 日发布。下载量能说明关注点流向了哪里：4B 为零，9B 为 147，27B 为七。目前还没有人选定心仪之选，而中等规模是唯一有人拉取过的版本。

服务量：9 GB，对比 18.8 GB

这里的算术很简单，也是支持较小模型的最有力论据。ZwZ2-4B 的权重是一个 9.08 GB 的 BF16 文件；在相同精度下，ZwZ2-9B 的权重大约为 18.8 GB。在 24 GB 显卡上，4B 能为充裕的 KV cache 和一个批次留出空间；9B 则几乎留不下什么。在 16 GB 显卡上，4B 放得下，而 9B 在不做量化的情况下根本放不下。

两个模型都没有由托管提供商提供服务——Hugging Face 页面显示两者均无推理提供商——因此二者都是自托管决策。如果你从硬件角度在两者之间做选择，9B 属于不同的机器级别，而不只是稍大一点的下载量。这就是 2.07× 参数比的实际含义，而它由你的显卡决定，而不是由 1.80 个百分点的准确率差距决定。

对于希望获得感知行为、又不想承担服务运维问题的团队，目录中的托管折中方案是 qwen/qwen3-vl-8b-instruct，每百万输入 token 0.18 美元、每百万输出 0.70 美元，上下文长度为 131K。它不是同一个模型，本文也不会假装它是——但这是大多数团队实际需要的对比，而且它与其他所有由 OrcaRouter 路由的内容使用同一密钥，并在上游降级时自动故障转移。

如果你要构建分层流水线，而不是只挑选一个检查点，那么路由层就是表达这一点的合适位置：先把每张图像发送给廉价模型，只把置信度低的那些升级到更大的模型。这个路由 DSL 将多个模型组合成一次调用，因此升级是路由中的一条规则，而不是第二套集成。如今，两个 ZwZ2 检查点都不能充当廉价层——它们没有托管——但这个模式正是这两个模型在隐含争论的焦点。

该选哪一个

• 如果你的显卡是 16 GB 或 24 GB，你的任务是区域定位的视觉证据，并且你希望获得该系列中相较于基础模型最大的实测提升，那就选择 4B。

• 如果你的内存余量足够，并且想要获得 27B 以下 ZwZ2 检查点中已公布的最高准确率，那就选 9B。1.80 个百分点可不是小数目。

如果需要一个由你的法务团队签署的许可证，那这两者暂时都不要采用。两个仓库都没有声明许可证，而卡片又让参考一个并不存在的许可证文件。

• 如果你需要一篇论文，那两个都别选。v2 方法没有公开的书面说明；两张卡片上的 arXiv 标识符属于第一代 ZwZ 工作，而该工作基于不同的基础系列。

真正有用的实验，不是在别人的 25 个基准上拿 4B 对比 9B，而是把两者都跑一遍——或者让 4B 对它的自身基座跑一遍——用来自你实际工作负载的几百张图像，看看这 5.38 能否迁移。在有人这样做之前，该系列公布的数值描述的是某个训练配方在一个任务集上的表现，而不是你能对自己流水线做出的决策。4B 之所以有意思，恰恰因为它的增益最大，而证据最薄弱。