ZwZ2-9B vs Gemma 4 12B：一个模型、一张模型卡，以及你究竟能真正交付哪一个

Gemma 4 12B自 2026 年 5 月 23 日起已公开。它随附模型卡、技术报告、已发布的评估套件、五个同系列尺寸，以及 Hub 上的下载量——仅上个月就突破了 79,000 次。ZwZ2-9B自 2026 年 10 月 16 日——也就是今天——起公开，形式是某个仓库中的八个文件，没有 README、没有许可证字段，也没有 pipeline 标签。两者大小大致相同。两者都接受图像。两者都宣称相同的 262,144 位置上下文上限。而它们的就绪程度根本不可同日而语；如果你要决定把 GPU 用在何处，这是唯一重要的比较。

简短回答：Gemma 4 12B 是 Google DeepMind 的成品，已经推出五个月，外界早已摸到了它的边界。ZwZ2-9B 是 inclusionAI 的一个检查点，实验室之外还没有人描述过它，连实验室自己也没有。如果你需要这个月就交付点什么，这个选择毫无悬念，而且这并不是对权重本身的评价。如果你是在决定下个月在什么上做原型，先读读下面的数字，然后跑你自己的评测，因为这两个模型中只有一个给了你任何可读的东西。

两个栈，逐维度

• 参数 — ZwZ2-9B：bfloat16 格式下为 9,409,813,744。Gemma 4 12B：119.5 亿。

• 架构 — qwen3_5，线性注意力与全注意力的混合架构。Gemma：gemma4_unified，无编码器，跨模态统一。

• 层 — ZwZ2-9B 为 32 层（24 层线性注意力，8 层全注意力）。Gemma 4 12B 为 48 层（40 层为 1,024 token 的滑动窗口，8 层全注意力）。

• 上下文上限 — 双方均声明 262,144 个位置。

• 词表——248,320 对 262,144，其中 Gemma 的预留用于图像、音频和视频 token id。

• 模态类型——ZwZ2-9B 支持文本、图像和视频。Gemma 4 12B 支持文本、图像、音频和视频，其配置包含一个 640 维音频塔。

• 许可证 — 未声明，对比 Apache-2.0。

• 过往记录 — 零下载、两个赞，而过去一个月则有79,565次下载和790个赞。

其中两行值得再看一眼，因为它们颠覆了直觉。第一处是注意力调度：ZwZ2-9B 是一个 32 层模型，有 8 个全注意力层，而 Gemma 4 12B 是一个 48 层模型，有 8 个全注意力层。两者都在押注注意力中昂贵的部分应当稀少；它们只是对“多稀少”意见不一——四分之一对六分之一。第二处是上下文上限，一个没有任何文档的 9.4B 检查点与来自 DeepMind 的 11.95B 旗舰模型恰好落在同一个 262,144 这个数字上——这是设计目标上的巧合，而非两者之间存在任何关系。

在 Gemma 4 12B 不仅领先，更处于另一个类别之处

音频排在第一位。谷歌的模型原生接收声音，具有专用的音频塔，并在其词表中内置了音频 token ID。ZwZ2-9B 的分词器还预留了 <|audio_start|>、<|audio_end|> 以及 <|audio_pad|>——但它的配置中完全不包含任何类型的音频配置，因此这些 token 只是它继承来的词表，而不是它所具备的能力。如果你的工作负载包含语音，那么比较就到此为止了，而且值得精确说明原因：不是因为 ZwZ2-9B 得分更低，而是因为检查点中没有任何东西能够处理波形。

文档排在第二位，而且正是会产生复利效应的一环。Gemma 4 12B 附带一份技术报告（arXiv 2607.02770）、一个已发布的评估集——涵盖从 GPQA 风格推理到视觉基准的方方面面、一份明确声明的许可证，以及一条说明：该模型提供五种规模，因此你可以在不离开这个系列的情况下，在能力与占用空间之间做权衡。围绕它，Hub 上展示了 83 个已发布的微调、49 个量化版本和 15 个基于它构建的 Space。这个生态不是装饰。它是一批关于该模型如何失败的证据，由并非 Google 的人产出，而且无可替代。

许可协议排在第三，也是最不起眼、却最具决定性的一项。Gemma 4 12B 采用 Apache-2.0。ZwZ2-9B 则完全未声明任何许可——不是开源，不是自定义，仓库元数据里什么都没有。在没有声明的情况下，稳妥的解读是发布者保留了一切权利，而这可不是你想在采购过程中才发现自己判断出错的问题。一个你在法律上无法使用的检查点，并不会比一个能用的更便宜。

ZwZ2-9B 唯一一处具有结构性论证的地方

关键不在于质量——质量至今无人能够衡量。关键在于这个东西如何花费算力，而配置对此异常明确。

ZwZ2-9B 的层有四分之三是线性注意力——32 层中有 24 层——每一层都携带固定大小的循环状态，而不是随对话增长而增长的键值缓存。配置中说明了该机制：维度为 128 的 16 个键头和 32 个值头、宽度为 4 的卷积核，以及为数值稳定性而以 float32 保存的状态。只有每第四层才执行全注意力。Gemma 4 12B 以不同的机制下了类似的赌注——其 48 层中有 40 层使用上限为 1,024 个 token 的滑动窗口——因此两个模型都旨在让大多数层不再承担全注意力的成本。它们在程度和技术上有所不同，而没有基准测试，就没有诚实的方式说哪个更胜一筹。设计意图清晰可辨；结果尚未被衡量。

占用空间是最直观的部分。在未做任何量化之前，9.41 亿参数相比 11.95 亿参数，需要承载的权重大约少五分之一，而且视觉塔很小——27 层、隐藏维度 1,152、投影到 4,096——因此该模型能轻松适配到与运行 Gemma 4 12B 同类硬件中。

值得了解的行为差异在于推理默认设置。ZwZ2-9B 的聊天模板会输出一个空的 <think></think> 块，除非你明确要求思考，因此它开箱即用就能直接作答。Gemma 4 12B 提供可配置的思考模式。对于抽取、分类或路由——这些任务中，再来一轮推理只会带来你本不想承担的延迟——默认情况下，只有其中一个足够廉价。

ZwZ2-9B 无法告诉你什么，以及为什么这决定了这场比较

你无法判断它是一个指令微调模型还是一个基础检查点，因为它的仓库既没有 README，也没有 pipeline 标签，而这两者通常都会说明这一点。内置的系统提示指向 <answer> 标签，这有力地表明它是一个经过训练的指令模型，但这只是证据，而非明确的说明。

你无法知道它是用什么训练的，也不知道让 ZwZ 家族成名的细粒度感知方案是否被延续了下来，或者它本应擅长什么。你无法知道它的许可证。而且，你无法知道它在边界情况下的表现，因为 inclusionAI 之外还没有人运行过它。

把它和 Gemma 4 12B 放在一起，这种不对称就不是程度上的差异了。一个模型带着一份技术报告和八个月的公开使用记录登场；另一个则只带着一个 config.json和一个反转的思考默认值登场。这是去做原型验证的理由，而不是将其否定的理由——未加文档说明的检查点，正是许多有趣工作最初冒出来的地方——但这也是一个理由，让你诚实地承认：评估得由你自己来做。

不依赖于缺失证据的决策规则

如果满足以下任一条件，就选 Gemma 4 12B：你需要音频输入；你需要一份能拿给律师看的许可证；你需要在一个季度内交付；或者你需要同系列的不同规模，好让同一套评估套件能在整个家族中上下通用。这四点都已有定论。

如果你有一个具体问题，而一个默认不进行推理的 9.4B 混合注意力视觉模型可能比你已经在付费使用的模型回答得更好，并且你愿意亲自衡量它，那就认真对待 ZwZ2-9B。首先要测试的不是它的智能，而是它是否接受你实际发送给它的图像、是否返回你实际需要的格式，并且做到这些时结果不会受到许可证问题的困扰。

也不要拿它们在一张基准测试表上做对比，因为那张表只有一列。你完全可以把 Gemma 4 12B 公布的数字摆在一片空白旁边，管这叫对比，但真正的发现恰恰是那片空白。本周任何对 ZwZ2-9B 给出正面交锋式质量结论的人，都是在凭空捏造。

这两个 checkpoint 目前都不在我们的目录里，所以眼下也无法通过我们来调用它们中的任何一个——Gemma 4 12B 需要你自己从 Hugging Face 下载并搭建自己的服务栈，ZwZ2-9B 也是如此。我们真正提供的，是让 Gemma 对比能够跑起来的同门兄弟，而且无需改变你的任何评测方式：Gemma 4 26B A4B，同一家族中的混合专家（MoE）成员，托管端点的价格为每百万输入 token $0.06、每百万输出 token $0.33，上下文同样是 262K token。由于 OrcaRouter 以 0% 加价率原样传递供应商标价，供应商侧的价格变动当天就会反映到这里，而不用等到下一次目录刷新——当你要做的事情是在自托管模型与租用模型之间做成本对比时，这一点很关键。在对比的另一端，最接近 ZwZ2-9B 想要成为的那种模型的托管替代品是 qwen/qwen3-vl-8b-instruct，一个 8B 的视觉语言模型，131K 上下文，价格为 $0.18 和 $0.70，有文档、有许可，且现已可用。

什么会改变这篇文章？

模型卡。具体来说：一份许可证、一段关于训练数据的说明，以及一张由并未训练该模型的人制作的评估表。在此之前，关于 ZwZ2-9B 与 Gemma 4 12B 的诚实总结并不是说其中一个更好。而是说其中一个作为产品存在，另一个则仅作为文件清单存在，而这两者之间的差距是机器学习中最昂贵的距离。

像这样的对比，也正是失效模式暴露出来的地方：这一类模型背后有据可查的 AI 事件和智能体故障，都收录在OrcaRouter AI Incident Archive中，其中每一条记录都带有自己的来源、严重程度、置信度评级和争议标记。