Nemotron 3.5 Bolt 74B 与 Gemma 4 26B A4B：八个索引点与位宽不匹配

已经有一场正面交锋，发生在 N‬VIDIA N‬emotron 3.5 Bolt 74B-A9B 24GB和 G‬oogle Gemma 4 26B A4B之间，而且 NVIDIA 把它发布了。它就摆在 Bolt 模型卡上的基准测试表里，其中 Gemma 那一列是该公司自行选定的基线。仔细读那张表，是理解这两个模型究竟是什么的最快途径，因为这两个检查点并不是在争夺同一项工作，而厂商自己的表述也明明白白地说了这一点：那些对比模型是因其能够在 4 位量化下装进 24GB 内存而被选中的。Bolt 则走了另一条路装进 24GB——其专家层每权重 2.0625 位——而这两种策略之间的差距就是整个故事的全部。

标题中的两个数字都是真实的。Artificial Analysis 在其智能指数（Intelligence Index）上测得 Bolt 为 21，而在推理配置下的 Gemma 4 26B A4B 为 17。这两个数字均非来自厂商，且在撰写本文时，两者都已上线在该评测面板的模型页面上。

NVIDIA 进行的对比，以及它选中的那一列

NVIDIA 关于 Bolt 的表格有四列：BF16 的 Qwen3.6-35B-A3B、BF16 的 Gemma 4 26B-A4B、BF16 的 Nemotron 3.5 Lightning 30B-A3B，以及 IQ2 的 Bolt。其中的每个数字都由厂商报告，尚未被任何独立方复现。下面是 Gemma 列与 Bolt 列的逐项基准对比。

• GDPVal-AA-V2 — Gemma 15.33，Bolt 28.47

• Terminal-Bench 2.1 — Gemma 37.22，Bolt 50.98

• Tau3 Banking — G​emma 14.02, Bolt 17.01

• 不使用工具的 HLE — Gemma 17.42，Bolt 25.30

• SciCode — Gemma 40.28，Bolt 41.02

• GPQA Diamond — Gemma 79.61，Bolt 86.43

• AA-LCR 长上下文检索 — Gemma 57.56，Bolt 64.06

• PinchBench — G​emma 74.70，Bolt 87.82

• WebArena 视觉 — Gemma 38.2，Bolt 50.86

• AA-Omniscience 准确率 — Gemma 22.17，Bolt 16.90。这一行是 Gemma 胜出，也是表中它唯一胜出的一行。

• AA-Omniscience 非幻觉——Gemma 14.22，Bolt 61.27。这对 Gemma 系列来说是一次重大而具体的失利，值得停下来想一想：Omniscience 非幻觉指标会惩罚那种在不知道某事时仍自信作答的模型，而这里记录的 Gemma 构建版本得分大约只有 Bolt 数值的四分之一。

有一条注意事项适用于整个区块。N​VIDIA 将全部内容——包括 G​emma 那一列——都在 G​emma 的 BF16 构建上运行，并与自家模型的 2 位构建进行对比，然后在其自己的模型卡上报告了结果。

两个检查点，两种压缩机制

Gemma 4 26B A4B 是一款已发布的产品，投入使用已有一年。它于 2026 年 3 月 11 日在 Apache 2.0 许可下登陆 Hugging Face，总参数量为 252 亿，每个 token 激活 38 亿参数，采用混合注意力堆栈，将局部滑动窗口层与全局层交错排列，支持 256K 上下文、原生系统提示词，并且该系列中的每个规模都具备视觉能力。它是一个你可以直接拿来使用、自行量化到 4 比特并运行的模型，而且已有庞大的现成量化模型生态。

Bolt 是一个披着模型卡外衣的压缩产物。NVIDIA 拿来了 Nemotron 3.5 Super VL 120B-A12B——同一代的多模态检查点——并在其上运行了 Star Elastic，这是一种由路由器引导的架构搜索，必须满足严苛的部署预算，在此例中是在批大小为 1、128K 上下文下低于 24GB。专家 top-K 从父模型的 22 降至 9。随后，专家权重被量化到 IQ2-XXS，每个元素 2.0625 比特，并采用量化感知蒸馏来挽回精度，Mamba 层保持为 NVFP4，嵌入层和输出层保持为 Q8_0，而视觉塔则在之后被重新接回。

结果是，一个 24GB 的文件中包含了 740 亿个参数。这不是对某个已发布模型的量化；而是一种形态不同的网络，它是在内存约束下搜索出来的，随后经过训练以恢复性能。

为什么位宽比参数更重要

把两者并排对比，直观的判断是 74B 模型胜过 26B 模型。这个判断在这种情况下很可能是对的，但也不是有意思的部分，因为这两个模型要用同样的 24GB 去做不同的事。

• 参数 — Bolt 74B 总量，每 token 9B 激活。Gemma 4 26B A4B：25.2B 总量，每 token 3.8B 激活。

• 架构 — Bolt：Mamba-2–Transformer 混合 LatentMoE，配备 C-RADIO v4-H 视觉编码器。Gemma：采用局部/全局混合注意力的 MoE，配备视觉塔，并在该系列其他规模版本上支持音频。

• 存储精度 — Bolt 原生以每个专家权重 2.0625 比特的精度发布。Gemma 的代码仓库为 16 位，其 4 位与量化感知训练的构建版本则单独发布。

• 上下文 — Bolt 最高支持 256,000 个 token。Gemma 4 26B A4B：256,000 个 token。这一行打成平手，这让那些以为 2-bit 模型在此有所妥协的人感到意外。它并没有。

• 输入 — Bolt 接受文本、图像和视频。Gemma 4 26B A4B 接受文本和图像；视频以帧的形式传入，而音频仅限于较小的家族成员。

• 许可证 — Bolt：OpenMDW-1.1。Gemma 4 26B A4B：Apache 2.0，并附带谷歌的禁止使用政策。

• 投机解码 — Bolt 随附一款 LiLiCorr 草稿模型，通过 DFlash 接入，并在 NVIDIA 的参考方案中使用七个投机 token。Gemma 4 26B A4B 没有厂商提供的草稿模型；多 token 预测出现在社区微调版中，而非基础发布版中。

精度这一行的实际后果是，Bolt 的下载版本本身就已经是那个小尺寸版本了。不存在还需要去找的更进一步的 2-bit 构建，因为 2-bit 构建就是该模型。G​emma 的 26B 是一个你预期要压缩的 16-bit 检查点，而大多数人实际会拿来提供服务的 4-bit 版本则是别人对它的转换。

在哪些情况下小模型更值得买

NVIDIA 自己的表格给了 Gemma 两点值得认真对待。AA-Omniscience 准确率上，Gemma 以 22.17 对 16.90 占优，而对此的诚实解读是，即使经过蒸馏，2 位压缩也对事实回忆造成了可衡量的损失。任何工作负载是百科全书式而非代理式的人，都应该重视这一行。

许可证问题是第二点。Apache 2.0 是可用于商业部署的负担最轻的选项，而 OpenMDW-1.1 虽然旨在宽松，并已获得 N​VIDIA 明确批准可用于商业用途，但它是一种较新的工具，围绕它的文献较少，也没有法院判决对其作出解释。法务团队见过其中一种，而另一种则没见过。

第三是成熟度。Gemma 4 26B A4B 自三月起便可下载，自春季起可通过托管端点调用。量化版本、微调、服务配方和基准复现都已存在。Bolt 的代码库于十月上线。关于其延迟，尚未有任何独立结果发布；也没有社区量化版本可供依赖，因为根本没有什么可量化的。

第四，而且很容易被忽略：G​emma 的 21B 及以下同门型号原生支持音频。如果流程涉及语音，那么 26B A4B 就是它自己家族里选错的那个成员，而 N​emotron 模型则没有一个合适。

实际上持有每一个的成本是多少

Bolt 没有标价，而这并非数据中的疏漏。任何地方都没有它的托管端点，Artificial Analysis 的模型页面上没有它的按量计费费率，也没有任何提供商在提供它。要运行它就意味着你得自己拥有那台机器，而 NVIDIA 的参考配方是一个周末的活儿，而非一个下午就能搞定：一个锁定版本的 vLLM nightly 镜像、b12x 内核包、一个需作为单独文件获取的推理解析器插件，然后是针对 v2 模型运行器、线性与 MoE 后端、注意力与 Mamba 后端、Mamba 缓存 dtype、分块预填充的显式设置，以及一个指向 LiLiCorr 草稿器的推测解码配置。

Gemma 4 26B A4B 的价格出现在两个地方。在我们用于路由的目录中，google/gemma-4-26b-a4b-it 的标价为每百万输入 token 0.06 美元、每百万输出 token 0.33 美元，上下文长度为 262,144 token，首 token 时间的 p50 约为 2.8 秒——这是我们自己在过去七天实测的数字，而非厂商宣称的数据。Artificial Analysis 对同一模型跟踪的是另一组供应商组合，其标价为输入 0.10 美元、输出 0.40 美元，这种价差恰恰说明：价格是端点的属性，而不是权重的属性。两个数字都是诚实的；它们只是不同东西的价格。

OrcaRouter 将我们实际路由的模型置于单一密钥之后，按供应商的标价提供，加价 0%，因此某个已路由模型的供应商降价当天就会在我们这边生效，而且跨供应商的自动故障转移意味着上游的容量问题会被重试，而不是暴露给你的用户。我们不托管任何 Nemotron 检查点——目录是经过核查而非假定的，该系列并不在其中——因此在本页面上，这些保证只覆盖对比中的 Gemma 那一半，仅此而已。它们在实际中的价值在于，让你无需再签一份合同就能在真实流量上试用较小的模型，同时你还能决定较大的那个是否值得那套硬件。

在文件和服务之间选择

这个比较在能力上并不接近，而且本来也不该接近。Bolt 是一个更大、能力更强的模型，经过高强度压缩，且无法租用。Gemma 4 26B A4B 是一个稍弱的模型，今天就能租到，而且它的弱点是由与它没有利益关系的人记录下来的。

如果工作负载涉及截图、PDF、视频帧或浏览器，如果它必须在无网络的情况下运行，并且现场已经有一台配备 Blackwell 级加速器的机器，那就选 Bolt。要接受这一点：它的吞吐量将由你来发现，因为还没有人公布过。如果你想要一个今天下午就能按百万 token 付费的文本与图像模型，如果你需要 Apache 2.0，或者如果在一个广泛问题集上的事实召回比智能体任务完成更重要，那就选 Gemma 4 26B A4B。

能为此定论的测量，正是没人做过的那一项：在 24GB 检查点上跑一次独立的吞吐量和延迟测试，以及独立复跑 N​VIDIA 的表格，其中 G​emma 被量化到厂商声称所选定的相同 4 比特。在这些测量出现之前，支持 Bolt 的依据只是一张厂商表格和一个参数量，而支持 G​emma 的依据则是别人一年来的结果。

像这样的对比，也正是失效模式暴露出来的地方：这一类模型背后有据可查的 AI 事件和智能体故障，都收录在OrcaRouter AI Incident Archive中，其中每一条记录都带有自己的来源、严重程度、置信度评级和争议标记。