一张生成的 hero 卡片,标题为“SubQ Snap 1.1 vs Gemma 4 12B”,副标题为“一位专业评审对阵一个开放通用模型”,两张相对的卡片分别标注各模型,左侧注释为“固定答案集”和“无权重”,右侧为“生成文本”和“Apache 2.0”。
Guides & Insights

SubQ Snap 1.1 与 Gemma 4 12B:专用评判模型对阵开放通用模型

作者

Gideon Frost

发布日期

最新模型 · 20查看全部模型 →
基准测试:Artificial Analysis · 每日更新
返回全部文章

同时问问SubQ Snap 1.1和Gemma 4 12B:五百张支持工单中哪些是退款请求,两者都会给出可用的答案。只有其中一个还会逐张工单告诉你它有多大把握——并且只有其中一个能下载到你自己的硬件上运行。这就是全部对比,而它之所以无法归结出一个赢家,是因为这两个模型并不真的属于同一产品类别。Snap 1.1 是 Subquadratic 于 2026 年 10 月 22 日发布的决策模型:它对一组固定选项进行打分,不生成文本。Gemma 4 12B 是 Google DeepMind 的开放权重通用模型,一个约 120 亿参数的稠密模型,采用 Apache 2.0 许可,可读取文本、图像、音频和视频,并生成文字回复。

如果你把它们当作替代品,就会犯两种错误之一:为一个本可以在笔记本电脑上运行的分类器支付 API 费率,或者试图从一个从未被训练过要弃权的模型中获取结构化路由。若把它们视为同一条流水线的两层,它们配合得还算不错。

每一个实际上是什么

Gemma 4 12B 是 Gemma 4 家族中的“中间孩子”,介于端侧 E2B 和 E4B 模型与 26B-A4B、31B 档位之间。其引人注目的架构主张是无编码器:图像 patch 和音频波形直接投影到语言主干中,而不是经过独立的视觉和音频编码器处理。它提供推理模式和非推理模式,以 Apache 2.0 许可发布,并且是团队会选择的那类模型,因为它可以被微调、量化、嵌入和交付,而无需征得任何人的许可。追踪机构对确切发布日期存在分歧——Artificial Analysis 和 BenchLM 说是 2026 年 6 月 3 日,llm-stats 说是 5 月 23 日——这小小地提醒人们,即便是关于开放发布的乏味事实,也会因统计者不同而以不同方式被重述。

SubQ Snap 1.1 有意做得更窄。它最多接收 384K 个 token 的文本和图像,外加应用定义的答案集——一到十六个问题,每个问题两到 255 个选项——并返回一个带概率的选择。没有需要解析的自由文本输出,没有要强制执行的 JSON schema,模型也无法回答你没有提供给它的问题。Subquadratic 的论点是,这与生成是不同的计算任务,并且稀疏注意力架构可以以每个 token 恒定的计算量完成这项任务,而不必在一个 300K token 的文档上付出二次注意力的代价。

规格对比

• 上下文 — SubQ Snap 1.1 可在单次处理中接受 384K 个 token;Gemma 4 12B 可接受 256K(262,144)。

输入模态——Snap 1.1 支持文本和图像;Gemma 4 12B 支持文本、图像、音频和视频。

• 输出 — Snap 1.1 从你的列表中返回一个选项或分数,并附带概率;Gemma 4 12B 生成任意长度的文本。

• 价格 — Snap 1.1 每 100 万输入 token 为 $0.04,输出免费;Gemma 4 12B 在各提供商中的中位价为每 100 万输入 token $0.10、每 100 万输出 token $0.30。

• 权重——Snap 1.1 不发布任何权重;Gemma 4 12B 提供 Apache 2.0 权重,你可以下载、量化并自行托管。

• {{1}}校准{{/1}} — Snap 1.1 报告预期校准误差为 0.014,在其无法回答的问题上弃答率为 86%;Gemma 4 12B 未公布可比的校准数据。

基准锚点——Snap 1.1 在 Artificial Analysis Decision Index v1.0 上得分为 65,并列第一;Gemma 4 12B 在 Artificial Analysis Intelligence Index 上得分为 14,这是其规模级别的估算值。

A generated two-column scoreboard titled 'SubQ Snap 1.1 vs Gemma 4 12B — the scoreboard'. SubQ Snap 1.1 column: Context 384K, Output chosen label, Calibration ECE 0.014, Weights none, Price $0.04 in / $0 out, Decision Index 65. Gemma 4 12B column: Context 256K, Output generated text, Calibration not published, Weights Apache 2.0, Price $0.10 / $0.30, Intelligence Index 14. Footer notes the two indices are not comparable.

最后两行不可比较,不应在没有警告的情况下并排放在一起。Decision Index 衡量的是固定答案任务中的决策质量;Intelligence Index 衡量的是通用推理能力。65 和 14 回答的是不同的问题。

双方都能完成的任务,以及它的代价

设想一个真实的路由调用:一个 8,000 token 的工单线程、五个候选队列、一个答案。Snap 1.1 对每百万输入 token 收费 $0.04,输出不收费,因此这次调用成本约为 $0.00032。Gemma 4 12B 按提供商定价中位数,对同样的 8,000 个输入 token 收费 $0.0008,另加输出费用——一个裸标签大概是五个 token,也就是 $0.0000015,但一个先思考再回答的推理配置很容易花掉 200 到 400 个 token,这又是 $0.00006 到 $0.00012。

因此,按 API 价格计算,Snap 每次调用的成本要低两到三倍;而且随着文档变长,这一差距还会进一步扩大,因为 Gemma 的输入价格是 Snap 的两倍半。在 10 万 token 的规模下,Gemma 还没开始输出任何内容,对比就已经是 0.004 美元对 0.010 美元。

现在,在你自己已经拥有的 GPU 上自托管 Gemma 4 12B。每次调用的边际成本降到只剩电费,对比结果就彻底反转了。这是这场对比中最重要的一点:只有当你按 token 购买推理时,Snap 1.1 才更便宜。如果你有闲置算力,Gemma 的边际成本就是零,而 Snap 永远做不到。

Gemma 4 12B 胜出之处

显而易见的答案是开放,但真正有用的说法要更具体。Apache 2.0 意味着没有厂商能擅自弃用你所依赖的端点,没有速率限制能在凌晨两点限流批处理作业,也没有任何数据会离开你的网络。对于受监管的工作流——理赔分诊、临床编码、合同审查——最后这一点通常会在讨论价格之前就一锤定音。

Gemma 还能做 Snap 在结构上无法做到的事。它会在路由器决定升级后撰写升级摘要。它能读取扫描表单、转写通话录音,并在一次处理中回答同时涉及两者的提问。它可以基于你自己的标注数据进行微调;对于狭义的分类任务,这往往能胜过任何通用模型的零样本表现。按照厂商自己公布的数据,它在 MMLU-Pro 上得分 77.2,在 GPQA 上得分 78.8,在 LiveCodeBench v6 上得分 72.0——对前沿模型而言不算高,但对一个能装进单块加速器的东西来说,完全可圈可点。

A screenshot of the Artificial Analysis model page for Gemma 4 12B (Reasoning), captured October 23 2026, showing an Intelligence Index of 14, output speed of 118.7 tokens per second, pricing of $0.10 per 1M input and $0.30 per 1M output, a 262k token context window, 12B parameters and an Apache 2.0 licence.

它的弱点同样具体:在无工具条件下,Humanity's Last Exam 得分为 5.2,MRCRv2 长上下文检索为 43.4,而在典型服务商速度下,首 token 延迟约为 2.4 到 2.6 秒——对于智能体循环中的一次路由跳转而言,这偏慢了一些。

SubQ Snap 1.1 的优势所在

三件事,按重要程度排序。第一,经过校准的弃答。Snap 1.1 报告称,在它无法正确回答的问题上,其说“我不知道”的比例为 86%,而在厂商的全知性代理指标上,它自己的 1.0 版本这一比例仅为 0.7%——这一提升是此版本的最大亮点。要让通用 LLM 可靠地弃答,需要提示工程、置信度启发式方法,或让第二个模型给第一个模型打分,而这些都不如一个将弃答作为明确训练目标的模型来得干净利落。

其次,上下文。单次处理 384K,对比 256K,而且——更关键的是——无需设计分块策略。一个 256K 的通用模型在技术上可以容纳该文档;但它能否从文档中间检索到正确的句子则是另一个问题,而 Gemma 在 MRCRv2 上获得的 43.4 分表明,诚实的答案是“有时”。

第三,输出的形态。一个分布在你五个队列上的概率可以直接用作路由阈值。而生成出来的一句话则不能,而把前者转换成后者的胶水代码,正是大多数生产环境分类缺陷的藏身之处。

A screenshot of Subquadratic's SubQ Snap 1.1 announcement page, captured October 23 2026, showing the October 22 2026 date, the claim of 65 on the Artificial Analysis Decision Index, native 384K context and the $0.04 per 1M token price with output free.

Snap 所欠缺的是对 1.1 的任何独立验证。现有的第三方评估测试的都是预览模型,其中一项——95pctai 开展的一项文档相关性评分研究,将 Snap 与 Gemma 4 31B 进行对比——发现 Snap 的速度大约快一倍,每次运行的成本仅为其一半,但漏掉了 Gemma 基线捕获的 21 个答案。该研究的作者指出,评判模型和基线均为 Google 模型,这可能对 Gemma 有利,而且 Snap 只运行了一次。

部署现实

Gemma 4 12B 不在 OrcaRouter 的产品目录中。我们提供同系列的 26B-A4B 和 31B 规格,而 12B 可通过 Google 自有渠道以及多个第三方平台获取。Snap 1.1 同样不属于我们:它通过 Subquadratic 的 API 在 console.subq.ai 上运行。

对大多数团队来说,实际问题不在于统一采用哪一个,而在于决策层和生成层是否应共享同一个依赖项。它们的故障方式不同。路由器宕机会在任何工作开始前就让流水线停住;生成器宕机则会让它中途停摆。将两者交给不同供应商——在 OrcaRouter 上用一把密钥访问 200+ 个生成模型,按供应商标价 0% 加价,并具备自动故障转移,决策模型则另签一份合约——意味着任一供应商遇到糟糕的下午时,流水线会降级运行,而不是彻底停摆。

如何一次性决定

如果决策是在固定选项集上做标签,文档很长,而且你无法托管权重:选 Snap 1.1,并为构建你自己的评估框架预留预算,因为还没有人为这个版本发布过评估框架。

如果决策结果是一个标签,但同一次调用还需要生成文本,或者数据不能离开你的网络,又或者你有闲置的 GPU 算力:那么,用你自己的几千个样本微调过的 Gemma 4 12B,在你的特定任务上通常能胜过通用决策模型。

如果你确实不确定,低成本实验就是把两者都跑在同样的 2,000 个已标注案例上,比较的不是准确率,而是各自所犯错误带来的成本。Snap 会更常弃答。Gemma 会回答更多,也更常在不说明的情况下出错。这两者中哪个更糟,是你业务本身的属性,而不是任一模型的属性。