一张为 Nanbeige4.3-33B 与 Gemma 4 31B 生成的标题卡。Nanbeige 卡片列出 33.1B 稠密模型、512K 上下文、Apache 2.0,以及仅文本、无托管 API;Gemma 卡片列出 30.7B 稠密模型、256K 上下文、Apache 2.0,以及文本和图像输入、托管。两者之间的徽章写着 0.0,页脚写着“0.0 是厂商表格分数;评测框架未披露。”
Guides & Insights

Nanbeige4.3-33B 对比 Gemma 4 31B:厂商表格中33个百分点的差距究竟意味着什么

作者

Alistair Wren

发布日期

最新模型 · 20查看全部模型 →
基准测试:Artificial Analysis · 每日更新
返回全部文章

在 Nanbeige4.3-33B 自己的基准测试表中,Gemma 4 31B 在 Terminal-Bench 4.0 上得分为 0.0。这就是应该首先看的那一行,因为它告诉你该如何解读这次比较中的其他每一个数字。Gemma 4 31B 是 Google DeepMind 发布的 307 亿参数开放权重模型,自 2026 年 4 月 2 日起可按 Apache 2.0 许可下载,而谷歌自己的材料称其在 τ²-bench 工具使用上得 86.4 分,在 LiveCodeBench v6 上得 80.0 分。这样的模型不会在所有现存的终端任务上都失败。当一个基准测试无法区分“做不到”和“从未获得可用的工具循环”时,你得到的就是零分。

相比之下,Nanbeige4.3-33B 才发布两天。它的代码仓库创建于 2026 年 10 月 24 日 02:49 UTC,其模型卡是 Nanbeige 发布的唯一公告,而那张卡上的 20 行表格是当前流传的关于它的每一个数字的唯一来源。Gemma 4 31B 在该表中作为三个对比列之一出现。没有独立实验室让这两个模型进行过相互对比测试,两家厂商也都没有在这张表之外对对方做过基准测试。因此,这场对决的诚实版本不是一张记分牌,而是一场论证:哪些行经得起推敲,哪些行实际上是在测量测试框架。

每个模型实际上是什么

这两个版本相隔六个半月,设计上的假设也体现了这一点。

• 参数 — Nanbeige4.3-33B 是 33.1B 稠密模型(BF16 下为 33,118,977,024 个参数),每个 token 都会激活全部参数。Gemma 4 31B 是 30.7B 稠密模型。两者都不是混合专家模型,因此两侧的吞吐量都随完整权重数量扩展。

• 背景 — Nanbeige4.3-33B 原生支持 524,288 个 token。Gemma 4 31B 支持 262,144 个 token。对于这一参数级别而言,两者都异常大;Nanbeige 的是其两倍。

• 模态 — Nanbeige4.3-33B 为文本输入、文本输出,支持英文和中文。Gemma 4 31B 除文本外还可接受图像,基于 140 多种语言预训练,并原生支持函数调用和可配置的思考模式。

• 许可证——两者均为 Apache 2.0。这是一次少见的比较,许可证问题在你开始之前就已经解决了。

• 磁盘上的权重文件 — Nanbeige4.3-33B 在 BF16 精度下约为 66GB,在 4-bit 量化下约为 20GB。Gemma 4 31B 也处于同一量级。这两者都不是能在笔记本上运行的模型;它们都属于单工作站或单节点级别的模型。

唯一差距明显的是分发渠道。Gemma 4 31B 有托管 API、一个 Artificial Analysis 目前标价为零成本的端点,以及独立报道。Nanbeige4.3-33B 有权重、模型卡,并且——用模型卡自己的话说——没有任何推理提供商部署它。这种不对称并非质量判断,但它改变了“尝试它”的成本。

A generated two-column scoreboard for Nanbeige4.3-33B and Gemma 4 31B. Nanbeige: 512K native context, text only, Apache 2.0, Terminal-Bench 2.1 80.9 vendor, no independent score, self-host only. Gemma: 256K context, text and image, Apache 2.0, Terminal-Bench 2.1 47.2 in Nanbeige's run, Artificial Analysis Index 15, $0.13 input and $0.38 output per 1M. Footer reads 'Nanbeige figures vendor-reported; Gemma rows from Nanbeige's table; AA score independent.'

供应商列与 Google 自己的卡片不一致。

Nanbeige 表格中的两行可以对照 Google 公布的数据进行核对,而其中只有一行相符。

• AIME 2026 — Nanbeige 将 89.2 归功于 Gemma 4 31B。Google 报告为 89.2。完全一致。

• GPQA Diamond — Nanbeige 将 Gemma 4 31B 记为 91.3,而这是 Gemma 唯一超过 Nanbeige 自身 89.5 的一行。Google 针对该模型公布的数据为 84.3。这构成了 7 个百分点的差异,而两张模型卡都没有解释这一差异背后的配置。

第二行值得注意,因为这是厂商表格中唯一一处让对手占上风的地方。如果这个数字来自以最大思考强度重新运行的结果,那它就是一个正当结果,Gemma 在研究生水平的科学问题上确实领先。如果它来自配置不同的评估,那么这张表就是在比较两个不同的 Gemma。无论如何,本周每一篇二手报道都在重复的那句“Gemma 赢下 GPQA”,都建立在一个 Google 并未公布的数字之上。

Gemma 这一列的其余部分更难核查,因为 Google 报告的是不同的基准测试。Nanbeige 的表格将 Gemma 在 Tau3-Bench 上列为 18.6;Google 的模型卡则显示其在 τ²-bench 上为 86.4。它们属于同一基准测试系列的不同版本,因此并不矛盾——但它们也不是可直接比较的,而两者之间 68 分的差距,可以合理地估算出测评框架和版本选择能让单个模型的分数变动多大。

A screenshot of the Hugging Face model card for Nanbeige/Nanbeige4.3-33B captured October 26 2026, showing the 33B-parameter BF16 model, Apache-2.0 and English and Chinese tags, a panel reading 'This model isn't deployed by any Inference Provider', a model tree with 3 finetunes and 37 quantizations, and bar charts in which Terminal-Bench 2.1 reaches 80.9.

正确解读零值

Gemma 列中有三行接近零:Terminal-Bench 4.0 上为 0.0,DeepSWE 上为 2.7,SWE-Atlas-QnA 上为 3.3。这些正是在社交媒体上被广泛传播的行,却是表格中信息量最小的数字。

智能体基准测试中接近零的得分至少可能有三种原因:模型无法完成任务、模型无法驱动测试框架所提供的工具,或者测试框架是针对不同的聊天模板和工具调用格式调优的。Nanbeige 的模型卡明确说明,其自身结果在 Terminal-Bench 2.1 上使用 Terminus 2,在 Terminal-Bench 4.0、DeepSWE 和 SWE-Atlas-QnA 上使用 mini-swe-agent v2.4.6。它没有说明 Gemma 4 31B 是获得了同样的脚手架并搭配其自己的工具调用格式,还是被放进了 Nanbeige 那套面向 XML 的脚手架中。这些情况会产生截然不同的数字,而其中只有一种情况与模型本身有关。

这并不能成为否定 Nanbeige 结果的依据。Nanbeige4.3-33B 是围绕智能体编码构建的——其模型卡推荐使用 XML 工具调用格式、在多轮工具使用中设置 preserve_thinking=true,并在智能体任务中使用 1.0 的温度——因此它在专为其构建的测试框架中表现良好并不令人意外。这倒是一个理由,让我们把 Gemma 那一列视为下限,而不是最终结论。

不对称基准不定价:图像

Gemma 4 31B 支持图像。Nanbeige4.3-33B 不支持。这一句话比表格中的任何一行都更能决定真实部署。

如果你的智能体需要读取截图、发票、图表、扫描表单或 UI 状态,那么无论基准分数是多少,Nanbeige4.3-33B 都不是候选模型。你需要在它前面再加一个独立的抽取模型,这会带来自身的延迟、成本和故障模式,而整个流水线的质量将取决于该抽取模型的质量,而不是这个 33B 模型的质量。Gemma 原生就能完成这一步,而 Google 公布的 MMMU-Pro 76.9 和 MATH-Vision 85.6 表明它能胜任这一步,而非做做样子。

反过来,如果工作内容只涉及文本——代码、日志、长文档、多轮工具调用轨迹——那么图像能力就是你在每一次前向传播中白白付出代价的累赘。而这正是 Nanbeige 所面向的场景,并且它在智能体工作中占据很大比重。

512K 对 256K,以及窗口究竟是用来做什么的

Nanbeige 的 524,288 token 窗口是 Gemma 262,144 的两倍,而这两个数字都足够大,因此这一差异只在特定类型的工作中才会产生影响。

256K 窗口大约相当于一个中型仓库的源代码量,或数百页文本。512K 窗口则是其两倍。对于单个长文档加一段长回答,两者都足够;而对于需要在数百轮中累积工具输出的智能体,更大的窗口能在触发摘要或逐出之前带来更多轮次。Nanbeige 的模型卡建议推理和聊天最多使用 262,144 个新 token,这表明实际推理预算更接近 256K,而非完整的 512K。Gemma 的输出上限通常配置为 131,072。

两家厂商都没有在此公布长上下文召回基准,因此无法诚实地断言谁的 512K 或 256K 用得更充分。上下文长度是一种容量声明,而非质量声明,两张卡也都仅止步于此。

调用每一个需要多少费用

Gemma 4 31B 是这两者中目前唯一能以服务形式调用的模型。在 OrcaRouter 上,每百万输入 token 收费 0.13 美元,每百万输出 token 收费 0.38 美元,缓存输入为 0.02 美元——这是对服务商标价的直接透传,未添加任何加价,这也正是供应商价格变动在公布当天就能反映到我们目录中的原因。Artificial Analysis 目前将 Google 自家端点列为输入 0.00 美元、输出 0.00 美元,这几乎可以肯定反映的是促销或免费层级,而非长期有效的价格;请将其视为试用渠道,而不是预算项目。

Nanbeige4.3-33B 没有可按 token 报价的价格。其权重在 Apache 2.0 下免费开放,而模型卡明确说明没有任何推理服务商部署该模型。运行它意味着按照模型卡自带的 vLLM 和 SGLang 配方,以张量并行度 4 占用四块 GPU,且无论是否有请求到来都必须保持常开。于是每个 token 的边际成本取决于你的电费和利用率,而不是一张价目表。任何拿"输入 0.13 美元"与"免费"相比的人,都是在拿一张账单和一笔资本支出作比较。

这也是即使新模型是自托管的,也仍要在链路中保留路由器的实际理由。大多数团队实际面临的决定并不是“替换 Gemma”,而是“把 5% 的流量发给新东西,看看会发生什么”。让现有服务通过一个密钥保持可达,并具备自动故障转移;如果实验端点失效,这就使那成为一次路由变更,而不是一次迁移。

A screenshot of the OrcaRouter model page for Gemma 4 31B captured October 26 2026, showing model id google/gemma-4-31b-it, a 2026-04-02 release date, a 30.7B dense multimodal description with a 256K-token context window, $0.13 per 1M input and $0.38 per 1M output, a 1.43-second p50 time to first token, and 370.0K tokens of traffic over seven days.

当 Gemma 4 31B 就是正确答案时

四个条件无需基准表即可解决此事。

• 工作负载包括图像、PDF 或截图。Gemma,毫无争议。

• 你需要的不只是英语和中文。Gemma 在 140 多种语言上进行了预训练;Nanbeige 只列出了两种。

• 你不会想自己拥有 GPU。Gemma 目前已有托管端点;Nanbeige 则提供权重和部署方案。

• 你需要关于质量的第二意见。Gemma 在 Artificial Analysis Intelligence Index 上的得分为 15,这个分数不算高,但来源独立。Nanbeige 在该指数中根本没有条目,所以关于它的所有数字都是厂商在给自己批作业。

把视角反过来看,Nanbeige 的情况同样清楚:纯文本智能体工作、很长的工具调用轨迹、一支拥有 GPU 的团队,以及愿意运行其推荐的 XML 工具格式。对于这类工作,Nanbeige 自己的表格声称在 Terminal-Bench 2.1 上领先 33.7 个百分点——80.9 对 47.2——并在 DeepSWE 上领先 62.8 个百分点。这些差距足够大,即便在对测试框架优势打折扣后,它们很可能仍包含真实信号。但它们还不够大,不足以让你在不亲自跑一遍的情况下就把生产路径押上去。

一场下午的烘焙比赛都比这张桌子强

如果你确实要在两者之间做选择,这个测试成本很低,而且不需要你相信任何一家厂商。从你自己的智能体日志中取二十个真实任务。让每个模型使用各自推荐的 tool-call 格式和 thinking 设置来运行——Nanbeige 用 XML,Gemma 用原生 function calling——并评分任务完成度,而不是基准相似度。记录每个已完成任务消耗的 token 数,因为即使每 token 价格相同,dense 33B 和 dense 30.7B 在冗长度上也会不同。

一下午就能弄清的是:南北的智能体优势能否在自身测试框架的优势之外依然成立。在有人发布这一结果之前,站得住脚的总结比头条标题要窄:Gemma 4 31B 是更易部署的模型,也是唯一有独立评分的模型;Nanbeige4.3-33B 则更具雄心,拥有原生 512K 窗口,以及一组自报的智能体数据——这些数据引人注目、未经审计,且才发布两天。