Nanbeige4.3-33B 与 Qwen3.8 27B：核查“20 项中 18 项”的说法

Nanbeige4.3-33B 在 20 项基准测试中的 18 项上击败了 Qwen3.8-27B。这就是本周在互联网上流传的说法，而且从技术上讲，模型卡上就是这么写的。这也是一个带分母的句子，而分母才是有意思的部分。在这 20 行中，19 行是按分数计分的，1 行是美元金额；18 场胜利中有 4 场的领先不足 1 分；并且至少有 3 个 Qwen 数值似乎是从 Qwen 自己公布的结果中抄来的，而不是由 Nanbeige 重新跑出来的。这些都不足以让该说法变成假的，只会让它比听起来更窄。

这场对比很不寻常，因为Nanbeige选择Qwen3.8-27B作为其对手。Qwen3.8-27B于2026年8月中旬发布，是277.8亿参数的稠密模型，采用Apache 2.0许可，输入支持多模态；并且与Nanbeige4.3-33B不同，它拥有独立的Artificial Analysis Intelligence Index得分34。因此，这是本批次中唯一一个对手有已验证分数、而被测对象没有的对比。这种不对称性是我们审计该表格的最佳工具。

谁撰写了该声明，以及分母包含什么

这张表格是 Nanbeige 的。它发布在 Nanbeige4.3-33B 的 Hugging Face 模型卡上，所在仓库创建于 2026 年 10 月 24 日。没有配套的博客文章，没有发布活动，也没有第三方复现。Qwen 列中的每一个数字，以及 Nanbeige 列中的每一个数字，都是由进行比较的实验室生成或挑选的。

这 20 行涵盖三组：智能体编程（Terminal-Bench 2.1 和 4.0、DeepSWE、SWE-Bench Pro、SWE-Atlas-QnA、NL2Repo、Scicode、SkillsBench）、智能体协同办公（Automation Bench、JobBench、GDPval、Claw-Eval、Toolathlon-Verified、DeepPlanning、EnterpriseOps-Gym、YC-bench、Tau3-Bench）和推理（GPQA Diamond、AIME 2026、AA-LCR）。测试框架的披露比大多数厂商卡片更细致：Terminal-Bench 2.1 使用 Terminus 2，Terminal-Bench 4.0、DeepSWE 和 SWE-Atlas-QnA 使用 mini-swe-agent v2.4.6，NL2Repo 和 JobBench 使用 Claude Code，SWE-Atlas-QnA 使用 GPT-6 Sol 作为评判器。这一披露是 Nanbeige 的可赞之处，也正是为什么这次比较比单纯统计胜场数更难解读。

Nanbeige 输掉的两行

• SWE-Bench Pro — Qwen3.8-27B 61.7 对 Nanbeige4.3-33B 60.3。Qwen 领先 1.4 个百分点。

• GDPval —— Qwen3.8-27B 86.4 对 Nanbeige4.3-33B 84.8，Qwen 领先 1.6 个百分点。

这就是“20 项中 18 项”这一标题悄悄略去的两行，而它们指向一个一致的方向。两者都是衡量专业且具有经济价值工作的基准：SWE-Bench Pro 是更难的软件工程变体，GDPval 则衡量真实职业任务上的产出质量。Qwen 在这两项上都获胜，优势的绝对值不大，但在两个不同任务族上保持稳定。如果你是在为专业工作而非排行榜在这两个模型之间做选择，那么这两行就是你最应重点权衡的，而它们也正是所讨论模型落败的两项。

Nanbeige 的卡片没有解释那些失利。它也不需要解释——厂商有权发布一张自己获胜的表格。但读者应当注意到：失利恰好集中在基准最接近“专业人士会不会接受这个输出”的地方，而胜绩则集中在基准最接近“智能体有没有跑完整个闭环”的地方。

不过是舍入误差的胜利

18场胜利中有4场是以不到1分的分差决出的。

Tau3-Bench——48.8 对 48.5。零点三分。

• GPQA Diamond — 89.5 对 89.2。零点三。

• AIME 2026——95.2 对 94.5。相差零点七。

• EnterpriseOps-Gym — 41.0 对 40.2。零点八分。

另外两项的差距约在两个点以内：Toolathlon-Verified 为 70.4 对 68.5，AA-LCR 为 84.0 对 82.0。在这种规模和方差的基准测试上，不到一个百分点的差距并不能证明优越性，只能证明两个模型处于同一水平区间。对标题更公平的重新表述应是“Nanbeige 在 20 项中 12 项明显领先、6 项持平、2 项落后”——这仍是强有力的结果，而且更有用。

真正支撑论点的，是那些领先幅度较大的成绩。DeepSWE 为 65.5 对 42.5，相差 23 个百分点。Terminal-Bench 4.0 为 23.8 对 6.3，相差 17.5 个百分点。Automation Bench 为 54.2 对 38.3，相差 15.9 个百分点。DeepPlanning 为 63.3 对 49.2，相差 14.1 个百分点。YC-bench 是一项以美元计量的任务，报告结果为 $1,025,437 对 $641,290。这些都不是舍入误差。它们表明，Nanbeige 在长时程、多步骤执行方面更强——也就是模型必须在数十次工具调用中始终维持计划不中断的那类工作。这是一条连贯的叙事，也与该模型 512K 原生上下文及其面向智能体的推荐设置相一致。

这些列可能并非来自同一个实验

下面这个观察会让整张表变得复杂。三个 Qwen 数据与 Qwen 自己公布的数值完全一致：Terminal-Bench 2.1 为 73.0，SWE-Bench Pro 为 61.7，GPQA Diamond 为 89.2。Qwen 公布了这三项。Qwen 未公布的那些行——DeepSWE、SWE-Atlas-QnA、NL2Repo、JobBench、Automation Bench、DeepPlanning、YC-bench、Tau3、EnterpriseOps-Gym、Claw-Eval——恰恰是 Nanbeige 领先幅度最大的行。

这一模式与同一张表内采用两种不同做法相符：对对手已经公布的基准测试直接复制数字，对未公布的基准测试则重新运行。这是推断，并非已披露的事实——Nanbeige 的模型卡称，所有模型都在最高思考强度下、使用相同的推理参数和测试框架进行评估，这反而不支持复制说。但三个独立数字完全一致，这一巧合值得注意；而且如果 Qwen 那一列是混合来源，那么“20 项中的 18 项”在一些行上比较的是 Nanbeige 的运行结果与 Qwen 的运行结果，在另一些行上比较的则是 Nanbeige 的运行结果与 Nanbeige 自己的运行结果。

还有第二个更微妙的问题。Nanbeige 自己的模型是在其模型卡推荐的评测框架中运行的：XML 工具调用、preserve_thinking=true、面向智能体任务的 temperature 1.0。模型卡没有说明 Qwen3.8-27B 是获得了它自己推荐的设置，还是被放进了 Nanbeige 的设置里。如果是后者，那么 DeepSWE 上 23 分的差距中有一部分是配置差异，而不是能力差异。这与适用于所有厂商对比的同一个注意事项相同，而这不是否定该结果的理由——而是要求在将其视为定论之前进行中立重跑的理由。

只有一款模型拥有的独立评分

Artificial Analysis 在其 Intelligence Index 上给 Qwen3.8-27B 打出 34 分，该成绩在 xhigh 推理配置下测得，输出速度为每秒 45.2 个 token。延迟因服务商而异：我们自己的页面报告的首 token 时间 p50 为 2.95 秒，而 Artificial Analysis 在其抽样的端点上测得 3.8 秒。该指数由十项评测综合而成，包括 Terminal-Bench 4.0、SciCode、AA-LCR、GDPval-AA 和 AutomationBench-AA——其中若干基准系列也正是 Nanbeige 自行报告的。

Nanbeige4.3-33B 没有 Artificial Analysis 条目。这并不是什么丑闻；该模型才发布两天。但这意味着，这一对比的两方在认识论上并不对等。Qwen 的 34 是别人测出的数字。Nanbeige 在 Terminal-Bench 2.1 上的 80.9 是 Nanbeige 自己测出的数字。如果两者都准确，那么 Nanbeige 在同一综合基准上很可能远高于 34——其 Terminal-Bench 4.0 的 23.8 和 SciCode 的 52.6 都是很有力的成绩项。关键在于，“很可能”在承担论证重任，而且在独立评测者对该模型进行评测之前，它都会继续承担这一重任。

这也是把“20项中18项”的说法视为开场论点的现实理由。该说法可以通过一种具体且成本低廉的方式被证伪：将 Nanbeige4.3-33B 提交给独立评估方，并比较综合评分。在此之前，最诚实且最强有力的表述是：Nanbeige 声称其在长时程智能体工作上领先，而在专业输出质量上略有落后；并且这两个模型中只有一个曾被其制造商以外的人检查过。

按任务计费，而非按 token 计费

Qwen3.8-27B 是这两款中目前唯一可供调用的模型。在 OrcaRouter 上，它的价格为每百万输入 token 0.33 美元、每百万输出 token 2.40 美元——低于 Artificial Analysis 为阿里巴巴第一方端点列出的 0.50 美元和 3.00 美元。这一款由我们自有基础设施提供服务，而非按供应商标价转售，因此价格能低于第一方价格；而对于我们确实转售的模型，0% 加价规则意味着你支付的就是供应商的标价。无论哪种情况，单 token 价格因路由不同而差异很大，因此第一方端点未必就是便宜的那一个。该模型还支持在文本之外接受图像和视频，并具备 262,144 token 的上下文窗口。

不过，按 token 计价并不是这项比较的正确单位。评测者反映，Qwen3.8-27B 对 token 的消耗异常高——在同类任务上约为 Qwen3.6-27B 的三倍——而 Artificial Analysis 估计，在 xhigh 设置下，每完成一个 Intelligence Index 任务约需 1.01 美元。一个在每 token 价格上占优、却在每任务 token 消耗上吃亏的模型，最终仍可能是更昂贵的选择。Nanbeige4.3-33B 则根本不存在按 token 计价这回事：权重免费，没有任何推理服务商部署它，而运行它就意味着要维持一个四 GPU 的张量并行部署，无论是否有流量到来都得一直开着。

这正是路由层体现价值之处。Qwen3.8-27B目前可通过我们的密钥访问；Nanbeige 则不能，我们不会假装它能。你可以做的是让 Qwen 保持为生产路径，并将一小部分真实流量路由到自托管的 Nanbeige 端点，以衡量任务完成情况和 token 消耗，而不是相信一张表格。自动故障转移在这里很重要：一个在运行中途失效的实验端点应降级到现有方案，而不是把智能体一起拖垮。然后，决策取决于你自己的每完成任务成本，这是唯一能诚实综合两个模型 token 表现的数字。

什么会证伪这一点？

三项结果就能解决这个问题，而且它们都不需要新模型。

• Nanbeige4.3-33B 在 Artificial Analysis 上的收录条目。如果其得分接近或高于 34，则厂商表格所指示的方向得到确认，而具体幅度则变得有待商榷。如果得分远低于该值，那么“20 项中 18 项”的说法就需要一个比测试框架选择更有说服力的解释。

• 在两个模型各自推荐的配置下，对 DeepSWE 和 Terminal-Bench 4.0 进行一次中立的重新运行。这正是当前表格尚未执行的那个具体实验，它针对的是承担 Nanbeige 大部分领先幅度的那些行。

• 两者各自公开发布的每完成一项任务所用 token 数指标。按每 token 价格，无法将你自托管的稠密 33B 与你租用的、对 token 需求很大的 27B 进行比较。而每完成一项工作的成本则可以。

我们会捍卫的裁决

Nanbeige4.3-33B 很可能是两者中更强的长程智能体模型。它在 DeepSWE、Terminal-Bench 4.0、Automation Bench 和 DeepPlanning 上的领先幅度太大，且方向如此一致，不太可能完全是评测框架造成的假象，而 512K 原生上下文也与这一判断相符。Qwen3.8-27B 很可能是专业交付质量更强的模型，它赢下了衡量这一点的两行，而且它无疑是更可用的那一个：独立评分、托管 API、多模态输入，以及一个今天就能填进表格的价格。

“20 次中的 18 次”是一个真实结果，却被包装成了更大的成果。准确的说法是：一个尚未被任何人独立评估过的实验室所发布的、才问世两天的模型声称，在智能体执行方面明显领先，在通用推理方面打成平手，在专业输出方面略有落后——而它的对手已经推出十周，并且是由其制造商以外的人测量过的。这确实是一个很有意思的说法，但还不是切换的理由。