一张生成的标题卡,上面写着“Nanbeige4.3-33B——首个外部编号”,副标题为“发布于 2026 年 10 月 24 日,由 Artificial Analysis 于 11 月评分”,还有三个标签,分别写着“智能指数 20”“Terminal-Bench 4.0 29.8%”和“1.6 亿输出 token”。页脚写着“数据依据 Artificial Analysis v5.0.1;该模型没有托管 API。”OrcaRouter 标志合成在图像下方的白色条带中。
Engineering & Research

Nanbeige4.3-33B 拿到了首个外部评分:20,与 Qwen3.8-27B 持平,而且话多程度是它的两倍

作者

Rowan Sterling

发布日期

最新模型 · 20查看全部模型 →
基准测试:Artificial Analysis · 每日更新
返回全部文章

两周以来,唯一能证明 Nanbeige4.3-33B 有任何过人之处的证据,来自该实验室自己撰写的一张二十行表格。11月5日,情况发生了变化:Artificial Analysis 将 Nanbeige4.3-33B 纳入其 Intelligence Index v5.0.1,得分为20,这与它给 Qwen3.8-27B 在最高推理设置下的分数相同——综合得分为20,而 Qwen 模型在底层 v5.0 运行中为20.1。0.1分小于同一检查点两次评估之间的噪声,因此在唯一同时衡量两者的公开综合指标上,两者不相上下。

那就是发布时一直在等的数字,而它却是这项测量中最不有趣的部分。这个综合分数掩盖了一个模型,其两半指向相反方向:智能体能力那一半远远领先于它本要击败的 Qwen 模型,而知识那一半则明显落后于后者。它还掩盖了一个事实:Nanbeige4.3-33B 花了 1.6 亿个输出 token 才达到这个 20 分——是其比较类别中位数模型消耗量的两倍多,也足以让它在 Artificial Analysis 的冗长度指标上在八款模型中排名垫底。

因此,对这次发布的诚实解读不再是“未经核实”。而是“已核实,而且比厂商表格所暗示的更离奇”。以下是独立运行实际表明的内容、它与 Nanbeige 自己的数字相符之处,以及外部测量结果更高比实验室自己的说法

20意味着什么,以及它不意味着什么

Artificial Analysis 将 Nanbeige4.3-33B 在其所属的对比类别中列为九款模型之首,该类别的中位数为 10。这个类别由它用来对比的九款规模相近的开放权重模型组成;该网站还另行表示,在更广泛的可比模型群体中收录了 144 款模型。这两个群体都值得同时记住:在与规模大致相同的开放权重模型相比时,它是已测得的最强模型;而在与整个领域相比时——包括前沿闭源模型以及 Qwen、DeepSeek 和 Anthropic 的最佳模型——20 分是一个稳健的中游成绩。

第1名(共9个)与中游分数之间的差距值得牢牢记住,因为当一次发布被概括为“击败 Qwen”时,丢失的恰恰就是这一差距。一个 33B 开放权重模型在一个由体量数倍于它的模型主导的综合评分中位列中游,这本身就是实实在在的成就。它不是前沿成果,本次发布的任何措辞都不应暗示并非如此。

这个指数不包含价格。之所以没有价格,是因为没有托管端点:Artificial Analysis 记录为“无公开可用的 API”,该仓库在 Hugging Face 推理提供商映射中为空,而所有收录该模型的追踪器都将成本显示为不可用。你的成本就是硬件。

模型的两半不一致

Artificial Analysis 并不公布单一数字,而子分数正是这款模型变得清晰可读的地方。请把它们当作两列来读。

• Terminal-Bench 4.0(Artificial Analysis 测试框架)——Nanbeige4.3-33B 得分 29.8%,在榜单所有配置中排名第 56 位。Qwen3.8-27B 在 xhigh 档位下于同一测试框架上得分 5.6%。

• FrontierCode 2.0 — Nanbeige4.3-33B 10.7%,排名第 81 位。Qwen3.8-27B 在 xhigh 下得分 14.9%,因此代码质量基准的结果正好相反。

• AA-Omniscience v1.1 — Nanbeige4.3-33B 净得分为 −4.4,准确率为 11.7%。Qwen3.8-27B 在 xhigh 下净得分为 −6.4,准确率为 17.3%。Qwen 知道得更多;Nanbeige 的净得分反而更好,因为它更常拒答。

• AA-Omniscience 非幻觉——Nanbeige4.3-33B 81.8%,在全站排名第 7。Qwen3.8-27B 在 xhigh 下得分为 71.4%。

• AutomationBench — Nanbeige4.3-33B 53.1%,排名第 82 位。AA-Briefcase v1.1 — 1,162,排名第 90 位。Terminal-Bench-Science 0.1 — 0.9%,排名第 89 位。

• HLE-Diamond — 6.9%,排名第117位。CritPt v2 困难子集 — 15.5%,排名第85位。GDP.pdf — 11.2%,排名第135位。

这些行所呈现的模式是一致的。在任务是“长时间操作终端且不提前停止”的情况下,该模型的得分大约是 Qwen 模型的五倍。在任务是“知道一个事实”的情况下,它落后——而在任务是“知道一个事实,或者说自己不知道”的情况下,它领先于榜单上几乎所有的模型,非幻觉率为 81.8%。

这种组合并非调参的偶然结果。当一个知识基准被指向一个为生成智能体轨迹而构建的模型时,呈现出来的就是这个样子。一个会编造事实的教师模型,就是一个会污染学生训练数据的教师模型,因此在 Nanbeige 所说的正在构建的流水线中,校准比召回更重要。无论这种权衡是有意为之还是自然涌现,它都是这次发布中最站得住脚的地方。

A two-column comparison scoreboard titled 'Nanbeige4.3-33B vs Qwen3.8-27B — the scoreboard'. The Nanbeige4.3-33B column reads Intelligence Index 20, Terminal-Bench 4.0 29.8%, FrontierCode 2.0 10.7%, Omniscience accuracy 11.7%, Non-hallucination 81.8%, Output tokens 160M. The Qwen3.8-27B (xhigh) column reads Intelligence Index 20.1, Terminal-Bench 4.0 5.6%, FrontierCode 2.0 14.9%, Omniscience accuracy 17.3%, Non-hallucination 71.4%, Output speed 49 tok/s. A footer reads 'All figures per Artificial Analysis v5.0.1; Nanbeige has no hosted API.' The OrcaRouter logo is composited in the white strip below the artwork.

冗长问题其实是一个伪装起来的成本问题

A screenshot of the Artificial Analysis page for Nanbeige4.3-33B showing an Intelligence Index of 20 ranked '#1 / 9', a Performance panel marked N/A, a Cost panel with no price and 'In -' / 'Out -', and a Verbosity panel reading '#8 / 8' with 15.4B input tokens, a 1.034% output-to-input ratio and 160M output tokens against a 77.7M comparison median. Technical specifications list reasoning Yes, text input and output, a 524k context window, 33B total parameters, Apache 2.0 and Hugging Face weights.

Artificial Analysis 报告称,Nanbeige4.3-33B 在 Intelligence Index 上接受评估时生成了 1.6 亿个输出 token。其对比类别中的中位数模型生成了 7770 万个。在该网站的冗长度排名中,它位列最后,在该类别 8 个模型中排名第 8,约为中位数的 2.06 倍。输入量为 154 亿个 token,这使得输出与输入的比率为 1.034%。

由此得出两点。第一,20 的购买成本很高。如果你在任何地方按 token 付费,那么一个在相同综合得分下输出两倍 token 的模型,其每单位实测能力的成本大约也是两倍,而该指数并未对此进行归一化。第二,冗长首先是延迟问题,其次才是成本问题:在你自己的 GPU 上,一个 33B 稠密模型输出两倍 token,完成一项任务所需的时间也会翻倍。

南北格(Nanbeige)自己推荐的设置解释了其中一部分原因,但并不能为全部问题开脱。模型卡要求推理和聊天使用 262,144 个 token 的上限,智能体工作使用 65,536 个,且默认开启思考。任何被告知可以思考 25 万个 token 的模型都会用掉其中一些。但同类中位数是一个公平的比较——同一指数下的其他模型也是推理模型——而 2.06 倍的倍数在控制这一变量后依然成立。

对于自托管部署来说,实际可行的解决办法是设置预算,而不是更换模型:限制每个任务的最大新 token 数,并在假定显卡默认值适合你的工作负载之前,先测量自己在 8K、16K 和 32K 下的通过率。大多数智能体任务超过某个点后就不会再改善,而这个模型不会告诉你那个点在哪里。

外部运行结果超过供应商自身数据的那一行

Nanbeige 的模型卡声称,Nanbeige4.3-33B 在 Terminal-Bench 4.0 上的成绩为 23.8,而 Qwen3.8-27B 为 6.3。Artificial Analysis 实测为 29.8。高出该实验室自己发布的数字

这足够不寻常,值得直说,因为这一行业的标准失败模式恰恰相反——实验室报告自家脚手架产生的最好数字,而外部复跑结果更低。厂商低报自己的智能体得分,可能意味着他们那边用了不同的评测框架、刻意保守的声明,或者表格是在最终检查点之前构建的。这些都不坏;它们都意味着厂商表格不是上限,也不应被当作上限来读。

不能由此推断每一行厂商数据都可信。Nanbeige 表格中最大的几项声明——DeepSWE 的 65.5 对 Qwen 的 42.5,SWE-Atlas-QnA 的 50.8 对 41.9——目前还没有独立的对应结果,而且这两项都是对脚手架敏感的基准测试,其中测试框架的选择对分数的影响比模型质量更大。Terminal-Bench 的结果所确立的东西更窄,也更有用:该声明所指的智能体方向是真实的。任何单行数据的具体幅度仍未经证实。

这让一个想要尝试它的团队处于什么境地

A screenshot of the Hugging Face model card for Nanbeige/Nanbeige4.3-33B showing 1.05k likes, an Apache-2.0 badge, English and Chinese language tags, a Safetensors panel reading 33B params in BF16, 19,178 downloads last month, an Inference Providers panel reading 'This model isn't deployed by any Inference Provider', a model tree listing Nanbeige4.3-33B-Base with 99 quantizations, and card text calling it the flagship teacher model for the Nanbeige4.3 series.

访问方式没有任何变化。没有可调用的端点,没有价目表,也没有服务商目录——权重以 Apache 2.0 许可发布在 Hugging Face 上,服务路径是在你自己的硬件上运行 vLLM、SGLang 或 Transformers。bfloat16 检查点为 66.3 GB,分为十四个分片;在 512K 上下文下,仅 KV 缓存就达到约 104 GiB,因此可行配置是四路张量并行,而不是单张大卡。

变化在于,你现在可以跳过尽职调查中最昂贵的那部分。在本周之前,评估 Nanbeige4.3-33B 意味着要配置四块 GPU,才能弄清其智能体相关说法在接触中立测试框架后是否仍然成立。Terminal-Bench 4.0 上的 29.8 回答了第一个问题——方向是对的——而冗长度数据则回答了一个没人问的问题,即模型每完成一个任务会消耗你多少 token 成本。

如果你想找一个今天就能实际调用的对比基准,Qwen3.8-27B 是天然的对照组:相同的综合得分、公开的价格,以及 262K 的上下文窗口。它在 OrcaRouter 上运行,每百万输入 token 收费 $0.33,每百万输出 token 收费 $2.40,与目录中其他模型使用同一个密钥,供应商标价原样传递,不加价。用同一条路由规则,把你的任务集分别跑在托管模型和自托管模型上,是判断你自己硬件上的 33B 稠密检查点是否胜过按 token 租用的 27B 模型的最便宜方式——而这是 Intelligence Index 无法替你回答的问题,因为它不知道你的任务是什么,也不知道你的 GPU 成本是多少。

真正仍属未知的范围很窄。这个模型存在的目的就是教 Nanbeige4.3-3B 这个蒸馏目标,而它是否会继承其中任何校准特性,尚不确定。冗长问题是否会在学生模型身上延续,也尚不确定,因为一个小模型若输出两倍 token,代价要低得多。还有,无幻觉结果在 Omniscience 测试框架之外是否依然成立,也不确定,因为 81.8% 是个很惊人的数字,而在任何人基于它搭建流水线之前,惊人的数字都值得再审视一番。

本文中的对比1

根据本文内容识别 · 基准测试:Artificial Analysis · 每日更新