LMArena 与 LLM 排行榜：三把标尺，三个不同的问题

2026年2月19日，Artificial Analysis 发布了一篇题为“Gemini 3.1 Pro Preview：AI 领域的新领军者”的文章。它在十项评估中六项领先，比 Claude Opus 4.6 高出四分。今天打开同一模型的页面，这个数字是30，在200个中排名第69。Google 没有做任何改动。改变的是尺子：2026年9月19日，Artificial Analysis 将其 Intelligence Index 修订为 v4.3.2，停用 Terminal-Bench 2.1 并改用 Terminal-Bench 4.0，将 tau3-Banking 替换为 AutomationBench-AA，并重新锚定 GDPval-AA Elo 量表。二月的领军者到了九月沦为中游，因为衡量它的标尺在它脚下移动了。

那一个事件本身就足以说明，为什么必须学会正确解读这些榜单。Claude Opus 5.5 和 Claude Fable 5.1、Kimi K3.1 Pro 和 MiniMax M3.1 Flash，以及介于其间的每一个模型，都同时在被至少三种互不兼容的标准评分；而把人们带到这里的那些搜索——lmarena、llm ranking、哪个模型才真正最好——都假定只有一个答案。实际有三个，而且它们回答的是不同的问题。

三种记分板，三个不同的问题

你在排行榜上看到的每一个数字都来自三个家族之一，而这个家族决定了这个数字能告诉你什么、不能告诉你什么。

众包竞技场。 LMArena 会针对同一个提示词展示两个匿名模型的输出，由一个人选出胜者，投票再汇总为评分。它衡量的是在盲测条件下、对事先无人挑选的提示词的偏好。其优势在于，没有厂商运营测试框架，也没有人手工挑选问题。其弱点在于，投票者会奖励流畅、自信、格式良好的回答，而志愿者输入的提示词并不是你的工作负载。竞技场评分高意味着人们往往更偏好该输出；这并不意味着输出是正确的。

综合指数。Artificial Analysis 运行一套固定的评估套件，并将它们合并为一个 Intelligence Index，同时单独衡量速度、延迟、价格和每完成一项任务的成本。在三者之中，这个指数对初筛最有用，因为每个模型使用的测试框架相同，而且周围的列让你可以权衡质量与成本。它的弱点在于，综合指数内嵌了编辑性选择：哪些评估计入、如何加权，以及其中某一项被停用时会怎样。v4.3.2 修订版恰恰让这一弱点变得可见。

厂商数据表。来自打造该模型的实验室所发布的材料。它是最丰富的信息来源——数百行数据、最新的基准测试、其他人都没跑过的配置——同时也是可比性最差的，因为评测框架、推理强度设置和对手全由各家厂商自行挑选。Anthropic 的 Claude Opus 5.5 数据表将其模型在 Terminal-Bench 4.0 上排在 GPT-5.6 Sol 之前，领先 29 分；OpenAI 的 Sol 材料则以 Terminal-Bench 2.1 打头，Sol 在该项得分 91.9，而且其中根本没有 Opus 5.5 这一行，因为这份材料撰写时 Opus 5.5 尚不存在。一张只列出有利行的表格，并不能证明全面碾压，它只能证明这些行是经过挑选的。

这一行是配置，而不是模型。

对排行榜最常见的误读，就是把一行当成一个模型。在 Artificial Analysis 本周自家的 LLM 排行榜上，Claude Opus 5.5 出现了三次：

• Claude Opus 5.5 在最大努力并启用回退机制下 — 智能指数 58，每任务成本 5.98 美元，输出速度中位数 98 个 token/秒，延迟 706 毫秒，端到端 711 毫秒。

Claude Opus 5.5 在 xhigh 强度下并启用回退——智能指数 56，每任务成本 $3.46，速度 82 tokens/秒，延迟 119 ms，端到端 125 ms。

• Claude Sonnet 5.5 以最大努力运行时 — 56，5.46 美元，每秒 141 个 token，427 毫秒。

前两行在指数上相差两个点。每项任务成本降低 42%，延迟相差六倍，也同样将二者区分开来。模型本身没有任何变化；变化的是 effort 设置。因此，任何“模型 X 得分高于模型 Y”之类的论断，在未指明配置之前都是不完整的，这也是为什么单次一对一对比得出的数字绝不应独自决定采购决策。

同样的规则也适用于厂商自家材料中的推理强度。Anthropic 在脚注中说明，其 Claude Opus 5.5 的 Terminal-Bench 运行使用的是 xhigh 强度而非默认值，而在默认的 medium 强度下，FrontierCode 相对 GPT-5.6 Sol 的优势会从引人注目的差距收窄至七个点。这两个数字都是真实的。但只有其中一个描述的是：如果你不设置该参数，你实际会得到什么。

版本陷阱，是大多数糟糕比较的成因

基准测试名称在不同代际之间会被重复使用，而数字并不会随之沿用。本月报道中的三个例子就足以说明其大致形态。

Terminal-Bench 2.1 与 4.0 —— Google 为 Gemini 3.5 Flash-Lite 提供的说明卡显示其在 Terminal-Bench 2.1 上的成绩为 54.0%；而 Artificial Analysis 运行的是 4.0，记录为 1%。两者都没错，但引用其中任何一个数字却不注明版本，就会造成误导，而且这种误导会向着你更偏好的那个模型。

• OSWorld-Verified 对比 OSWorld 2.0 —— Anthropic 报告 Claude Mythos 5 在 OSWorld-Verified 上达到 85.0%。其他厂商引用的 OSWorld 2.0 分数则在六十多。把两者放在同一列中，并不是在比较模型。

• 合适的模型，错误的版本——Claude Mythos 5.1 在 Terminal-Bench 4.0 上得到 60.9 分，而 Muse Wonder 为 52.0，这是这两个系列之间唯一共享的测试。Mythos 5公布的 88.0 是 Terminal-Bench 2.1 的成绩。用一代替换另一代会产生一个并不存在的 36 分差距。

这个实用习惯很小，却值得采纳：当一个数字出现时，既没有基准版本，也没有努力程度设置，那就把它当作一种主张，而不是一次测量。

每项任务的成本并不等于标价。

排行榜悄然新增了那列对预算最重要的数据，而它经常与价目表相矛盾。MiniMax M3.1 Flash 每百万输入 token 收费 0.15 美元，输出收费 0.60 美元；Gemini 3.5 Flash-Lite 则分别为 0.30 美元和 2.50 美元——输出成本高出四倍。但按每完成一项 Intelligence Index 任务的成本计算，Flash-Lite 反而胜出：0.19 美元对 0.22 美元。

这种倒挂并不是错误。该指标是实际消耗的 token 乘以提供商费率，因此它衡量的是每个模型完成同一任务需要付出多少工作量。MiniMax M3.1 Flash 在该指数中消耗了约 1.8 亿输出 token，而 Artificial Analysis 追踪的模型中位数接近 1 亿：它是一个冗长的推理模型，而冗长是要计费的。在深思熟虑能换来正确答案的任务上，这是一笔划算的交易。在答案从未有疑问的任务上，这就是浪费。

这是在你相信任何按 token 比较之前，用来跑你自己流量的那一列，因为它是唯一考虑到这一事实的指标：模型到达同一位置所消耗的 token 数量并不相同。

排行榜不会告诉你的事

两个盲点值得单独设一个小标题，因为忽视其中任何一个都会造成金钱损失。

拒答。Artificial Analysis 的 AA-Omniscience 评测给 MiniMax M3.1 Flash 打出 16 分：事实性问题答对率为 56%，幻觉率为 93%。第二个数字并不意味着 93% 的答案是错误的——它指的是，在那些不正确的回答中，93% 是完全答错，而非部分正确或拒绝作答。该模型在本应拒答时通常仍会作答。Gemini 3.5 Flash-Lite 则完全没有 AA-Omniscience 得分，这属于数据缺失，而非健康状况良好的证明。

可用性。 一个分数只是关于某个瞬间的陈述。Gemini 3.1 Pro 已作为预览版存在了七个月，却始终没有 GA 日期；九月中旬，它在没有任何厂商说明的情况下从 AI Studio 的模型选择器中消失，但如今仍带着一个排名。Grok 4.7 被打分时诞生仅一天，就在该指数上拿到了 46 分。这两个数字之中，一个描述的是你下个月就能调用的模型，另一个描述的则可能是下个季度已不复存在的模型。而排行榜并不区分二者。

我们自己的董事会处于什么位置，以及为什么它是第四种事物

OrcaRouter 运营着一个 AI 模型排行榜，它刻意不重复上述任何一种做法。它的排名依据来自我们自己的网关所观测到的数据——生产流量与社区 Battle Mode 投票——并在固定且公开的权重下，将其与 LMArena 投票、独立基准测试以及生态采用情况相融合。该榜单每日更新，模型上线后 48 小时内即被收录，并划分为文本、编程、视觉、数学、推理与智能体等视图，而非假装用单一排序就能满足所有任务需求。

这使它与其他三者有着不同的失败模式，这一点值得直说：它只能对我们路由的模型进行排名，因此它的盲点是商业性的，而非方法论的。它增加的是其他几个都没有的一个信号——这个东西是否真的作出了回答、速度如何、按什么混合价格、在并非为基准测试构建的流量上。

五分钟读一篇

• 在看分数之前，先确认基准版本和投入设置。这两项只要缺一项，那个数字就只是一个说法。

• 看每项任务成本那一列，而不是每 token 的价格。这两者不一致的时候比一致的时候还多。

• 把综合指数当作一份候选清单，而不是最终裁决。它本质上是一种重新加权，而重新加权总会被修订——那次把 Gemini 3.1 Pro 降级的修订，同样降级了数十个无人触碰过的模型。

• 将能力差距与分数差距区分开来。65,536 token 的输出上限，或者一个无法读取视频的模型，都是关于你的工作负载的事实；而指数上的两分则不是。

• 查看该模型的发布时间，以及它是否仍处于预览阶段。一个没有可用日期的排名，排的可能是在你部署时并不存在的东西。

排行榜是问题的起点，而不是问题的答案。唯一能决定选择的衡量标准，是你在自己的提示词上产生的自有流量——这正是为什么网关能提供的有用之处不是又一份排名，而是能够用一个密钥并排运行两个候选方案，并比较账单。

来源说明：Gemini 3.1 Pro 在 2 月至 9 月间的变动、v4.3.2 修订内容、Claude Opus 5.5 的三行数据、AA-Omniscience 数据、每任务成本数值以及智能指数得分均来自 Artificial Analysis，读取时间为 2026 年 10 月 26 日。Terminal-Bench 2.1 和 4.0 数据、OSWorld-Verified 和 OSWorld 2.0 数据、Terminal-Bench 4.0 的 60.9 和 52.0 得分、MiniMax token 消耗估算以及厂商资料表对比，分别来自 Anthropic、Google、MiniMax 和 OpenAI 各自公开发布的材料；除非上文注明归属于 Artificial Analysis，否则这些均为厂商报告。OrcaRouter 的排行榜说明、权重和更新频率均来自我们自行发布的方法论。