ERNIE 5.5 Flash Preview 与“#2 开放模型”的宣称：它自己的排行榜行却与之矛盾

百度于 2026 年 11 月 12 日引用转发了一条排行榜说法，其全文为：“Ernie 5.5 Flash Preview by @Baidu_Inc is trending towards becoming the #2 open model on the Code Arena: WebDev, at 1668 pts.”百度补充了参数规模——总计 2800 亿，每 token 激活 140 亿——并感谢社区“对其进行测试”。随后，它对其余内容未作改动。问题在于，产生 1668 分的那一行并未被标注为开放。在同一个 Code Arena WebDev 榜单、同一份 11 月 10 日快照中，ERNIE 5.5 Flash Preview带有标签Proprietary，分数为 1668 ±16，标签为AutoEval，投票数列为 N/A。被点名为其超越对象的模型——DeepSeek-V4.1-Flash为 1664 分，Kimi K3为 1658 分——都是有排名的行，分别有 13,952 和 22,405 张人类投票，且 DeepSeek 那一行带有 MIT 许可证标签。因此，这句话同时做了三件事：报告了一个真实分数，承诺了一个尚不存在的许可证，并描述了一个榜单并未赋予的排名。

这些都不能说明这个数字是错的。它只说明这个数字与那句话所推销的对象属于不同类型，而这种差异完全可以从排行榜自己的各列中看出来。

Arena 发布了什么，以及百度漏掉的那一行

Arena 帖子于 2026 年 11 月 12 日 01:08:21 UTC 发布，比百度的报价早一分钟。值得把它的全文摆在你面前，因为断言及其限定语就在同一段里：

• “@Baidu_Inc 的 Ernie 5.5 Flash Preview 正有望成为 Code Arena: WebDev 上排名第 2 的开源模型，得分为 1668 分。”

• “权重将很快以 Apache 2.0 协议开源。”

• “它的得分刚好高于：DeepSeek-V4.1-Flash（Max）1664 分，Kimi K3（Max）1658 分。”

Arena 两次对该排名作了模糊处理——“正趋向于成为”——并用“soon”一词把开放权重状态与一个未来事件挂钩。百度的引用转发复述了分数和参数数量，完全删掉了 Apache 2.0 那句话，并保留了“来自 @arena 的最新消息”的框架。只看到百度这条帖子的读者不会知道，该说法中关于开放模型的那一半属于前瞻性陈述，因为唯一陈述它的地方正是被删掉的那一半。

这不是误引。这是一种摘选，它把核实的责任转移给了想要核对的读者——而这正是本文余下部分所做的。

该行按列读取

Code Arena WebDev 评分的是前端 Web 开发工作：包含多个推理步骤和工具使用的智能体编程任务，而非聊天质量，也非通用编程。其 11 月 10 日快照包含 158 个模型共计 995,980 票。以下是榜单原样呈现的 ERNIE 5.5 Flash Preview 行，未添加任何解读：

• 得分 — 1668，公布为 1668 +16/-16，因此大约 90% 的区间约为 1652 至 1684。

• 排名 — 不适用。该行显示在第 16 名与第 17 名之间，且不带排名编号。

• 投票 — 不适用。该行上完全没有人工投票计数。

• 标签 — AutoEval，一个指向 Arena 自己的说明的链接标签。

• 许可证标签 — 专有。

• 价格 — 每百万 tokens 输入 $0.28、输出 $1.13，与 Qianfan 的目录价一致。

• 上下文 — 不适用，针对厂商页面标明 1M token 窗口的模型。

那七列中有三列是 N/A，其中一列是许可证列，而这项主张所依赖的正是这一列。把它声称位于其上的频段拿来比较，情况非但没有变模糊，反而更清晰了：

• 1691 — Claude Opus 5（Max），Anthropic，专有。

• 1688 — Kimi K3.1 Pro (Max)，M​oonshot，标注为“Kimi K3.1 Pro License”，这是一项 Arena 既未标记为开源、也未标记为专有的自定义许可证。

• 1682 — Gemini 4 Argon (High)，Google，专有。

• 1679 — GPT-6.1 Terra（Max），OpenAI，专有。

• 1676 — Qwen3.8-Max（0902），阿里巴巴，专有，初步。

• 1673 — GPT-6 Sol (Max)，OpenAI，专有。

• 1670 — Qwen3.8-Max，Alibaba，专有，初步。

• 1668 — ERNIE 5.5 Flash Preview，Baidu，专有，AutoEval。

• 1664 — DeepSeek-V4.1-Flash-20261017（Max），D​eepSeek，MIT，13,952 票。

• 1658 — Kimi K3（Max），Moonshot，22,405 票。

对照该说法读那份列表。列表上 ERNIE 以上的所有项目都是专有的，只有一行是自定义许可证。你遇到的第一款真正开放许可的模型是 D​eepSeek 那一行 下方。因此，“#2 open model”并不是对 ERNIE 在这张表中所处位置的描述。它描述的是：如果权重以 Apache 2.0 发布，并且 AutoEval 分数被视为等同于人工投票分数，ERNIE 将会处在什么位置。这两个条件要么尚未发生，要么仍有争议，而且在引用推文中都看不到。

AutoEval 究竟是什么，以及为什么 ±16 在这里很重要

Arena 于 2026 年 7 月 30 日发布了其 AutoEval 方法论，并于 8 月 12 日进行了最后一次修订。该机制是一个基于人类偏好训练的奖励模型，用于自动投票：采样实时提示-响应对，从目标模型重新生成一个响应，让奖励模型对两者打分，将分差转换为软概率投票，然后将这些合成投票与其他模型上的实时人类投票相结合。Arena 表示，所得分数“会明确标注为‘AutoEval’，随后在收到足够多人类投票以验证这些分数后再行更新”，并报告其与实时评估的排名相关性高于 0.98。

这是一种站得住脚的方式来获得首日信号，也正是为什么一个模型可以在发布当天就出现在榜单上。用 Arena 自己的话说，它同样只是一个占位符。这个数字在构造上就是暂定的，并且预计会变动。ERNIE 那一行上的标签并非装饰；它是在指示人们把 1668 视为有待验证的估计值。

现在应用误差条，也就是这一行中没人引用的部分。ERNIE 的区间大约从 1652 到 1684。DeepSeek-V4.1-Flash 的 1664 和 Kimi K3 的 1658 都落在其中。Qwen3.8-Max 的 1670 也是如此，GPT-6 Sol 的 1673 也是如此。“它的分数使其略高于 DeepSeek-V4.1-Flash 的 1664 和 Kimi K3 的 1658”这句话在点估计上算术成立，但作为比较在统计上缺乏支持：根据这一行自身公布的不确定性，ERNIE 与 1652 到 1684 之间的任何模型都无法区分。它可能高于 DeepSeek。也可能低于 DeepSeek。榜单目前没有说明是哪一种。

这并不是针对某一家厂商的技术性挑刺。在一个整个前25名跨度约200分的榜单上，±16的区间意味着在这个置信水平下，几乎每一对相邻行都是并列；而对任何模型来说，任何单次相邻比较的诚实解读都是“持平”。这里不寻常的只是，有厂商因此放大了这一相邻比较。

“#2”从何而来，以及它所依赖的许可证

从这些数字倒推，只有一种方式能让该说法成立；这一点值得说明，因为它可核查，也因为 Arena 并未明确讲出这一点。

把开放集理解为“Arena 未标记为 Proprietary 的每一行”。在 1668 以上，这恰好只剩一行：位于 1688 的 Kimi K3.1 Pro (Max)，带有“Kimi K3.1 Pro License”标签。ERNIE 以上的其他所有条目都标记为 Proprietary。按这种解读，Kimi K3.1 Pro 是第 1 名，而 ERNIE 5.5 Flash Preview 将是第 2 名——并不是因为它击败了全场，而是因为它前面的选手都是专有的。

那种重构是一种推断，而非引用：Arena 的帖子并未点名它认为排名 #1 的模型，而榜单除了许可证标签之外，并不公开其开源与专有分类器。如果该推断正确，那么该说法赖以成立的关键事实，就是别人模型上的自定义许可证——Arena 将 Kimi K3.1 Pro 视为开源，而整个“#2 开源模型”的表述都继承了这一分类决定。如果 Arena 反而将自定义许可证计为闭源，那么 ERNIE 的 1668 就是非专有行中的最高者，该说法本应写成“#1”，而若用来描述一个预览版，那会是一句更奇怪的话。

无论哪种情况，这句话所承载的分量都超过了其背后数据所能支撑的。数字是真实的。排名则取决于一份谁也没见过的许可证。

构图所隐藏的距离

这篇帖子任何诚实的版本都还应包含另一个数字，而它的缺席恰恰是全文最能说明问题的地方。在同一快照中，Code Arena WebDev 的榜首是 Claude Fable 5.2，得分为 1836。得分 1668 的 ERNIE 5.5 Flash Preview 落后它 168 分——如果 AutoEval 那一行也参与排名，它将在 158 个中排第 17，夹在得分 1670 的 Qwen3.8-Max 和得分 1664 的 DeepSeek-V4.1-Flash 之间。

在158个模型的榜单上排名第17，发布仅一天后，以2800亿总参数中的140亿激活参数取得这样的成绩，是真正不错的结果。这种结果足以支撑一篇发布周的文章。它不是那种需要被包装成登上领奖台的结果，而这样包装恰恰会招来审视，让厂商付出的可信度代价比一句诚实话更大。

供应商页面说了什么，又没有说什么

百度为 ERNIE 5.5 Flash Preview 发布的官方页面标注日期为 2026 年 11 月 11 日，其中写明“总参数 280B，激活参数 14B，上下文长度 1M token”，并将该模型描述为首个在 ERNIE 5.5 Flash Base 上完成后训练的检查点，后者的基础权重于 11 月 5 日发布。页面没有许可声明，没有权重声明，也没有基准测试数据——页面中提到的基准测试只是关于更早 ERNIE 发布的标题新闻，并非该模型的评分。

这一差距对正在考察的说法很重要。“这些权重很快将以 Apache 2.0 开源”出现在 Arena 的帖子中。它没有出现在厂商的发布页面上，也没有出现在厂商自己对那篇帖子的宣传中。如果 Apache 2.0 承诺真实且当前有效，发布页面自然是它该出现的地方，而它并不在那里。如果承诺真实但尚未记录在案，那么该模型许可承诺的唯一公开来源就只是一则排行榜公告——当厂商正借此构建排名时，许可证栖身于这样的地方未免太单薄了。

如何在数字稳定下来之前使用这个

对于本周要选模型的任何人来说，实际问题并不是 1668 是不是一个好分数。真正的问题是：一个基于预览检查点得出的临时 WebDev 估计值——输入 $0.28、输出 $1.13，且强制推理按输出计费——是否应该取代已经在生产环境中使用的东西。根据现有证据，答案是否定的——但测试它的方式成本很低，而且既不需要相信那篇帖子，也不需要相信本文。

在路由后的模型上进行比较，而不是在排行榜上比较。DeepSeek-V4.1-Flash 和 Kimi K3 都可通过 OrcaRouter，在同一个兼容 OpenAI 的密钥后使用，按提供商目录价、无加价，因此对照组的成本就是提供商自身的费率，而不是第二份合同和第二个 SDK。构建二十个代表你实际工作的前端任务——组件重构、只在某个断点出现的布局缺陷、状态机接线工作——让每个模型各运行两次，并同时统计输出 token 数和正确性。这是任何排行榜行都不会给你的度量，因为它必须是你自己的那个数字：每任务成本，而不是每 token 价格。

把 ERNIE 5.5 Flash Preview 本身当作被测试的对象，而不是被采用的对象。它跑在 Qianfan 上，不在我们的产品目录里；而一个连自家厂商都称之为训练后中间检查点的预览版，恰恰属于那种该被放在主模型身后、而不是身前的类型。如果你确实要把它放上某条链路，就把它放在带故障转移的链路上，这样等到 Arena 用一个人工投票得出的数字替换掉 1668 的那天——或者 Apache 2.0 权重出现、又或者终究没能出现的那天——你的用户会是从一行日志里得知，而不是从一次故障中得知。

怎样才能了结此事？

三件事，按它们可能到来的先后顺序排列，每一件都会改变本文的结论，而不只是为其增色。

人工投票将取代该行的 AutoEval 标签。Arena 表示，一旦收到足够多的投票，分数就会更新。当投票不再显示 N/A 时，1668 就能与它原本对标的 1664 和 1658 相比较，±16 的问题也就迎刃而解。注意观察区间缩小的幅度是否与点估计变动的幅度相当。

• 权重依据具名许可证发布。一个带有 Apache 2.0 许可证文件的实际代码仓库，将永久解决开放模型的问题，并使“#2 开放模型”这一说法在事后看来也公平合理。没有权重的许可证公告则解决不了任何问题。

• 一项独立的 WebDev 评测。Arena 的 AutoEval 是 Arena 自家的工具，而 Baidu 为这个模型发布的每一项基准数据，都是 Baidu 在自家测试框架上自行运行得出的。两者都不是第三方结果。对 ERNIE 5.5 Flash Preview 的首个真正独立的前端评测，其价值将超过这两者。

在那之前，准确的说法是那句无聊的话：百度在11月11日发布的一个预览检查点，在 Code Arena WebDev 上拿到1668分，这是一个 AutoEval 估计值，落在一个与紧随其后的四个模型相重叠的区间内，而榜单仍把那一行标为 Proprietary；其厂商却把它放大成开放模型中近期的 #2。这句话的每个分句今天都可核查。被发到推特上的那个版本与其说错了，不如说还没完成——但它发布时却像是已经完成了一样。