OrcaCyber Zero 1.5 与 OrcaCyber Zero 1.0 对比：哪些变了，哪些没变，以及这些数字涵盖了什么

两个模型页面相隔二十三天，而两者的差异比发布帖所暗示的更小。 OrcaCyber Zero 1.5于OrcaRouter上线（2026 年 10 月 10 日），接替OrcaCyber Zero 1.0，发布时带来更新后的权重和一组全新的基准测试结果。权重或许确实是新的。商业条款则不然：输入价格、输出价格、缓存读取价格、上下文窗口、输出上限、能力标志和访问层级在两代之间完全一致，连最后一位小数都不差。真正发生变化的是证据——过去只有一行公开发布的基准测试，如今有四行；延迟面板的测量周期也从七天变成了三天。两代模型都在同一个兼容 OpenAI 的端点上作答，因此对比只需一个模型 ID。模型自身的数字说明不了基于它构建的智能体在运行起来之后会做什么——那部分记录单独保存在AI 事故档案。

没有移动的字段

从这里开始，因为后续版本会让人以为它们已经做到了。

• 价格 — 每 100 万输入 token 3.00 美元，每 100 万输出 token 7.50 美元，每 100 万缓存输入 token 0.75 美元。两个页面上的内容完全相同，且自 9 月 17 日 Zero 1.0 发布以来始终未变。

• 上下文窗口与输出上限——输入 1,000,000 个 token，输出 128,000 个 token。完全相同，且这两个数字与早前的模型相比均未改变。

• 能力标志 — `tools`、`json`、`reasoning`。完全相同，顺序也一致。

• 访问权限——层级 `sec-uncensored`、分组 `offensive`、`locked: true`。 完全相同，却仍是平台上最严格的一道闸门。

这就是继任者商业层面的全部内容，而其中没有任何一项发生变化。如果你一直在等待的是更便宜的 token、更长的上下文，或更容易上手的方式，那么这些都没有到来。

基准行才是发布真正所在的地方

Zero 1.0 的页面只列出了一行基准测试结果：CyberGym Level 1 pass@1，98.07%，评测日期为 9 月 17 日。Zero 1.5 的页面列出了四项，日期均为 10 月 10 日：

• Cybench — 100%，并带有括号内的限定说明：“不受限制的智能体执行。”

• CVE-Bench — 95.8%，而基准名称本身就带着这一限定：“CVE-Bench（可评估子集）”。

• HumanEval+ — 93.9%。

• SWE-bench Pro V2 — 76.5%，是四项中最低的，也是这组得分里唯一一项软件工程而非安全领域的分数。

这两代中的全部五行——这里的四行以及 Zero 1.0 上的 CyberGym 行——都由我们产出，而且每一行都标明了这一点：四个新行都带有 source: "orca"，较旧的那一行则带有 source: "orcarouter"。两个页面上都没有第三方行，也没有任何一行的评估日期不是该代发布当天。这一点在任何百分比被其他地方引用之前都很重要，因为一份没有来源列的基准列表读起来就像这些数字是从某个中立来源得来的。但这些数字并非如此。

发布文章包含了什么，又遗漏了什么

公告本身很短。真正做推销的是它的链接卡片：“适用于任何 OpenAI SDK 的即插即用 OrcaCyber Zero 1.5 API——每 100 万 tokens 收费 $3.00 / $7.50，经 OrcaRouter 的 p50 为 2947ms。零加价。零迁移。一个 API。”

那 2947 毫秒并不是今天模型页面上的数字。页面报告的 p50 是 3220 毫秒。两者都是我们给出的，也都如实无误，而它们之间的差距正是下一节存在的原因：关于这个模型，流传在外的延迟数字比支撑它们的测量结果还要多。

一个模型的三个延迟数值

• 2947 ms p50——位于发布帖的链接卡片中。

• 3220 ms p50，9656 ms p95 — 在模型页面上，按其当前窗口内的天数汇总得出。

• 500 ms p50，2.36 s p95——据一篇报道称，这是七天内首 token 时间（time-to-first-token），其样本被描述为规模很小，约为 1.3K tokens 的流量。

这是三个不同的量，分别在三个不同时间、三种不同规模下测得。卡片上的数字是一个快照。页面上的数字则是每天变化的滚动汇总。第三个是首 token 时间（time-to-first-token），即第一个 token 出现之前的延迟，而不是完成一次响应所需的时间——这是一种友好得多的衡量指标，而且完全不是一回事。引用这三者中的任何一个却不带上它的限定条件，你就凭空发明出了第四个。

三天数据却挂着七天的标签

两个页面都为各自的延迟区块标注了window_days: 7，且都指向同一个来源：orcarouter-playground，这是我们自己的测量装置，而非厂商的说辞。但 Zero 1.5 的daily数组里有三条记录——10 月 10 日、11 日和 12 日——而 Zero 1.0 的有七条。在三天样本上贴七天标签并非谎言；那只是一个尚未填满的窗口，而它下游的一切都继承了这更单薄的基础。

• p50 — 现在为 3220 毫秒，而 Zero 1.0 为 3691 毫秒。Zero 1.0 的汇总数据建立在约两倍的流量之上：七天内 61.6 亿个 token，而三天内为 35.2 亿个。

• 输出吞吐量——每秒 75.69 个 token，对比 43.75。这是整个 diff 中最大的单一变化，也最有可能在每次调查需发起数十次调用的 Agentic 循环中被明显感知到。

• 错误率——0.13% 对比 1.20%，接近一个数量级的改善。

• 运行时间 — 没有可用的数值。 percent_24h 显示为 0，且该数据块带有 has_data: false，这意味着该百分比从未被计算，而非服务已宕机。两代在此处完全相同，因此无法从这一差异中解读出任何信息。

每日数组所增添的是一个方向，而这两者指向相反的方向：

• Zero 1.0，七天 —— 3663、4614、3408、3729、3791、2152、1946 毫秒。最好的两天就是最近的两天。

• Zero 1.5，三天——2965、3289、3416 毫秒。最差的一天正是最近这一天，其 p95 已经触及 10000 毫秒的上限。

三个数据点构不成趋势，而发布首周是最不适合用来归纳推广的样本：流量不具代表性，模型正被所有刚拿到访问权限的人轮番使用，而且缓存是冷的。就目前的面板而言，诚实的解读是：Zero 1.5 在总体汇总上比 Zero 1.0 快，但在发布后的每一天都更慢。这句话的后半部分，七天后说出来都不公平，三天后则证据不足。盯住这个数字；不要据此采取行动。

在 Cybench 上拿到 100%，是什么东西的 100%

四个百分比，四个不同的限定语，而含义恰恰就藏在这些限定语里。

• Cybench —— 该行写的是“不受限的智能体执行”，这描述的是评估的配置方式，而非付费账户被允许做什么。该基准围绕专业夺旗（CTF）任务构建，有一篇解读将那个 100% 理解为它包含的 40 个任务中的 39 个。完成一项 CTF 任务，与发现一个无人公开过解法的漏洞，也是两种不同的成就。

• CVE-Bench —— 该行写的是 “可评估子集”，而发布帖给出了分母：24 个中的 23 个。该基准建立在一组严重级别为危急的 Web CVE 之上，因此当被排除的任务发生变化时，子集分数就会随之变动，而排除标准并未公布。

• SWE-bench Pro V2——76.5%，且明确不可与其他 SWE-bench 变体相提并论。可一旦这个数字被摆到一个普通 SWE-bench 结果旁边，这一区分便荡然无存，而它通常遭遇的恰恰是这种情况。

• HumanEval+ — 93.9%，也是唯一一行不带任何特殊限定条件的

98%属于测试框架，而非模型

最有可能与 Zero 1.5 一同被引用的数字是 98.07%，而它并不属于 Zero 1.5。它是 Zero 1.0 在 CyberGym Level 1 上的结果，并且 Zero 1.0 自己的页面将该模型描述为 “OrcaCyber Harness 中的前沿级模型”——也就是说，所报告的分数是评测框架的属性：模型加上其记忆、验证阶段和执行环境，而不是模型本身。如果把两张基准测试表当作同一个演进过程来读，你就会得出 98.07 变成了 100 的结论。那是两个不同的基准测试，由两个不同代际的两种不同配置运行。

既然说到这里，还有一处较小的出入值得指出。有一篇文章把 CyberGym 那次运行记为 1,507 项任务中的 1,477 项，即 98.01%；我们页面上写的是 1,507 项中的 1,478 项，即 98.07%。这两个分数各自内部都是自洽的，而我们尚未把小数点后第三位核对统一。请将其视为尚未确定，而不是挑一个读起来更顺眼的了事。

价格守住了，而耐人寻味之处正在于此

• 每 100 万 tokens $3.00 / $7.50 / $0.75，在整个发布版本中保持不变。

• **在 OrcaRouter 定价方面，供应商的目录价原样透传、不额外加价** —— 0% 加价。因此，供应商一调价，当天就会落到我们这边，而不必等一轮重新定价周期之后；一个端点、一个密钥、一份账单，就能把多个模型的支出统一对账。

• 代币价格是该发行项目最有力的商业论据，与据称同类设有门槛的安全模型所收取的费用形成鲜明对比——至少在一个案例中，对于一个完全没有公布代币价格的模型，其收费高出一个数量级。

• 决定采购的单位不是 token。一次安全调查会运行数十次模型调用、反复读取同一个代码仓库、调用外部工具，并在某条发现被认可之前不断修正结论，因此按输入费率四分之一计价的缓存输入，在这里比在聊天类工作负载中更为重要。买家应当衡量的是每个经验证发现的成本，而这不是任何一个模型页面会公布的数字。

门也没有改变

访问仍需经由 Security Research 层级：层级 sec-uncensored，档位 offensive，locked: true。对外公布的流程要求提供委托授权、通行密钥并接受条款，这是有意设置的准入关卡，而非能力上的限制——无论目标是否同意，漏洞复现与渗透测试都是同一种操作。

发布报道中有一句话值得重复，因为它是发布之后依然成立的那部分：模型层面的限制和 API 访问控制并不能取代应用层面的授权。安全代理不应仅仅因为其底层模型能够对这些操作进行推理，就继承修改系统、读取生产数据或执行敏感操作的权限。层级决定谁可以持有钥匙，而不决定这把钥匙能开启什么。

还缺少什么，包括我们自己的页面在内

• Zero 1.5 没有标语，没有概述，也没有用例。 在 Zero 1.0 上，这三个字段全都有内容——一条完整的标语、一段点名了测试框架与 CyberGym 数字的概述，以及四个展开说明的用例。而继任版本的页面则带有一段更长的 long_description（791 个字符，对比 626 个字符），那就是它的全部文本，并以字面标题 "厂商报告的评估："开头。就页面描述自身的程度而言，它描述的就是它自己的数字。

• 没有参数数量，没有架构，没有训练数据构成——这两代模型皆是如此，也正是这个原因，来自两个基准测试的两个百分比无法归因于模型本身还是脚手架。

• 1.5 没有技术报告。Zero 1.0 有一份，其测试框架的构想正是在那里得到说明的。

• 两页中的任何数字均未经过独立复核。

• 零次提及。Hacker News 情绪数据块显示 mentions_7d: 0，mentions_prev_7d: 0 两个模型均如此。对于一次前沿安全模型发布而言，这本身就是一个信号，而且它指向的是准入门槛，而非模型本身：一个大多数人无法调用的模型，是不会被人讨论的。

谁该动，谁该等

如果您已拥有 Security Research 访问权限，并且正在运行 Zero 1.0，那么没有什么需要重新协商的，也无需安排任何迁移：相同的端点、相同的价格、相同的请求结构，因此切换不过就是改一个模型 ID。经实测得出吞吐量与错误率的改进，正是值得一试的理由，而这些数据来自我们自己的测量装置，而非由模型自家团队跑出的基准测试，这意味着您可以拿它们与自己实际的流量进行比对，而不必盲目相信。

如果你不持有该等级，这次发布不会让你的处境改变哪怕一个 token——准入门槛、价格和上下文窗口全都保持原样。

需要等待的是延迟面板。Zero 1.5 在三天的数据上比其前代更快，却在这连续三天中的每一天都更慢，而能够判定这两个事实中哪一个才是真的的七天窗口尚未结束。下周重新读一下这个页面。如果每日 p50 仍在攀升并超过 3416 毫秒，那么卡片上的汇总数字就是错的那一个。