OrcaCyber Zero 1.5 與 OrcaCyber Zero 1.0：有哪些改變、哪些沒變，以及這些數字涵蓋的內容

兩個模型頁面相隔二十三天，而差異比發布文所暗示的更短。 OrcaCyber Zero 1.5 上線於 OrcaRouter，於 2026 年 10 月 10 日接替 OrcaCyber Zero 1.0，並以更新後的權重與一組全新的基準測試結果宣布。權重可能確實是新的。商業條款則不然：輸入價格、輸出價格、快取讀取價格、上下文視窗、輸出上限、能力旗標與存取層級在兩代之間完全相同，連最後一位小數都一樣。變動的是證據——已發布的基準測試列從一列變成四列，而延遲面板現在改以三天而非七天為測量期間。兩代都在同一個 OpenAI 相容端點上回答，因此比較只需一個模型 ID。模型自身的數字無法說明建構於其上的代理在運行後會做什麼——那項紀錄則另行保存於 AI 事故檔案。

沒有移動的欄位

從這裡開始，因為後續推出的版本會讓人以為它們已經這麼做了。

• 價格 — 每 100 萬輸入 token 為 $3.00，每 100 萬輸出為 $7.50，每 100 萬快取輸入為 $0.75。 在兩個頁面上完全相同，且自 9 月 17 日 Zero 1.0 推出以來未曾變更。

• 上下文視窗與輸出上限——輸入 1,000,000 個詞元，輸出 128,000 個詞元。兩者完全相同，且這兩項數字相較於先前的模型均維持不變。

• 功能旗標 — `tools`、`json`、`reasoning`。完全相同，且順序一致。

• 存取 — 層級 `sec-uncensored`，頻帶 `offensive`，`locked: true`。完全相同，且仍是平台上最嚴格的關卡。

那就是後繼者商業面向的全貌，而其中沒有一項有所變動。如果你一直在等的，是更便宜的 token、更長的上下文，或更輕鬆的入手途徑，那這些全都沒有出現。

基準資料列才是發行版真正所在之處

Zero 1.0 的頁面恰好列出一列基準測試資料：CyberGym Level 1 pass@1，98.07%，評估於 9 月 17 日。Zero 1.5 的頁面列出四列，全部標記為 10 月 10 日：

• Cybench — 100%，並附有括號限定語「無限制的代理執行。」

• CVE-Bench — 95.8%，而這個基準的名稱本身就帶有這層限縮意味：「CVE-Bench（可評估子集）。」

• HumanEval+ — 93.9%。

• SWE-bench Pro V2 — 76.5%，四項中最低，也是這組分數裡唯一一項軟體工程而非資訊安全的分數。

橫跨兩個世代的那五列——這裡的四列，以及 Zero 1.0 上的 CyberGym 列——每一列都是由我們產出的，而且每一列都表明了這點：四個新的列帶有 source: "orca"，較舊的那一列則是 source: "orcarouter"。兩個頁面上都沒有第三方資料列，也沒有任何一列的評估日期不是該世代發布當天。在任何百分比被引用到其他地方之前，這點很重要，因為一份沒有來源欄的基準測試清單，讀起來會像是這些數字來自某個中立的地方。但這些數字並非如此。

發布貼文包含了什麼，又遺漏了什麼

這則公告本身很短，真正負責推銷的是它的連結卡片：「隨插即用的 OrcaCyber Zero 1.5 API，適用於任何 OpenAI SDK——每 100 萬個 token 收費 $3.00 / $7.50，經由 OrcaRouter 的 p50 為 2947 毫秒。零加成。零遷移。一組 API。」

那個 2947 毫秒並不是今天模型頁面上的數字。該頁面回報的 p50 是 3220 毫秒。兩者都是我們的數據，兩者都如實無欺，而它們之間的落差正是下一節存在的原因：這個模型在流傳中的延遲數字，比支撐它們的量測數據還多。

一個模型的三種延遲

• 2947 ms p50 — 在發布貼文的連結卡片中。

• 3220 ms p50、9656 ms p95 — 在模型頁面上，依目前位於其視窗內的日期彙總。

• 500 ms p50、2.36 秒 p95 — 某篇報導指出，這是七天期間的首個 token 延遲時間，樣本規模據其描述很小，約為 1.3K tokens 的流量。

這三者是三個不同的量，分別在三個不同時間、橫跨三種不同量體所測得。卡片上的數字是快照。頁面上的數字是每日變動的滾動彙總。第三個是首符元延遲（time-to-first-token），也就是第一個符元出現前的延遲，而不是完成回應所花費的時間——這是友善得多的量測方式，而且完全不是同一回事。若引用這三者中的任何一個卻省略其限定條件，你就等於發明了第四個。

三天資料，卻掛著七天的標籤

這兩個頁面都把它們的延遲區塊標示為window_days: 7，而且兩者都指出同一個來源：orcarouter-playground，那是我們自家的量測設備，而非供應商的說法。但 Zero 1.5 的daily陣列裡有三筆資料——10 月 10 日、11 日和 12 日——而 Zero 1.0 的則有七筆。在三天樣本上標示七天並不是謊言；那只是一個尚未填滿的視窗，而它下游的一切都繼承了較單薄的基礎。

• p50 — 現在為 3220 毫秒，相較於 Zero 1.0 的 3691 毫秒。Zero 1.0 的總體數據是建立在約兩倍的流量上：七天內 61.6 億個 token，相較於三天內的 35.2 億個。

• 輸出吞吐量 — 每秒 75.69 個 token，相較於 43.75。這是整份 diff 中最大的單一變更，也最可能在每次調查會發出數十次呼叫的代理式迴圈中明顯感受到。

• 錯誤率 — 0.13% 對比 1.20%，接近好上一個數量級。

• 正常運行時間 — 沒有數值存在。 percent_24h 顯示為 0，且該區塊帶有 has_data: false，這表示百分比從未被計算，而不是服務中斷。兩個世代在這裡相同，因此無法從這項差異中解讀出任何意義。

每日陣列所增添的是一個方向，而這兩者指向相反的方向：

• Zero 1.0，七天 — 3663、4614、3408、3729、3791、2152、1946 毫秒。表現最好的兩天正是最近的兩天。

• Zero 1.5，三天 — 2965、3289、3416 ms。最差的一天就是最近的那一天，而它的 p95 已經觸及 10000 ms 的上限。

三個資料點不構成趨勢，而發布首週是最不適合拿來概括推論的樣本：流量不具代表性，模型正被每個剛拿到使用權的人反覆操練，快取也還是冷的。就目前這個面板來看，誠實的解讀是：Zero 1.5 在總體上比 Zero 1.0 快，但自它推出以來的每一天都更慢。這句話的後半部，在七天之後說並不公平，在三天之後則證據不足。盯著這個數字；不要據它行動。

Cybench 上的 100% 是什麼的 100%

四個百分比，四個不同的限定詞，而真正的意義就在這些限定詞之中。

• Cybench——該列寫的是「不受限制的代理執行」，這描述的是評估的設定方式，而非付費帳號被允許做什麼。該基準測試是圍繞專業的搶旗賽（capture-the-flag）任務所建構，而一份報告將這個 100% 解讀為其包含的 40 項任務中的 39 項。完成一項 CTF 任務，與找出一個沒人發表過解法的漏洞，也是不同的成就。

• CVE-Bench — 該列寫的是「可評估子集」，而發布貼文提供了分母：24 個中的 23 個。這套基準建立在一組重大嚴重程度的網頁 CVE 上，因此當被排除的任務有所變動時，子集分數也會隨之變動，而排除標準並未公布。

• SWE-bench Pro V2 — 76.5%，且特別無法與其他 SWE-bench 變體相比。一旦這個數字被放在一般 SWE-bench 結果旁邊，這項區別就會消失，而這正是它通常會遇到的情況。

• HumanEval+——93.9%，而且是唯一沒有附帶任何不尋常限定條件的一列。

那 98% 屬於框架，而不是模型。

最可能與 Zero 1.5 並列被引用的數字是 98.07%，而它並非 Zero 1.5 的成績。那是 Zero 1.0 的 CyberGym Level 1 結果，而 Zero 1.0 自己的頁面將該模型描述為「OrcaCyber Harness 中的前沿級模型」——也就是說，這個被呈報的分數是該測試框架的屬性：模型加上其記憶、其驗證階段與其執行環境，而非模型本身。若把兩張基準測試表讀成同一段進程，你就會得出 98.07 變成 100 的結論。但那其實是兩套不同的基準測試，由兩個不同世代的兩種不同配置所執行。

既然談到這件事，有個較小的差異值得提出。有一篇報導將 CyberGym 的執行結果列為 1,507 項工作中的 1,477 項，以及 98.01%；我們的頁面則列為 1,507 項工作中的 1,478 項，以及 98.07%。這兩個分數各自內部一致，而我們尚未在此釐清小數第三位。請把它視為尚未定論，而不是挑選哪個讀起來比較順眼。

價格守住了，而這正是有趣的地方。

• $3.00 / $7.50 / $0.75 每 100 萬個 token，在整個發行版本中維持不變。

• **在 OrcaRouter 定價方面，供應商的表定價格會原樣傳遞，不額外加收任何費用** —— 0% 加價。因此，供應商調價當天就會反映到我們這邊，而不必等過一輪重新定價的週期；而且只要一個端點、一組金鑰、一張帳單，就能把跨多個模型的支出對帳清楚。

• 代幣價格是這次發行最有力的商業論據，足以對照同等採限制存取的安全模型據稱所收取的費用——至少有一個案例甚至高出一個數量級，而那是一個完全未公布代幣價格的模型。

• 決定採購的單位並不是 Token。一次安全調查會執行數十次模型呼叫、反覆重讀同一個儲存庫、呼叫外部工具，並在發現被接受之前不斷修正結論，因此以輸入費率四分之一計價的快取輸入，在這裡比在聊天工作負載中更為重要。買方應該衡量的是每個已驗證發現的成本，而這不是任何一個模型頁面會公布的數字。

閘門也沒有改變

存取仍須經過 Security Research 層級：tier sec-uncensored、band offensive、locked: true。已公布的流程會要求提出委託、通行金鑰，以及已接受的條款，這是刻意設下的關卡，而非能力上的限制——無論目標是否同意，漏洞重現與滲透測試都是相同的操作。

發布報導中有一句話值得重複，因為它正是發布過後仍能留存下來的部分：模型層級的限制與 API 存取控制，並不能取代應用程式層級的授權。安全代理不應僅因為其底層模型能對那些操作進行推理，就繼承修改系統、讀取正式環境資料或執行敏感操作的權限。層級決定誰可以持有鑰匙。它不決定鑰匙可以觸及什麼。

還缺少什麼，包括我們自己頁面上的內容？

• Zero 1.5 沒有標語、沒有總覽，也沒有使用案例。這三個欄位在 Zero 1.0 上都已填妥——完整的標語、點出測試框架與 CyberGym 數據的總覽，以及四個實際使用案例。後繼版本的頁面帶有更長的 long_description（791 個字元，相較於 626 個），而那就是全部的內文，開頭正是字面上的標題 「Vendor-reported evaluations:」。就這個頁面描述自身的程度而言，它描述的不過是自己的數字。

• 沒有參數數量、沒有架構、沒有訓練資料組成——這兩代皆如此，也正是來自兩項基準測試的兩個百分比無法歸因於模型或鷹架的原因。

• 1.5 沒有技術報告。Zero 1.0 有一份，其測試框架的設定方式就是在這份報告中說明的。

• 兩頁中任一頁的任何數據均未經獨立重複驗證。

• 零次提及。Hacker News 的情緒區塊顯示mentions_7d: 0以及mentions_prev_7d: 0，兩個模型皆是如此。對一個前沿安全發布而言，這本身就是個訊號，而且它指向的是那道關卡，而非模型本身：大多數人無法呼叫的模型，不會被討論。

誰應該移動，誰應該等待

如果你已經擁有 Security Research 存取權，而且正在執行 Zero 1.0，那就沒有什麼需要重新協商，也沒有任何遷移要安排：相同的端點、相同的價格、相同的請求格式，所以切換就只是一個模型 ID。經過實測的吞吐量與錯誤率改善，是值得一試的原因，而且這些數據來自我們自家的量測工具，而不是由該模型團隊自己跑的基準測試，這表示你可以用自家流量來驗證它們，而不必憑信任接受。

如果你並未持有該等級，這次發布不會讓你的位置有哪怕一個 token 的改變——閘門、價格與上下文視窗全都仍與原先完全相同。

該等待的是延遲面板。Zero 1.5 在三天的資料上比前代更快，但在這三天依序的每一天都更慢，而能判定這兩項事實何者為真的七日視窗尚未結束。下週重新閱讀此頁。如果每日 p50 仍持續攀升超過 3416 ms，那麼卡片上的彙總數字就是錯的那個。