OrcaCyber Zero 1.5 と OrcaCyber Zero 1.0 の比較：変わった点、変わらなかった点、そして数値が示す範囲

2つのモデルページを隔てるのは23日で、その差分はローンチ投稿が示唆するより短い。OrcaCyber Zero 1.5で公開されたOrcaRouterの後継として2026年10月10日にOrcaCyber Zero 1.0。更新された重みと新しいベンチマーク結果一式を伴って発表された。重みは確かに新しいのかもしれない。だが商用条件はそうではない。入力価格、出力価格、キャッシュ読み取り価格、コンテキストウィンドウ、出力上限、機能フラグ、アクセス階層は、両世代で小数点以下まで同一である。動いたのはエビデンスだ。以前は1行だった公開ベンチマークが4行になり、レイテンシパネルは7日間ではなく3日間で測定されるようになった。両世代とも同じOpenAI互換エンドポイントで応答するため、比較のコストはモデルIDひとつ分だ。モデル自身の数値は、その上に構築されたエージェントが稼働したときに何をするかについては何も語らない——その記録は別に、AIインシデントアーカイブ。

移動しなかったフィールド

ここから始めましょう。後継リリースは、彼らがそうしたのだという前提を招くからです。

• 料金 — 入力トークン100万あたり$3.00、出力100万あたり$7.50、キャッシュ入力100万あたり$0.75。両方のページで同一で、9月17日にZero 1.0がリリースされて以来変わっていません。

• コンテキストウィンドウと出力の上限 — 入力1,000,000トークン、出力128,000トークン。同一で、どちらの数値も以前のモデルから変わっていません。

• 機能フラグ — `tools`、`json`、`reasoning`。同一で、同じ順序です。

• アクセス — 階層 `sec-uncensored`、バンド `offensive`、`locked: true`。同一であり、それでもなおプラットフォーム上で最も厳格なゲートです。

それが後継製品の商用面のすべてで、そのどれも動かなかった。もしあなたが待っていたのが、より安いトークン、より長いコンテキスト、より簡単な入り口だったのなら、それらはどれも届かなかった。

ベンチマークの行こそが、そのリリースが実際に息づいている場所だ

Zero 1.0のページには、ベンチマーク行がちょうど1つだけ掲載されています：CyberGym Level 1 pass@1、98.07%、評価日は9月17日。Zero 1.5のページには4つ掲載されており、すべて10月10日付です：

• Cybench — 100%、ただし括弧付きの限定句「無制限のエージェント実行」

• CVE-Bench — 95.8%、そしてベンチマーク名自体がその絞り込みを物語っている：「CVE-Bench（評価可能サブセット）」

• HumanEval+ — 93.9%。

• SWE-bench Pro V2 — 76.5%、4つの中で最も低く、このセットで唯一の、セキュリティではなくソフトウェアエンジニアリングのスコアです。

両世代を通したこれら5行 — ここにある4行と Zero 1.0 の CyberGym の行 — はすべて当社が作成したもので、各行がそのことを示しています。新しい4行が持つのは source: "orca"、古い方は source: "orcarouter" です。どちらのページにもサードパーティの行はなく、評価日がその世代のローンチ日以外になっている行もありません。これは、どのパーセンテージも他所で引用される前に重要なことです。なぜなら、出典列のないベンチマーク一覧は、数値がどこか中立な場所から来たかのように読めてしまうからです。しかし、これらの数値はそうではありませんでした。

ローンチ記事が伝えたこと、そして省いたこと

発表そのものは短い。販売促進を担うのはリンクカードだ：「あらゆるOpenAI SDKにそのまま組み込めるOrcaCyber Zero 1.5 API — 100万トークンあたり$3.00 / $7.50、OrcaRouter経由でp50 2947ms。マークアップゼロ。移行ゼロ。1つのAPI。」

その2947 msは、現在モデルページに掲載されている数値ではありません。ページにはp50が3220 msと報告されています。どちらも当社の数値であり、どちらも誠実なものです。そして、その差こそが次のセクションが存在する理由です。このモデルについて出回っているレイテンシの数値は、その背後にある測定値の数よりも多いのです。

1つのモデルに対する3つのレイテンシ数値

• 2947 ms p50 — ローンチ投稿のリンクカードにて。

• 3220 ms p50、9656 ms p95 — モデルページ上で、現在そのウィンドウ内にある日付を対象に集計したものです。

• p50 500 ms、p95 2.36 秒 — ある記事が、7日間の初回トークンまでの時間として報告したもので、小規模（約1.3Kトークンのトラフィック）とされるサンプルに基づく。

これらは、3つの異なる時点で、3つの異なるボリュームで測定された、3つの異なる量です。カードの数値はスナップショットです。ページの数値は、毎日変化するローリング集計です。3つ目はtime-to-first-tokenで、これは最初のトークンが現れるまでの遅延であり、応答を完了するまでにかかる時間ではありません — はるかに親しみやすい測定であり、まったく別物です。3つのうちどれか1つをその限定条件なしで引用すれば、4つ目を捏造したことになります。

3日分のデータを7日間のラベルで

どちらのページも、レイテンシのブロックにwindow_days: 7というラベルを付けており、どちらも同じソースを挙げています：orcarouter-playground。これはベンダーの主張ではなく、私たち自身の測定装置です。しかし、Zero 1.5 のdaily配列には3つのエントリ（10月10日、11日、12日）が入っているのに対し、Zero 1.0 の配列には7つ入っています。3日分のサンプルに7日間というラベルを付けるのは嘘ではありません。それはまだ埋まっていないウィンドウであり、その下流にあるものはすべて、このより薄い基盤を受け継いでしまいます。

• p50 — 現在3220 ms、Zero 1.0は3691 ms。Zero 1.0の集計値は約2倍のトラフィックに支えられている。7日間で61.6億トークン、それに対して3日間で35.2億トークン。

• 出力スループット — 毎秒75.69トークン対43.75。差分全体で最大の単一の変更であり、1回の調査で数十回の呼び出しを行うエージェントループで最も実感されやすいものです。

• エラー率 — 1.20% に対して 0.13%、ほぼ桁違いに優れています。

• 稼働率 — 数値は存在しません。 percent_24h は 0 を示し、ブロックには has_data: false が含まれています。これはサービスが停止していたのではなく、パーセンテージが一度も計算されなかったことを意味します。ここでは両方の世代が同一であるため、この違いから何かを読み取ることはできません。

日々の配列が加えるのは方向性であり、その二つは逆方向を指している：

• Zero 1.0、7日間 — 3663、4614、3408、3729、3791、2152、1946 ms。 最も良い2日は直近の2日です。

• Zero 1.5、3日間 — 2965、3289、3416 ms。最悪なのは直近の日で、その p95 はすでに 10000 ms の上限に達しています。

3点はトレンドではないし、ローンチ週は一般化するための最悪のサンプルだ。トラフィックは代表的ではなく、モデルはアクセスを与えられたばかりの全員に試されていて、キャッシュは冷えている。現時点のパネルを正直に読めば、Zero 1.5 は全体では Zero 1.0 より速く、ローンチ以降はどの日も遅い。その文の後半は、7日後に言うには不公平であり、3日後では裏付けが不十分だ。数字を注視せよ。それに基づいて行動してはならない。

Cybenchでの100%は、何の100%なのか

4つのパーセンテージ、4つの異なる限定詞、そして意味が宿るのはその限定詞のほうだ。

• Cybench — その行には次のように書かれている：「無制限のエージェント実行」、これは評価がどのように設定されたかを説明するものであり、有料アカウントが何を許可されているかを説明するものではない。このベンチマークはプロフェッショナルなCTFタスクを中心に構築されており、ある記事では100%を、含まれる40のタスクのうち39と解釈している。CTFタスクを完了することも、誰も解決策を公表していない脆弱性を発見することとは別の功績である。

• CVE-Bench — この行には「評価可能なサブセット」と記されており、ローンチ記事が分母を示している：24件中23件。このベンチマークはクリティカル重大度のWeb CVEの集合に基づいて構築されているため、除外されたタスクが変わればサブセットのスコアも変動するが、除外基準は公開されていない。

• SWE-bench Pro V2 — 76.5%、しかも他の SWE-bench 変種とは比較できない。その区別は、この数値が通常の SWE-bench の結果と並べられた瞬間に消えてしまう。たいていの場合、まさにそうなるのだが。

• HumanEval+ — 93.9%、そして特別な但し書きが付いていない唯一の行。

その98%はモデルではなくハーネスに属する

Zero 1.5 と並べて引用される可能性が最も高い数値は 98.07% だが、それは Zero 1.5 のものではない。それは Zero 1.0 の CyberGym Level 1 の結果であり、Zero 1.0 自身のページではそのモデルを「OrcaCyber Harness におけるフロンティア級モデル」と説明している——つまり、報告されたスコアはハーネスの性質であり、モデル単体ではなく、モデルにそのメモリ、検証段階、実行環境を加えたものだということだ。2 つのベンチマーク表を 1 つの進展として読めば、98.07 が 100 になったと結論づけることになるだろう。それらは、2 つの異なる世代の、2 つの異なる構成によって実行された、2 つの異なるベンチマークである。

ついでに触れておく価値のある、もう少し小さな食い違いがある。ある記事ではCyberGymの実行を1,507タスク中1,477、98.01%としているが、我々のページでは1,507中1,478、98.07%としている。どちらの分数も内部的には整合が取れており、ここでは小数点第3位の突き合わせは行っていない。どちらか読みのよい方を選ぶのではなく、未解決のものとして扱ってほしい。

価格は維持された、そしてそこが興味深い点だ

• 100万トークンあたり$3.00 / $7.50 / $0.75、リリースを通じて変更はありません。

• **OrcaRouterの料金では、プロバイダーの定価が一切上乗せされることなくそのまま反映されます** — マークアップは0%です。そのため、ベンダー側の価格改定は再価格設定のサイクルを待たずに当日にはこちら側へ反映され、1つのキーと1つの請求書で完結する単一のエンドポイントが、複数モデルにまたがる支出を突き合わせる場所になります。

• トークン価格は、今回のローンチにおける最も強力な商業的論拠であり、同程度にゲートされたセキュリティモデルが請求していると報じられている額と対抗するものだ——少なくとも一例では、公開されたトークン価格が一切ないモデルに対して、一桁も高い額である。

• 購買を決定づける単位はトークンではない。セキュリティ調査では、数十回のモデル呼び出しが実行され、同じリポジトリを何度も読み直し、外部ツールを呼び出し、検出結果が受け入れられる前に結論を修正する。そのため、入力単価の4分の1で使えるキャッシュ済み入力は、チャットのワークロードよりもここでこそ重要になる。購入者が測るべきは、検証済みの検出結果1件あたりのコストであり、これはどちらのモデルページにも掲載されていない数値だ。

ゲートも変わらなかった

アクセスは依然としてセキュリティリサーチ・ティアを経由します：ティア sec-uncensored、バンド offensive、locked: true。公開されているプロセスでは、エンゲージメント、パスキー、および同意済みの規約が求められます。これは能力ではなく意図的なゲートです — 脆弱性の再現とペネトレーションテストは、対象がそれらに同意したかどうかに関係なく同じ操作です。

ローンチ報道からの一文は、繰り返す価値がある。それはローンチ後も生き残る部分だからだ。モデルレベルの制限とAPIアクセス制御は、アプリケーションレベルの認可に取って代わるものではない。セキュリティエージェントは、その下にあるモデルがそうした操作について推論できるというだけの理由で、システムを変更し、本番データを読み取り、機密性の高い操作を実行する権限を継承すべきではない。階層は、誰が鍵を保持できるかを決める。鍵が何に触れてよいかは決めない。

私たち自身のページも含め、まだ何が欠けているのか

• Zero 1.5にはタグラインも概要もユースケースもない。Zero 1.0ではこの3つのフィールドがすべて埋まっている——完全なタグライン、ハーネスとCyberGymの数値に言及した概要、そして4つの具体的なユースケース。後継のページにはより長いlong_description（626文字に対して791文字）があり、それがテキストのすべてで、冒頭は文字通りの見出し"ベンダー報告による評価："。このページが自らについて述べているのは、自分の数値だけである。

• パラメータ数も、アーキテクチャも、学習データの構成も非公開 — これは両世代に当てはまり、2つのベンチマークから得られた2つのパーセンテージをモデルとスキャフォールドのどちらに帰属させるか判断できない理由でもある。

• 1.5の技術レポートはありません。Zero 1.0にはあり、そのハーネスの枠組みはそこで説明されていました。

• どちらのページの数値も、独立した再現が行われていない。

• 言及ゼロ。Hacker News のセンチメントブロックにはmentions_7d: 0とmentions_prev_7d: 0が両モデルについて記録されている。最先端セキュリティのリリースにとって、これ自体がひとつのシグナルであり、それはモデルではなくゲートを指し示している。ほとんどの人が呼び出せないモデルは話題にされないのだ。

誰が動くべきで、誰が待つべきか

すでに Security Research アクセスを保有していて、Zero 1.0 を実行しているなら、再交渉すべきものは何もなく、予定すべき移行もありません。同じエンドポイント、同じ価格、同じリクエスト形状なので、切り替えはモデル ID を1つ変えるだけです。測定されたスループットとエラー率の改善が、それを試す理由です。そしてそれらは、モデルを手がけたチーム自身が実施したベンチマークではなく、当社独自の計測リグから得られたものです。つまり、鵜呑みにするのではなく、自分のトラフィックに照らして確認できます。

ティアを保有していない場合、このリリースであなたの立場は1トークンたりとも変わりません — ゲートも価格もコンテキストウィンドウも、すべて以前とまったく同じです。

待つべきものはレイテンシーパネルです。Zero 1.5 は3日分のデータでは前世代より速いものの、その3日間を連続で見るとどの日も遅くなっています。そして、その2つの事実のどちらが本当なのかを決着させる7日間のウィンドウは、まだ閉じていません。来週もう一度ページを読んでください。日次の p50 が依然として 3416 ms を超えて上昇し続けているなら、カード上の集計値のほうが間違っていたのです。