OrcaCyber Zero 1.5 vs OrcaCyber Zero 1.0: apa yang berubah, apa yang tidak berubah, dan apa yang dicakup oleh angka-angka itu

Dua puluh tiga hari memisahkan kedua halaman model, dan selisihnya lebih pendek daripada yang tersirat dalam tulisan peluncuran. OrcaCyber Zero 1.5 resmi mengudara di OrcaRouter pada 10 Oktober 2026 sebagai penerus OrcaCyber Zero 1.0, diumumkan dengan bobot yang diperbarui dan serangkaian hasil benchmark yang baru. Bobotnya boleh jadi memang baru. Ketentuan komersialnya tidak: harga input, harga output, harga baca cache, jendela konteks, batas maksimum output, flag kemampuan, dan tingkat akses identik antara kedua generasi, hingga desimal terakhir. Yang berubah adalah buktinya — empat baris benchmark yang dipublikasikan, dari yang sebelumnya hanya satu, dan panel latensi yang kini diukur selama tiga hari alih-alih tujuh. Kedua generasi menjawab pada endpoint yang sama yang kompatibel dengan OpenAI, jadi perbandingannya hanya membutuhkan satu id model. Angka-angka milik sebuah model tidak mengatakan apa pun tentang apa yang dilakukan agen yang dibangun di atasnya saat sudah berjalan — catatan itu disimpan secara terpisah, di arsip insiden AI.

Bidang yang tidak berpindah

Mulai dari sini, karena rilis penerus mengundang anggapan bahwa mereka telah melakukannya.

• Harga — $3,00 per 1 juta token masukan, $7,50 per 1 juta token keluaran, $0,75 per 1 juta masukan yang di-cache. Identik di kedua halaman, dan tidak berubah sejak Zero 1.0 dirilis pada 17 September.

• Jendela konteks dan batas keluaran — 1.000.000 token masuk, 128.000 token keluar. Identik, dan kedua angka tersebut tidak berubah dari model sebelumnya.

• Flag kemampuan — `tools`, `json`, `reasoning`. Identik, dalam urutan yang sama.

• Akses — tier `sec-uncensored`, band `offensive`, `locked: true`. Identik, dan tetap menjadi gerbang paling ketat di platform ini.

Itulah keseluruhan permukaan komersial penerusnya, dan tak satu pun dari itu bergerak. Jika yang Anda tunggu adalah token yang lebih murah, konteks yang lebih panjang, atau cara masuk yang lebih mudah, tak satu pun dari itu datang.

Baris benchmark adalah tempat rilis itu sebenarnya berada.

Halaman Zero 1.0 mencantumkan satu baris benchmark: CyberGym Level 1 pass@1, 98,07%, dievaluasi 17 September. Halaman Zero 1.5 mencantumkan empat, semuanya bertanggal 10 Oktober:

• Cybench — 100%, dengan kualifikasi dalam tanda kurung "eksekusi agen tanpa batas."

• CVE-Bench — 95,8%, dan nama tolok ukur itu sendiri sudah membawa penyempitan tersebut: "CVE-Bench (subset yang dapat dievaluasi)."

• HumanEval+ — 93,9%.

• SWE-bench Pro V2 — 76,5%, yang terendah dari keempatnya dan satu-satunya skor rekayasa perangkat lunak, bukan keamanan, dalam kumpulan ini.

Setiap dari lima baris tersebut di kedua generasi — empat di sini dan baris CyberGym pada Zero 1.0 — diproduksi oleh kami, dan setiap baris menyatakannya: empat yang baru mencantumkan source: "orca", yang lebih lama source: "orcarouter". Tidak ada baris pihak ketiga di halaman mana pun, dan tidak ada baris yang tanggal evaluasinya berbeda dari hari generasi itu diluncurkan. Itu penting sebelum persentase mana pun dikutip di tempat lain, karena daftar benchmark tanpa kolom sumber terbaca seolah angka-angka itu berasal dari tempat yang netral. Angka-angka ini tidak.

Apa yang dimuat dalam pos peluncuran, dan apa yang dihilangkan

Pengumumannya sendiri singkat. Kartu tautannya yang berperan menjual: "API OrcaCyber Zero 1.5 yang drop-in untuk SDK OpenAI apa pun — $3,00 / $7,50 per 1 juta token, p50 2947ms melalui OrcaRouter. Tanpa markup. Tanpa migrasi. Satu API."

2947 ms itu bukan angka yang ada di halaman model hari ini. Halaman tersebut melaporkan p50 sebesar 3220 ms. Keduanya milik kami, keduanya jujur, dan selisih di antara keduanya adalah alasan bagian berikutnya ada: ada lebih banyak angka latensi yang beredar untuk model ini daripada pengukuran yang mendasarinya.

Tiga angka latensi untuk satu model

• 2947 ms p50 — di kartu tautan postingan peluncuran.

• 3220 ms p50, 9656 ms p95 — di halaman model, diagregasi selama hari-hari yang saat ini ada di jendelanya.

• 500 ms p50, 2.36 s p95 — dilaporkan oleh sebuah tulisan sebagai waktu hingga token pertama selama tujuh hari, dari sampel yang digambarkannya sebagai kecil, pada kisaran 1.3K token trafik.

Ini adalah tiga kuantitas berbeda yang diukur pada tiga waktu berbeda pada tiga volume berbeda. Angka pada kartu adalah cuplikan sesaat. Angka pada halaman adalah agregat bergulir yang berubah setiap hari. Yang ketiga adalah time-to-first-token, yaitu jeda sebelum token pertama muncul dan bukan waktu yang dibutuhkan untuk menyelesaikan respons — pengukuran yang jauh lebih bersahabat, dan sama sekali bukan hal yang sama. Kutip salah satu dari ketiganya tanpa kualifikasinya, dan Anda telah menciptakan yang keempat.

Tiga hari data di bawah label tujuh hari

Kedua halaman memberi label pada blok latensi mereka window_days: 7, dan keduanya menyebut sumber yang sama: orcarouter-playground, rig pengukuran kami sendiri, bukan klaim vendor. Namun, pada Zero 1.5, daily array berisi tiga entri — 10, 11, dan 12 Oktober — sedangkan milik Zero 1.0 berisi tujuh. Label tujuh hari pada sampel tiga hari bukanlah kebohongan; itu adalah jendela yang belum terisi penuh, dan segala sesuatu di hilirnya mewarisi basis yang lebih tipis.

• p50 — 3220 ms saat ini, dibandingkan dengan 3691 ms untuk Zero 1.0.Agregat Zero 1.0 bertumpu pada trafik yang kira-kira dua kali lipat: 6,16 miliar token selama tujuh hari dibandingkan 3,52 miliar selama tiga hari.

• Throughput keluaran — 75,69 token per detik dibandingkan 43,75. Perubahan tunggal terbesar di seluruh diff, dan yang paling mungkin terasa dalam loop agentik yang membuat puluhan panggilan per investigasi.

• Tingkat kesalahan — 0,13% dibandingkan 1,20%, hampir satu orde besaran lebih baik.

• Uptime — tidak ada angka yang tersedia. percent_24h menunjukkan 0 dan blok tersebut membawa has_data: false, yang berarti persentasenya tidak pernah dihitung, bukan bahwa layanannya sedang tidak tersedia. Kedua generasi sama di sini, jadi tidak ada yang bisa disimpulkan dari perbedaannya.

Yang ditambahkan oleh array harian adalah sebuah arah, dan keduanya menunjuk ke arah yang berlawanan:

• Zero 1.0, tujuh hari — 3663, 4614, 3408, 3729, 3791, 2152, 1946 ms. Dua hari terbaik adalah dua hari terbaru.

• Zero 1.5, tiga hari — 2965, 3289, 3416 ms. Hari terburuk adalah yang paling baru, dan p95-nya sudah menyentuh batas maksimum 10000 ms.

Tiga titik bukanlah tren, dan minggu peluncuran adalah sampel terburuk yang mungkin untuk digeneralisasi: lalu lintasnya tidak representatif, model sedang diuji oleh semua orang yang baru saja diberi akses, dan cache dalam keadaan dingin. Pembacaan jujur terhadap panel sebagaimana adanya saat ini adalah bahwa Zero 1.5 lebih cepat daripada Zero 1.0 secara agregat dan lebih lambat pada setiap hari sejak diluncurkan. Paruh kedua kalimat itu tidak adil untuk diucapkan setelah tujuh hari dan kurang didukung setelah tiga hari. Pantau angkanya; jangan bertindak berdasarkan angka itu.

100% pada Cybench adalah 100% dari apa

Empat persentase, empat kualifikasi yang berbeda, dan pada kualifikasi itulah maknanya berada.

• Cybench — baris itu menyatakan "eksekusi agen tanpa batas", yang menjelaskan bagaimana evaluasi dikonfigurasi, bukan apa yang diizinkan untuk dilakukan oleh akun berbayar. Tolok ukur ini dibangun di sekitar tugas capture-the-flag profesional, dan salah satu tulisan menafsirkan 100% sebagai 39 dari 40 tugas yang ada di dalamnya. Menyelesaikan tugas CTF juga merupakan pencapaian yang berbeda dari menemukan kerentanan yang belum dipublikasikan solusinya oleh siapa pun.

• CVE-Bench — baris tersebut menyebutkan "subset yang dapat dievaluasi", dan postingan peluncurannya menyediakan penyebutnya: 23 dari 24. Tolok ukur ini dibangun di atas sekumpulan CVE web dengan tingkat keparahan kritis, sehingga skor subset berubah ketika tugas yang dikecualikan berubah, dan kriteria pengecualiannya tidak dipublikasikan.

• SWE-bench Pro V2 — 76,5%, dan secara khusus tidak dapat dibandingkan dengan varian SWE-bench lainnya. Perbedaan itu hilang begitu angka tersebut diletakkan di samping hasil SWE-bench biasa, yang biasanya memang terjadi pada angka itu.

• HumanEval+ — 93,9%, dan satu-satunya baris tanpa keterangan tak biasa yang disertakan.

98% itu milik harness, bukan model

Angka yang paling mungkin dikutip bersama Zero 1.5 adalah 98,07%, dan itu bukan milik Zero 1.5. Itu adalah hasil CyberGym Level 1 milik Zero 1.0, dan halaman Zero 1.0 sendiri mendeskripsikan model tersebut sebagai "model tingkat terdepan di OrcaCyber Harness" — yang berarti skor yang dilaporkan adalah properti dari harness: model ditambah memorinya, tahap verifikasinya, dan lingkungan eksekusinya, bukan model itu sendiri. Bacalah kedua tabel benchmark itu sebagai satu rangkaian, dan Anda akan menyimpulkan bahwa 98,07 menjadi 100. Itu adalah dua benchmark berbeda yang dijalankan oleh dua konfigurasi berbeda dari dua generasi berbeda.

Ada perbedaan kecil yang layak ditandai selagi kita membahas topik ini. Salah satu tulisan menempatkan uji coba CyberGym pada 1.477 dari 1.507 tugas dan 98,01%; halaman kami menempatkannya pada 1.478 dari 1.507 dan 98,07%. Kedua pecahan tersebut konsisten secara internal, dan kami belum menyelaraskan desimal ketiga di sini. Anggap saja ini belum terselesaikan daripada memilih mana yang lebih enak dibaca.

Harga bertahan, dan itulah intinya

• $3.00 / $7.50 / $0.75 per 1 juta token, tidak berubah sepanjang rilis.

• **Pada harga OrcaRouter, harga daftar dari penyedia diteruskan apa adanya tanpa tambahan apa pun** — markup 0%. Karena itu, perubahan harga dari vendor langsung sampai ke sisi kami pada hari yang sama, bukan setelah satu siklus penetapan harga ulang, dan satu endpoint dengan satu kunci serta satu tagihan adalah tempat pengeluaran di beberapa model direkonsiliasi.

• Harga token adalah argumen komersial terkuat dari peluncuran ini, dibandingkan dengan apa yang dilaporkan dikenakan oleh model keamanan dengan pembatasan serupa — satu urutan besaran lebih tinggi, setidaknya dalam satu kasus, untuk model yang sama sekali tidak memiliki harga token yang dipublikasikan.

• Unit yang menentukan pembelian bukanlah token. Investigasi keamanan menjalankan puluhan panggilan model, membaca ulang repositori yang sama, memanggil alat eksternal, dan merevisi kesimpulannya sebelum sebuah temuan diterima, sehingga input yang di-cache dengan seperempat tarif input lebih penting di sini daripada dalam beban kerja obrolan. Yang harus diukur oleh pembeli adalah biaya per temuan yang tervalidasi, yang bukan merupakan angka yang dipublikasikan oleh halaman model mana pun.

Gerbang itu juga tidak berubah

Akses masih berjalan melalui tier Security Research: tier sec-uncensored, band offensive, locked: true. Proses yang dipublikasikan meminta engagement, passkey, dan ketentuan yang disetujui, yang merupakan gerbang yang disengaja, bukan berdasarkan kemampuan — reproduksi kerentanan dan pengujian penetrasi adalah operasi yang sama, terlepas dari apakah target telah menyetujuinya atau tidak.

Satu kalimat dari liputan peluncuran layak diulang karena itulah bagian yang bertahan setelah peluncuran: pembatasan pada tingkat model dan kontrol akses API tidak menggantikan otorisasi pada tingkat aplikasi. Agen keamanan tidak semestinya mewarisi izin untuk memodifikasi sistem, membaca data produksi, atau menjalankan operasi sensitif hanya karena model yang mendasarinya mampu menalar operasi-operasi tersebut. Tingkat itu menentukan siapa yang boleh memegang kunci. Tingkat itu tidak menentukan apa yang boleh disentuh oleh kunci tersebut.

Apa yang masih kurang, termasuk dari halaman kami sendiri

• Zero 1.5 tidak memiliki tagline, tidak memiliki ikhtisar, dan tidak memiliki kasus penggunaan. Ketiga kolom itu terisi pada Zero 1.0 — tagline lengkap, ikhtisar yang menyebut harness dan angka CyberGym, serta empat kasus penggunaan yang dijabarkan. Halaman penerusnya memuatlong_description (791 karakter dibandingkan 626) dan itulah keseluruhan teksnya, yang dibuka dengan header literal "Evaluasi yang dilaporkan vendor:". Sejauh halaman itu menggambarkan dirinya sendiri, ia menggambarkan angkanya sendiri.

• Tidak ada jumlah parameter, tidak ada arsitektur, tidak ada komposisi data pelatihan — berlaku untuk kedua generasi, dan inilah alasan mengapa dua persentase dari dua benchmark tidak dapat dikaitkan dengan model versus scaffold.

• Tidak ada laporan teknis untuk 1.5. Zero 1.0 memilikinya, dan di situlah pembingkaian harness-nya dijelaskan.

• Tidak ada replikasi independen atas angka apa pun di kedua halaman tersebut.

• Nol penyebutan. Blok sentimen Hacker News berbunyi mentions_7d: 0 dan mentions_prev_7d: 0 untuk kedua model. Untuk rilis keamanan terdepan, itu sendiri merupakan sinyal, dan ini menunjuk pada gerbang alih-alih pada model: model yang tidak dapat dipanggil oleh kebanyakan orang tidak akan dibahas.

Siapa yang harus bergerak, dan siapa yang harus menunggu.

Jika Anda sudah memiliki akses Security Research dan menjalankan Zero 1.0, tidak ada yang perlu dinegosiasikan ulang dan tidak ada migrasi yang perlu dijadwalkan: endpoint sama, harga sama, bentuk permintaan sama, jadi peralihannya cukup satu id model. Peningkatan throughput dan tingkat error yang terukur adalah alasan untuk mencobanya, dan itu berasal dari rig pengukuran kami sendiri, bukan dari benchmark yang dijalankan oleh tim model itu sendiri, yang berarti Anda dapat memeriksanya terhadap lalu lintas Anda sendiri alih-alih menerimanya begitu saja.

Jika Anda tidak memiliki tier tersebut, rilis ini tidak mengubah posisi Anda satu token pun — gerbang, harga, dan jendela konteks semuanya persis di tempatnya semula.

Hal yang perlu ditunggu adalah panel latensi. Zero 1.5 lebih cepat daripada pendahulunya berdasarkan data tiga hari dan lebih lambat pada tiap hari dari ketiga hari itu secara berurutan, dan jendela tujuh hari yang akan menentukan mana dari kedua fakta itu yang sebenarnya masih belum tertutup. Baca ulang halaman ini minggu depan. Jika p50 harian masih naik melewati 3416 ms, angka agregat pada kartu itulah yang salah.