OrcaCyber Zero 1.5 so với OrcaCyber Zero 1.0: những gì đã thay đổi, những gì không, và các con số bao gồm những gì

Hai mươi ba ngày ngăn cách hai trang mô hình, và phần khác biệt ngắn hơn so với những gì bài đăng ra mắt ám chỉ. OrcaCyber Zero 1.5 đã ra mắt trên OrcaRouter vào ngày 10 tháng 10 năm 2026 với tư cách là phiên bản kế nhiệm của OrcaCyber Zero 1.0, được công bố với trọng số cập nhật và một bộ kết quả benchmark mới. Trọng số có thể thực sự là mới. Các điều khoản thương mại thì không: giá đầu vào, giá đầu ra, giá đọc cache, cửa sổ ngữ cảnh, giới hạn đầu ra, cờ năng lực và cấp truy cập giống hệt nhau giữa hai thế hệ, đến từng chữ số thập phân cuối cùng. Điều thay đổi là bằng chứng — bốn hàng benchmark được công bố thay vì trước đây chỉ có một, và một bảng độ trễ nay được đo trong ba ngày thay vì bảy ngày. Cả hai thế hệ đều phản hồi trên cùng một endpoint tương thích OpenAI, nên việc so sánh chỉ tốn một id mô hình. Các con số của riêng một mô hình không nói lên điều gì về việc một agent được xây dựng trên nó làm gì khi nó đang chạy — hồ sơ đó được lưu giữ riêng, trong kho lưu trữ sự cố AI.

Các trường không di chuyển

Bắt đầu từ đây, vì một bản phát hành kế nhiệm dễ khơi lên giả định rằng họ đã làm vậy.

• Giá — 3,00 USD cho 1 triệu token đầu vào, 7,50 USD cho 1 triệu token đầu ra, 0,75 USD cho 1 triệu token đầu vào được lưu trong bộ nhớ đệm.Giống hệt nhau trên cả hai trang và không thay đổi kể từ khi Zero 1.0 ra mắt vào ngày 17 tháng 9.

• Cửa sổ ngữ cảnh và giới hạn đầu ra — 1.000.000 token đầu vào, 128.000 token đầu ra. Giống hệt, và cả hai thông số đều không thay đổi so với mô hình trước đó.

• Cờ khả năng — `tools`, `json`, `reasoning`. Giống hệt nhau, theo cùng thứ tự.

• Quyền truy cập — hạng `sec-uncensored`, dải `offensive`, `locked: true`. Giống hệt, và vẫn là cổng kiểm soát nghiêm ngặt nhất trên nền tảng.

Đó là toàn bộ bề mặt thương mại của bản kế nhiệm, và không có gì trong đó thay đổi. Nếu điều bạn đang chờ đợi là một token rẻ hơn, một ngữ cảnh dài hơn hay một cách tiếp cận dễ dàng hơn, thì không có thứ nào trong số đó xuất hiện.

Các hàng benchmark chính là nơi bản phát hành thực sự hiện diện

Trang của Zero 1.0 liệt kê đúng một dòng benchmark: CyberGym Level 1 pass@1, 98,07%, được đánh giá ngày 17 tháng 9. Trang của Zero 1.5 liệt kê bốn dòng, tất cả đều ghi ngày 10 tháng 10:

• Cybench — 100%, với cụm từ bổ nghĩa trong ngoặc đơn "thực thi agent không giới hạn."

• CVE-Bench — 95.8%, và chính tên của bộ đánh giá đã hàm chứa sự thu hẹp phạm vi: "CVE-Bench (tập con có thể đánh giá được)."

• HumanEval+ — 93,9%.

• SWE-bench Pro V2 — 76.5%, mức thấp nhất trong bốn mục và là điểm số duy nhất về kỹ thuật phần mềm thay vì bảo mật trong bộ này.

Cả năm dòng đó trên cả hai thế hệ — bốn dòng ở đây và dòng CyberGym trên Zero 1.0 — đều do chúng tôi tạo ra, và mỗi dòng đều nói rõ điều đó: bốn dòng mới mang source: "orca", còn dòng cũ hơn thì source: "orcarouter". Không có dòng nào của bên thứ ba trên cả hai trang, và cũng không có dòng nào có ngày đánh giá khác với ngày mà thế hệ đó ra mắt. Điều đó quan trọng trước khi bất kỳ tỷ lệ phần trăm nào được trích dẫn ở nơi khác, bởi vì một danh sách benchmark không có cột nguồn sẽ khiến người đọc tưởng như các con số đến từ một nơi trung lập nào đó. Nhưng chúng không phải vậy.

Bài đăng ra mắt đã đề cập những gì, và đã bỏ sót những gì

Bản thân thông báo thì ngắn. Thẻ liên kết của nó mới là thứ chốt hạ: "API OrcaCyber Zero 1.5 cắm là chạy cho mọi OpenAI SDK — $3.00 / $7.50 mỗi 1 triệu token, p50 2947ms qua OrcaRouter. Không phụ phí. Không di trú. Một API."

2947 ms đó không phải là con số trên trang mô hình ngày hôm nay. Trang báo cáo p50 là 3220 ms. Cả hai đều là của chúng tôi, cả hai đều trung thực, và khoảng cách giữa chúng chính là lý do vì sao có phần tiếp theo: có nhiều số liệu độ trễ đang lưu hành cho mô hình này hơn là số phép đo đứng sau chúng.

Ba con số độ trễ cho một mô hình

• 2947 ms p50 — trong thẻ liên kết của bài đăng ra mắt.

• 3220 ms p50, 9656 ms p95 — trên trang mô hình, được tổng hợp qua các ngày hiện có trong cửa sổ của nó.

• 500 ms p50, 2.36 s p95 — được một bài viết báo cáo là thời gian đến token đầu tiên trong bảy ngày, từ một mẫu mà bài viết đó mô tả là nhỏ, vào cỡ 1.3K token lưu lượng.

Đây là ba đại lượng khác nhau được đo ở ba thời điểm khác nhau trên ba khối lượng khác nhau. Con số trên thẻ là một ảnh chụp nhanh. Con số trên trang là một tổng hợp trượt, thay đổi mỗi ngày. Cái thứ ba là thời gian đến token đầu tiên, tức độ trễ trước khi token đầu tiên xuất hiện chứ không phải thời gian để hoàn tất một phản hồi — một phép đo thân thiện hơn nhiều, và hoàn toàn không phải cùng một thứ. Trích dẫn bất kỳ cái nào trong ba cái đó mà không kèm theo định ngữ của nó thì bạn đã tạo ra cái thứ tư.

Ba ngày dữ liệu dưới nhãn bảy ngày

Cả hai trang đều gắn nhãn cho khối độ trễ của mình là window_days: 7, và cả hai đều nêu cùng một nguồn: orcarouter-playground, giàn đo của chính chúng tôi chứ không phải lời tuyên bố từ nhà cung cấp. Nhưng Zero 1.5 thì dailymảng chỉ có ba mục — ngày 10, 11 và 12 tháng Mười — trong khi của Zero 1.0 có bảy mục. Một nhãn bảy ngày đặt trên một mẫu ba ngày không phải là lời nói dối; đó là một cửa sổ chưa được lấp đầy, và mọi thứ phía sau nó đều thừa hưởng phần nền tảng mỏng hơn.

• p50 — hiện là 3220 ms, so với 3691 ms của Zero 1.0. Chỉ số tổng hợp của Zero 1.0 dựa trên lưu lượng truy cập gấp khoảng hai lần: 6,16 tỷ token trong bảy ngày so với 3,52 tỷ token trong ba ngày.

• Thông lượng đầu ra — 75.69 token mỗi giây so với 43.75. Thay đổi đơn lẻ lớn nhất trong toàn bộ diff, và cũng là thay đổi dễ được cảm nhận nhất trong một vòng lặp agentic vốn thực hiện hàng chục lệnh gọi trong mỗi lần điều tra.

• Tỷ lệ lỗi — 0,13% so với 1,20%, gần như tốt hơn một bậc độ lớn.

• Uptime — không tồn tại số liệu nào. percent_24h đọc giá trị 0 và khối này mang has_data: false, nghĩa là tỷ lệ phần trăm chưa bao giờ được tính toán chứ không phải dịch vụ đã ngừng hoạt động. Cả hai thế hệ ở đây đều giống nhau, nên không thể suy diễn gì từ sự khác biệt này.

Điều mà các mảng hằng ngày bổ sung là một hướng, và hai thứ đó chỉ về hai hướng ngược nhau:

• Zero 1.0, bảy ngày — 3663, 4614, 3408, 3729, 3791, 2152, 1946 ms. Hai ngày tốt nhất là hai ngày gần đây nhất.

• Zero 1.5, ba ngày — 2965, 3289, 3416 ms. Ngày tệ nhất là ngày gần đây nhất, và p95 của nó đã chạm mức trần 10000 ms.

Ba điểm dữ liệu không phải là một xu hướng, và tuần ra mắt là mẫu tệ nhất có thể để khái quát hóa: lưu lượng truy cập không mang tính đại diện, mô hình đang bị tất cả những người vừa được cấp quyền truy cập đem ra thử nghiệm, và bộ nhớ đệm thì còn lạnh. Cách đọc trung thực về bảng dữ liệu ở trạng thái hiện tại là Zero 1.5 nhanh hơn Zero 1.0 khi tính tổng hợp và chậm hơn vào mỗi ngày kể từ khi ra mắt. Vế thứ hai của câu đó sẽ là bất công nếu nói sau bảy ngày và chưa đủ cơ sở sau ba ngày. Hãy theo dõi con số; đừng hành động dựa trên nó.

100% trên Cybench là 100% của cái gì

Bốn con số phần trăm, bốn từ hạn định khác nhau, và ý nghĩa thực sự nằm ở những từ hạn định ấy.

• Cybench — dòng đó ghi là "thực thi agent không hạn chế", mô tả cách đánh giá được cấu hình, chứ không phải những gì một tài khoản trả phí được phép làm. Bài đánh giá chuẩn này được xây dựng xoay quanh các nhiệm vụ capture-the-flag chuyên nghiệp, và một bài viết diễn giải mức 100% là 39 trong số 40 nhiệm vụ mà nó chứa. Hoàn thành một nhiệm vụ CTF cũng là một thành tích khác với việc tìm ra một lỗ hổng mà chưa ai công bố giải pháp.

• CVE-Bench — dòng đó ghi "tập con có thể đánh giá", và bài đăng công bố cung cấp mẫu số: 23 trên 24. Benchmark được xây dựng trên một tập hợp các CVE web có mức độ nghiêm trọng tới hạn, vì vậy điểm của tập con sẽ thay đổi khi các tác vụ bị loại trừ thay đổi, và tiêu chí loại trừ không được công bố.

• SWE-bench Pro V2 — 76,5%, và cụ thể là không thể so sánh với các biến thể SWE-bench khác. Sự phân biệt đó biến mất ngay khi con số này được đặt bên cạnh một kết quả SWE-bench thông thường, và đó chính là điều thường xảy ra với nó.

• HumanEval+ — 93,9%, và là hàng duy nhất không có bổ ngữ bất thường nào đi kèm.

98% thuộc về harness, không phải mô hình

Con số dễ được trích dẫn nhất cùng với Zero 1.5 là 98,07%, và nó không phải của Zero 1.5. Đó là kết quả CyberGym Level 1 của Zero 1.0, và trang của chính Zero 1.0 mô tả mô hình đó là "mô hình thuộc hạng tiên tiến nhất trong OrcaCyber Harness" — nghĩa là điểm số được báo cáo là một thuộc tính của harness: mô hình cộng với bộ nhớ, các giai đoạn kiểm chứng và môi trường thực thi của nó, chứ không phải bản thân mô hình. Hãy đọc hai bảng benchmark như một tiến trình duy nhất, và bạn sẽ kết luận rằng 98,07 đã trở thành 100. Đó là hai benchmark khác nhau, được chạy bởi hai cấu hình khác nhau của hai thế hệ khác nhau.

Có một sai lệch nhỏ hơn đáng để nêu ra khi chúng ta đang bàn về chủ đề này. Một bài viết ghi kết quả chạy CyberGym là 1.477 trong số 1.507 tác vụ và 98,01%; trang của chúng tôi ghi là 1.478 trong số 1.507 và 98,07%. Cả hai phân số đều nhất quán nội bộ, và ở đây chúng tôi chưa đối chiếu chữ số thập phân thứ ba. Hãy coi đó là chưa ngã ngũ thay vì chọn con số nào đọc xuôi hơn.

Giá giữ nguyên, và đó chính là điểm thú vị.

• $3.00 / $7.50 / $0.75 mỗi 1 triệu token, không thay đổi trong suốt bản phát hành.

• **Về bảng giá OrcaRouter, giá niêm yết của nhà cung cấp được chuyển nguyên vẹn, không cộng thêm gì — mức cộng thêm 0%. Do đó, khi nhà cung cấp thay đổi giá, thay đổi ấy đến phía chúng tôi ngay trong cùng ngày thay vì sau một chu kỳ định giá lại, và một endpoint duy nhất với một khóa và một hóa đơn chính là nơi đối chiếu khoản chi tiêu trên nhiều mô hình.

• Giá token là lập luận thương mại mạnh nhất của đợt ra mắt, đối lập với mức phí mà các mô hình bảo mật có giới hạn tương đương được cho là thu — cao hơn một bậc độ lớn, trong ít nhất một trường hợp, đối với một mô hình hoàn toàn không công bố giá token.

• Đơn vị quyết định một giao dịch mua không phải là token. Một cuộc điều tra bảo mật chạy hàng chục lời gọi mô hình, đọc lại cùng một kho lưu trữ, gọi các công cụ bên ngoài và sửa đổi kết luận của mình trước khi một phát hiện được chấp nhận, vì vậy dữ liệu đầu vào được lưu trong bộ nhớ đệm với mức giá chỉ bằng một phần tư giá đầu vào có ý nghĩa ở đây hơn so với một khối lượng công việc trò chuyện. Điều mà người mua nên đo lường là chi phí cho mỗi phát hiện đã được xác thực, một con số mà không trang mô hình nào công bố.

Cổng cũng không thay đổi

Truy cập vẫn đi qua tầng Security Research: tầng sec-uncensored, nhóm offensive, đã khóa: true. Quy trình đã công bố yêu cầu sự tham gia, một passkey và các điều khoản được chấp nhận, đây là một cổng có chủ đích chứ không phải dựa trên năng lực — việc tái tạo lỗ hổng và kiểm thử xâm nhập là cùng một thao tác bất kể mục tiêu có đồng ý hay không.

Một câu từ bài đưa tin ra mắt đáng được nhắc lại vì đó là phần còn đúng sau khi buổi ra mắt qua đi: các hạn chế ở cấp mô hình và kiểm soát truy cập API không thay thế cho việc phân quyền ở cấp ứng dụng. Một tác nhân bảo mật không nên thừa hưởng quyền sửa đổi hệ thống, đọc dữ liệu production hay thực hiện các thao tác nhạy cảm chỉ vì mô hình bên dưới nó có thể suy luận về những thao tác đó. Cấp bậc quyết định ai được giữ chìa khóa. Nó không quyết định chìa khóa được phép chạm tới những gì.

Còn gì vẫn thiếu, kể cả từ trang của chính chúng ta?

• Zero 1.5 không có tagline, không có phần tổng quan và không có use case nào. Cả ba trường này đều được điền đầy đủ trên Zero 1.0 — một tagline trọn vẹn, một phần tổng quan nêu tên harness và con số CyberGym, cùng bốn use case được trình bày cụ thể. Trang của phiên bản kế nhiệm mang một long_description dài hơn (791 ký tự so với 626) và đó chính là toàn bộ văn bản, mở đầu bằng tiêu đề nguyên văn "Đánh giá do nhà cung cấp báo cáo:". Trong chừng mực mà trang tự mô tả về chính mình, nó mô tả những con số của chính nó.

• Không có số lượng tham số, không có kiến trúc, không có thành phần dữ liệu huấn luyện — đúng với cả hai thế hệ, và là lý do khiến hai tỷ lệ phần trăm từ hai bộ đánh giá không thể được quy cho một mô hình so với một scaffold.

• Không có báo cáo kỹ thuật cho 1.5. Zero 1.0 thì có, và đó là nơi khung harness của nó được giải thích.

• Không có sự tái lập độc lập đối với bất kỳ số liệu nào trên cả hai trang.

• Không có đề cập nào. Khối sắc thái Hacker News ghi mentions_7d: 0 và mentions_prev_7d: 0 cho cả hai mô hình. Với một bản phát hành bảo mật tiên tiến, bản thân điều đó đã là một tín hiệu, và nó chỉ về phía cổng truy cập chứ không phải về phía mô hình: một mô hình mà hầu hết mọi người không thể gọi tới thì sẽ không được đem ra bàn luận.

Ai nên di chuyển, và ai nên chờ đợi

Nếu bạn đã có quyền truy cập Security Research và đang chạy Zero 1.0, thì không có gì phải đàm phán lại và không có migration nào cần lên lịch: cùng endpoint, cùng giá, cùng dạng request, nên việc chuyển đổi chỉ là một model id. Những cải thiện về throughput và tỷ lệ lỗi được đo lường chính là lý do để thử nó, và chúng đến từ hệ thống đo lường của chính chúng tôi chứ không phải từ một bài benchmark do đội ngũ của chính mô hình thực hiện, nghĩa là bạn có thể đối chiếu chúng với lưu lượng của riêng bạn thay vì phải tin tưởng chúng một cách mù quáng.

Nếu bạn không nắm giữ gói hạng đó, bản phát hành này không thay đổi vị thế của bạn dù chỉ một token — cổng truy cập, mức giá và cửa sổ ngữ cảnh đều vẫn y nguyên như cũ.

Thứ cần chờ đợi là bảng độ trễ. Zero 1.5 nhanh hơn phiên bản tiền nhiệm khi gộp dữ liệu ba ngày, nhưng lại chậm hơn vào từng ngày một trong cả ba ngày đó liên tiếp, và khung bảy ngày có thể phân định đâu mới là sự thật giữa hai dữ kiện đó vẫn chưa khép lại. Hãy đọc lại trang vào tuần sau. Nếu p50 hằng ngày vẫn đang tăng vượt mốc 3416 ms, thì con số tổng hợp trên thẻ chính là con số đã sai.