OrcaCyber Zero 1.5 vs OrcaCyber Zero 1.0: 무엇이 바뀌었고, 무엇이 바뀌지 않았으며, 숫자는 무엇을 포괄하는가

두 모델 페이지 사이에는 23일이 있고, 그 차이점은 출시 게시물이 암시하는 것보다 짧다. OrcaCyber Zero 1.5는 OrcaRouter2026년 10월 10일, OrcaCyber Zero 1.0의 후속으로 공개되었으며, 업데이트된 가중치와 새로운 벤치마크 결과 세트와 함께 발표되었다. 가중치는 실제로 새로울 수 있다. 상업적 조건은 그렇지 않다: 입력 가격, 출력 가격, 캐시 읽기 가격, 컨텍스트 윈도우, 출력 상한, 기능 플래그, 접근 등급은 두 세대 사이에 소수점 마지막 자리까지 동일하다. 달라진 것은 증거다 — 이전에는 하나뿐이던 게시된 벤치마크 행이 네 개가 되었고, 지연 시간 패널은 이제 7일이 아니라 3일에 걸쳐 측정된다. 두 세대 모두 동일한 OpenAI 호환 엔드포인트에서 응답하므로, 비교에는 모델 ID 하나만 들면 된다. 모델 자체의 수치는 그 위에 구축된 에이전트가 실행된 뒤 무엇을 하는지에 대해 아무것도 말해주지 않는다 — 그 기록은 별도로, AI 사고 아카이브에 보관된다.

이동하지 않은 필드

여기서 시작하세요. 후속 릴리스가 그들이 그렇게 했다는 가정을 불러일으키기 때문입니다.

• 가격 — 입력 토큰 100만 개당 $3.00, 출력 100만 개당 $7.50, 캐시된 입력 100만 개당 $0.75. 두 페이지에서 동일하며, 9월 17일 Zero 1.0이 출시된 이후로 변경되지 않았습니다.

• 컨텍스트 윈도우와 출력 상한 — 입력 1,000,000 토큰, 출력 128,000 토큰. 동일하며, 두 수치 모두 이전 모델에서 변경되지 않았습니다.

• 기능 플래그 — `tools`, `json`, `reasoning`. 동일하며, 같은 순서입니다.

• 접근 권한 — 티어 `sec-uncensored`, 밴드 `offensive`, `locked: true`. 동일하며, 여전히 플랫폼에서 가장 엄격한 관문입니다.

그것이 후속 제품의 상업적 표면 전부이며, 그중 어느 것도 달라지지 않았다. 당신이 기다리던 것이 더 저렴한 토큰, 더 긴 컨텍스트, 혹은 더 쉬운 진입 경로였다면, 그중 어느 것도 오지 않았다.

벤치마크 행이 바로 릴리스가 실제로 존재하는 곳이다

Zero 1.0의 페이지에는 정확히 하나의 벤치마크 행이 나열되어 있습니다: CyberGym Level 1 pass@1, 98.07%, 9월 17일 평가. Zero 1.5의 페이지에는 네 개가 나열되어 있으며, 모두 10월 10일자입니다:

• Cybench — 100%, 괄호 안의 수식어로 "무제한 에이전트 실행."

• CVE-Bench — 95.8%그리고 벤치마크 이름 자체에 그 한정이 담겨 있습니다: "CVE-Bench (평가 가능한 하위 집합)."

• HumanEval+ — 93.9%.

• SWE-bench Pro V2 — 76.5%, 네 가지 중 가장 낮은 점수이며, 이 세트에서 유일하게 보안이 아닌 소프트웨어 엔지니어링 점수입니다.

두 세대에 걸친 그 다섯 행 모두 — 여기 있는 네 개와 Zero 1.0의 CyberGym 줄 — 는 우리가 만들었으며, 각 행이 그렇게 밝히고 있습니다: 새로 추가된 네 개에는 source: "orca"가 붙어 있고, 더 오래된 하나에는 source: "orcarouter"가 붙어 있습니다. 어느 페이지에도 제3자 행은 없고, 평가 날짜가 해당 세대가 출시된 날이 아닌 행도 없습니다. 이 점은 어떤 비율이든 다른 곳에서 인용되기 전에 중요합니다. 출처 열이 없는 벤치마크 목록은 숫자가 어딘가 중립적인 곳에서 온 것처럼 읽히기 때문입니다. 하지만 이 숫자들은 그렇지 않습니다.

출시 게시물이 담은 것, 그리고 빠뜨린 것

공지 자체는 짧습니다. 판매는 링크 카드가 합니다: "모든 OpenAI SDK에 그대로 끼워 넣는 OrcaCyber Zero 1.5 API — 1M 토큰당 $3.00 / $7.50, OrcaRouter 경유 p50 2947ms. 마크업 제로. 마이그레이션 제로. 하나의 API."

그 2947ms는 오늘 모델 페이지에 있는 숫자가 아니다. 페이지는 p50을 3220ms로 보고한다. 둘 다 우리 수치이고, 둘 다 정직한 수치이며, 그 사이의 격차가 다음 섹션이 존재하는 이유다: 이 모델에 대해 유통되는 지연 시간 수치가 그 수치들을 뒷받침하는 측정치보다 더 많다.

하나의 모델에 대한 세 가지 지연 시간 수치

• 2947 ms p50 — 출시 게시물의 링크 카드에서.

• 3220 ms p50, 9656 ms p95 — 모델 페이지에서 현재 해당 기간에 포함된 날짜들을 기준으로 집계되었습니다.

• 500 ms p50, 2.36 s p95 — 한 보고서에서 7일에 걸친 첫 토큰까지의 시간으로 보고되었으며, 해당 보고서가 소규모라고 설명하는 표본, 약 1.3K 토큰 규모의 트래픽을 기반으로 한 수치입니다.

이것들은 서로 다른 세 시점에, 세 가지 서로 다른 볼륨에 걸쳐 측정된 서로 다른 세 가지 수치다. 카드의 수치는 스냅샷이다. 페이지의 수치는 매일 바뀌는 롤링 집계다. 세 번째는 첫 토큰까지 걸리는 시간(time-to-first-token)으로, 첫 토큰이 나타나기 전까지의 지연 시간이며 응답을 끝내는 데 걸리는 시간이 아니다 — 훨씬 더 친화적인 측정치이고, 전혀 같은 것이 아니다. 세 가지 중 어느 것이든 그것을 한정하는 조건 없이 인용하면, 네 번째를 만들어낸 것이다.

7일 라벨 아래에 있는 3일치 데이터

두 페이지 모두 지연 시간 블록에 window_days: 7이라는 라벨을 붙이고 있으며, 동일한 출처를 명시합니다: orcarouter-playground, 즉 벤더의 주장이 아니라 우리 자체 측정 장비입니다. 그러나 Zero 1.5의 daily 배열에는 10월 10일, 11일, 12일의 세 항목이 들어 있는 반면, Zero 1.0의 배열에는 일곱 개가 들어 있습니다. 3일 표본 위에 7일이라는 라벨을 붙인 것은 거짓말이 아닙니다. 아직 채워지지 않은 창일 뿐이며, 그 이후의 모든 것은 이 더 얇은 기반을 물려받습니다.

• p50 — 현재 3220 ms로, Zero 1.0의 3691 ms와 대비됩니다. Zero 1.0의 집계치는 약 두 배의 트래픽에 기반합니다: 7일 동안 61억 6천만 토큰으로, 3일 동안의 35억 2천만 토큰과 대비됩니다.

• 출력 처리량 — 초당 75.69 토큰 대 43.75. 전체 diff에서 가장 큰 단일 변경 사항이며, 조사 한 건당 수십 번의 호출을 수행하는 에이전트 루프에서 가장 크게 체감될 가능성이 높은 변화입니다.

• 오류율 — 1.20% 대비 0.13%로, 거의 10배 가까이 개선되었습니다.

• 가동 시간 — 수치가 존재하지 않습니다. percent_24h는 0으로 표시되고 블록은 has_data: false를 포함합니다. 이는 서비스가 중단된 것이 아니라 백분율이 계산된 적이 없음을 의미합니다. 여기서는 두 세대 모두 동일하므로 그 차이에서 어떤 것도 추론할 수 없습니다.

일별 배열이 더해 주는 것은 방향이며, 그 둘은 서로 반대 방향을 가리킨다:

• Zero 1.0, 7일 — 3663, 4614, 3408, 3729, 3791, 2152, 1946ms. 가장 좋은 두 날은 가장 최근의 이틀입니다.

• Zero 1.5, 3일간 — 2965, 3289, 3416ms. 최악의 날은 가장 최근이며, 해당 p95는 이미 10000ms 상한에 도달했습니다.

세 개의 데이터 포인트는 추세가 아니며, 출시 주간은 일반화하기에 최악의 표본이다: 트래픽은 대표성이 없고, 모델은 방금 접근 권한을 받은 모든 사람이 시험하고 있으며, 캐시는 차가운 상태다. 현재 상태의 패널을 정직하게 해석하면, Zero 1.5는 집계 기준으로는 Zero 1.0보다 빠르고, 출시 이후 각 날짜별로는 더 느리다는 것이다. 그 문장의 후반부는 7일 뒤에 말하기에는 불공정하고, 3일 뒤에는 근거가 부족하다. 숫자를 지켜보라; 그 숫자에 따라 행동하지는 마라.

Cybench에서 100%는 무엇의 100%인가

네 개의 백분율, 네 개의 서로 다른 한정어, 그리고 의미는 바로 그 한정어에 깃들어 있다.

• Cybench — 해당 행은 다음과 같이 말합니다: "무제한 에이전트 실행". 이는 평가가 어떻게 구성되었는지를 설명하는 것이지, 유료 계정이 무엇을 하도록 허용되는지를 설명하는 것은 아닙니다. 이 벤치마크는 전문적인 캡처 더 플래그(capture-the-flag) 과제를 중심으로 구축되었으며, 한 분석 글에서는 100%라는 수치를 여기에 포함된 40개 과제 중 39개로 해석합니다. CTF 과제를 완료하는 것은 아무도 해결책을 공개하지 않은 취약점을 찾는 것과는 또 다른 성취입니다.

• CVE-Bench — 해당 행에는 "평가 가능한 하위 집합"이라고 적혀 있으며, 출시 게시물에서 분모를 제시합니다: 24개 중 23개. 이 벤치마크는 치명적 심각도의 웹 CVE 집합을 기반으로 구축되었기 때문에, 제외된 작업이 달라지면 하위 집합 점수도 달라지는데, 제외 기준은 공개되지 않았습니다.

• SWE-bench Pro V2 — 76.5%이며, 다른 SWE-bench 변형과는 특히 비교할 수 없습니다. 그 구분은 이 수치가 일반 SWE-bench 결과 옆에 놓이는 순간 사라지는데, 보통 그렇게 되곤 합니다.

• HumanEval+ — 93.9%, 그리고 이례적인 수식어가 전혀 붙지 않은 유일한 항목입니다.

그 98%는 모델이 아니라 하네스의 몫이다

Zero 1.5와 함께 가장 많이 인용될 법한 수치는 98.07%인데, 그것은 Zero 1.5의 것이 아니다. 그것은 Zero 1.0의 CyberGym Level 1 결과이며, Zero 1.0의 자체 페이지에서는 해당 모델을 "OrcaCyber Harness의 프런티어급 모델"이라고 설명한다. 즉, 보고된 점수는 하네스의 속성, 다시 말해 모델 자체가 아니라 모델에 메모리와 검증 단계, 실행 환경을 더한 것의 속성이다. 두 벤치마크 표를 하나의 진전 과정으로 읽으면 98.07이 100이 되었다는 결론에 이르게 된다. 그러나 그것은 서로 다른 두 세대의 서로 다른 두 구성으로 실행된 서로 다른 두 벤치마크다.

이 주제에 대해 말하는 김에 짚고 넘어갈 만한 더 작은 불일치가 있습니다. 한 글에서는 CyberGym 실행을 1,507개 작업 중 1,477개, 98.01%로 기재하고 있으며, 우리 페이지에서는 1,507개 중 1,478개, 98.07%로 기재하고 있습니다. 두 비율 모두 내부적으로 일관성이 있고, 여기서 소수점 셋째 자리까지 맞춰 보지는 않았습니다. 더 잘 읽히는 쪽을 고르기보다는 미해결 사항으로 취급하십시오.

가격은 유지되었고, 바로 그 점이 흥미로운 부분이다

• 1M 토큰당 $3.00 / $7.50 / $0.75, 이번 릴리스에서도 변동 없이 유지됩니다.

• **OrcaRouter 요금의 경우, 공급자의 정가는 아무것도 더해지지 않고 그대로 전달됩니다** — 0% 마크업. 따라서 벤더 가격 변경은 가격 재조정 주기를 거친 후가 아니라 같은 날 우리 쪽에 반영되며, 하나의 키와 하나의 청구서를 갖춘 단일 엔드포인트에서 모든 지출이 통합됩니다.

• 토큰 가격은 이번 출시의 가장 강력한 상업적 논거로, 비교 가능한 방식으로 게이트된 보안 모델들이 청구하는 것으로 알려진 금액에 맞선다 — 적어도 한 사례에서는 토큰 가격이 전혀 공개되지 않은 모델에 대해 10배나 더 많은 금액이다.

• 구매를 결정하는 단위는 토큰이 아니다. 보안 조사는 수십 번의 모델 호출을 실행하고, 같은 저장소를 다시 읽고, 외부 도구를 호출하며, 발견 사항이 승인되기 전에 결론을 수정하므로, 입력 요율의 4분의 1 가격인 캐시 입력은 챗 워크로드에서보다 여기서 더 중요하다. 구매자가 측정해야 할 것은 검증된 발견 사항당 비용이며, 이는 어느 모델 페이지도 공개하지 않는 수치다.

게이트도 변하지 않았다

접근은 여전히 보안 연구(Security Research) 등급을 거칩니다: 등급 sec-uncensored, 밴드 offensive, locked: true. 공개된 절차는 참여 신청, 패스키, 약관 동의를 요구하는데, 이는 역량이 아니라 의도적으로 마련된 관문입니다 — 취약점 재현과 침투 테스트는 대상이 동의했는지 여부와 상관없이 동일한 작업입니다.

출시 보도에서 한 문장은 반복할 가치가 있습니다. 그것은 출시 이후에도 남는 부분이기 때문입니다. 모델 수준의 제한과 API 접근 제어는 애플리케이션 수준의 인가를 대체하지 않습니다. 보안 에이전트는 그 밑에 있는 모델이 그러한 작업을 추론할 수 있다는 이유만으로 시스템을 수정하거나 프로덕션 데이터를 읽거나 민감한 작업을 실행할 권한을 상속받아서는 안 됩니다. 등급은 누가 키를 보유할 수 있는지를 결정합니다. 키가 무엇을 건드릴 수 있는지는 결정하지 않습니다.

우리 자체 페이지에서도 포함해, 아직 무엇이 빠져 있나요?

• Zero 1.5에는 태그라인도, 개요도, 사용 사례도 없습니다. 세 필드 모두 Zero 1.0에는 채워져 있습니다 — 완전한 태그라인, 하네스와 CyberGym 수치를 명시한 개요, 그리고 네 가지 실제 사용 사례. 후속 제품의 페이지에는 더 긴 long_description (626자 대비 791자)이 있으며, 그것이 전체 텍스트이고, 문자 그대로의 헤더 "공급업체 보고 평가:"로 시작합니다. 페이지가 스스로를 설명하는 한, 그것은 자신의 숫자를 설명합니다.

• 파라미터 수, 아키텍처, 학습 데이터 구성에 대한 정보 없음 — 두 세대 모두에 해당하며, 두 벤치마크에서 나온 두 백분율을 모델과 스캐폴드 중 어느 쪽 탓으로 돌릴 수 없는 이유이기도 하다.

• 1.5에는 기술 보고서가 없습니다. Zero 1.0에는 하나가 있었고, 바로 거기에서 하네스 프레이밍이 설명되었습니다.

• 두 페이지 중 어느 쪽에도 어떤 수치에 대한 독립적인 재현이 없습니다.

• 언급 0건. Hacker News 센티먼트 블록에는 mentions_7d: 0 및 mentions_prev_7d: 0이라는 값이 두 모델 모두에 대해 표시됩니다. 프런티어 보안 릴리스의 경우, 그 자체가 하나의 신호이며, 이는 모델이 아니라 게이트를 가리킵니다: 대부분의 사람이 호출할 수 없는 모델은 논의되지 않습니다.

누가 움직여야 하고, 누가 기다려야 할까요?

이미 Security Research access를 보유하고 있고 Zero 1.0을 실행 중이라면, 재협상할 것도, 일정에 넣을 마이그레이션도 없습니다: 동일한 엔드포인트, 동일한 가격, 동일한 요청 형태이므로, 전환은 모델 ID 하나만 바꾸면 됩니다. 측정된 처리량과 오류율 개선은 이를 시도해 볼 이유이며, 이는 모델 자체 팀이 실행한 벤치마크가 아니라 우리 자체 측정 장비에서 나온 것이므로, 그대로 믿는 대신 자체 트래픽과 비교해 확인할 수 있습니다.

해당 티어를 보유하고 있지 않다면, 이번 릴리스는 당신의 위치를 단 한 토큰도 바꾸지 않습니다 — 게이트, 가격, 컨텍스트 윈도우는 모두 정확히 원래 자리에 있습니다.

기다려 봐야 할 것은 지연 시간 패널이다. Zero 1.5는 3일치 데이터에서는 이전 버전보다 빠르지만, 그 3일 각각을 연속으로 보면 매일 더 느리다. 그리고 이 두 사실 중 어느 쪽이 진짜인지를 판가름할 7일 구간은 아직 끝나지 않았다. 다음 주에 페이지를 다시 읽어라. 일간 p50이 여전히 3416 ms를 넘어 계속 오르고 있다면, 카드에 있는 집계 숫자가 잘못된 것이다.