OrcaCyber Zero 1.5 vs OrcaCyber Zero 1.0: co się zmieniło, co nie, i co obejmują liczby

Dwadzieścia trzy dni dzielą dwie strony modeli, a różnica jest mniejsza, niż sugeruje wpis o premierze. OrcaCyber Zero 1 zadebiutował na OrcaRouter 10 października 2026 r. jako następca OrcaCyber Zero 1.0, ogłoszony z zaktualizowanymi wagami i świeżym zestawem wyników benchmarków. Same wagi mogą być nowe. Warunki handlowe już nie: cena wejściowa, cena wyjściowa, cena pamięci podręcznej, okno kontekstu, limit wyjściowy, flagi możliwości i poziom dostępu są identyczne w obu generacjach, co do ostatniego miejsca po przecinku. Zmianie uległy dowody — cztery opublikowane wyniki benchmarków tam, gdzie kiedyś był jeden, oraz panel latencji mierzony teraz przez trzy dni zamiast siedmiu. Obie generacje odpowiadają na tym samym punkcie końcowym kompatybilnym z OpenAI, więc porównanie kosztuje jeden identyfikator modelu. Liczby samego modelu nie mówią nic o tym, co robi zbudowany na nim agent, gdy już działa — ten rejestr prowadzi się osobno, w archiwum incydentów AI.

Pola, które się nie przesunęły

Zacznij tutaj, ponieważ wydanie następcy nasuwa przypuszczenie, że tak zrobili.

• Cena — 3,00 USD za 1 mln tokenów wejściowych, 7,50 USD za 1 mln wyjściowych, 0,75 USD za 1 mln buforowanych tokenów wejściowych. Identyczna na obu stronach i niezmieniona od premiery Zero 1.0 17 września.

• Okno kontekstu i limit wyjścia — 1,000,000 tokenów na wejściu, 128,000 tokenów na wyjściu. Identyczne, a obie wartości pozostają niezmienione względem wcześniejszego modelu.

• Flagi możliwości — `tools`, `json`, `reasoning`. Identyczne, w tej samej kolejności.

• Dostęp — poziom `sec-uncensored`, zakres `offensive`, `locked: true`. Identyczny i wciąż najsurowsza brama na platformie.

To cała komercyjna warstwa następcy i nic z niej nie drgnęło. Jeśli czekałeś na tańszy token, dłuższy kontekst albo łatwiejszy sposób dostępu, żadna z tych rzeczy nie nadeszła.

To w wierszach benchmarku tak naprawdę żyje wydanie.

Strona Zero 1.0 zawiera dokładnie jeden wiersz benchmarku: CyberGym Level 1 pass@1, 98,07%, oceniony 17 września. Strona Zero 1.5 zawiera cztery, wszystkie z datą 10 października:

• Cybench — 100%, z zastrzeżeniem w nawiasie "nieograniczone wykonywanie agenta".

• CVE-Bench — 95,8%, a sama nazwa benchmarku zawiera to zawężenie: „CVE-Bench (podzbiór poddawany ocenie)”.

• HumanEval+ — 93,9%.

• SWE-bench Pro V2 — 76.5%, najniższy z czterech i jedyny w zestawie wynik dotyczący inżynierii oprogramowania, a nie bezpieczeństwa.

Każdy z tych pięciu wierszy w obu generacjach — cztery tutaj oraz wiersz CyberGym na Zero 1.0 — został przez nas utworzony i każdy wiersz to potwierdza: cztery nowe mają źródło: "orca", starszy źródło: "orcarouter". Na żadnej z tych stron nie ma wiersza od podmiotu trzeciego ani wiersza, którego data oceny byłaby inna niż dzień premiery danej generacji. Ma to znaczenie, zanim którakolwiek z tych wartości procentowych zostanie gdzie indziej przytoczona, ponieważ lista benchmarkowa bez kolumny źródłowej sprawia wrażenie, jakby liczby pochodziły z jakiegoś neutralnego miejsca. Te tak nie pochodziły.

Co zawierał wpis o premierze, a co pominął

Samo ogłoszenie jest krótkie. Sprzedaż załatwia jego karta linku: „Drop-in API OrcaCyber Zero 1.5 dla dowolnego OpenAI SDK — 3,00 USD / 7,50 USD za 1 mln tokenów, p50 2947 ms przez OrcaRouter. Zero narzutu. Zero migracji. Jedno API."

Ta wartość 2947 ms to nie liczba widniejąca dziś na stronie modelu. Strona podaje p50 równe 3220 ms. Obie są nasze, obie są uczciwe, a różnica między nimi jest powodem, dla którego istnieje następna sekcja: w obiegu jest więcej liczb dotyczących opóźnień dla tego modelu niż pomiarów, które za nimi stoją.

Trzy liczby opóźnienia dla jednego modelu

• 2947 ms p50 — w karcie linku w poście o premierze.

• 3220 ms p50, 9656 ms p95 — na stronie modelu, zagregowane dla dni znajdujących się obecnie w jego oknie.

• 500 ms p50, 2,36 s p95 — zgłoszone przez jedno opracowanie jako czas do pierwszego tokenu w ciągu siedmiu dni, na podstawie próbki, którą opisuje jako małą, rzędu 1,3 tys. tokenów ruchu.

To trzy różne wielkości mierzone w trzech różnych momentach i dla trzech różnych wolumenów. Wartość na karcie to migawka. Wartość na stronie to agregacja krocząca, która zmienia się codziennie. Trzecia to czas do pierwszego tokenu, czyli opóźnienie przed pojawieniem się pierwszego tokenu, a nie czas potrzebny na dokończenie odpowiedzi — znacznie bardziej przyjazny pomiar i zupełnie co innego. Zacytuj którąkolwiek z tych trzech bez jej dookreślenia, a wymyślisz czwartą.

Trzy dni danych pod siedmiodniową etykietą

Obie strony oznaczają swój blok opóźnień jako window_days: 7, a obie podają to samo źródło: orcarouter-playground, nasz własny zestaw pomiarowy, a nie deklaracja dostawcy. Ale w Zero 1.5 dailytablica zawiera trzy wpisy — 10, 11 i 12 października — podczas gdy w Zero 1.0 zawiera siedem. Siedmiodniowa etykieta nałożona na trzydniową próbkę nie jest kłamstwem; to okno, które jeszcze się nie wypełniło, a wszystko, co po nim następuje, dziedziczy cieńszą bazę.

• p50 — obecnie 3220 ms wobec 3691 ms dla Zero 1.0. Agregat Zero 1.0 opiera się na mniej więcej dwukrotnie większym ruchu: 6,16 mld tokenów w ciągu siedmiu dni wobec 3,52 mld w ciągu trzech.

• Przepustowość wyjściowa — 75,69 tokenów na sekundę w porównaniu do 43,75. Największa pojedyncza zmiana w całym diffie i ta, którą najprawdopodobniej odczuje się w pętli agentowej wykonującej dziesiątki wywołań na jedno badanie.

• Wskaźnik błędów — 0,13% wobec 1,20%, o blisko rząd wielkości lepiej.

• Uptime — brak jakiejkolwiek wartości. percent_24h wskazuje 0, a blok zawiera has_data: false, co oznacza, że wartość procentowa nigdy nie została obliczona, a nie że usługa była niedostępna. Obie generacje są tu takie same, więc nie można nic wywnioskować z różnicy.

To, co wnoszą codzienne tablice, to kierunek, a te dwa wskazują w przeciwnych kierunkach:

• Zero 1.0, siedem dni — 3663, 4614, 3408, 3729, 3791, 2152, 1946 ms. Dwa najlepsze dni to dwa najnowsze.

• Zero 1.5, trzy dni — 2965, 3289, 3416 ms. Najgorszy dzień jest zarazem najnowszy, a jego p95 już dotknęło pułapu 10000 ms.

Trzy punkty to nie trend, a tydzień premiery to najgorsza możliwa próba do uogólnień: ruch jest niereprezentatywny, model jest testowany przez wszystkich, którym właśnie przyznano dostęp, a pamięci podręczne są zimne. Uczciwy odczyt panelu w obecnym stanie jest taki, że Zero 1.5 jest szybszy niż Zero 1.0 łącznie, a wolniejszy w każdym dniu od premiery. Drugą połowę tego zdania byłoby niesprawiedliwie powiedzieć po siedmiu dniach, a po trzech dniach ma zbyt słabe podstawy. Obserwuj tę liczbę; nie działaj na jej podstawie.

100% na Cybench to 100% czego?

Cztery wartości procentowe, cztery różne określenia — a znaczenie tkwi właśnie w tych określeniach.

• Cybench — wiersz mówi "nieograniczone wykonywanie działań przez agenta", co opisuje, jak skonfigurowano ocenę, a nie to, co wolno robić płatnemu kontu. Benchmark opiera się na profesjonalnych zadaniach typu capture-the-flag, a w jednym z opracowań wynik 100% odczytuje się jako 39 z 40 zawartych w nim zadań. Ukończenie zadania CTF to także inne osiągnięcie niż znalezienie luki, dla której nikt nie opublikował rozwiązania.

• CVE-Bench — w wierszu widnieje „podzbiór podlegający ocenie”, a post zapowiadający podaje mianownik: 23 z 24. Benchmark opiera się na zestawie krytycznych luk CVE w aplikacjach webowych, więc wynik dla podzbioru zmienia się wraz ze zmianami wykluczonych zadań, a kryteria wykluczania nie zostały opublikowane.

• SWE-bench Pro V2 — 76,5%, i to w sposób szczególny nieporównywalny z innymi wariantami SWE-bench. To rozróżnienie znika w momencie, gdy liczbę tę zestawi się ze zwykłym wynikiem SWE-bench, co zwykle właśnie się z nią robi.

• HumanEval+ — 93,9% i jedyny wiersz bez dołączonego nietypowego kwalifikatora.

98% należy do harnessu, a nie do modelu

Liczba, która najprawdopodobniej będzie cytowana obok Zero 1.5, to 98,07%, i nie jest to wynik Zero 1.5. To wynik Zero 1.0 w CyberGym Level 1, a własna strona Zero 1.0 opisuje ten model jako „model klasy frontier w OrcaCyber Harness” — co oznacza, że raportowany wynik jest właściwością harnessu: modelu wraz z jego pamięcią, etapami weryfikacji i środowiskiem wykonawczym, a nie samego modelu. Czytając dwie tabele benchmarków jako jedną progresję, dojdziesz do wniosku, że 98,07 zmieniło się w 100. To dwa różne benchmarki uruchomione przez dwie różne konfiguracje dwóch różnych generacji.

Jest mniejsza rozbieżność, którą warto odnotować, skoro już o tym mowa. W jednym opracowaniu przebieg CyberGym podano jako 1 477 z 1 507 zadań i 98,01%; nasza strona podaje go jako 1 478 z 1 507 i 98,07%. Oba ułamki są wewnętrznie spójne i nie uzgodniliśmy tutaj trzeciego miejsca po przecinku. Traktuj to jako nierozstrzygnięte, zamiast wybierać to, które czyta się lepiej.

Cena się utrzymała, i to jest właśnie interesujące

• $3.00 / $7.50 / $0.75 za 1 mln tokenów, bez zmian w całym wydaniu.

• **W cenniku OrcaRouter cena katalogowa dostawcy jest przekazywana bez żadnych dodatków** — 0% narzutu. Zmiana ceny u dostawcy trafia więc do nas tego samego dnia, a nie dopiero po cyklu przeszacowania, a pojedynczy endpoint z jednym kluczem i jednym rachunkiem to miejsce, w którym uzgadniane są wydatki na kilka modeli.

• Cena tokena to najsilniejszy argument komercyjny premiery, w zestawieniu z tym, ile — jak się donosi — pobierają porównywalne modele bezpieczeństwa o ograniczonym dostępie: w co najmniej jednym przypadku o rząd wielkości więcej, za model bez jakiejkolwiek publikowanej ceny tokena.

• Jednostką, która decyduje o zakupie, nie jest token. Badanie bezpieczeństwa wykonuje dziesiątki wywołań modelu, ponownie odczytuje to samo repozytorium, wywołuje zewnętrzne narzędzia i koryguje swoje wnioski, zanim ustalenie zostanie zaakceptowane, więc buforowane dane wejściowe po jednej czwartej stawki za dane wejściowe mają tu większe znaczenie niż w obciążeniu typu czat. To, co kupujący powinien mierzyć, to koszt na zweryfikowane ustalenie, którego nie publikuje żadna ze stron modeli.

Brama też się nie zmieniła.

Dostęp nadal przebiega przez poziom Security Research: poziom sec-uncensored, pasmo offensive, locked: true. Opublikowany proces wymaga zlecenia, klucza dostępu i zaakceptowanych warunków, co jest celową bramką, a nie kwestią możliwości — reprodukcja podatności i testy penetracyjne to te same operacje, niezależnie od tego, czy cel wyraził na nie zgodę.

Jedno zdanie z relacji z premiery warto powtórzyć, bo właśnie ta część przetrwa premierę: ograniczenia na poziomie modelu i mechanizmy kontroli dostępu do API nie zastępują autoryzacji na poziomie aplikacji. Agent bezpieczeństwa nie powinien dziedziczyć uprawnień do modyfikowania systemów, czytania danych produkcyjnych ani wykonywania wrażliwych operacji tylko dlatego, że model pod nim potrafi rozumować o tych operacjach. Poziom decyduje o tym, kto może dzierżyć klucz. Nie decyduje o tym, czego klucz może dotknąć.

Czego jeszcze brakuje, w tym z naszej własnej strony

• Zero 1.5 nie ma sloganu, przeglądu ani przypadków użycia. Wszystkie trzy pola są wypełnione w Zero 1.0 — pełny slogan, przegląd, który wymienia harness i wartość CyberGym, oraz cztery opracowane przypadki użycia. Strona następcy zawiera dłuższy long_description (791 znaków wobec 626) i to jest cały tekst, który otwiera dosłowny nagłówek "Oceny zgłoszone przez dostawcę:". W zakresie, w jakim strona opisuje samą siebie, opisuje własne liczby.

• Brak liczby parametrów, brak architektury, brak składu danych treningowych — dotyczy to obu generacji i jest powodem, dla którego dwóch wartości procentowych z dwóch benchmarków nie można przypisać modelowi, a nie szkieletowi.

• Brak raportu technicznego dla 1.5.Zero 1.0 miał taki — to tam wyjaśniono jego ujęcie harnessu.

• Brak niezależnej replikacji jakichkolwiek danych liczbowych na którejkolwiek ze stron.

• Zero wzmianek. Blok sentymentu Hacker News pokazuje mentions_7d: 0 i mentions_prev_7d: 0 dla obu modeli. Wydanie zabezpieczeń frontier samo w sobie jest sygnałem i wskazuje na bramkę, a nie na model: model, którego większość ludzi nie może wywołać, nie jest omawiany.

Kto powinien się ruszyć, a kto powinien czekać

Jeśli masz już dostęp Security Research i używasz Zero 1.0, nie ma nic do ponownego negocjowania ani żadnej migracji do zaplanowania: ten sam endpoint, ta sama cena, ten sam kształt żądania, więc przełączenie to jeden identyfikator modelu. Zmierzone usprawnienia przepustowości i współczynnika błędów są powodem, by go wypróbować, a pochodzą z naszego własnego stanowiska pomiarowego, a nie z benchmarku przeprowadzonego przez sam zespół modelu, co oznacza, że możesz je sprawdzić na podstawie własnego ruchu, zamiast przyjmować je na wiarę.

Jeśli nie posiadasz tego poziomu, ta wersja nie zmienia twojej pozycji ani o jeden token — brama, cena i okno kontekstowe są dokładnie tam, gdzie były.

To, na co trzeba poczekać, to panel opóźnień. Zero 1.5 jest szybszy od swojego poprzednika w danych z trzech dni, a wolniejszy w każdym z tych trzech dni z rzędu, a siedmiodniowe okno, które rozstrzygnęłoby, który z tych dwóch faktów jest prawdziwy, jeszcze się nie zamknęło. Przeczytaj tę stronę ponownie w przyszłym tygodniu. Jeśli dzienny p50 nadal rośnie powyżej 3416 ms, to liczba zbiorcza na karcie była błędna.