OrcaCyber Zero 1.5 vs OrcaCyber Zero 1.0: vad som ändrades, vad som inte gjorde det, och vad siffrorna täcker

Tjugotre dagar skiljer de två modellsidorna åt, och diffen är kortare än lanseringsinlägget antyder. OrcaCyber Zero 1.5 gick live på OrcaRouter den 10 oktober 2026 som efterträdaren till OrcaCyber Zero 1.0, annonserad med uppdaterade vikter och en ny uppsättning benchmarkresultat. Vikterna kan mycket väl vara nya. De kommersiella villkoren är det inte: pris för indata, pris för utdata, pris för cacheläsning, kontextfönster, utdatatak, kapabilitetsflaggor och åtkomstnivå är identiska mellan de två generationerna, in i sista decimal. Det som har förändrats är bevisningen – fyra publicerade benchmarkrader där det tidigare fanns en, och en latenspanel som nu mäts över tre dagar i stället för sju. Båda generationerna svarar på samma OpenAI-kompatibla endpoint, så jämförelsen kostar ett modell-id. En modells egna siffror säger ingenting om vad en agent byggd på den gör när den väl körs – det registret hålls separat, i AI-incidentarkivet.

Fälten som inte flyttades

Börja här, eftersom en efterföljande utgåva inbjuder till antagandet att de gjorde det.

• Pris — 3,00 $ per 1 miljon indatatoken, 7,50 $ per 1 miljon utdatatoken, 0,75 $ per 1 miljon cachade indatatoken. Identiskt på båda sidorna, och oförändrat sedan Zero 1.0 släpptes den 17 september.

• Kontextfönster och tak för utdata — 1 000 000 tokens in, 128 000 tokens ut. Identiska, och båda siffrorna är oförändrade från den tidigare modellen.

• Kapacitetsflaggor — `tools`, `json`, `reasoning`. Identiska, i samma ordning.

• Åtkomst – nivå `sec-uncensored`, band `offensive`, `locked: true`. Identisk, och fortfarande den strängaste spärren på plattformen.

Det är hela efterträdarens kommersiella yta, och inget av det rörde sig. Om det du väntade på var en billigare token, ett längre kontext eller ett enklare sätt in, så kom inget av det.

Benchmark-raderna är där releasen faktiskt bor.

Zero 1.0:s sida listar exakt en benchmark-rad: CyberGym Level 1 pass@1, 98,07 %, utvärderad 17 september. Zero 1.5:s sida listar fyra, alla daterade 10 oktober:

• Cybench — 100 %, med den parentetiska kvalificeraren "obegränsad agentexekvering".

• CVE-Bench — 95,8 %, och själva namnet på benchmarken bär den insnävningen: "CVE-Bench (utvärderbar delmängd)."

• HumanEval+ — 93,9 %.

• SWE-bench Pro V2 — 76,5 %, den lägsta av de fyra och den enda poängen för mjukvaruutveckling snarare än säkerhet i uppsättningen.

Var och en av dessa fem rader i båda generationerna – de fyra här och CyberGym-raden på Zero 1.0 – producerades av oss, och varje rad säger det: de fyra nya har source: "orca", den äldre har source: "orcarouter". Det finns ingen tredjepartsrad på någon av sidorna, och ingen rad vars utvärderingsdatum är något annat än dagen då den generationen lanserades. Det spelar roll innan någon av procentsatserna citeras någon annanstans, eftersom en benchmarklista utan källkolumn framstår som om siffrorna kom från något neutralt håll. Dessa gjorde inte det.

Vad lanseringsinlägget förmedlade, och vad det utelämnade

Själva tillkännagivandet är kort. Dess länkkort gör säljjobbet: "Drop-in-API för OrcaCyber Zero 1.5 till alla OpenAI-SDK:er – 3,00 $ / 7,50 $ per 1 miljon tokens, p50 2947ms via OrcaRouter. Inget påslag. Ingen migrering. Ett API."

De där 2947 ms är inte siffran på modellsidan i dag. Sidan rapporterar en p50 på 3220 ms. Båda är våra, båda är ärliga, och skillnaden mellan dem är anledningen till att nästa avsnitt finns: det finns fler latenssiffror i omlopp för den här modellen än det finns mätningar bakom dem.

Tre latenssiffror för en modell

• 2947 ms p50 — i lanseringsinläggets länkkort.

• 3220 ms p50, 9656 ms p95 — på modellsidan, aggregerat över de dagar som för närvarande finns i dess fönster.

• 500 ms p50, 2,36 s p95 — rapporterat i en redogörelse som tid till första token över sju dagar, från ett urval som den beskriver som litet, i storleksordningen 1,3K tokens trafik.

Dessa är tre olika kvantiteter uppmätta vid tre olika tidpunkter över tre olika volymer. Kortets siffra är en ögonblicksbild. Sidans siffra är ett rullande aggregat som ändras dagligen. Den tredje är time-to-first-token, vilket är fördröjningen innan den första token visas och inte tiden det tar att slutföra ett svar – ett mycket vänligare mått, och inte alls samma sak. Citera någon av de tre utan dess kvalificering och du har uppfunnit en fjärde.

Tre dagars data under en sjudagarsetikett

Båda sidorna etiketterar sitt latensblock window_days: 7, och båda anger samma källa: orcarouter-playground, vår egen mätrigg snarare än ett leverantörspåstående. Men Zero 1.5:s daily-arrayen innehåller tre poster — 10, 11 och 12 oktober — medan Zero 1.0:s innehåller sju. En sjudagarsetikett över ett tre dagar långt urval är inte en lögn; det är ett fönster som ännu inte har fyllts, och allt nedströms om det ärver den tunnare basen.

• p50 — 3220 ms nu, mot 3691 ms för Zero 1.0. Zero 1.0:s aggregerade siffra bygger på ungefär dubbelt så mycket trafik: 6,16 miljarder tokens under sju dagar mot 3,52 miljarder under tre.

• Utdatagenomströmning — 75,69 tokens per sekund mot 43,75. Den största enskilda förändringen i hela diffen, och den som troligen märks mest i en agentisk loop som gör dussintals anrop per utredning.

• Felfrekvens – 0,13 % mot 1,20 %, nästan en tiopotens bättre.

• Drifttid — inget värde finns. percent_24h visar 0 och blocket innehåller has_data: false, vilket innebär att procentsatsen aldrig beräknades snarare än att tjänsten var nere. Båda generationerna är desamma här, så inget kan utläsas av skillnaden.

Det som de dagliga arrayerna tillför är en riktning, och de två pekar åt motsatta håll:

• Zero 1.0, sju dagar — 3663, 4614, 3408, 3729, 3791, 2152, 1946 ms. De två bästa dagarna är de två senaste.

• Zero 1.5, tre dagar — 2965, 3289, 3416 ms. Den värsta dagen är den senaste, och dess p95 har redan nuddat 10000 ms-taket.

Tre punkter är inte en trend, och en lanseringsvecka är det sämsta möjliga urvalet att generalisera utifrån: trafiken är inte representativ, modellen prövas av alla som just har fått tillgång, och cacharna är kalla. Den ärliga tolkningen av panelen som den ser ut är att Zero 1.5 är snabbare än Zero 1.0 sammantaget och långsammare varje dag sedan den lanserades. Den andra halvan av den meningen vore orättvis att säga efter sju dagar och är otillräckligt underbyggd efter tre. Håll ögonen på siffran; agera inte på den.

100 % på Cybench är 100 % av vad

Fyra procentsatser, fyra olika bestämningar, och det är i bestämningarna som betydelsen ligger.

• Cybench — raden säger "obegränsad agentkörning", vilket beskriver hur utvärderingen konfigurerades, inte vad ett betalande konto har tillåtelse att göra. Benchmarken är uppbyggd kring professionella capture-the-flag-uppgifter, och en skriftlig genomgång tolkar 100 % som 39 av de 40 uppgifter den innehåller. Att slutföra en CTF-uppgift är också en annan bedrift än att hitta en sårbarhet som ingen har publicerat en lösning för.

• CVE-Bench — raden säger "utvärderingsbar delmängd", och lanseringsinlägget anger nämnaren: 23 av 24. Benchmarket bygger på en uppsättning webbaserade CVE:er med kritisk allvarlighetsgrad, så en delmängdspoäng förändras när de uteslutna uppgifterna förändras, och uteslutningskriterierna är inte publicerade.

• SWE-bench Pro V2 — 76,5 %, och specifikt inte jämförbart med andra SWE-bench-varianter. Den distinktionen försvinner i samma stund som siffran ställs bredvid ett vanligt SWE-bench-resultat, vilket är vad som vanligtvis händer med den.

• HumanEval+ — 93,9 %, och den enda raden utan något ovanligt förbehåll kopplat till sig.

De 98 procenten tillhör ramverket, inte modellen

Siffran som med största sannolikhet kommer att citeras tillsammans med Zero 1.5 är 98,07 %, och den är inte Zero 1.5:s. Det är Zero 1.0:s resultat för CyberGym Level 1, och Zero 1.0:s egen sida beskriver den modellen som "modellen på frontier-nivå i OrcaCyber Harness" — det vill säga att den rapporterade poängen är en egenskap hos harnessen: modellen plus dess minne, dess verifieringssteg och dess exekveringsmiljö, inte modellen i sig. Läs de två benchmarktabellerna som en enda utveckling och du kommer att dra slutsatsen att 98,07 blev 100. Det är två olika benchmarks som körs med två olika konfigurationer av två olika generationer.

Det finns en mindre avvikelse värd att flagga medan vi är inne på ämnet. En redogörelse anger CyberGym-körningen till 1 477 av 1 507 uppgifter och 98,01 %; vår sida anger den till 1 478 av 1 507 och 98,07 %. Båda bråktalen är internt konsistenta, och vi har inte stämt av den tredje decimalen här. Betrakta det som oavgjort i stället för att välja det som låter bättre.

Priset höll sig kvar, och det är det intressanta.

• $3.00 / $7.50 / $0.75 per 1 miljon tokens, oförändrade under hela versionen.

• **På OrcaRouter-prissättning förs leverantörens listpris vidare utan något påslag** — 0 % påslag. En ändring av leverantörens pris landar därför hos oss samma dag i stället för efter en omprissättningscykel, och en enda slutpunkt med en nyckel och en faktura är där utgifterna för flera modeller stäms av.

• Tokenpriset är lanseringens starkaste kommersiella argument, i kontrast till vad jämförbara gated säkerhetsmodeller rapporteras ta betalt — en storleksordning mer, i åtminstone ett fall, för en modell helt utan publicerat tokenpris.

• Enheten som avgör ett köp är inte token. En säkerhetsutredning gör dussintals modellanrop, läser om samma kodförråd, anropar externa verktyg och reviderar sina slutsatser innan ett fynd accepteras, så cachad indata till en fjärdedel av indatapriset spelar större roll här än i en chattarbetsbelastning. Det en köpare bör mäta är kostnaden per validerat fynd, vilket inte är en siffra som någon av modellsidorna publicerar.

Grinden ändrades inte heller

Åtkomst går fortfarande via nivån Security Research: nivå sec-uncensored, band offensive, locked: true. Den publicerade processen kräver engagemanget, en passkey och accepterade villkor, vilket är en spärr som är avsiktlig snarare än kapacitetsrelaterad — återskapande av sårbarheter och penetrationstestning är samma operationer oavsett om målet har samtyckt till dem.

En rad från lanseringsbevakningen är värd att upprepa, eftersom det är den del som överlever lanseringen: begränsningar på modellnivå och API-åtkomstkontroller ersätter inte auktorisering på applikationsnivå. En säkerhetsagent bör inte ärva behörighet att ändra system, läsa produktionsdata eller utföra känsliga operationer bara för att modellen under den kan resonera om dessa operationer. Nivån bestämmer vem som får hålla nyckeln. Den bestämmer inte vad nyckeln får röra.

Vad saknas fortfarande, inklusive från vår egen sida?

• Zero 1.5 har ingen tagline, ingen översikt och inga användningsfall. Alla tre fälten är ifyllda på Zero 1.0 — en fullständig tagline, en översikt som namnger ramverket och CyberGym-siffran, och fyra utarbetade användningsfall. Efterföljarens sida har en längre long_description (791 tecken mot 626) och det är hela texten, som inleds med den ordagranna rubriken "Leverantörsrapporterade utvärderingar:". I den mån sidan beskriver sig själv beskriver den sina egna siffror.

• Inget antal parametrar, ingen arkitektur, ingen sammansättning av träningsdata — sant för båda generationerna, och anledningen till att två procenttal från två benchmarks inte kan tillskrivas en modell kontra en scaffold.

• Ingen teknisk rapport för 1.5. Zero 1.0 hade en, och det var där dess harness-inramning förklarades.

• Ingen oberoende replikering av någon siffra på någon av sidorna.

• Noll omnämnanden. Hacker News sentimentblock visar mentions_7d: 0 och mentions_prev_7d: 0 för båda modellerna. För en säkerhetslansering i framkant är det i sig en signal, och den pekar på grinden snarare än på modellen: en modell som de flesta inte kan anropa blir inte diskuterad.

Vem ska flytta, och vem ska vänta

Om du redan har Security Research-åtkomst och kör Zero 1.0 finns det inget att omförhandla och ingen migrering att schemalägga: samma endpunkt, samma pris, samma förfrågningsstruktur, så bytet är ett enda modell-id. De uppmätta förbättringarna av genomströmning och felfrekvens är anledningen att prova det, och de kommer från vår egen mätrigg snarare än från en benchmarkkörning utförd av modellens eget team, vilket innebär att du kan kontrollera dem mot din egen trafik i stället för att ta dem på tro.

Om du inte innehar nivån ändrar den här utgåvan inte din position med en enda token — grinden, priset och kontextfönstret är alla precis där de var.

Det man bör vänta på är latenspanelen. Zero 1.5 är snabbare än sin föregångare sett till tre dagars data och långsammare under var och en av dessa tre dagar i följd, och det sjudagarsfönster som skulle avgöra vilket av dessa två faktum som är det verkliga har ännu inte stängt. Läs om sidan nästa vecka. Om det dagliga p50-värdet fortfarande stiger förbi 3416 ms, är det aggregerade talet på kortet det som var fel.