OrcaCyber Zero 1.5 vs OrcaCyber Zero 1.0: wat er is veranderd, wat niet, en wat de cijfers omvatten

Tussen de twee modelpagina's liggen drieëntwintig dagen, en het verschil is kleiner dan het lanceringsbericht doet vermoeden. OrcaCyber Zero 1.5 ging live op OrcaRouter op 10 oktober 2026 als de opvolger van OrcaCyber Zero 1.0, aangekondigd met bijgewerkte gewichten en een nieuwe reeks benchmarkresultaten. De gewichten zijn wellicht nieuw. De commerciële voorwaarden niet: invoerprijs, uitvoerprijs, cache-leesprijs, contextvenster, uitvoerplafond, mogelijkheidsvlaggen en toegangsniveau zijn identiek tussen de twee generaties, tot op de laatste decimaal. Wat is veranderd, is het bewijs — vier gepubliceerde benchmarkrijen waar er voorheen één was, en een latentiepaneel dat nu over drie dagen in plaats van zeven wordt gemeten. Beide generaties antwoorden op hetzelfde OpenAI-compatibele eindpunt, dus de vergelijking kost één model-id. De eigen cijfers van een model zeggen niets over wat een agent die erop is gebouwd doet zodra die draait — dat record wordt apart bijgehouden, in het AI-incidentenarchief.

De velden die niet zijn verplaatst

Begin hier, want een opvolgende release wekt de veronderstelling dat ze dat deden.

• Prijs — $3,00 per 1 miljoen invoertokens, $7,50 per 1 miljoen uitvoertokens, $0,75 per 1 miljoen gecachte invoer. Identiek op beide pagina's, en ongewijzigd sinds Zero 1.0 werd uitgebracht op 17 september.

• Contextvenster en uitvoerplafond — 1.000.000 tokens in, 128.000 tokens uit. Identiek, en beide cijfers zijn ongewijzigd ten opzichte van het eerdere model.

• Mogelijkheidsvlaggen — `tools`, `json`, `reasoning`. Identiek, in dezelfde volgorde.

• Toegang — niveau `sec-uncensored`, band `offensive`, `locked: true`. Identiek, en nog steeds de strengste poort van het platform.

Dat is het volledige commerciële oppervlak van de opvolger, en niets ervan is veranderd. Als waar je op wachtte een goedkopere token, een langere context of een gemakkelijkere manier om binnen te komen was, dan is niets daarvan gekomen.

De benchmarkrijen zijn waar de release daadwerkelijk leeft

De pagina van Zero 1.0 vermeldt precies één benchmarkrij: CyberGym Level 1 pass@1, 98,07%, geëvalueerd op 17 september. De pagina van Zero 1.5 vermeldt er vier, allemaal gedateerd op 10 oktober:

• Cybench — 100%, met de tussen haakjes geplaatste kwalificatie "ongelimiteerde agentuitvoering."

• CVE-Bench — 95,8%, en de naam van de benchmark zelf verraadt de beperking: "CVE-Bench (evalueerbare subset)."

• HumanEval+ — 93,9%.

• SWE-bench Pro V2 — 76,5%, het laagste van de vier en de enige score in de set voor software-engineering in plaats van beveiliging.

Elk van die vijf rijen in beide generaties — de vier hier en de CyberGym-regel op Zero 1.0 — is door ons geproduceerd, en elke rij zegt dat ook: de vier nieuwe bevatten bron: "orca", de oudere bron: "orcarouter". Er staat op geen van beide pagina's een rij van derden, en er is geen enkele rij waarvan de evaluatiedatum iets anders is dan de dag dat die generatie werd gelanceerd. Dat is van belang voordat een van de percentages elders wordt geciteerd, want een benchmarklijst zonder bronkolom leest alsof de cijfers ergens neutraal vandaan kwamen. Deze niet.

Wat het lanceringsbericht bevatte, en wat het wegliet

De aankondiging zelf is kort. De linkkaart ervan doet het verkoopwerk: "Drop-in OrcaCyber Zero 1.5 API voor elke OpenAI SDK — $3,00 / $7,50 per 1 miljoen tokens, p50 2947ms via OrcaRouter. Geen markup. Geen migratie. Eén API."

Die 2947 ms is niet het getal dat vandaag op de modelpagina staat. De pagina vermeldt een p50 van 3220 ms. Ze zijn allebei van ons, allebei eerlijk, en het verschil ertussen is de reden dat de volgende sectie bestaat: er zijn meer latentiecijfers voor dit model in omloop dan er metingen achter zitten.

Drie latentiecijfers voor één model

• 2947 ms p50 — in de linkkaart van het lanceringsbericht.

• 3220 ms p50, 9656 ms p95 — op de modelpagina, geaggregeerd over de dagen die momenteel in het venster ervan vallen.

• 500 ms p50, 2,36 s p95 — door één artikel gerapporteerd als time-to-first-token over zeven dagen, op basis van een steekproef die het zelf als klein omschrijft, in de orde van 1,3K tokens aan verkeer.

Dit zijn drie verschillende grootheden, gemeten op drie verschillende momenten over drie verschillende volumes. Het cijfer op de kaart is een momentopname. Het cijfer op de pagina is een rollend aggregaat dat dagelijks verandert. De derde is time-to-first-token, de vertraging voordat het eerste token verschijnt en niet de tijd die nodig is om een antwoord af te ronden — een veel vriendelijkere meting, en totaal niet hetzelfde. Citeer een van de drie zonder de bijbehorende kwalificatie en je hebt een vierde bedacht.

Drie dagen aan data onder een label van zeven dagen

Beide pagina's labelen hun latentieblok als window_days: 7, en beide noemen dezelfde bron: orcarouter-playground, onze eigen meetopstelling in plaats van een leveranciersclaim. Maar Zero 1.5 heeft een dagelijkse array die drie items bevat — 10, 11 en 12 oktober — terwijl die van Zero 1.0 er zeven bevat. Een label van zeven dagen over een steekproef van drie dagen is geen leugen; het is een venster dat nog niet gevuld is, en alles stroomafwaarts erft de dunnere basis.

• p50 — nu 3220 ms, tegenover 3691 ms voor Zero 1.0. Het totaal van Zero 1.0 berust op ongeveer tweemaal zoveel verkeer: 6,16 miljard tokens over zeven dagen tegenover 3,52 miljard over drie.

• Uitvoerthroughput — 75,69 tokens per seconde tegenover 43,75. De grootste afzonderlijke wijziging in de hele diff, en degene die het meest te merken zal zijn in een agentische lus die tientallen aanroepen per onderzoek doet.

• Foutpercentage — 0,13% tegen 1,20%, bijna een orde van grootte beter.

• Uptime — geen waarde beschikbaar. percent_24h geeft 0 aan en het blok bevat has_data: false, wat betekent dat het percentage nooit is berekend en niet dat de dienst was uitgevallen. Beide generaties zijn hier hetzelfde, dus er kan niets uit het verschil worden afgeleid.

Wat de dagelijkse arrays toevoegen, is een richting, en de twee wijzen in tegengestelde richtingen:

• Zero 1.0, zeven dagen — 3663, 4614, 3408, 3729, 3791, 2152, 1946 ms. De twee beste dagen zijn de twee meest recente.

• Zero 1.5, drie dagen — 2965, 3289, 3416 ms. De slechtste dag is de meest recente, en de p95 heeft de bovengrens van 10000 ms al aangetikt.

Drie punten is geen trend, en een lanceringsweek is de slechtst mogelijke steekproef om generalisaties op te baseren: het verkeer is niet representatief, het model wordt door iedereen die net toegang heeft gekregen op de proef gesteld, en caches zijn koud. De eerlijke lezing van het paneel zoals het er nu voorstaat, is dat Zero 1.5 over het geheel genomen sneller is dan Zero 1.0 en langzamer op elke dag sinds de lancering. De tweede helft van die zin zou na zeven dagen oneerlijk zijn om te zeggen en is na drie dagen onvoldoende onderbouwd. Houd het getal in de gaten; handel er niet naar.

100% op Cybench is 100% van wat?

Vier percentages, vier verschillende kwalificaties, en de kwalificaties zijn waar de betekenis zit.

• Cybench — de rij zegt "onbeperkte agentuitvoering", wat beschrijft hoe de evaluatie was geconfigureerd, niet wat een betalend account mag doen. De benchmark is gebouwd rond professionele capture-the-flag-taken, en in één artikel wordt de 100% gelezen als 39 van de 40 taken die deze bevat. Het voltooien van een CTF-taak is ook een andere prestatie dan het vinden van een kwetsbaarheid waarvoor niemand een oplossing heeft gepubliceerd.

• CVE-Bench — de rij zegt "evaluable subset", en de lanceringspost levert de noemer: 23 van 24. De benchmark is gebouwd op een set web-CVE's met kritieke ernst, dus een subsetscore verandert wanneer de uitgesloten taken veranderen, en de uitsluitingscriteria zijn niet gepubliceerd.

• SWE-bench Pro V2 — 76,5%, en uitdrukkelijk niet vergelijkbaar met andere SWE-bench-varianten. Dat onderscheid verdwijnt op het moment dat het getal naast een gewoon SWE-bench-resultaat wordt gezet, wat er doorgaans mee gebeurt.

• HumanEval+ — 93,9%, en de enige rij waaraan geen ongebruikelijke kwalificatie is verbonden.

De 98% hoort bij de harness, niet bij het model

Het cijfer dat het vaakst samen met Zero 1.5 wordt aangehaald, is 98,07%, en dat is niet van Zero 1.5. Het is het CyberGym Level 1-resultaat van Zero 1.0, en op de eigen pagina van Zero 1.0 wordt dat model beschreven als "het model op frontier-niveau in de OrcaCyber Harness" — wat wil zeggen dat de gerapporteerde score een eigenschap van de harness is: het model plus zijn geheugen, zijn verificatiefasen en zijn uitvoeringsomgeving, niet het model op zichzelf. Lees de twee benchmarktabellen als één progressie en je zult concluderen dat 98,07 100 werd. Dat zijn twee verschillende benchmarks, uitgevoerd door twee verschillende configuraties van twee verschillende generaties.

Er is een kleinere discrepantie die het vermelden waard is nu we het er toch over hebben. In het ene artikel wordt de CyberGym-run op 1.477 van de 1.507 taken en 98,01% gezet; onze pagina zet hem op 1.478 van de 1.507 en 98,07%. Beide breuken zijn intern consistent, en we hebben de derde decimaal hier niet op elkaar afgestemd. Behandel het als onopgelost in plaats van te kiezen wat beter leest.

De prijs bleef staan, en dat is het interessante

• $3.00 / $7.50 / $0.75 per 1 miljoen tokens, ongewijzigd gedurende de release.

• **Bij OrcaRouter-prijzen wordt de listprijs van de provider ongewijzigd doorgegeven** — 0% opslag. Een prijswijziging van de leverancier komt daardoor dezelfde dag nog bij ons terecht in plaats van pas na een prijsherzieningscyclus, en één endpoint met één sleutel en één factuur is de plek waar de uitgaven over meerdere modellen worden afgestemd.

• De tokenprijs is het sterkste commerciële argument van de lancering, tegenover wat vergelijkbaar afgeschermde beveiligingsmodellen naar verluidt in rekening brengen — in minstens één geval een orde van grootte meer, voor een model waarvan helemaal geen tokenprijs is gepubliceerd.

• De eenheid die een aankoop bepaalt, is niet het token. Een beveiligingsonderzoek doet tientallen modelaanroepen, leest dezelfde repository opnieuw, roept externe tools aan en herziet zijn conclusies voordat een bevinding wordt geaccepteerd, dus gecachte input tegen een kwart van het inputtarief weegt hier zwaarder dan in een chatworkload. Wat een koper zou moeten meten, is kosten per gevalideerde bevinding, een getal dat geen van beide modelpagina's publiceert.

De poort is ook niet veranderd.

Toegang loopt nog steeds via de Security Research-tier: tier sec-uncensored, band offensive, locked: true. Het gepubliceerde proces vraagt om de opdracht, een passkey en geaccepteerde voorwaarden, wat een bewuste drempel op basis van instemming is in plaats van capaciteit — het reproduceren van kwetsbaarheden en penetratietests zijn dezelfde handelingen, ongeacht of het doel ermee heeft ingestemd.

Eén zin uit de verslaggeving over de launch is het waard om te herhalen, want het is het deel dat de launch overleeft: beperkingen op modelniveau en API-toegangscontroles vervangen autorisatie op applicatieniveau niet. Een securityagent mag niet de bevoegdheid erven om systemen te wijzigen, productiegegevens te lezen of gevoelige bewerkingen uit te voeren, louter omdat het onderliggende model over die bewerkingen kan redeneren. De tier bepaalt wie de sleutel mag vasthouden. Hij bepaalt niet wat de sleutel mag aanraken.

Wat ontbreekt er nog, ook op onze eigen pagina?

• Zero 1.5 heeft geen tagline, geen overzicht en geen use cases. Alle drie de velden zijn ingevuld bij Zero 1.0 — een volledige tagline, een overzicht waarin de harness en het CyberGym-cijfer worden genoemd, en vier uitgewerkte use cases. De pagina van de opvolger bevat een langere long_description (791 tekens tegenover 626) en dat is de volledige tekst, die begint met de letterlijke kop "Vendor-reported evaluations:". Voor zover de pagina zichzelf beschrijft, beschrijft ze haar eigen cijfers.

• Geen parameteraantal, geen architectuur, geen samenstelling van de trainingsdata — geldt voor beide generaties, en de reden waarom twee percentages van twee benchmarks niet kunnen worden toegeschreven aan een model versus een scaffold.

• Geen technisch rapport voor 1.5. Zero 1.0 had er wel een, en daarin werd uitgelegd hoe de harness was opgezet.

• Geen onafhankelijke replicatie van enig cijfer op een van beide pagina's.

• Nul vermeldingen. Het sentimentblok van Hacker News luidt mentions_7d: 0 en mentions_prev_7d: 0 voor beide modellen. Voor een frontier-securityrelease is dat zelf een signaal, en het wijst op de poort in plaats van op het model: een model dat de meeste mensen niet kunnen aanroepen, wordt niet besproken.

Wie moet zich verplaatsen, en wie moet wachten

Als je al Security Research-toegang hebt en je draait Zero 1.0, valt er niets opnieuw te onderhandelen en is er geen migratie te plannen: dezelfde endpoint, dezelfde prijs, dezelfde requestvorm, dus de overstap is één model-id. De gemeten verbeteringen in doorvoer en foutpercentage zijn de reden om het te proberen, en ze komen uit onze eigen meetopstelling in plaats van uit een benchmark die door het team van het model zelf is uitgevoerd, wat betekent dat je ze kunt controleren aan de hand van je eigen verkeer in plaats van ze op goed vertrouwen aan te nemen.

Als je dit niveau niet bezit, verandert deze release je positie geen enkel token — de drempel, de prijs en het contextvenster zijn allemaal precies waar ze waren.

Waar we op moeten wachten is het latentiepaneel. Zero 1.5 is op drie dagen aan data sneller dan zijn voorganger en op elk van die drie dagen op rij langzamer, en het venster van zeven dagen dat zou bepalen welk van die twee feiten het echte is, is nog niet gesloten. Lees de pagina volgende week opnieuw. Als de dagelijkse p50 nog steeds boven 3416 ms uitstijgt, dan is het geaggregeerde getal op de kaart het getal dat fout was.