OrcaCyber Zero 1.5 vs. OrcaCyber Zero 1.0: Was sich geändert hat, was nicht, und was die Zahlen abdecken

Dreiundzwanzig Tage liegen zwischen den beiden Modellseiten, und der Diff ist kürzer, als der Launch-Post vermuten lässt. OrcaCyber Zero 1.5ging live auf OrcaRouter am 10. Oktober 2026 als Nachfolger von OrcaCyber Zero 1.0, angekündigt mit aktualisierten Gewichten und einem frischen Satz Benchmark-Ergebnisse. Die Gewichte mögen durchaus neu sein. Die kommerziellen Bedingungen sind es nicht: Eingabepreis, Ausgabepreis, Cache-Lesepreis, Kontextfenster, Ausgabeobergrenze, Capability-Flags und Zugriffsstufe sind zwischen den beiden Generationen identisch, bis auf die letzte Dezimalstelle. Was sich verändert hat, sind die Belege – vier veröffentlichte Benchmark-Zeilen, wo früher eine stand, und ein Latenz-Panel, das jetzt über drei statt sieben Tage gemessen wird. Beide Generationen antworten auf demselben OpenAI-kompatiblen Endpunkt, der Vergleich kostet also nur eine Modell-ID. Die eigenen Zahlen eines Modells sagen nichts darüber aus, was ein darauf aufgebauter Agent im Betrieb tut – diese Aufzeichnung wird separat geführt, im KI-Vorfallarchiv.

Die Felder, die sich nicht bewegt haben

Beginnen Sie hier, denn eine Nachfolgeversion verleitet zu der Annahme, dass sie es taten.

• Preis — 3,00 $ pro 1 Mio. Input-Tokens, 7,50 $ pro 1 Mio. Output-Tokens, 0,75 $ pro 1 Mio. gecachte Input-Tokens. Auf beiden Seiten identisch und unverändert seit dem Erscheinen von Zero 1.0 am 17. September.

• Kontextfenster und Ausgabegrenze — 1.000.000 Tokens Eingabe, 128.000 Tokens Ausgabe. Identisch, und beide Werte sind gegenüber dem früheren Modell unverändert.

• Fähigkeits-Flags — `tools`, `json`, `reasoning`. Identisch, in derselben Reihenfolge.

• Zugriff — Ebene `sec-uncensored`, Bereich `offensive`, `locked: true`. Identisch, und nach wie vor die strengste Hürde der Plattform.

Das ist die gesamte kommerzielle Oberfläche des Nachfolgers, und nichts davon hat sich bewegt. Wenn Sie auf ein günstigeres Token, einen längeren Kontext oder einen einfacheren Zugang gewartet haben, ist nichts davon eingetroffen.

Die Benchmark-Zeilen sind der Ort, an dem das Release tatsächlich lebt.

Die Seite von Zero 1.0 listet genau eine Benchmark-Zeile auf: CyberGym Level 1 pass@1, 98,07 %, bewertet am 17. September. Die Seite von Zero 1.5 listet vier auf, alle datiert auf den 10. Oktober:

• Cybench — 100 %, mit dem Klammerzusatz „uneingeschränkte Agentenausführung“

• CVE-Bench — 95,8 %, und der Benchmark-Name selbst trägt die Einschränkung bereits in sich: „CVE-Bench (auswertbare Teilmenge).“

• HumanEval+ — 93,9 %.

• SWE-bench Pro V2 — 76,5 %, der niedrigste der vier und der einzige Software-Engineering- statt Sicherheitswert in diesem Set.

Jede einzelne dieser fünf Zeilen über beide Generationen hinweg – die vier hier und die CyberGym-Zeile auf Zero 1.0 – wurde von uns erstellt, und jede Zeile gibt das auch an: Die vier neuen tragen Quelle: "orca", die ältere Quelle: "orcarouter". Auf keiner der beiden Seiten gibt es eine Zeile von Drittanbietern, und keine Zeile, deren Evaluierungsdatum etwas anderes wäre als der Tag, an dem die jeweilige Generation startete. Das ist wichtig, bevor irgendwelche dieser Prozentwerte anderswo zitiert werden, denn eine Benchmark-Liste ohne Quellenspalte liest sich so, als stammten die Zahlen von irgendeiner neutralen Stelle. Bei diesen war das nicht der Fall.

Was der Launch-Post enthielt und was er wegließ

Die Ankündigung selbst ist kurz. Ihre Link-Karte übernimmt den Verkauf: „Drop-in OrcaCyber Zero 1.5 API für jedes OpenAI SDK – 3,00 $ / 7,50 $ pro 1 Mio. Tokens, p50 2947 ms über OrcaRouter. Kein Aufschlag. Keine Migration. Eine API.“

Diese 2947 ms sind nicht die Zahl, die heute auf der Modellseite steht. Die Seite gibt einen p50 von 3220 ms an. Beide stammen von uns, beide sind ehrlich, und die Lücke zwischen ihnen ist der Grund, warum es den nächsten Abschnitt gibt: Für dieses Modell sind mehr Latenzwerte im Umlauf, als Messungen dahinterstehen.

Drei Latenzwerte für ein Modell

• 2947 ms p50 — in der Link-Karte des Launch-Beitrags.

• 3220 ms p50, 9656 ms p95 — auf der Modellseite, aggregiert über die aktuell in ihrem Fenster liegenden Tage.

• 500 ms p50, 2,36 s p95 — in einem Bericht als Time-to-First-Token über sieben Tage angegeben, aus einer Stichprobe, die er als klein beschreibt, in der Größenordnung von 1,3K Tokens an Traffic.

Dies sind drei verschiedene Größen, die zu drei verschiedenen Zeitpunkten über drei verschiedene Volumina gemessen werden. Der Wert auf der Karte ist eine Momentaufnahme. Der Wert auf der Seite ist ein rollierendes Aggregat, das sich täglich ändert. Die dritte ist die Zeit bis zum ersten Token – die Verzögerung, bevor das erste Token erscheint, und nicht die Zeit, die zum Abschluss einer Antwort benötigt wird – eine viel freundlichere Messgröße und überhaupt nicht dasselbe. Zitiert man eine der drei ohne ihren Qualifizierer, hat man eine vierte erfunden.

Drei Tage Daten unter einem Sieben-Tage-Label

Beide Seiten beschriften ihren Latenzblock mit window_days: 7, und beide nennen dieselbe Quelle: orcarouter-playground, unser eigener Messaufbau statt einer Herstellerangabe. Doch Zero 1.5 hat im daily-Array drei Einträge – 10., 11. und 12. Oktober –, während Zero 1.0 sieben hat. Ein Sieben-Tage-Label über einer Drei-Tage-Stichprobe ist keine Lüge; es ist ein Fenster, das sich noch nicht gefüllt hat, und alles, was darauf aufbaut, erbt die dünnere Basis.

• p50 — jetzt 3220 ms, gegenüber 3691 ms bei Zero 1.0.Der aggregierte Wert von Zero 1.0 beruht auf etwa doppelt so viel Verkehr: 6,16 Milliarden Tokens über sieben Tage gegenüber 3,52 Milliarden über drei.

• Ausgabedurchsatz — 75,69 Token pro Sekunde gegenüber 43,75. Die größte einzelne Änderung im gesamten Diff und diejenige, die in einer agentischen Schleife mit dutzenden Aufrufen pro Untersuchung am ehesten zu spüren sein dürfte.

• Fehlerrate – 0,13 % gegenüber 1,20 %, nahezu eine Größenordnung besser.

• Uptime — es liegt kein Wert vor. percent_24h steht auf 0 und der Block enthält has_data: false, was bedeutet, dass der Prozentsatz nie berechnet wurde und nicht, dass der Dienst ausgefallen war. Beide Generationen sind hier identisch, daher lässt sich aus dem Unterschied nichts ableiten.

Was die täglichen Arrays hinzufügen, ist eine Richtung, und die beiden zeigen in entgegengesetzte Richtungen:

• Zero 1.0, sieben Tage — 3663, 4614, 3408, 3729, 3791, 2152, 1946 ms. Die beiden besten Tage sind die beiden jüngsten.

• Zero 1.5, drei Tage — 2965, 3289, 3416 ms. Der schlechteste Tag ist der jüngste, und sein p95 hat bereits die Obergrenze von 10000 ms erreicht.

Drei Punkte sind kein Trend, und eine Launch-Woche ist die denkbar schlechteste Stichprobe, um daraus zu verallgemeinern: Der Traffic ist nicht repräsentativ, das Modell wird von allen beansprucht, die gerade Zugriff erhalten haben, und die Caches sind kalt. Die ehrliche Lesart des Panels in seinem aktuellen Zustand ist, dass Zero 1.5 in der Gesamtheit schneller als Zero 1.0 ist und an jedem Tag seit seinem Launch langsamer. Die zweite Hälfte dieses Satzes wäre nach sieben Tagen unfair zu sagen und ist nach drei Tagen nicht ausreichend gestützt. Behalte die Zahl im Auge; handle nicht danach.

100 % dabei? Warte, eigentliche Nutzernachricht: „100 % bei ...“?

Vier Prozentzahlen, vier unterschiedliche Qualifikatoren – und in den Qualifikatoren lebt die Bedeutung.

• Cybench — in der Zeile steht „uneingeschränkte Agentenausführung“, was beschreibt, wie die Evaluierung konfiguriert wurde, nicht, wozu ein kostenpflichtiges Konto berechtigt ist. Der Benchmark ist auf professionelle Capture-the-Flag-Aufgaben ausgerichtet, und ein Bericht deutet die 100 % als 39 der 40 darin enthaltenen Aufgaben. Das Abschließen einer CTF-Aufgabe ist außerdem eine andere Leistung als das Finden einer Schwachstelle, für die niemand eine Lösung veröffentlicht hat.

• CVE-Bench — in der Zeile steht „auswertbare Teilmenge", und der Launch-Post liefert den Nenner: 23 von 24. Der Benchmark basiert auf einer Reihe von Web-CVEs mit kritischem Schweregrad, daher verschiebt sich ein Teilmengen-Score, wenn sich die ausgeschlossenen Aufgaben verschieben, und die Ausschlusskriterien werden nicht veröffentlicht.

• SWE-bench Pro V2 — 76,5 %, und ausdrücklich nicht mit anderen SWE-bench-Varianten vergleichbar. Diese Unterscheidung verschwindet in dem Moment, in dem die Zahl neben ein einfaches SWE-bench-Ergebnis gestellt wird – was gewöhnlich mit ihr geschieht.

• HumanEval+ — 93,9 %, und die einzige Zeile, der kein ungewöhnlicher Zusatz angehängt ist.

Die 98 % entfallen auf den Harness, nicht auf das Modell.

Die Zahl, die am wahrscheinlichsten zusammen mit Zero 1.5 zitiert wird, ist 98,07 %, und sie gehört nicht zu Zero 1.5. Es ist das Ergebnis von Zero 1.0 in CyberGym Level 1, und auf der eigenen Seite von Zero 1.0 wird dieses Modell beschrieben als „das Frontier-Tier-Modell im OrcaCyber Harness" — das heißt, die gemeldete Punktzahl ist eine Eigenschaft des Harness: des Modells plus seines Gedächtnisses, seiner Verifizierungsstufen und seiner Ausführungsumgebung, nicht des Modells für sich allein. Liest man die beiden Benchmark-Tabellen als eine einzige Entwicklung, kommt man zu dem Schluss, dass aus 98,07 eine 100 wurde. Das sind zwei verschiedene Benchmarks, ausgeführt von zwei verschiedenen Konfigurationen zweier verschiedener Generationen.

Es gibt eine kleinere Unstimmigkeit, die es wert ist, erwähnt zu werden, da wir gerade davon sprechen. Eine Darstellung gibt den CyberGym-Durchlauf mit 1.477 von 1.507 Aufgaben und 98,01 % an; unsere Seite gibt ihn mit 1.478 von 1.507 und 98,07 % an. Beide Bruchzahlen sind in sich konsistent, und wir haben die dritte Dezimalstelle hier nicht abgeglichen. Betrachten Sie es als ungeklärt, anstatt die Variante zu wählen, die besser klingt.

Der Preis blieb stabil, und das ist der interessante Teil.

• $3.00 / $7.50 / $0.75 pro 1 Mio. Token, unverändert im gesamten Release.

• **Bei der Preisgestaltung von OrcaRouter wird der Listenpreis des Anbieters ohne Aufschlag weitergegeben** — 0 % Aufschlag. Eine Preisänderung eines Anbieters kommt daher noch am selben Tag bei uns an, statt erst nach einem Repricing-Zyklus, und ein einzelner Endpunkt mit einem Schlüssel und einer Rechnung ist die Stelle, an der die Ausgaben über mehrere Modelle hinweg abgeglichen werden.

• Der Token-Preis ist das stärkste kommerzielle Argument des Launches und steht im Gegensatz zu dem, was vergleichbar zugangsbeschränkte Sicherheitsmodelle Berichten zufolge verlangen – in mindestens einem Fall eine Größenordnung mehr für ein Modell, dessen Token-Preis überhaupt nicht veröffentlicht ist.

• Die Einheit, die über einen Kauf entscheidet, ist nicht das Token. Eine Sicherheitsuntersuchung führt Dutzende Modellaufrufe aus, liest dasselbe Repository erneut, ruft externe Tools auf und überarbeitet ihre Schlussfolgerungen, bevor ein Befund akzeptiert wird. Zwischengespeicherte Eingaben zu einem Viertel des Eingabetarifs sind hier daher wichtiger als bei einer Chat-Arbeitslast. Was ein Käufer messen sollte, sind die Kosten pro validiertem Befund – eine Zahl, die keine der beiden Modellseiten veröffentlicht.

Das Tor hat sich ebenfalls nicht geändert.

Der Zugriff läuft weiterhin über die Stufe „Security Research“: Stufe sec-uncensored, Band offensive, gesperrt: true. Der veröffentlichte Prozess verlangt die Beauftragung, einen Passkey und akzeptierte Bedingungen, was absichtlich eine Zugangshürde ist und nicht eine Frage der Fähigkeit – die Reproduktion von Schwachstellen und Penetrationstests sind dieselben Vorgänge, unabhängig davon, ob das Ziel ihnen zugestimmt hat.

Eine Aussage aus der Berichterstattung zur Markteinführung ist es wert, wiederholt zu werden, weil sie der Teil ist, der die Markteinführung überdauert: Beschränkungen auf Modellebene und API-Zugriffskontrollen ersetzen keine Autorisierung auf Anwendungsebene. Ein Sicherheitsagent sollte nicht allein deshalb die Berechtigung erben, Systeme zu verändern, Produktionsdaten zu lesen oder sensible Vorgänge auszuführen, weil das darunterliegende Modell über diese Vorgänge nachdenken kann. Die Stufe entscheidet, wer den Schlüssel halten darf. Sie entscheidet nicht, was der Schlüssel berühren darf.

Was fehlt noch, auch auf unserer eigenen Seite

• Zero 1.5 hat keinen Slogan, keine Übersicht und keine Anwendungsfälle. Alle drei Felder sind bei Zero 1.0 befüllt — ein vollständiger Slogan, eine Übersicht, die das Harness und die CyberGym-Zahl nennt, und vier ausgearbeitete Anwendungsfälle. Die Seite des Nachfolgers enthält eine längere long_description (791 Zeichen gegenüber 626) und das ist der gesamte Text, der mit der wörtlichen Überschrift "Vom Anbieter gemeldete Bewertungen:". Soweit die Seite sich selbst beschreibt, beschreibt sie ihre eigenen Zahlen.

• Keine Parameteranzahl, keine Architektur, keine Zusammensetzung der Trainingsdaten — das gilt für beide Generationen und ist der Grund, warum zwei Prozentwerte aus zwei Benchmarks nicht einem Modell statt einem Scaffold zugeschrieben werden können.

• Kein technischer Bericht für 1.5. Zero 1.0 hatte einen, in dem sein Harness-Framing erklärt wurde.

• Keine unabhängige Replikation einer der Zahlen auf einer der beiden Seiten.

• Null Erwähnungen. Der Stimmungsblock von Hacker News zeigt mentions_7d: 0 und mentions_prev_7d: 0 für beide Modelle. Für ein Frontier-Security-Release ist das selbst ein Signal, und es deutet auf das Gate statt auf das Modell hin: Ein Modell, das die meisten Menschen nicht aufrufen können, wird nicht diskutiert.

Wer sollte umziehen, und wer sollte warten

Wenn du bereits über Security Research-Zugang verfügst und Zero 1.0 ausführst, gibt es nichts neu zu verhandeln und keine Migration zu planen: gleicher Endpunkt, gleicher Preis, gleiche Anfrageform, der Wechsel ist also nur eine Modell-ID. Die gemessenen Verbesserungen bei Durchsatz und Fehlerrate sind der Grund, es auszuprobieren, und sie stammen aus unserem eigenen Messaufbau und nicht aus einem Benchmark-Lauf, den das Team des Modells selbst durchgeführt hat. Das bedeutet, du kannst sie anhand deines eigenen Datenverkehrs überprüfen, statt ihnen einfach zu vertrauen.

Wenn Sie nicht über die Stufe verfügen, ändert dieses Release Ihre Position nicht um ein einziges Token — die Zugangshürde, der Preis und das Kontextfenster sind alle genau dort, wo sie waren.

Das Entscheidende, worauf man warten muss, ist das Latenz-Panel. Zero 1.5 ist auf Basis von drei Tagen Daten schneller als sein Vorgänger und an jedem einzelnen dieser drei Tage in Folge langsamer, und das Sieben-Tage-Fenster, das klären würde, welche dieser beiden Tatsachen der Realität entspricht, hat sich noch nicht geschlossen. Lies die Seite nächste Woche erneut. Wenn der tägliche p50 weiterhin über 3416 ms hinaus klettert, dann ist der aggregierte Wert auf der Karte derjenige, der falsch war.