OrcaCyber Zero 1.5 vs OrcaCyber Zero 1.0 : ce qui a changé, ce qui n'a pas changé, et ce que couvrent les chiffres

Vingt-trois jours séparent les deux pages de modèle, et le diff est plus court que ne le laisse entendre l’article de lancement. OrcaCyber Zero 1.5 a été mis en ligne sur OrcaRouter le 10 octobre 2026 comme successeur de OrcaCyber Zero 1.0, annoncé avec des poids mis à jour et un nouvel ensemble de résultats de benchmark. Les poids sont peut-être bien nouveaux. Les conditions commerciales ne le sont pas : prix d’entrée, prix de sortie, prix de lecture du cache, fenêtre de contexte, plafond de sortie, indicateurs de capacités et niveau d’accès sont identiques entre les deux générations, jusqu’à la dernière décimale. Ce qui a changé, ce sont les preuves — quatre lignes de benchmark publiées là où il n’y en avait qu’une, et un panneau de latence désormais mesuré sur trois jours au lieu de sept. Les deux générations répondent sur le même point de terminaison compatible OpenAI, donc la comparaison coûte un identifiant de modèle. Les chiffres d’un modèle ne disent rien de ce que fait un agent construit sur lui une fois en cours d’exécution — ce registre est tenu séparément, dans l’archive des incidents d’IA.

Les champs qui n'ont pas bougé

Commencez ici, car une version ultérieure invite à supposer qu’ils l’ont fait.

• Prix — 3,00 $ par million de tokens d'entrée, 7,50 $ par million de tokens de sortie, 0,75 $ par million de tokens d'entrée mis en cache. Identique sur les deux pages, et inchangé depuis la sortie de Zero 1.0 le 17 septembre.

• Fenêtre de contexte et plafond de sortie — 1 000 000 de tokens en entrée, 128 000 tokens en sortie. Identiques, et les deux chiffres sont inchangés par rapport au modèle précédent.

• Indicateurs de capacités — `tools`, `json`, `reasoning`. Identiques, dans le même ordre.

• Accès — niveau `sec-uncensored`, bande `offensive`, `locked: true`. Identique, et toujours la barrière la plus stricte de la plateforme.

C’est là toute la surface commerciale du successeur, et rien de tout cela n’a bougé. Si ce que vous attendiez, c’était un token moins cher, un contexte plus long ou un accès plus facile, rien de tout cela n’est arrivé.

C’est dans les lignes de benchmark que réside réellement la version.

La page de Zero 1.0 ne répertorie exactement qu’une seule ligne de benchmark : CyberGym Level 1 pass@1, 98,07 %, évalué le 17 septembre. Celle de Zero 1.5 en répertorie quatre, toutes datées du 10 octobre :

• Cybench — 100 %, avec le qualificatif entre parenthèses "exécution d'agent sans restriction."

• CVE-Bench — 95,8 %, et le nom du benchmark lui-même porte la restriction : « CVE-Bench (sous-ensemble évaluable). »

• HumanEval+ — 93,9 %.

• SWE-bench Pro V2 — 76,5 %, le plus bas des quatre et le seul score d'ingénierie logicielle plutôt que de sécurité de l'ensemble.

Chacune de ces cinq lignes sur les deux générations — les quatre d'ici et la ligne CyberGym sur Zero 1.0 — a été produite par nous, et chaque ligne l'indique : les quatre nouvelles portent source: "orca", la plus ancienne source: "orcarouter". Il n'y a aucune ligne tierce sur l'une ou l'autre page, et aucune ligne dont la date d'évaluation ne soit autre que le jour où cette génération a été lancée. C'est important avant que ces pourcentages ne soient cités ailleurs, car une liste de benchmark sans colonne source donne l'impression que les chiffres proviennent d'un endroit neutre. Ce n'est pas le cas.

Ce que le post de lancement contenait, et ce qu'il a laissé de côté

L'annonce en elle-même est courte. C'est sa carte de lien qui fait la vente : « API OrcaCyber Zero 1.5 prête à l'emploi pour n'importe quel SDK OpenAI — 3,00 $ / 7,50 $ par million de tokens, p50 2947 ms via OrcaRouter. Zéro majoration. Zéro migration. Une seule API. »

Ce 2947 ms n'est pas le chiffre affiché sur la page du modèle aujourd'hui. La page indique un p50 de 3220 ms. Les deux sont les nôtres, les deux sont honnêtes, et l'écart entre eux est la raison pour laquelle la section suivante existe : il circule plus de chiffres de latence pour ce modèle qu'il n'y a de mesures pour les étayer.

Trois chiffres de latence pour un modèle

• 2947 ms p50 — dans la carte de lien de l'article de lancement.

• 3220 ms p50, 9656 ms p95 — sur la page du modèle, agrégées sur les jours actuellement dans sa fenêtre.

• 500 ms p50, 2,36 s p95 — rapporté par un article comme le temps jusqu’au premier token sur sept jours, à partir d’un échantillon qu’il qualifie de petit, de l’ordre de 1,3 k tokens de trafic.

Ce sont trois quantités différentes mesurées à trois moments différents sur trois volumes différents. Le chiffre de la carte est un instantané. Le chiffre de la page est un agrégat glissant qui change chaque jour. Le troisième est le temps jusqu'au premier token, c'est-à-dire le délai avant l'apparition du premier token et non le temps nécessaire pour terminer une réponse — une mesure bien plus favorable, et pas du tout la même chose. Citez l'un des trois sans son qualificatif et vous avez inventé un quatrième.

Trois jours de données sous une étiquette de sept jours

Les deux pages étiquettent leur bloc de latence window_days: 7, et toutes deux indiquent la même source : orcarouter-playground, notre propre banc de mesure plutôt qu'une affirmation d'un fournisseur. Mais le tableau daily de Zero 1.5 contient trois entrées — 10, 11 et 12 octobre — tandis que celui de Zero 1.0 en contient sept. Une étiquette de sept jours sur un échantillon de trois jours n'est pas un mensonge ; c'est une fenêtre qui ne s'est pas encore remplie, et tout ce qui en découle hérite de cette base plus mince.

• p50 — 3220 ms désormais, contre 3691 ms pour Zero 1.0.L'agrégat de Zero 1.0 repose sur environ deux fois plus de trafic : 6,16 milliards de tokens sur sept jours, contre 3,52 milliards sur trois.

• Débit de sortie — 75,69 jetons par seconde contre 43,75. Le changement isolé le plus important de tout le diff, et celui qui sera le plus susceptible de se faire sentir dans une boucle agentique effectuant des dizaines d'appels par investigation.

• Taux d'erreur — 0,13 % contre 1,20 %, soit près d'un ordre de grandeur de mieux.

• Disponibilité — aucune valeur n'existe. percent_24h indique 0 et le bloc contient has_data: false, ce qui signifie que le pourcentage n'a jamais été calculé, et non que le service était indisponible. Les deux générations sont identiques ici, donc rien ne peut être déduit de la différence.

Ce que les tableaux quotidiens ajoutent, c’est une direction, et les deux pointent en sens opposés :

• Zero 1.0, sept jours — 3663, 4614, 3408, 3729, 3791, 2152, 1946 ms. Les deux meilleurs jours sont les deux plus récents.

• Zero 1.5, trois jours — 2965, 3289, 3416 ms. Le pire jour est le plus récent, et son p95 a déjà touché le plafond de 10000 ms.

Trois points ne font pas une tendance, et une semaine de lancement est le pire échantillon possible pour généraliser : le trafic n'est pas représentatif, le modèle est sollicité par tous ceux qui viennent d'en obtenir l'accès, et les caches sont froids. La lecture honnête du panel tel qu'il se présente est que Zero 1.5 est plus rapide que Zero 1.0 en agrégé et plus lent chaque jour depuis son lancement. La seconde moitié de cette phrase serait injuste à énoncer au bout de sept jours et n'est pas suffisamment étayée au bout de trois. Surveillez le chiffre ; n'agissez pas en conséquence.

100 % sur Cybench, c’est 100 % de quoi ?

Quatre pourcentages, quatre qualificatifs différents, et c’est dans les qualificatifs que réside le sens.

• Cybench — la ligne indique « exécution d'agent sans restriction », ce qui décrit la façon dont l'évaluation a été configurée, et non ce qu'un compte payant est autorisé à faire. Le benchmark est construit autour de tâches professionnelles de capture du drapeau, et une analyse interprète le 100 % comme 39 des 40 tâches qu'il contient. Réussir une tâche de CTF est aussi une réussite différente du fait de trouver une vulnérabilité pour laquelle personne n'a publié de solution.

• CVE-Bench — la ligne indique « sous-ensemble évaluable », et le billet de lancement fournit le dénominateur : 23 sur 24. Le benchmark repose sur un ensemble de CVE web de gravité critique, de sorte que le score d'un sous-ensemble évolue lorsque les tâches exclues changent, et les critères d'exclusion ne sont pas publiés.

• SWE-bench Pro V2 — 76,5 %, et précisément non comparable aux autres variantes de SWE-bench. Cette distinction disparaît dès que ce chiffre est placé à côté d'un résultat SWE-bench ordinaire, ce qui lui arrive généralement.

• HumanEval+ — 93,9 %, et la seule ligne sans qualificatif inhabituel attaché.

Les 98 % appartiennent au harnais, pas au modèle

Le chiffre le plus susceptible d'être cité aux côtés de Zero 1.5 est 98,07 %, et ce n'est pas celui de Zero 1.5. C'est le résultat de Zero 1.0 à CyberGym Level 1, et la propre page de Zero 1.0 décrit ce modèle comme « le modèle de niveau frontière dans l'OrcaCyber Harness » — autrement dit, le score rapporté est une propriété du harness : le modèle plus sa mémoire, ses étapes de vérification et son environnement d'exécution, et non le modèle à lui seul. Lisez les deux tableaux de référence comme une seule progression et vous conclurez que 98,07 est devenu 100. Ce sont deux benchmarks différents exécutés par deux configurations différentes de deux générations différentes.

Il y a une divergence plus mineure qui mérite d’être signalée tant que nous sommes sur le sujet. Un compte rendu situe l’exécution de CyberGym à 1 477 sur 1 507 tâches et 98,01 % ; notre page la situe à 1 478 sur 1 507 et 98,07 %. Les deux fractions sont cohérentes en interne, et nous n’avons pas concilié la troisième décimale ici. Considérez-la comme non tranchée plutôt que de choisir celle qui se lit le mieux.

Le prix s'est maintenu, et c'est là ce qui est intéressant.

• 3,00 $ / 7,50 $ / 0,75 $ par million de jetons, inchangé pour l'ensemble de la version.

• **Sur la tarification OrcaRouter, le prix catalogue du fournisseur est répercuté sans aucun ajout** — 0 % de marge. Une modification tarifaire d'un fournisseur arrive donc de notre côté le jour même plutôt qu'après un cycle de re-tarification, et un point de terminaison unique avec une seule clé et une seule facture est l'endroit où les dépenses réparties sur plusieurs modèles sont rapprochées.

• Le prix du jeton est l'argument commercial le plus fort du lancement, face à ce que des modèles de sécurité à accès comparable sont réputés facturer — un ordre de grandeur de plus, dans au moins un cas, pour un modèle dont le prix du jeton n'est pas publié du tout.

• L'unité qui décide d'un achat n'est pas le token. Une investigation de sécurité effectue des dizaines d'appels au modèle, relit le même dépôt, appelle des outils externes et révise ses conclusions avant qu'un constat ne soit accepté ; une entrée mise en cache à un quart du tarif d'entrée compte donc davantage ici que dans une charge de travail conversationnelle. Ce qu'un acheteur devrait mesurer, c'est le coût par constat validé, un chiffre qui n'apparaît sur la page d'aucun des deux modèles.

La porte n'a pas changé non plus.

L'accès passe toujours par le niveau Security Research : niveau sec-uncensored, bande offensive, locked: true. Le processus publié exige l'engagement, une clé d'accès et l'acceptation des conditions, ce qui constitue un verrou par intention plutôt que par capacité — la reproduction de vulnérabilités et les tests d'intrusion sont les mêmes opérations, que la cible y ait consenti ou non.

Une phrase de la couverture du lancement mérite d’être répétée, car c’est la partie qui survit au lancement : les restrictions au niveau du modèle et les contrôles d’accès aux API ne remplacent pas l’autorisation au niveau de l’application. Un agent de sécurité ne devrait pas hériter de la permission de modifier des systèmes, de lire des données de production ou d’exécuter des opérations sensibles simplement parce que le modèle qui le sous-tend peut raisonner sur ces opérations. Le palier décide qui peut détenir la clé. Il ne décide pas ce que la clé peut toucher.

Qu’est-ce qui manque encore, y compris sur notre propre page ?

• Zero 1.5 n'a ni slogan, ni présentation générale, ni cas d'usage. Ces trois champs sont tous renseignés pour Zero 1.0 — un slogan complet, une présentation qui nomme le harness et le chiffre CyberGym, et quatre cas d'usage développés. La page du successeur contient une long_description plus longue (791 caractères contre 626) et c'est là tout le texte, qui s'ouvre sur l'en-tête littéral « Évaluations rapportées par le fournisseur : ». Dans la mesure où la page se décrit elle-même, elle décrit ses propres chiffres.

• Aucun décompte de paramètres, aucune architecture, aucune composition des données d'entraînement — vrai pour les deux générations, et la raison pour laquelle deux pourcentages issus de deux benchmarks ne peuvent être attribués à un modèle plutôt qu'à un échafaudage.

• Aucun rapport technique pour 1.5. Zero 1.0 en avait un, et c’est là que le cadrage de son harnais a été expliqué.

• Aucune réplication indépendante de quelque chiffre que ce soit sur l'une ou l'autre page.

• Zéro mention. Le bloc de sentiment de Hacker News indique mentions_7d: 0 et mentions_prev_7d: 0 pour les deux modèles. Pour une version de sécurité de pointe, c'est en soi un signal, et cela pointe vers la porte d'accès plutôt que vers le modèle : un modèle que la plupart des gens ne peuvent pas appeler ne fait pas l'objet de discussions.

Qui doit bouger, et qui doit attendre

Si vous disposez déjà d'un accès Security Research et que vous exécutez Zero 1.0, il n'y a rien à renégocier et aucune migration à planifier : même point de terminaison, même prix, même forme de requête, donc le basculement se résume à un identifiant de modèle. Les améliorations mesurées de débit et de taux d'erreur sont la raison de l'essayer, et elles proviennent de notre propre banc de mesure plutôt que d'un benchmark exécuté par l'équipe du modèle lui-même, ce qui signifie que vous pouvez les vérifier par rapport à votre propre trafic au lieu de les accepter sur parole.

Si vous ne détenez pas le palier, cette version ne change pas votre position d'un seul token — la barrière, le prix et la fenêtre de contexte sont tous exactement là où ils étaient.

Ce qu’il faut attendre, c’est le panneau de latence. Zero 1.5 est plus rapide que son prédécesseur sur trois jours de données, et plus lent sur chacun de ces trois jours consécutifs, et la fenêtre de sept jours qui permettrait de déterminer lequel de ces deux faits est le véritable ne s’est pas encore refermée. Relisez la page la semaine prochaine. Si le p50 quotidien continue de grimper au-delà de 3416 ms, c’est le chiffre agrégé sur la carte qui était faux.