OrcaCyber Zero 1.5 frente a OrcaCyber Zero 1.0: qué cambió, qué no, y qué cubren los números

Veintitrés días separan las dos páginas de modelo, y el diff es más corto de lo que sugiere la publicación de lanzamiento. OrcaCyber Zero 1.5 se lanzó en OrcaRouter el 10 de octubre de 2026 como sucesor de OrcaCyber Zero 1.0, anunciado con pesos actualizados y un nuevo conjunto de resultados de benchmark. Puede que los pesos sean nuevos. Los términos comerciales no lo son: el precio de entrada, el precio de salida, el precio de lectura de caché, la ventana de contexto, el límite de salida, los indicadores de capacidades y el nivel de acceso son idénticos entre las dos generaciones, hasta el último decimal. Lo que cambió es la evidencia: cuatro filas de benchmark publicadas donde antes había una, y un panel de latencia ahora medido durante tres días en lugar de siete. Ambas generaciones responden en el mismo endpoint compatible con OpenAI, así que la comparación cuesta un solo id de modelo. Los números de un modelo por sí solos no dicen nada sobre lo que hace un agente construido sobre él una vez que está en funcionamiento; ese registro se mantiene por separado, en el archivo de incidentes de IA.

Los campos que no se movieron

Empieza aquí, porque el lanzamiento de un sucesor invita a suponer que sí lo hicieron.

• Precio — $3.00 por 1M de tokens de entrada, $7.50 por 1M de salida, $0.75 por 1M de entrada en caché. Idéntico en ambas páginas, y sin cambios desde que se lanzó Zero 1.0 el 17 de septiembre.

• Ventana de contexto y límite de salida: 1.000.000 de tokens de entrada, 128.000 tokens de salida. Idéntico, y ambas cifras no han cambiado respecto al modelo anterior.

• Indicadores de capacidad — `tools`, `json`, `reasoning`. Idénticos, en el mismo orden.

• Acceso — nivel `sec-uncensored`, banda `offensive`, `locked: true`. Idéntico, y sigue siendo el control más estricto de la plataforma.

Esa es toda la superficie comercial del sucesor, y nada de eso se movió. Si lo que esperabas era un token más barato, un contexto más largo o una forma más fácil de entrar, nada de eso llegó.

Las filas de benchmark son donde realmente reside la versión.

La página de Zero 1.0 enumera exactamente una fila de benchmark: CyberGym Level 1 pass@1, 98,07 %, evaluada el 17 de septiembre. La página de Zero 1.5 enumera cuatro, todas fechadas el 10 de octubre:

• Cybench — 100%, con el calificador entre paréntesis «ejecución de agente sin restricciones».

• CVE-Bench — 95.8%, y el propio nombre del benchmark ya conlleva esa restricción: «CVE-Bench (subconjunto evaluable)».

• HumanEval+ — 93,9 %.

• SWE-bench Pro V2 — 76.5%, el más bajo de los cuatro y la única puntuación de ingeniería de software, y no de seguridad, del conjunto.

Cada una de esas cinco filas en ambas generaciones —las cuatro de aquí y la línea CyberGym en Zero 1.0— fue producida por nosotros, y cada fila lo indica: las cuatro nuevas llevan fuente: "orca", la más antigua fuente: "orcarouter". No hay ninguna fila de terceros en ninguna de las dos páginas, ni ninguna fila cuya fecha de evaluación sea distinta del día en que se lanzó esa generación. Eso importa antes de que cualquiera de los porcentajes se cite en otro lugar, porque una lista de benchmarks sin columna de fuente se lee como si los números hubieran llegado de algún lugar neutral. Estos no.

Lo que incluía la publicación de lanzamiento, y lo que dejó fuera

El anuncio en sí es breve. Su tarjeta de enlace se encarga de vender: "API OrcaCyber Zero 1.5 lista para usar con cualquier SDK de OpenAI — $3.00 / $7.50 por 1 millón de tokens, p50 2947 ms vía OrcaRouter. Cero sobreprecio. Cero migración. Una API."

Ese 2947 ms no es el número que figura en la página del modelo hoy. La página informa un p50 de 3220 ms. Ambos son nuestros, ambos son honestos, y la diferencia entre ellos es la razón por la que existe la siguiente sección: hay más cifras de latencia en circulación para este modelo que mediciones detrás de ellas.

Tres cifras de latencia para un modelo

• 2947 ms p50 — en la tarjeta de enlace de la publicación de lanzamiento.

• p50 de 3220 ms, p95 de 9656 ms — en la página del modelo, agregado durante los días que actualmente están en su ventana.

• 500 ms p50, 2,36 s p95 — reportado por un artículo como tiempo hasta el primer token durante siete días, a partir de una muestra que describe como pequeña, del orden de 1,3 K tokens de tráfico.

Son tres cantidades distintas medidas en tres momentos distintos sobre tres volúmenes distintos. La cifra de la tarjeta es una instantánea. La cifra de la página es un agregado móvil que cambia a diario. La tercera es el tiempo hasta el primer token, que es el retraso antes de que aparezca el primer token y no el tiempo que se tarda en terminar una respuesta: una medida mucho más amable, y no es lo mismo en absoluto. Cita cualquiera de las tres sin su calificador y te habrás inventado una cuarta.

Tres días de datos bajo una etiqueta de siete días

Ambas páginas etiquetan su bloque de latencia window_days: 7, y ambas nombran la misma fuente: orcarouter-playground, nuestro propio equipo de medición en lugar de una afirmación de un proveedor. Pero el arreglo daily de Zero 1.5 contiene tres entradas —10, 11 y 12 de octubre—, mientras que el de Zero 1.0 contiene siete. Una etiqueta de siete días sobre una muestra de tres días no es una mentira; es una ventana que aún no se ha llenado, y todo lo que depende de ella hereda la base más delgada.

• p50 — 3220 ms ahora, frente a 3691 ms de Zero 1.0. El agregado de Zero 1.0 se basa en aproximadamente el doble de tráfico: 6,16 mil millones de tokens en siete días frente a 3,52 mil millones en tres días.

• Rendimiento de salida: 75,69 tokens por segundo frente a 43,75. El mayor cambio individual de todo el diff, y el que con más probabilidad se percibirá en un bucle agéntico que realiza docenas de llamadas por investigación.

• Tasa de error — 0.13% frente a 1.20%, cerca de un orden de magnitud mejor.

• Tiempo de actividad — no existe ninguna cifra. percent_24h muestra 0 y el bloque incluye has_data: false, lo que significa que el porcentaje nunca se calculó, y no que el servicio estuviera caído. Aquí ambas generaciones son iguales, así que no puede extraerse ninguna conclusión de la diferencia.

Lo que los arrays diarios añaden es una dirección, y los dos apuntan en sentidos opuestos:

• Zero 1.0, siete días — 3663, 4614, 3408, 3729, 3791, 2152, 1946 ms. Los dos mejores días son los dos más recientes.

• Zero 1.5, tres días — 2965, 3289, 3416 ms. El peor día es el más reciente, y su p95 ya ha tocado el techo de 10000 ms.

Tres puntos no son una tendencia, y una semana de lanzamiento es la peor muestra posible de la que generalizar: el tráfico no es representativo, el modelo está siendo ejercitado por todos a quienes se les acaba de dar acceso, y las cachés están frías. La lectura honesta del panel tal como está es que Zero 1.5 es más rápido que Zero 1.0 en el agregado y más lento en cada día desde su lanzamiento. La segunda mitad de esa frase sería injusto decirla tras siete días y está poco respaldada tras tres. Vigila el número; no actúes en función de él.

100% en Cybench es el 100% de qué

Cuatro porcentajes, cuatro calificadores distintos, y en los calificadores es donde reside el significado.

• Cybench — la fila dice "ejecución de agente sin restricciones", lo cual describe cómo se configuró la evaluación, no lo que se le permite hacer a una cuenta de pago. El benchmark se construye en torno a tareas profesionales de captura de la bandera, y uno de los análisis interpreta ese 100 % como 39 de las 40 tareas que contiene. Además, completar una tarea de CTF es un logro distinto de encontrar una vulnerabilidad para la que nadie haya publicado una solución.

• CVE-Bench — la fila dice "subconjunto evaluable", y la publicación de lanzamiento aporta el denominador: 23 de 24. El benchmark se construye sobre un conjunto de CVE web de severidad crítica, por lo que la puntuación de un subconjunto cambia cuando cambian las tareas excluidas, y los criterios de exclusión no se publican.

• SWE-bench Pro V2 — 76,5 %, y concretamente no es comparable con otras variantes de SWE-bench. Esa distinción desaparece en el momento en que la cifra se coloca junto a un resultado de SWE-bench a secas, que es lo que suele ocurrirle.

• HumanEval+ — 93.9%, y la única fila sin ningún calificador inusual adjunto.

El 98% pertenece al arnés, no al modelo

La cifra que con más probabilidad se citará junto a Zero 1.5 es 98,07 %, y no es la de Zero 1.5. Es el resultado de Zero 1.0 en CyberGym Level 1, y la propia página de Zero 1.0 describe ese modelo como "el modelo de nivel frontera en el OrcaCyber Harness" —es decir, la puntuación reportada es una propiedad del harness: el modelo junto con su memoria, sus etapas de verificación y su entorno de ejecución, no el modelo por sí solo. Lee las dos tablas de benchmarks como una sola progresión y concluirás que 98,07 se convirtió en 100. Son dos benchmarks distintos ejecutados por dos configuraciones distintas de dos generaciones distintas.

Hay una discrepancia menor que vale la pena señalar ya que estamos en el tema. Un informe sitúa la ejecución de CyberGym en 1.477 de 1.507 tareas y 98,01 %; nuestra página la sitúa en 1.478 de 1.507 y 98,07 %. Ambas fracciones son coherentes internamente, y no hemos conciliado aquí el tercer decimal. Trátala como no resuelta en lugar de elegir la que mejor se lea.

El precio se mantuvo, y esa es la parte interesante.

• $3.00 / $7.50 / $0.75 por 1M de tokens, sin cambios en toda la versión.

• **En los precios de OrcaRouter, el precio de lista del proveedor se traslada sin añadir nada** — 0% de recargo. Por lo tanto, un cambio de precio del proveedor llega a nuestro lado el mismo día en lugar de tras un ciclo de reajuste de precios, y un único endpoint con una sola clave y una sola factura es donde se concilia el gasto entre varios modelos.

• El precio del token es el argumento comercial más sólido del lanzamiento, frente a lo que se informa que cobran modelos de seguridad con restricciones de acceso comparables —un orden de magnitud más, en al menos un caso, por un modelo cuyo precio de token no se ha publicado en absoluto.

• La unidad que decide una compra no es el token. Una investigación de seguridad realiza docenas de llamadas a modelos, vuelve a leer el mismo repositorio, llama a herramientas externas y revisa sus conclusiones antes de que se acepte un hallazgo, por lo que la entrada en caché a una cuarta parte de la tarifa de entrada importa más aquí que en una carga de trabajo de chat. Lo que un comprador debería medir es el costo por hallazgo validado, que no es una cifra que publique ninguna de las páginas de los modelos.

La puerta tampoco cambió

El acceso sigue pasando por el nivel Security Research: nivel sec-uncensored, banda offensive, locked: true. El proceso publicado solicita el encargo, una clave de acceso y la aceptación de los términos, lo cual es una barrera deliberada y no una limitación de capacidad — la reproducción de vulnerabilidades y las pruebas de penetración son las mismas operaciones tanto si el objetivo ha dado su consentimiento como si no.

Una línea de la cobertura del lanzamiento merece repetirse porque es la parte que sobrevive al lanzamiento: las restricciones a nivel de modelo y los controles de acceso a la API no sustituyen a la autorización a nivel de aplicación. Un agente de seguridad no debería heredar permiso para modificar sistemas, leer datos de producción o ejecutar operaciones sensibles solo porque el modelo que tiene debajo pueda razonar sobre esas operaciones. El nivel decide quién puede sostener la llave. No decide qué puede tocar la llave.

¿Qué es lo que todavía falta, incluso en nuestra propia página?

• Zero 1.5 no tiene eslogan, ni descripción general ni casos de uso. Los tres campos sí están completos en Zero 1.0: un eslogan completo, una descripción general que menciona el harness y la cifra de CyberGym, y cuatro casos de uso desarrollados. La página de su sucesor incluye una long_description más extensa (791 caracteres frente a 626) y ese es todo el texto, que empieza con el encabezado literal "Evaluaciones reportadas por el proveedor:". En la medida en que la página se describe a sí misma, describe sus propias cifras.

• Sin recuento de parámetros, sin arquitectura, sin composición de datos de entrenamiento — cierto en ambas generaciones, y la razón por la que dos porcentajes de dos benchmarks no pueden atribuirse a un modelo frente a un andamiaje.

• Sin informe técnico para la 1.5. Zero 1.0 sí tenía uno, y es ahí donde se explicó el encuadre de su harness.

• No hay replicación independiente de ninguna cifra en ninguna de las dos páginas.

• Cero menciones. El bloque de sentimiento de Hacker News dice mentions_7d: 0 y mentions_prev_7d: 0 para ambos modelos. Para un lanzamiento de seguridad de frontera, eso es en sí mismo una señal, y apunta a la barrera de acceso más que al modelo: un modelo que la mayoría de la gente no puede invocar no genera discusión.

Quién debería moverse, y quién debería esperar

Si ya tienes acceso a Security Research y estás ejecutando Zero 1.0, no hay nada que renegociar ni ninguna migración que programar: mismo endpoint, mismo precio, misma forma de solicitud, así que el cambio es un solo id de modelo. Las mejoras medidas en rendimiento y tasa de errores son la razón para probarlo, y provienen de nuestra propia plataforma de medición, no de una prueba comparativa ejecutada por el propio equipo del modelo, lo que significa que puedes verificarlas con tu propio tráfico en lugar de aceptarlas por fe.

Si no posees el nivel, este lanzamiento no cambia tu posición ni un solo token — la puerta, el precio y la ventana de contexto están exactamente donde estaban.

Lo que hay que esperar es el panel de latencia. Zero 1.5 es más rápido que su predecesor en tres días de datos y más lento en cada uno de esos tres días seguidos, y la ventana de siete días que resolvería cuál de esos dos hechos es el real aún no se ha cerrado. Vuelve a leer la página la próxima semana. Si el p50 diario sigue subiendo por encima de 3416 ms, el número agregado de la tarjeta es el que estaba equivocado.