OrcaCyber Zero 1.5 vs OrcaCyber Zero 1.0: o que mudou, o que não mudou e o que os números cobrem

Vinte e três dias separam as duas páginas de modelo, e a diferença é menor do que a publicação de lançamento sugere. OrcaCyber Zero 1.5 entrou em operação no OrcaRouter em 10 de outubro de 2026 como sucessor de OrcaCyber Zero 1.0, anunciado com pesos atualizados e um novo conjunto de resultados de benchmark. Os pesos podem muito bem ser novos. Os termos comerciais não são: preço de entrada, preço de saída, preço de leitura de cache, janela de contexto, teto de saída, sinalizadores de capacidade e nível de acesso são idênticos entre as duas gerações, até a última casa decimal. O que mudou foram as evidências — quatro linhas de benchmark publicadas onde antes havia uma, e um painel de latência agora medido ao longo de três dias em vez de sete. Ambas as gerações respondem no mesmo endpoint compatível com OpenAI, então a comparação custa um id de modelo. Os próprios números de um modelo não dizem nada sobre o que um agente construído sobre ele faz depois de estar em execução — esse registro é mantido separadamente, no arquivo de incidentes de IA.

Os campos que não se moveram

Comece por aqui, porque um lançamento sucessor convida à suposição de que o fizeram.

• Preço — $3,00 por 1M de tokens de entrada, $7,50 por 1M de saída, $0,75 por 1M de entrada em cache. Idêntico em ambas as páginas, e inalterado desde que o Zero 1.0 foi lançado em 17 de setembro.

• Janela de contexto e limite de saída — 1.000.000 de tokens de entrada, 128.000 tokens de saída. Idênticos, e ambos os números permanecem inalterados em relação ao modelo anterior.

• Flags de capacidade — `tools`, `json`, `reasoning`. Idênticas, na mesma ordem.

• Acesso — nível `sec-uncensored`, faixa `offensive`, `locked: true`. Idêntico, e ainda o controle de acesso mais rigoroso da plataforma.

Toda a superfície comercial do sucessor é essa, e nada nela mudou. Se o que você estava esperando era um token mais barato, um contexto mais longo ou uma forma mais fácil de entrar, nada disso chegou.

As linhas de benchmark são onde o release realmente está

A página do Zero 1.0 lista exatamente uma linha de benchmark: CyberGym Level 1 pass@1, 98,07%, avaliado em 17 de setembro. A página do Zero 1.5 lista quatro, todas datadas de 10 de outubro:

• Cybench — 100%, com o qualificador entre parênteses "execução irrestrita de agente."

• CVE-Bench — 95,8%, e o próprio nome do benchmark já carrega o recorte: "CVE-Bench (subconjunto avaliável)."

• HumanEval+ — 93,9%.

• SWE-bench Pro V2 — 76.5%, a mais baixa das quatro e a única pontuação de engenharia de software, e não de segurança, do conjunto.

Cada uma dessas cinco linhas, em ambas as gerações — as quatro aqui e a linha CyberGym no Zero 1.0 — foi produzida por nós, e cada linha di-lo: as quatro novas trazem source: "orca", a mais antiga source: "orcarouter". Não existe nenhuma linha de terceiros em nenhuma das páginas, nem qualquer linha cuja data de avaliação seja outra coisa que não o dia em que essa geração foi lançada. Isso importa antes de qualquer uma das percentagens ser citada noutro lugar, porque uma lista de benchmarks sem coluna de origem dá a entender que os números vieram de uma fonte neutra. Não vieram.

O que o post de lançamento trouxe, e o que ele deixou de fora

O anúncio em si é curto. O cartão de link dele é que vende: "API drop-in OrcaCyber Zero 1.5 para qualquer SDK da OpenAI — US$ 3,00 / US$ 7,50 por 1M de tokens, p50 2947ms via OrcaRouter. Zero markup. Zero migração. Uma API."

Esse valor de 2947 ms não é o número na página do modelo hoje. A página reporta um p50 de 3220 ms. Ambos são nossos, ambos são honestos, e a diferença entre eles é o motivo pelo qual a próxima seção existe: há mais números de latência em circulação para este modelo do que medições por trás deles.

Três números de latência para um modelo

• 2947 ms p50 — no cartão de link da publicação de lançamento.

• 3220 ms p50, 9656 ms p95 — na página do modelo, agregado relativamente aos dias que estão atualmente na sua janela.

• 500 ms p50, 2,36 s p95 — relatado por um artigo como tempo até o primeiro token ao longo de sete dias, a partir de uma amostra que ele descreve como pequena, na ordem de 1,3 mil tokens de tráfego.

Estas são três quantidades diferentes medidas em três momentos diferentes ao longo de três volumes diferentes. O valor do cartão é um instantâneo. O valor da página é um agregado móvel que muda diariamente. O terceiro é time-to-first-token, que é o atraso antes de o primeiro token aparecer, e não o tempo necessário para concluir uma resposta — uma medição muito mais amigável, e não a mesma coisa de modo algum. Cite qualquer um dos três sem o seu qualificador e terá inventado um quarto.

Três dias de dados sob um rótulo de sete dias

Ambas as páginas rotulam seu bloco de latência como window_days: 7, e ambas citam a mesma fonte: orcarouter-playground, nosso próprio equipamento de medição em vez de uma alegação de fornecedor. Mas o array daily do Zero 1.5 contém três entradas — 10, 11 e 12 de outubro — enquanto o do Zero 1.0 contém sete. Um rótulo de sete dias sobre uma amostra de três dias não é mentira; é uma janela que ainda não foi preenchida, e tudo a jusante dela herda a base mais fina.

• p50 — 3220 ms agora, contra 3691 ms do Zero 1.0. O agregado do Zero 1.0 assenta em cerca do dobro do tráfego: 6,16 mil milhões de tokens ao longo de sete dias, contra 3,52 mil milhões ao longo de três.

• Taxa de transferência de saída — 75,69 tokens por segundo contra 43,75. A maior mudança isolada em todo o diff, e a que tem mais probabilidade de ser sentida num loop agêntico que faz dezenas de chamadas por investigação.

• Taxa de erro — 0,13% contra 1,20%, quase uma ordem de magnitude melhor.

• Tempo de atividade — não existe valor. percent_24h indica 0 e o bloco contém has_data: false, o que significa que a porcentagem nunca foi calculada, e não que o serviço estava fora do ar. Ambas as gerações são iguais aqui, então nada pode ser inferido da diferença.

O que os arrays diários acrescentam é uma direção, e os dois apontam em sentidos opostos:

• Zero 1.0, sete dias — 3663, 4614, 3408, 3729, 3791, 2152, 1946 ms. Os dois melhores dias são os dois mais recentes.

• Zero 1.5, três dias — 2965, 3289, 3416 ms. O pior dia é o mais recente, e seu p95 já tocou o teto de 10000 ms.

Três pontos não são uma tendência, e uma semana de lançamento é a pior amostra possível para generalizar: o tráfego não é representativo, o modelo está a ser exercitado por todos os que acabaram de receber acesso e as caches estão frias. A leitura honesta do painel tal como está é que o Zero 1.5 é mais rápido do que o Zero 1.0 no agregado e mais lento em cada dia desde o lançamento. A segunda metade dessa frase seria injusta de dizer ao fim de sete dias e está pouco sustentada ao fim de três. Observa o número; não ajas com base nele.

100% no Cybench é 100% de quê?

Quatro percentagens, quatro qualificadores diferentes, e é nos qualificadores que reside o significado.

• Cybench — a linha diz "execução irrestrita do agente", o que descreve como a avaliação foi configurada, e não o que uma conta paga tem permissão de fazer. O benchmark é construído em torno de tarefas profissionais de capture-the-flag, e uma análise interpreta os 100% como 39 das 40 tarefas que ele contém. Concluir uma tarefa de CTF também é uma conquista diferente de encontrar uma vulnerabilidade para a qual ninguém publicou uma solução.

• CVE-Bench — a linha diz "subconjunto avaliável", e o post de lançamento fornece o denominador: 23 de 24. O benchmark é construído sobre um conjunto de CVEs web de severidade crítica, então a pontuação de um subconjunto muda quando as tarefas excluídas mudam, e os critérios de exclusão não são publicados.

• SWE-bench Pro V2 — 76,5%, e especificamente não comparável com outras variantes do SWE-bench. Essa distinção desaparece no momento em que o número é colocado ao lado de um resultado comum do SWE-bench, que é o que costuma acontecer com ele.

• HumanEval+ — 93,9%, e a única linha sem nenhum qualificador incomum associado.

Os 98% pertencem ao harness, não ao modelo

O número mais provavelmente citado junto com o Zero 1.5 é 98,07%, e não é do Zero 1.5. É o resultado do CyberGym Nível 1 do Zero 1.0, e a própria página do Zero 1.0 descreve esse modelo como "o modelo de nível de fronteira no OrcaCyber Harness" — o que equivale a dizer que a pontuação relatada é uma propriedade do harness: o modelo mais sua memória, suas etapas de verificação e seu ambiente de execução, não o modelo por si só. Leia as duas tabelas de benchmark como uma única progressão e você concluirá que 98,07 se tornou 100. Esses são dois benchmarks diferentes, executados por duas configurações diferentes de duas gerações diferentes.

Há uma discrepância menor que vale a pena destacar enquanto estamos no assunto. Um texto coloca a execução do CyberGym em 1.477 de 1.507 tarefas e 98,01%; nossa página a coloca em 1.478 de 1.507 e 98,07%. Ambas as frações são internamente consistentes, e ainda não reconciliamos a terceira casa decimal aqui. Trate como não resolvido, em vez de escolher a que parece melhor.

O preço se manteve, e essa é a parte interessante

• $3.00 / $7.50 / $0.75 por 1M de tokens, sem alterações ao longo do lançamento.

• **Sobre preços do OrcaRouter, o preço de tabela do provedor é repassado sem nenhum acréscimo** — 0% de markup. Uma mudança de preço do fornecedor, portanto, chega ao nosso lado no mesmo dia, e não depois de um ciclo de reprecificação, e um único endpoint com uma chave e uma fatura é onde os gastos com vários modelos são conciliados.

• O preço do token é o argumento comercial mais forte do lançamento, contrapondo-se ao que se relata que modelos de segurança com restrições comparáveis cobram — uma ordem de magnitude a mais, em pelo menos um caso, por um modelo sem qualquer preço de token publicado.

• A unidade que decide uma compra não é o token. Uma investigação de segurança executa dezenas de chamadas de modelo, relê o mesmo repositório, chama ferramentas externas e revisa suas conclusões antes que um achado seja aceito, então entrada em cache a um quarto da tarifa de entrada importa mais aqui do que em uma carga de trabalho de chat. O que um comprador deve medir é o custo por achado validado, que não é um número que nenhuma das páginas dos modelos publica.

O portão também não mudou.

O acesso ainda passa pela camada de Pesquisa de Segurança: camada sec-uncensored, faixa offensive, locked: true. O processo publicado exige o engajamento, uma passkey e a aceitação dos termos, o que é uma barreira intencional, e não de capacidade — a reprodução de vulnerabilidades e os testes de penetração são as mesmas operações, quer o alvo tenha concordado com elas ou não.

Uma linha da cobertura do lançamento merece ser repetida, porque é a parte que sobrevive ao lançamento: restrições ao nível do modelo e controles de acesso à API não substituem a autorização ao nível da aplicação. Um agente de segurança não deve herdar permissão para modificar sistemas, ler dados de produção ou executar operações sensíveis apenas porque o modelo subjacente consegue raciocinar sobre essas operações. O nível decide quem pode deter a chave. Não decide o que a chave pode tocar.

O que ainda está faltando, inclusive da nossa própria página

• O Zero 1.5 não tem slogan, nem visão geral, nem casos de uso. Todos os três campos estão preenchidos no Zero 1.0 — um slogan completo, uma visão geral que nomeia o harness e o número do CyberGym, e quatro casos de uso práticos. A página do sucessor traz uma long_description mais longa (791 caracteres contra 626), e esse é todo o texto, que começa com o cabeçalho literal "Avaliações relatadas pelo fornecedor:". Na medida em que a página descreve a si mesma, ela descreve seus próprios números.

• Nenhuma contagem de parâmetros, nenhuma arquitetura, nenhuma composição de dados de treino — verdadeiro para ambas as gerações, e a razão pela qual duas percentagens provenientes de dois benchmarks não podem ser atribuídas a um modelo em vez de a um scaffold.

• Não há relatório técnico para o 1.5. O Zero 1.0 tinha um, que é onde o enquadramento do seu harness foi explicado.

• Nenhuma replicação independente de qualquer número em qualquer das páginas.

• Zero menções. O bloco de sentimento do Hacker News indica mentions_7d: 0 e mentions_prev_7d: 0 para ambos os modelos. Para um lançamento de segurança de fronteira que já é, por si só, um sinal, e aponta para a barreira de acesso, e não para o modelo: um modelo que a maioria das pessoas não consegue chamar não é discutido.

Quem deve se mover e quem deve esperar

Se você já tem acesso ao Security Research e está executando o Zero 1.0, não há nada a renegociar nem migração a agendar: mesmo endpoint, mesmo preço, mesmo formato de requisição, então a troca é um único ID de modelo. As melhorias medidas de throughput e taxa de erro são o motivo para experimentá-lo, e elas vêm do nosso próprio aparato de medição, e não de um benchmark executado pela própria equipe do modelo, o que significa que você pode verificá-las com seu próprio tráfego em vez de aceitá-las pela fé.

Se você não possui o tier, este lançamento não muda sua posição em um único token — o gate, o preço e a janela de contexto estão todos exatamente onde estavam.

O que se deve esperar é o painel de latência. O Zero 1.5 é mais rápido do que o seu antecessor considerando três dias de dados e mais lento em cada um desses três dias, em sequência, e a janela de sete dias que resolveria qual desses dois fatos é o verdadeiro ainda não se fechou. Leia a página de novo na próxima semana. Se o p50 diário ainda estiver subindo além de 3416 ms, o número agregado no cartão é o que estava errado.