OrcaCyber Nano 1.0: Primeiro de 21 em um conselho sem juiz

OrcaCyber Nano 1.0 — a versão 27B Mix-13G, 13,0 GB em disco — está no topo de um ranking de 21 modelos para GPUs de 16 GB com uma pontuação de 89,8 de 100, a 60 tokens por segundo em uma única Tesla V100. O ranking é administrado por um repositório GitHub de terceiros, não por nós. Ele avalia cada resposta com código, em vez de com um juiz LLM. E a segunda coisa que vale a pena dizer é a que um fornecedor normalmente deixa de fora: OrcaCyber Nano 1.0 não é o modelo mais rápido desse ranking. MiniCPM-V 4.7 roda a 93,4 tokens por segundo ali. O Nano vence na média de sete categorias, não em velocidade, e os dois concorrentes mais próximos — Qwen3.8-27B em duas quantizações comunitárias diferentes — estão 1,2 e 1,4 pontos atrás dele.

O que segue é uma leitura dessa avaliação conforme o repositório a publica em 2026-10-19, além dos metadados publicados do próprio modelo, de 2026-10-19. Quando um número vem do anúncio do próprio OrcaRouter, e não do painel de terceiros, isso é indicado na frase. Nada abaixo foi reexecutado por nós.

O conselho, e quem o dirige

O V100-LLM é um repositório que empacota uma GUI, um conjunto de motores de inferência e uma suíte de pontuação para executar modelos locais em uma placa NVIDIA Tesla V100 de 16 GB no Windows. Escolher um modelo, um preset e um motor, baixar o que estiver faltando, conversar com imagens e acompanhar em tempo real os tokens por segundo — tudo isso acontece nessa GUI. A suíte de pontuação é a parte que produziu o ranking, e o repositório publica todo o arranjo de testes junto das pontuações, o que é incomum o suficiente para valer o parágrafo.

A primeira suíte do board era fácil demais. O repositório diz isso claramente: a maioria dos modelos obteve entre 90 e 100 na versão um, o que significava que ele não conseguia distingui-los, e esses resultados mais antigos ainda estão no repositório para quem quiser ver a falha. A versão dois — a suíte difícil — foi projetada para que nenhum modelo da classe de 16 GB acerte tudo. Ela contém 72 tarefas em sete categorias:

• Programação, 16 tarefas — um analisador de expressões sem eval, correspondência de regex, Dijkstra com desempate, um cache LRU com TTL, ordenação topológica, distância de edição, números romanos, sudoku, mochila, matriz espiral, um minificador de JSON. Avaliado por testes unitários ocultos de casos extremos executados contra o código gerado em um sandbox com um tempo limite.

• Raciocínio, 20 tarefas — matemática de várias etapas, lógica, datas, combinatória e problemas com enunciado. A resposta exata deve aparecer na última linha.

• Instruções, 12 tarefas — três a cinco regras ao mesmo tempo: contagem de palavras, letras proibidas, formatos exatos, ordenação, estrutura JSON. Cada regra de uma tarefa precisa ser cumprida, não apenas a maioria delas.

• Pesquisa na web, 8 tarefas — perguntas de múltiplas etapas em que você pesquisa, lê o resultado, pesquisa novamente com o que encontrou e, às vezes, calcula com uma ferramenta de calculadora. A pontuação considera a resposta correta e o número mínimo de pesquisas distintas. A "web" é um índice offline fixo de 13 páginas.

• Agente, 6 tarefas — um pequeno projeto simulado com ferramentas de arquivo e run_tests: corrigir um bug, adicionar uma função, renomear em vários arquivos, corrigir uma configuração, gerar um relatório CSV. Avaliado pelo estado final dos arquivos e pelos testes do próprio projeto.

• Visão, 8 tarefas — imagens geradas: somar uma coluna de tabela, consultar uma linha, ler um gráfico de barras, contar pontos, ler texto pequeno, relações espaciais, um relógio analógico, um recibo.

• Contexto longo, 2 tarefas — um texto de cerca de 14.000 tokens com três fatos ocultos bem distantes entre si, um deles um código de cofre dividido em três partes. Resposta exata.

Quanto vale o “sem juiz”

A maioria dos leaderboards desse tamanho é pontuada por um modelo de linguagem que lê a resposta e decide se ela é boa. Isso é barato e torna o placar impossível de reproduzir: o juiz é um modelo, o modelo tem uma versão, e a mesma resposta pode receber uma pontuação diferente numa terça-feira do que recebeu numa segunda-feira. O conjunto difícil remove o juiz e estabelece cinco regras que tornam a pontuação repetível.

• Tudo é verificado por código. A mesma resposta sempre recebe a mesma pontuação.

• Determinístico e offline. Temperatura zero, raciocínio desativado, sem acesso à internet — a web da categoria de pesquisa na web é o índice fixo de 13 páginas.

• O mesmo preset que um usuário recebe. Cada modelo é executado com o preset que a GUI recomenda, então a velocidade e a pontuação são as que uma pessoa vê após instalar, e não uma configuração ajustada para vencer.

• Toda tarefa é comprovadamente solucionável. O repositório contém uma solução de referência correta para cada tarefa de programação e de agente, e dois scripts de autoteste verificam se essas soluções passam nos avaliadores. As respostas calculadas — datas, somas, códigos — são verificadas no arquivo da tarefa.

• A resposta é a última linha. Um modelo pode pensar em voz alta; o avaliador lê a linha final. As chamadas de ferramenta são aceitas no formato OpenAI e nos tool_callformatos de texto

A aritmética da pontuação é igualmente pouco convencional. Cada categoria é a percentagem de tarefas aprovadas. A pontuação global é a média das sete categorias, com todas as categorias com o mesmo peso. A velocidade é a taxa média de geração nas respostas de 64 tokens ou mais durante a execução. Cada execução é guardada como um ficheiro JSON por modelo, registando a resposta de cada tarefa e se foi aprovada, pelo que uma discordância sobre uma pontuação pode ser verificada no registo.

Onde o OrcaCyber Nano 1.0 realmente chega

As sete pontuações por categoria, de 100: programação 88, raciocínio 95, instruções 58, busca na web 100, agente 100, visão 88, contexto longo 100. Média: 89,8.

O 58 é o número interessante, e é justamente o que uma página de marketing eliminaria ao arredondar. Instruções é a categoria em que um modelo precisa sustentar de três a cinco restrições simultâneas — uma contagem de palavras, uma letra proibida e um formato exato de saída — e o Nano perde cinco de doze tarefas nessa categoria. Todo o resto está em 88 ou acima. Duas categorias são perfeitas.

O concorrente mais próximo é Qwen3.8-27B na quantização Aggressive IQ3_XS de HauhauCS, com 88,6 no geral e 42,2 tokens por segundo; o terceiro é a versão UD-IQ3_S da Unsloth do mesmo modelo, com 88,4 e 52,1 tokens por segundo. Ambos atingem de 94 a 100 em codificação e raciocínio, ambos caem para 50 em instruções — portanto, a fraqueza no seguimento de instruções é uma propriedade da classe 27B neste nível de compressão, não um defeito exclusivo do Nano. O que separa o primeiro do terceiro são 1,4 ponto distribuído de forma tênue: algumas tarefas em uma categoria, não um nível diferente de modelo.

Sessenta tokens por segundo, e por que o modelo mais rápido está em outro lugar

A velocidade de destaque é de 60 tokens por segundo em um contexto de 32k, e o repositório é cuidadoso quanto ao que esse número representa. É a velocidade do preset fast-32k ajustado do modelo, com previsão de múltiplos tokens em profundidade 3, medida como 66,6 tokens por segundo em código e 54,0 em chat, para uma média de 60,3. A média simples sobre todas as respostas de avaliação é 56,9. Ambos os números aparecem na nota de rodapé da tabela, e não apenas o número mais lisonjeiro.

A velocidade cai conforme o contexto cresce, e o repositório publica a escala: 57 tokens por segundo em 96k, 32 em 160k, e 24 em 262k depois que 20.000 tokens tiverem sido preenchidos. O processamento de prompts curtos é de 501 tokens por segundo. Até 19.600 tokens, todas as predefinições passam.

O modelo mais rápido do ranking é outro. MiniCPM-V 4.7 na build 35B-A3B Q3 mix roda a 93,4 tokens por segundo com contexto de 128k, e chega lá ao mover o codificador de visão para a CPU, de modo que todos os seus especialistas permaneçam na placa. Ele ocupa o quarto lugar geral, com 87,5. A própria apresentação do repositório é uma concessão, não uma vitória arrasadora: o Nano é descrito ali como o 27B denso mais rápido da tabela, o que é uma alegação mais restrita do que "o modelo mais rápido", e verdadeira.

O ambiente de medição é declarado uma vez e se aplica à tabela inteira: uma Tesla V100-SXM2-16GB, um Xeon E5-2660 v4, 64 GB de DDR4. Os motores em teste são PXA, llama.cpp com um patch específico para V100, um fork da Prism ML e Strata, cada um sob a licença MIT; as DLLs de CUDA seguem o EULA da NVIDIA. Os pesos dos modelos não são incluídos — cada um é baixado da própria página do autor no Hugging Face.

O que o modelo é, segundo seus próprios metadados

O repositório do Hugging Face orcarouter/OrcaCyber-Nano-1.0 informa uma janela de contexto de 262.144 tokens, um pipeline imagem-texto-para-texto (aceita imagens e também texto), a biblioteca GGUF e os idiomas inglês e chinês. O acesso é restrito: é necessário entrar para baixar. O campo de licença traz other com o nome de licença qwen. Em 2026-10-19, o repositório exibia 18.606 downloads e 151 curtidas, e seu campo de modelo base nomeia OrcaCyber-Nano-1.0-AI-Defense com a relação quantized — os arquivos de pesos abertos são quantizações de um modelo pai ajustado para defesa, que é a forma honesta de ler esse campo.

Há quatro arquivos, e seus tamanhos explicam a maior parte das decisões de implantação na próxima seção:

• Mix-13G — 12.993.304.352 bytes, a build de 13,0 GB que pontuou 89,8.

• Mix-15.7G — 15.695.148.832 bytes, a compilação maior, ainda dentro do limite de um cartão de 16 GB.

• DFlash2 Q8_0 — 2,056,414,112 bytes, o modelo draft para decodificação especulativa.

• mmproj F16 — 927,606,848 bytes, o projetor de visão, que é o que torna possíveis as oito tarefas de visão.

Adicione o motor e uma instalação funcional ocupa cerca de 14 GB no disco: 13,0 GB de pesos, aproximadamente 0,9 GB de projetor e o runtime.

Treze gigabytes cabem no cartão. Duzentos e sessenta e dois mil tokens, não.

Essas são duas afirmações diferentes, e a cobertura da imprensa tende a misturá-las. O arquivo de pesos de 13,0 GB cabe dentro de 16 GB de VRAM, e é por isso que o modelo roda em uma V100 com espaço para o cache KV de um contexto de 32k. O contexto máximo de 262.144 tokens não cabe na placa; ele precisa do cache KV na memória do sistema, e os requisitos do repositório listam 64 GB de RAM do sistema para a predefinição de 262k, contra 32 GB para uso comum. Se você for até esse limite, a velocidade é de 24 tokens por segundo da escala acima.

O restante dos requisitos de hardware é modesto e específico. Qualquer placa NVIDIA de 16 GB da Volta em diante executará a stack; o driver deve ser da série R576 ou mais recente; uma V100 deixada no modo TCC funciona sem problemas. Não há WSL, Docker, CUDA Toolkit, Visual Studio nem Python para instalar, porque a pasta traz seus próprios engines e seu próprio Python portátil. São necessários cerca de 20 GB de disco livre por modelo.

Os números do fornecedor, rotulados

A OrcaRouter anunciou OrcaCyber Nano 1.0 em 2026-10-18 como um lançamento emergencial, de pesos abertos, e o colocou em uma série de três modelos ao lado de OrcaCyber Zero 1.5 e OrcaCyber Ultra 1.0. Na mesma semana, a empresa abriu acesso prioritário gratuito aos seus modelos OrcaCyber para equipes que estavam respondendo ativamente a uma intrusão. A postagem do dia seguinte começou com o resultado do leaderboard e descreveu o Nano como, segundo as próprias avaliações iniciais do fornecedor, o modelo local mais capaz de sua classe abaixo de 16 GB.

Essa última frase é uma alegação do fornecedor e não foi reproduzida de forma independente. O mesmo vale para o benchmark que o anúncio repetiu: 78,4% no SWE-bench Verified, colocados ao lado dos 79,0% relatados pela DeepSeek para DeepSeek V4 Flash. Ambos os números são relatados por seus respectivos fornecedores; nem o 78,4 nem o 79,0 foram executados por esta publicação, e a comparação é interessante principalmente porque um modelo de 27B está sendo colocado a 0,6 ponto de um modelo hospedado muito maior no próprio harness de um fornecedor. Leia como um anúncio, não como um resultado.

O próprio model card merece uma observação pelo que não contém. Suas tags mencionam cibersegurança, engenharia reversa, chamada de funções e visão, mas o card não traz números de benchmark específicos de cibersegurança — nenhuma pontuação de resposta a incidentes, nenhuma taxa de detecção de vulnerabilidades, nenhum resultado de CTF. Esses dados ficam, em vez disso, nas páginas da Zero. E o número do CyberGym que circula em nossa linha de cibersegurança pertence a uma configuração combinada — Zero 1.0 mais DeepSeek V4 Flash mais roteamento adaptativo —, não à execução solo de qualquer modelo individual. Se você está escolhendo este modelo para trabalho de defesa, o estado honesto das evidências é: uma suíte geral avaliada por código o colocou em primeiro entre 21 em uma placa de 16 GB, e as evidências específicas de cibersegurança estão em outro lugar e pertencem a outros modelos.

Onde ele fica ao lado dos modelos cibernéticos hospedados

OrcaCyber Nano 1.0 é um lançamento de pesos para hardware local. Você baixa 13 GB, executa você mesmo, e a pontuação acima é o que ele faz na sua placa. Não é um endpoint no nosso catálogo hoje, e nada neste artigo deve ser lido como dizendo o contrário. O que o catálogo tem é o resto da série — OrcaCyber Zero 1.5 e OrcaCyber Ultra 1.0 — sob a mesma chave e o mesmo endpoint compatível com OpenAI como mais de 200 outros modelos, incluindo Claude Opus 5.5, GPT-6.1 Sol, Kimi K3, Qwen3.8-Max e DeepSeek V4 Flash, sem markup de tokens sobre o preço de tabela do provedor e failover automático entre provedores.

Essa separação é a que vale a pena manter em mente. O Nano é o modelo que você possui e executa offline, sem que nenhum dado saia da máquina — o que é justamente o ponto central de um modelo ciber para resposta a incidentes, porque as máquinas que você mais precisa inspecionar costumam ser justamente aquelas que você não pode enviar a uma API. O Zero 1.5 e o Ultra 1.0 são os modelos que você chama. Uma camada local para o trabalho em ambiente isolado, uma camada hospedada para a vazão, um único vocabulário de nomes de modelos entre elas.

O que fazer com o 89,8 depende para que você precisava dele. Se você estava esperando evidências de que um modelo 27B com 13 GB é competitivo em uma placa de 16 GB — não apenas executável, mas competitivo em relação a 21 alternativas em tarefas todas avaliadas por código executável — esta é essa evidência, com sua lacuna no cumprimento de instruções visível em 58 e seu teto de velocidade visível em 60 tokens por segundo. Se você precisava da coisa mais rápida em uma V100, esse é um modelo diferente na mesma placa com 93,4, e está uma linha abaixo na tabela.