O Kimi K3.1 Pro reduziu sua própria capacidade cibernética em 9,5 pontos. Os outros dois laboratórios escolheram de forma diferente.

A Moonshot fez algo em 24 de outubro que os laboratórios costumam não fazer: lançou um modelo mais fraco do que aquele que poderia ter lançado e publicou o custo exato. No xdev-bench-hard com pass@3, um checkpoint treinado sem as medidas de redução de risco cibernético da empresa obtém 90,5%. O Kimi K3.1 Pro, o modelo que você pode chamar, obtém 81,0%. A diferença de 9,5 pontos é o preço de remover dados relacionados a cibersegurança do mid-training e do aprendizado por reforço, e é a declaração mais clara que qualquer um dos três laboratórios de fronteira fez este ano sobre o que está disposto a trocar por capacidade.

Todo grande laboratório agora tem uma política de segurança cibernética. Eles diferem no mecanismo, não na intenção, e o mecanismo determina o que você realmente obtém ao chamar a API. A Moonshot subtrai a capacidade dos pesos. A Anthropic redireciona a solicitação para um modelo diferente. A OpenAI condiciona o acesso a uma classificação de risco. Para uma equipe de segurança — ou para qualquer pessoa cuja carga de trabalho tangencie ferramentas ofensivas — as três abordagens produzem três tipos diferentes de surpresa.

O que a Moonshot removeu e o que manteve

O material de lançamento é excepcionalmente específico. Dados relacionados a cibersegurança foram removidos tanto do estágio de mid-training quanto do de aprendizado por reforço, enquanto tarefas gerais de programação foram mantidas. O princípio declarado da empresa é não lançar pesos abertos que ampliariam a fronteira absoluta da capacidade cibernética, e ela descreve a capacidade ofensiva do modelo entregue como "por design, abaixo do que nosso pipeline pode produzir" e atrás do que modelos proprietários de fronteira têm oferecido publicamente por pelo menos três meses.

Dois detalhes nessa política importam mais do que o número principal.

A primeira é que a redução é relativa ao próprio pipeline da Moonshot, e não ao mercado. Um modelo limitado a 81,0% ainda pontua acima dos 33,3% do Kimi K3 por uma margem ampla, e acima dos 57,1% do GLM-5.3 no mesmo benchmark. O limite rebaixa um modelo de fronteira, mas não o tira da categoria.

A segunda é que a Moonshot afirma que vai “aumentar progressivamente” a capacidade cibernética disponível em pesos abertos. Trata-se de um cronograma, não de uma linha fixa: avaliações que assumem o teto atual podem não se manter no próximo lançamento, e uma cópia auto-hospedada herda o teto que existia na sua data de lançamento.

O que o benchmark realmente pede

A documentação da Moonshot descreve a avaliação com detalhes suficientes para julgá-la. O xdev-bench-hard é construído a partir de vulnerabilidades divulgadas recentemente em softwares incluindo o kernel Linux, Node.js, JavaScriptCore, Exim e VirGL, com mitigações habilitadas. Cada tarefa fornece o código-fonte vulnerável, uma breve dica sobre o bug e o binário compilado; o agente precisa desenvolver um exploit, obter execução arbitrária de código em um sandbox separado e recuperar uma string secreta para que o resultado possa ser verificado automaticamente. A pontuação é pass@3 sobre um subconjunto aleatório, sem timeouts rígidos e sem limites de tokens de saída.

Esse é um teste exigente e restrito: ele mede se um modelo consegue transformar um binário sabidamente vulnerável em um exploit funcional, não se consegue escrever um scanner ou fazer a triagem de um alerta. A diferença de 9,5 pontos entre o checkpoint não mitigado e o modelo entregue é, portanto, uma medição real de uma diferença real de capacidade — e um lembrete de que o número diz pouco sobre o trabalho defensivo que a maioria das equipes de fato realiza com o modelo.

Alternativa da Anthropic: manter a capacidade, mudar a resposta

A abordagem da Anthropic para o Claude Opus 5.5 é o roteamento do lado do servidor. Sua documentação afirma que a maioria das tarefas relacionadas a cibersegurança pode ser redirecionada para o Claude Opus 4.8, e que trabalhos de biologia e de desenvolvimento de modelos de fronteira podem recorrer ao Claude Opus 5. O solicitante não recebe um erro; a resposta simplesmente vem de um modelo diferente. A camada de maior capacidade, Claude Mythos 5.1, está disponível apenas para organizações verificadas por meio de programas como o Cyber Verification Program.

O trade-off é o oposto do da Moonshot. A capacidade de fronteira existe e é servida — a clientes verificados, sob um ID de modelo diferente — enquanto chamadores não verificados recebem silenciosamente a resposta de um modelo mais antigo. Para uma equipe de segurança dentro de uma organização verificada, esta é a opção mais capaz das três. Para qualquer pessoa fora de uma, é um modelo que responde silenciosamente com outra coisa exatamente nas tarefas em que mais desejavam a fronteira.

A abordagem da OpenAI: decida antes de lançar

O GPT-6 Astra foi o primeiro modelo da OpenAI classificado como "crítico" no âmbito do Preparedness Framework da empresa, porque consegue identificar de forma independente novas falhas de segurança. O lançamento foi faseado — primeiro parceiros com acesso antecipado, depois níveis de assinatura e, por fim, a API — e as capacidades de maior risco são restringidas por classificação, e não por filtragem de prompts. O acesso é decidido ao nível da conta, antes de qualquer solicitação ser feita.

Isso é mais limpo do que um redirecionamento silencioso e mais lento do que qualquer uma das duas alternativas. Também significa que a resposta a "posso usar este modelo para o meu trabalho de segurança" pode ser conhecida antecipadamente, o que vale algo para um comprador que precisa redigir um documento de aquisição.

O que as três estratégias fazem com uma avaliação

Se você fizer benchmark de modelos em tarefas de segurança, os mecanismos distorcem a medição de formas diferentes, e as distorções não se anulam.

• O limite da Moonshot está dentro dos pesos. Uma execução de benchmark na API e uma execução de benchmark em uma cópia auto-hospedada devem concordar, e ambas medem um modelo que é deliberadamente pior na categoria. O número é honesto e reproduzível.

• O roteamento da Anthropic fica dentro da stack de serving. A mesma requisição pode gerar qualidade diferente dependendo de ela acionar ou não uma salvaguarda, e os números de benchmark publicados pelo fornecedor podem não refletir o roteamento que sua conta recebe. Nossa própria cobertura da tabela de benchmarks do Opus 5.5 sinalizou a mesma questão pela direção oposta: o número independente do Artificial Analysis para o Terminal-Bench foi de 59,6% contra 66,4% da Anthropic, em uma configuração que inclui roteamento de salvaguardas do lado do servidor.

• O controle de acesso da OpenAI está fora do modelo. Uma vez que você tenha acesso, o modelo se comporta conforme avaliado no benchmark; se não tiver, você não consegue realizar a comparação de forma alguma.

O que uma equipe de segurança deve tirar disso

Três conclusões práticas, por ordem de confiança.

Primeiro, "capacidade cibernética" não é mais uma propriedade que se pode ler na ficha de um modelo. É uma função dos pesos que você recebe, do roteamento que sua conta aciona e do programa de verificação ao qual você pertence. Qualquer avaliação que não declare os três está medindo outra coisa.

Em segundo lugar, se o seu trabalho é defensivo — triagem, elaboração de patches, engenharia de detecção — o limite de capacidade custa menos do que parece. Os 9,5 pontos estão concentrados em comportamento adversarial e próximo de exploit; a codificação geral e o uso de ferramentas do modelo, que é o que o trabalho defensivo mais precisa, é justamente o que a rodada de pós-treinamento foi dedicada a melhorar. A Moonshot relata que o Kimi Code Bench 3.0 de horizonte longo subiu de 55,95% para 61,2% na mesma versão.

Terceiro, os limites estão mudando. A Moonshot disse que elevará seu teto; os programas de verificação da Anthropic estão se expandindo; as classificações da OpenAI mudam entre modelos. Uma política que orientou uma decisão de implantação em outubro pode estar errada em janeiro, o que é um argumento para reler a documentação de acesso a cada atualização de modelo em vez de tratá-la como uma barreira única.

O Kimi K3.1 Pro pode ser chamado pelo OrcaRouter a US$ 2,00 por milhão de tokens de entrada e US$ 10,00 por milhão de saída, com o mesmo estado final que em qualquer outro lugar: o limite está nos pesos, não no que um provedor específico faz com sua solicitação. Se sua carga de trabalho depende de saber qual modelo realmente respondeu, isso é um recurso. Se depende do teto ofensivo da fronteira, nenhuma API no mercado lhe dará isso sem um programa de verificação.