Kimi K3.1 Pro redujo su propia capacidad cibernética en 9,5 puntos. Los otros dos laboratorios eligieron de manera diferente

Moonshot hizo algo el 24 de octubre que los laboratorios normalmente no hacen: lanzó un modelo más débil que el que podría haber lanzado y publicó el costo exacto. En xdev-bench-hard con pass@3, un checkpoint entrenado sin las medidas de reducción de riesgo cibernético de la empresa obtiene 90,5%. Kimi K3.1 Pro, el modelo al que puedes llamar, obtiene 81,0%. La brecha de 9,5 puntos es el precio de eliminar datos relacionados con lo cibernético del entrenamiento intermedio y del aprendizaje por refuerzo, y es la declaración más clara que cualquiera de los tres laboratorios de frontera ha hecho este año sobre lo que está dispuesto a intercambiar por capacidad.

Todos los laboratorios principales tienen ahora una política de ciberseguridad. Difieren en el mecanismo más que en la intención, y el mecanismo determina lo que realmente obtienes cuando llamas a la API. Moonshot resta la capacidad de los pesos. Anthropic redirige la solicitud a un modelo diferente. OpenAI condiciona el acceso a una calificación de riesgo. Para un equipo de seguridad —o para cualquiera cuyo trabajo roce las herramientas ofensivas—, los tres enfoques producen tres tipos distintos de sorpresa.

Lo que Moonshot eliminó y lo que conservó

El material de lanzamiento es inusualmente específico. Se eliminaron los datos relacionados con ciberseguridad tanto de la etapa de entrenamiento intermedio como de la de aprendizaje por refuerzo, mientras que se conservaron las tareas generales de programación. El principio declarado de la empresa es no publicar pesos abiertos que ampliarían la frontera absoluta de la capacidad cibernética, y describe la capacidad ofensiva del modelo distribuido como "por diseño, inferior a lo que nuestra pipeline puede producir" y por detrás de lo que los modelos propietarios de frontera han ofrecido públicamente durante al menos tres meses.

En esa política hay dos detalles que importan más que la cifra principal.

La primera es que la reducción es relativa al propio pipeline de Moonshot, no al mercado. Un modelo limitado al 81,0 % sigue obteniendo una puntuación muy superior al 33,3 % de Kimi K3 y superior al 57,1 % de GLM-5.3 en la misma prueba de referencia. El límite hace descender a un modelo de frontera, no lo saca de la categoría.

Lo segundo es que Moonshot dice que "aumentará progresivamente" la capacidad cibernética disponible en pesos abiertos. Eso es un calendario, no una línea fija: las evaluaciones que asumen el techo de hoy pueden no ser válidas en la próxima versión, y una copia autoalojada hereda el techo que existiera en su fecha de lanzamiento.

Lo que el benchmark realmente solicita

La documentación de Moonshot describe la evaluación con suficiente detalle para juzgarla. xdev-bench-hard se construye a partir de vulnerabilidades divulgadas recientemente en software como el kernel de Linux, Node.js, JavaScriptCore, Exim y VirGL, con las mitigaciones habilitadas. Cada tarea proporciona el código fuente vulnerable, una breve pista sobre el error y el binario compilado; el agente debe desarrollar un exploit, lograr ejecución de código arbitrario en un sandbox separado y recuperar una cadena secreta para que el resultado pueda verificarse automáticamente. La puntuación es pass@3 sobre un subconjunto aleatorio, sin tiempos de espera máximos estrictos ni límites de tokens de salida.

Esa es una prueba exigente y limitada: mide si un modelo puede convertir un binario vulnerable conocido en un exploit funcional, no si puede escribir un escáner o clasificar una alerta. Por lo tanto, la brecha de 9,5 puntos entre el checkpoint sin mitigar y el modelo entregado es una medición real de una diferencia real de capacidad, y un recordatorio de que la cifra dice poco sobre el trabajo defensivo que la mayoría de los equipos hace realmente con el modelo.

La alternativa de Anthropic: mantener la capacidad, cambiar la respuesta

El enfoque de Anthropic en Claude Opus 5.5 es el enrutamiento del lado del servidor. Su documentación indica que la mayoría de las tareas relacionadas con ciberseguridad pueden redirigirse a Claude Opus 4.8, y que el trabajo de biología y de desarrollo de modelos frontera puede recurrir a Claude Opus 5. El llamador no recibe un error; la respuesta simplemente proviene de un modelo diferente. El nivel de mayor capacidad, Claude Mythos 5.1, solo está disponible para organizaciones verificadas mediante programas como el Programa de Verificación Cibernética.

La contrapartida es la opuesta a la de Moonshot. La capacidad de frontera existe y se sirve —a clientes verificados, bajo un id de modelo diferente—, mientras que los solicitantes no verificados reciben silenciosamente la respuesta de un modelo más antiguo. Para un equipo de seguridad dentro de una organización verificada, esta es la opción más capaz de las tres. Para cualquiera que esté fuera de una, es un modelo que responde discretamente con otra cosa justo en las tareas en las que más querían la capacidad de frontera.

El enfoque de OpenAI: decide antes de lanzar

GPT-6 Astra fue el primer modelo de OpenAI calificado como «crítico» según el Marco de Preparación de la empresa, porque puede encontrar de forma independiente nuevas vulnerabilidades de seguridad. El despliegue se realizó por etapas —primero socios de acceso anticipado, luego niveles de suscripción y después la API—, y las capacidades de mayor riesgo se restringen según la calificación, no mediante el filtrado de prompts. El acceso se decide a nivel de cuenta, antes de realizar cualquier solicitud.

Eso es más limpio que un redireccionamiento silencioso y más lento que cualquiera de las dos alternativas. También significa que la respuesta a "¿puedo usar este modelo para mi trabajo de seguridad?" se puede conocer de antemano, lo cual vale algo para un comprador que tiene que redactar un documento de adquisición.

Qué le hacen las tres estrategias a una evaluación

Si evalúas modelos con tareas de seguridad, los mecanismos distorsionan la medición de forma distinta, y las distorsiones no se cancelan entre sí.

• El límite de Moonshot está dentro de los pesos. Una ejecución de benchmark en la API y una ejecución de benchmark en una copia autoalojada deberían coincidir, y ambas miden un modelo que es deliberadamente peor en la categoría. El número es honesto y reproducible.

• El enrutamiento de Anthropic está dentro de la pila de servicio. Una misma solicitud puede producir una calidad distinta según active o no una salvaguarda, y las cifras de benchmark publicadas por el proveedor pueden no reflejar el enrutamiento que recibe tu cuenta. Nuestra propia cobertura de la tabla de benchmarks de Opus 5.5 señaló el mismo problema desde la dirección opuesta: la cifra independiente de Artificial Analysis para Terminal-Bench fue del 59,6 % frente al 66,4 % de Anthropic, en una configuración que incluye enrutamiento de salvaguardas del lado del servidor.

• La restricción de acceso de OpenAI está fuera del modelo. Una vez que tienes acceso, el modelo se comporta tal como se midió en los benchmarks; si no lo tienes, no puedes realizar la comparación en absoluto.

Qué debería extraer de esto un equipo de seguridad

Tres conclusiones prácticas, en orden de confianza.

En primer lugar, la «capacidad cibernética» ya no es una propiedad que se pueda leer en la ficha de un modelo. Es función de los pesos que recibe, del enrutamiento que activa su cuenta y del programa de verificación al que pertenece. Cualquier evaluación que no especifique esas tres cosas está midiendo otra cosa.

En segundo lugar, si tu trabajo es defensivo —triaje, redacción de parches, ingeniería de detección—, el límite de capacidades cuesta menos de lo que parece. Los 9,5 puntos se concentran en comportamiento adversarial y cercano a exploits; la codificación general y el uso de herramientas del modelo, que es lo que más necesita el trabajo defensivo, es lo que se dedicó a mejorar en el proceso de posentrenamiento. Moonshot informa que Kimi Code Bench 3.0 de horizonte largo subió del 55,95 % al 61,2 % en la misma versión.

Tercero, los límites están cambiando. Moonshot ha dicho que elevará su techo; los programas de verificación de Anthropic se están ampliando; las valoraciones de OpenAI cambian entre modelos. Una política que guió una decisión de despliegue en octubre puede ser errónea para enero, lo que aboga por releer la documentación de acceso en cada actualización de modelo en lugar de tratarla como una barrera única.

Kimi K3.1 Pro se puede invocar a través de OrcaRouter por 2,00 USD por millón de tokens de entrada y 10,00 USD por millón de salida, con el mismo estado final que en cualquier otro sitio: el techo está en los pesos, no en lo que haga un proveedor concreto con tu solicitud. Si tu carga de trabajo depende de saber qué modelo respondió realmente, eso es una característica. Si depende del techo ofensivo de la frontera, ninguna API del mercado te lo dará sin un programa de verificación.