Benchmarks de Kimi K3.1 Pro: cada puntuación, quién la produjo y dónde la tabla aún está en blanco

El número más útil del lanzamiento de Kimi K3.1 Pro no está en el gráfico propio de Moonshot. Artificial Analysis, que ejecuta sus propias evaluaciones en lugar de citar tablas de proveedores, mide Kimi K3.1 Pro en 55 en su Intelligence Index —cuarto de 215 modelos de su clase, dos puntos por encima de GPT-6 Astra, con 53, y tres puntos por debajo de Claude Opus 5.5, con 58. El material de lanzamiento de Moonshot cuenta una historia distinta y más halagadora: 65.7% en Terminal-Bench 4.0, una ventaja de 7.5 puntos sobre el 58.2% que atribuye a Astra. Ambas cifras son reales, ambas se produjeron con honestidad y discrepan sobre quién va por delante. Esa discrepancia es lo que vale la pena entender antes de trasladar una carga de trabajo a este modelo.

Lo que sigue son todas las cifras publicadas de Kimi K3.1 Pro, con la fuente y la configuración adjuntas a cada fila, y una nota allí donde la hoja esté en blanco. Es el mismo tratamiento que este blog da a los modelos de Anthropic y OpenAI, por la misma razón: una tabla de benchmarks es una afirmación sobre un arnés de evaluación tanto como sobre un modelo.

El número independiente, primero

Artificial Analysis evaluó el modelo en la versión 4.3.2 de su índice, que combina diez evaluaciones en un único número. Las cuatro cifras que importan para un comprador son estas:

• Índice de inteligencia — 55, clasificado en 4.º lugar de 215 modelos. Como referencia, la mediana de su clase es 27, y GPT-6 Astra (Max) obtiene 53, mientras que Claude Opus 5.5 obtiene 58 en la misma versión del índice.

• Coste por tarea — 2,11 $ por tarea del Intelligence Index, puesto 85 de 113 en coste. El equivalente de GPT-6 Astra es de 3,26 $. Esta es la cifra que convierte un precio por token en un coste por carga de trabajo, y parte del bajo precio por token del modelo se vuelve a gastar en su verbosidad.

• Verbosidad: 150 millones de tokens de salida generados durante la ejecución del índice, frente a una mediana de 87 millones. El evaluador califica al modelo de "muy verboso", y eso importa directamente: la salida es la partida costosa en la propia tarifa de este modelo, a $10 por millón de tokens.

• Velocidad: 73,5 tokens de salida por segundo en el proveedor del evaluador, más lento que la media de 82. En nuestra propia ruta, el tiempo medio hasta el primer token es de 7,15 segundos, que es la cifra que determina cómo se siente el modelo en una sesión de programación interactiva.

Una etiqueta en esa página merece señalarse: Artificial Analysis incluye a Kimi K3.1 Pro como modelo propietario, porque a fecha de 24 de octubre los pesos están prometidos pero no publicados. Esa clasificación debería cambiar para el 4 de noviembre si Moonshot cumple su fecha.

La tabla de proveedores, fila por fila, con el ajuste adjunto.

Moonshot publicó una amplia hoja de sus propias evaluaciones junto con el lanzamiento, y en varios lugares compara Kimi K3.1 Pro con Claude Opus 5.5 y GPT-6 Astra en las mismas filas. Todas las cifras a continuación son reportadas por el proveedor, a menos que la fila indique lo contrario.

• Terminal-Bench 4.0 — 65,7 % para Kimi K3.1 Pro, frente al 66,4 % de Claude Opus 5.5 y el 58,2 % de GPT-6 Astra. Este es el titular. También es la fila con más salvedades: el 66,4 % de Anthropic se obtuvo con esfuerzo xhigh, un nivel por encima de su valor predeterminado; la propia ejecución de Kimi está en el valor predeterminado del modelo, max. Las dos cifras proceden de arneses distintos.

• Kimi Code Bench 3.0, de horizonte largo — 61,2 % frente a 55,95 % de Kimi K3. Esta es la comparación con el predecesor más clara del lanzamiento, y también la más controlada por el proveedor: tanto el benchmark como el arnés de evaluación pertenecen a Moonshot.

• BenchCAD con herramientas: 92,7 % para Kimi K3.1 Pro, frente al 96,2 % de Claude Opus 5.5 y el 95,9 % de GPT-6 Astra. Sin herramientas, 72,8 % frente al 73,0 % de Opus; Astra no reportó una cifra sin herramientas. Esta es la fila en la que el retador pierde de forma visible, y se sitúa en medio del propio argumento de creación 3D del lanzamiento.

• Kimi Hallu Bench Hard — una tasa de alucinación a nivel de afirmaciones del 8,3 % con herramientas y del 5,4 % sin ellas. En el mismo benchmark, GPT-6 Astra es mejor con herramientas (5,5 frente a 8,3) y mejor sin ellas (4,2 frente a 5,4); Claude Opus 5.5 es peor en ambos casos (15,0 y 6,8). Moonshot también informa de que la tasa bajó del 23,4 % en Kimi K3 y de que las respuestas que contienen al menos un error factual representan ahora el 42,4 % de la tasa del predecesor.

• Evaluaciones financieras y empresariales, internas — Financial Modeling 57,6 frente a 50,4 para K3, Financial Research 70,4 frente a 58,8, Business Operation 37 frente a 8,9. La última supone una mejora de cuatro veces en una tarea en la que el modelo anterior era casi no funcional. Toma las magnitudes como orientativas; son suites propias de Moonshot.

• OfficeQA Pro v2 — 64,4, que Moonshot describe como lo más avanzado. No aparece la cifra de un segundo proveedor en la fila.

• xdev-bench-hard, pass@3 — 81,0% para el modelo lanzado, 90,5% para un checkpoint entrenado sin las medidas de reducción de riesgos cibernéticos de la empresa, 33,3% para Kimi K3. Esa diferencia de 9,5 puntos es el precio que Moonshot dice haber pagado para mantener la capacidad cibernética ofensiva por debajo de un umbral.

Donde la tabla sigue en blanco

Tres lagunas merecen mención porque la cobertura de este lanzamiento las ha pasado por alto en gran medida.

El primero está en la propia documentación de la API de Moonshot. El día del lanzamiento, la página de inicio rápido de Kimi K3.1 Pro seguía mostrando cadenas de marcador de posición literales —"[xx.x%]"— donde deberían estar las puntuaciones de Terminal-Bench 4.0, Terminal-Bench-Science 0.1 y de codificación interna, mientras que la publicación de marketing mostraba las cifras finales. Eso es un flujo de trabajo de documentación que se publicó antes que el texto, no una invención, pero es un motivo para leer las cifras desde la página del blog en lugar de la documentación.

El segundo es Terminal-Bench-Science 0.1, donde Anthropic publica un 58,7 % para Claude Opus 5.5 y el material de Moonshot solo dice que Kimi K3.1 Pro está «por encima de K3», sin una cifra. Una fila sin cifra en ninguno de los dos lados de una comparación no es una fila.

El tercero es SWE-bench. Es el benchmark que la mayoría de los equipos sigue citando cuando hablan de agentes de programación, y la publicación de lanzamiento menciona DeepSWE v1.1 y SWE-Marathon v1.1 en notas al pie sin publicar puntuaciones. Sea cual sea la razón, falta el dato más solicitado.

Cómo leer un 65.7

Dos cosas influyen en una puntuación de Terminal-Bench más que el modelo: el andamiaje que lo rodea y el ajuste de esfuerzo de razonamiento. La propia tabla de Opus 5.5 de Anthropic muestra ambos efectos dentro de un mismo modelo: CursorBench 4.0 pasa de 57,8 % con esfuerzo xhigh a 52,5 % con medium, mientras que FrontierCode varía 0,2 puntos entre esos mismos dos ajustes. Kimi K3.1 Pro tiene tres ajustes y usa por defecto el más costoso, así que una ejecución de proveedor que no indique su nivel de esfuerzo probablemente sea una ejecución al máximo, lo diga o no.

Por eso el índice independiente y la tabla del proveedor clasifican estos tres modelos de manera diferente. En la fila de Terminal-Bench de Moonshot, Kimi supera a Astra por 7,5 puntos. En el índice de diez evaluaciones de Artificial Analysis, Kimi le lleva 2 puntos a Astra y está 3 por debajo de Opus. Ningún orden es incorrecto; responden a preguntas distintas con arneses distintos, y el único resumen defendible es que los tres modelos están a pocos puntos entre sí en capacidad general, con una diferencia de precio de cinco veces entre el más barato y el más caro.

Qué hacer con los números

Para una carga de trabajo en la que domina el volumen de salida —generación de código extensa, redacción de documentos, bucles agénticos que escriben mucho más de lo que leen—, la cifra de verbosidad es la que hay que tener en cuenta al planificar. Con 150 millones de tokens por ejecución de índice frente a los 60 millones de Astra, Kimi K3.1 Pro produce aproximadamente 2,5 veces la salida por tarea, e incluso a un quinto del precio de salida eso sigue reduciendo considerablemente la ventaja de costes. La cifra de $2,11 por tarea ya lo tiene en cuenta, por lo que es una mejor cifra para planificar que la tarifa.

Para una carga de trabajo en la que un punto de precisión decide el resultado, la diferencia de tres puntos con Claude Opus 5.5 en el índice independiente es la cifra relevante, y ninguna tabla de proveedor debería convencerte de lo contrario.

Kimi K3.1 Pro se puede invocar a través de OrcaRouter a $2.00 por millón de tokens de entrada y $10.00 por millón de salida, con 1,048,576 tokens de contexto, hasta 943,718 tokens de salida y tres formatos de endpoint —Chat Completions, Responses y Messages— con la misma clave que el resto de tu stack. El precio de lista del proveedor es lo que pagas, sin margen añadido, lo que significa que la aritmética anterior es la aritmética que obtienes. Lo único que esta página no puede darte es tu propio benchmark: ejecuta una muestra de tu tráfico real con esfuerzo bajo, alto y máximo antes de elegir un valor predeterminado, porque el ajuste afecta el costo más que la elección del modelo.