
Karpo Decision 31B vs Kev 27B: el modelo mejor documentado pierde por 14 puntos
- OrcaNUEVOOrcaCyber: Hy4 Flash Abliterated / Uncensored2026-11-18$0.07 / $0.28 por 1M de tokens · 184 tok/s
- tencentNUEVOTencent: Hy4 Flash2026-11-16$0.02 / $0.07 por 1M de tokens · 223 tok/s
- GoogleNUEVOGoogle: Gemini 4 Carbon2026-11-10$2.00 / $10.00 por 1M de tokens · 87 tok/s
- AnthropicNUEVOAnthropic: Claude Fable 5.22026-11-09$8.00 / $40.00 por 1M de tokens · 96 tok/s
- orcaNUEVOOrca: OrcaC2 1.02026-11-079 tok/s
- OrcaOrcaCyber: GLM 5.3 Abliterated / Uncensored2026-11-04$3.00 / $5.00 por 1M de tokens · 90 tok/s
- OrcaOrcaCyber: Hy4 Abliterated / Uncensored2026-11-04$0.80 / $1.60 por 1M de tokens · 131 tok/s
- OrcaOrcaCyber: Kimi K3.1 Pro Abliterated / Uncensored2026-11-04$2.00 / $5.00 por 1M de tokens · 77 tok/s
- tencentTencent: Hy42026-11-04$0.83 / $2.50 por 1M de tokens · 94 tok/s
- OrcaOrcaCyber: MiniMax M3.1 Flash Abliterated / Uncensored2026-10-29$0.80 / $1.60 por 1M de tokens · 114 tok/s
- OrcaOrcaCyber: GLM 5.3 Flash Abliterated / Uncensored2026-10-27$0.80 / $1.60 por 1M de tokens · 69 tok/s
- OrcaOrcaCyber: Qwen3.8 Flash Next Abliterated / Uncensored2026-10-26$0.80 / $1.60 por 1M de tokens · 94 tok/s
- OrcaOrcaCyber: MiMo V2.6 Flash Abliterated / Uncensored2026-10-26$0.80 / $1.60 por 1M de tokens · 41 tok/s
- MoonshotMoonshotAI: Kimi K3.1 Pro2026-10-2447Inteligencia
- OrcaOrcaCyber: DeepSeek V4.1 Flash Abliterated / Uncensored2026-10-23$0.80 / $1.60 por 1M de tokens · 209 tok/s
- minimaxMiniMax: M3.1 Flash2026-10-1929Inteligencia
- OrcaOrca: OrcaCyber Ultra 1.02026-10-17$5.00 / $10.00 por 1M de tokens · 111 tok/s
- deepseekDeepSeek: DeepSeek V4.1 Flash 10172026-10-1733Inteligencia
- DeepSeekDeepSeek: DeepSeek V4.1 Flash 09102026-10-17$0.15 / $0.60 por 1M de tokens · 311 tok/s
- DeepSeekDeepSeek: DeepSeek V4.1 Flash2026-10-1740Inteligencia
Este es el raro enfrentamiento en el que ambos modelos fueron evaluados con el mismo instrumento por las mismas personas. Karpo Decision 31B y Kev 27B están ambos en el Decision Index, la tabla comunitaria que puntúa las reproducciones abiertas del Jev de TypeSafe, y la diferencia entre ellos no es pequeña: 73.9 Full para el modelo de MachinePulse frente a 59.6 para el Kev 27B de Jared Palmer, una diferencia de catorce puntos en pruebas privadas idénticas. Karpo lidera la tabla. Kev es el 74.º de 307.
Ese resultado resulta incómodo, porque Kev 27B es el modelo documentado con mayor rigor, y con un amplio margen, y en la única propiedad por la que realmente se contrata a un modelo de decisión —la honestidad de sus probabilidades— es mediblemente mejor que el modelo que lo supera. Ambas afirmaciones provienen de las mismas dos fuentes, y entender por qué no se contradicen es lo más útil de esta comparación.
Qué es cada modelo, antes de las puntuaciones
Kev 27B es un ajuste fino de pesos completos de Qwen3.8-27B publicado por Jared Palmer bajo Apache-2.0. Su segunda versión, publicada el 30 de septiembre de 2026, es un promedio ponderado: cada tensor del backbone es 0,85 × el peso ajustado más 0,15 × el de la versión anterior, y la cabeza de puntero se conserva de la nueva ejecución. El checkpoint servido es de 25,6B en el backbone más una cabeza de 2,6M de parámetros, 51,3 GB en bf16, con una única temperatura de calibración de 1,32 incorporada en el archivo de la cabeza. Los estados llegan hasta 65.536 tokens con al menos 8.192 por pregunta, y esa cifra está validada en lugar de ser nominal — la tarjeta publica la diferencia de precisión emparejada en cada intervalo de 8k a 64k frente a la línea base de 8k, con intervalos de confianza.
Karpo Decision 31B es un ajuste fino de Gemma 4 31B ajustado con instrucciones, publicado por MachinePulse el 5 de noviembre de 2026, también bajo Apache-2.0. Conserva 31,3B de parámetros en bf16 además de una lectura fp32 de 255 × 5,376 —62,5 GB en disco— y responde mediante una cabeza lineal sobre códigos de opción en lugar de una cabeza de puntero sobre tokens. El contexto es de 32.768 tokens por secuencia, dividido por pregunta cuando una solicitud se desborda, con una negativa categórica en lugar de truncamiento cuando una sola pregunta no cabe.
Mismo trabajo, ingeniería distinta. Kev lee un documento largo y produce una distribución. Karpo lee uno algo más corto y produce una distribución, más rápido.
Los 14 puntos, y qué los produjo

Ambas filas provienen del mismo tablero, así que esta sección es uno de los pocos lugares donde una resta directa es legítima.
• Puntuación total — Karpo 73.9, Kev 59.6.
• Índice público — Karpo 75.05, Kev 56.69.
• Clasificación por puntuación completa: Karpo 1.º (empatado con GLiDE 27B en 73,4), Kev 74.º de 307.
• Conocimiento y razonamiento — Karpo 65,5 de habilidad corregida por azar, Kev 45,7.
• Herramientas y automatización — Karpo 88.4, Kev 72.7.
• Artes y gusto humano — Karpo 68,2, Kev 42,7.
• Latencia mediana, una GPU, una solicitud a la vez — Karpo 94 ms, Kev 135 ms.
La forma de la pérdida es consistente en todas las categorías, y la mayor brecha absoluta está en conocimiento, con casi veinte puntos. Esa es la que debería preocupar a cualquiera que planee usar Kev para decisiones documentales: el modelo se entrenó intensamente con trabajo de documentos y herramientas para desarrolladores —24.000 de sus 145.840 registros de entrenamiento provienen de familias de tareas con licencia, otros 7.617 son documentos largos ensamblados— y aun así alcanza dos tercios de la habilidad de conocimiento de Karpo.
La propia ficha de Kev es sincera sobre la dirección del rumbo. Medida en su propia batería de amplitud frente al Jev de TypeSafe, reporta un índice de 52.3 con un intervalo de confianza de [49.2, 55.4] frente al 54.0 [51.2, 57.0] de Jev —una pérdida que declara sin rodeos y no disimula. Un equipo que publica su propio intervalo perdedor es un equipo cuyas otras cifras merecen el beneficio de la duda. Eso es precisamente lo que hace que el 59.6 sea creíble en lugar de vergonzoso.
El número que va en sentido contrario
Aquí está el giro. El error de calibración —cuánto se desvía la probabilidad declarada de la tasa de aciertos observada— favorece a Kev, y no por poco.
El rastreador registra un error de calibración esperado de 2,18 puntos para Kev 27B frente a 4,77 para Karpo Decision 31B. En términos simples: cuando Kev dice 0,8, acierta aproximadamente el 80 % de las veces, con una desviación promedio de dos puntos. Cuando Karpo dice 0,8, la desviación promedio se acerca más a cinco puntos. La tarjeta de Kev corrobora esto desde su propio lado, publicando cifras de ECE por panel entre 0,014 y 0,053 y una validación cruzada de cinco pliegues que reduce el error de ajuste del 4,8 % al 3,8 %.
Así que el modelo que es peor respondiendo es mejor sabiendo cuán buenas son sus respuestas. Eso no es una paradoja, es la distinción entre precisión y calibración, y decide qué modelo va dónde:
• Si la decisión se automatiza con un umbral, la calibración es la propiedad determinante. Una compuerta fijada en 0,9 que se activa con las respuestas de 0,9 de Karpo se equivocará aproximadamente el doble de veces que la misma compuerta con Kev. La menor precisión de Kev te cuesta rendimiento —más casos caen por debajo del umbral y pasan a revisión—, y su mejor calibración significa que los que superan el listón son más seguros.
• Si la decisión se revisa o puntúa, la exactitud domina. Un humano o un proceso posterior ve la respuesta principal y la probabilidad, y catorce puntos de exactitud son catorce puntos de trabajo realizado correctamente. La ventaja de calibración de Kev no aporta nada cuando nadie aplica umbrales.

Ambos modelos ofrecen los mismos tres tipos de preguntas —choice hasta 255 opciones, noul para verdadero/falso, score para una rúbrica ordenada— y ambos exponen un punto de acceso HTTP con la forma de System One, así que la elección es reversible en el código. Esa es la buena noticia: puedes medirlo con tus propios datos en una tarde en lugar de discutir sobre ello.
La longitud del documento es donde las especificaciones realmente divergen.
El límite de 32.768 tokens de Karpo es por secuencia, y la regla de división es «por pregunta, y cada parte lleva el estado completo». Para cien preguntas sobre un contrato de 20k tokens, eso es una sola pasada y sin complicaciones. Para una pregunta sobre un contrato de 40k tokens, la solicitud se rechaza — nueve de las 140.178 solicitudes en la propia ejecución de MachinePulse fallaron exactamente así.
Kev ofrece estados de 65.536 tokens, validados por buckets, y su panel de documentos largos es lo más útil de la ficha para cualquiera que tenga contratos reales. En acuerdos comerciales de CUAD reporta una precisión de 0,874 en 2.194 preguntas, con cifras por bucket que se mantienen entre 0,867 y 0,880 desde menos de 8k hasta 32k–64k tokens. La precisión no se derrumba con la longitud. Lo que sí cambia es la calibración: el error en ese panel de documentos largos es de 0,053, aproximadamente el triple de su cifra para documentos cortos. Los estados largos son donde la confianza de Kev se vuelve laxa.
El compromiso honesto en cuanto a longitud: Kev aceptará un documento que Karpo rechaza, y lo responderá con algo menos de fiabilidad que con uno corto. Ninguno de los dos modelos truncará en silencio, lo cual importa más que cualquiera de las dos cifras: un modelo de decisión que descarta en silencio la cláusula por la que preguntaste es peor que uno que dice que no.
El despliegue, los pesos y la licencia comparten ambos
Ambos modelos son Apache-2.0 para los pesos y la cabeza, ambos requieren su propio cargador y ambos fallan estrepitosamente si se tratan como modelos de chat. Kev necesita una GPU de la clase de 80 GB —un estado de 64k tokens alcanzó un pico de 87,1 GB en una H200— o un Mac de aproximadamente 96 GB. Karpo necesita una GPU que aloje 62,5 GB de pesos en bf16. Ninguno de los dos tiene un endpoint alojado de su editor; Kev se sirve mediante el servidor de su propio repositorio, y Karpo, mediante su propio paquete. Ambos han atraído cuantizaciones de la comunidad, lo que es la señal habitual de que la gente realmente los está ejecutando en lugar de leer sobre ellos.
La diferencia de 135 ms frente a 94 ms es por solicitud en hardware que no es idéntico, así que tómala como orientativa. Lo que no es orientativo es la forma operativa: la atención no causal de Kev sobre la secuencia completa cuesta más por token a medida que los estados se alargan, mientras que Karpo calcula un único estado compartido por solicitud y deriva las preguntas a partir de él. Si tu carga de trabajo consiste en muchas preguntas sobre un estado corto, Karpo está diseñado exactamente para eso. Si consiste en una sola pregunta sobre un documento largo, lo está Kev.
¿Cuál ejecutar?
Elige Kev 27B si necesitas entregarle a un modelo un acuerdo de 64k tokens, si quieres aplicar un umbral sobre la probabilidad y te importa que ese umbral signifique lo que dice, y si valoras a un proveedor que publica intervalos de confianza sobre sus propias pérdidas. Aceptas aproximadamente catorce puntos de precisión en una tabla de clasificación en la que compitieron ambos modelos, y obtienes la mejor evidencia del sector sobre qué cubre y qué no cubre esa precisión.
Elige Karpo Decision 31B si el estado es una captura de pantalla, un ticket o una página —corto, con muchas preguntas, sensible a la latencia— y si la puntuación Full del tablero es la evidencia que ponderas. Estás aceptando un error de calibración de cinco puntos y un techo de 32k, y obtienes el líder actual a 94 ms.
Lo que ninguno de los dos te ofrece es un endpoint de producción. Si la capa de decisión tiene que situarse detrás de una puerta que se dispare antes de cada llamada a una herramienta, tendrás que ejecutar uno de estos por tu cuenta o recurrir a algo alojado. Jev 1.14 de TypeSafe está en nuestro catálogo justamente para ese papel, y es el modelo al que ambos checkpoints se construyeron para perseguir —útil como control en una prueba en la sombra, ya que una reproducción abierta que supera a su objetivo en un panel de terceros también debería superarlo en tu tráfico. El catálogo también incluye ambos modelos base, Gemma 4 31B y Qwen3.8-27B, a través de una única API para más de 200 modelos al precio de lista del proveedor, sin recargo, que es la forma más económica de establecer si merece la pena tener una capa de decisión propia antes de comprar la GPU.
La pregunta abierta que deja este enfrentamiento es la que el tablero no puede responder: si la ventaja de catorce puntos de Karpo sobrevive al contacto con una carga de trabajo real, o si es el tipo de ventaja que proviene de haber sido ajustado con una distribución más cercana al conjunto de prueba privado que la de su competidor. La ficha de Kev documenta su mezcla de entrenamiento hasta el número de registros; la de Karpo no. Esa asimetría no es prueba de nada, y es la razón para medir en lugar de confiar en cualquiera de los dos números.

