
Karpo Decision 31B vs Laya: un líder de 31B frente a un codificador de 421M que puedes ejecutar en una laptop
- OrcaNUEVOOrcaCyber: Hy4 Flash Abliterated / Uncensored2026-11-18$0.07 / $0.28 por 1M de tokens · 184 tok/s
- tencentNUEVOTencent: Hy4 Flash2026-11-16$0.02 / $0.07 por 1M de tokens · 223 tok/s
- GoogleNUEVOGoogle: Gemini 4 Carbon2026-11-10$2.00 / $10.00 por 1M de tokens · 87 tok/s
- AnthropicNUEVOAnthropic: Claude Fable 5.22026-11-09$8.00 / $40.00 por 1M de tokens · 96 tok/s
- orcaNUEVOOrca: OrcaC2 1.02026-11-079 tok/s
- OrcaOrcaCyber: GLM 5.3 Abliterated / Uncensored2026-11-04$3.00 / $5.00 por 1M de tokens · 90 tok/s
- OrcaOrcaCyber: Hy4 Abliterated / Uncensored2026-11-04$0.80 / $1.60 por 1M de tokens · 131 tok/s
- OrcaOrcaCyber: Kimi K3.1 Pro Abliterated / Uncensored2026-11-04$2.00 / $5.00 por 1M de tokens · 77 tok/s
- tencentTencent: Hy42026-11-04$0.83 / $2.50 por 1M de tokens · 94 tok/s
- OrcaOrcaCyber: MiniMax M3.1 Flash Abliterated / Uncensored2026-10-29$0.80 / $1.60 por 1M de tokens · 114 tok/s
- OrcaOrcaCyber: GLM 5.3 Flash Abliterated / Uncensored2026-10-27$0.80 / $1.60 por 1M de tokens · 69 tok/s
- OrcaOrcaCyber: Qwen3.8 Flash Next Abliterated / Uncensored2026-10-26$0.80 / $1.60 por 1M de tokens · 94 tok/s
- OrcaOrcaCyber: MiMo V2.6 Flash Abliterated / Uncensored2026-10-26$0.80 / $1.60 por 1M de tokens · 41 tok/s
- MoonshotMoonshotAI: Kimi K3.1 Pro2026-10-2447Inteligencia
- OrcaOrcaCyber: DeepSeek V4.1 Flash Abliterated / Uncensored2026-10-23$0.80 / $1.60 por 1M de tokens · 209 tok/s
- minimaxMiniMax: M3.1 Flash2026-10-1929Inteligencia
- OrcaOrca: OrcaCyber Ultra 1.02026-10-17$5.00 / $10.00 por 1M de tokens · 111 tok/s
- deepseekDeepSeek: DeepSeek V4.1 Flash 10172026-10-1733Inteligencia
- DeepSeekDeepSeek: DeepSeek V4.1 Flash 09102026-10-17$0.15 / $0.60 por 1M de tokens · 311 tok/s
- DeepSeekDeepSeek: DeepSeek V4.1 Flash2026-10-1740Inteligencia
Si se pone Karpo Decision 31B junto a Laya, la primera reacción sincera es que alguien ha cometido un error de unidades. Karpo es un fine-tune de Gemma 4 de 31,3 mil millones de parámetros que necesita 62,5 GB de pesos y una GPU de centro de datos. Laya es un encoder ModernBERT de 421 millones de parámetros de Convai Innovations, Apache-2.0, 808 MB en disco, que se ejecuta en un portátil y responde en unos 33 milisegundos. En el Decision Index, el tablero comunitario en el que aparecen ambos, la diferencia en la puntuación Full es de 73,9 frente a 9,2: la mayor de todo este lote de comparaciones.
Y, sin embargo, Laya es el modelo que incluye un paquete pip mantenido, un servidor MCP, compilaciones para ONNX y Core ML, y una ruta de ajuste fino con un salto de precisión documentado de 0.362 a 0.766 en un conjunto de flujos de trabajo reales. Karpo incluye un README y un repositorio. La pregunta interesante no es qué modelo es mejor. Es para qué sirve realmente cada uno, porque la brecha de puntuación y la brecha de usabilidad apuntan en direcciones opuestas y solo una de ellas importa a la vez.
Qué significan los dos números y por qué la comparación está desequilibrada por diseño
La puntuación Full de 9,21 de Laya en el tracker es una cifra de habilidad corregida por azar, y su precisión bruta en la misma suite es del 37,7 % con una cobertura de 0,76 — lo que significa que aproximadamente una cuarta parte de las solicitudes de la suite nunca se respondieron. El tracker registra por qué: 320 solicitudes marcadas como no compatibles, abrumadoramente porque una instrucción era más larga que el presupuesto nativo de Laya y el modelo se niega en lugar de truncar. En una suite creada para modelos que aceptan un estado de 32k tokens, un codificador de 512 tokens no está compitiendo, está recurriendo al comportamiento por defecto.
Karpo responde la misma batería con una cobertura del 99,87 % y una precisión bruta del 83,2 %. Se rechazaron nueve solicitudes, todas ellas porque una pregunta junto con su estado superaba los 32.768 tokens.
Por tanto, una comparación directa de puntuaciones indica que un modelo diseñado para clasificación breve sobre una ventana de 512 tokens rinde mal en un benchmark diseñado para modelos de decisión de documentos largos. Eso no es una crítica a Laya; es una afirmación sobre el conjunto de pruebas. La comparación útil es por tarea, y la ficha de Laya tiene una: en clasificación de intenciones MASSIVE obtiene 0.783 en inglés y en XNLI 0.860, con entradas que caben dentro de su ventana. Karpo no tiene una cifra publicada equivalente para una tarea breve de clasificación única, porque su ficha no publica resultados a nivel de tarea en absoluto.
Las especificaciones, y qué implica cada una.

• Parámetros — Karpo 31.3B más una capa de lectura de 255 × 5,376, 62,5 GB en bf16; Laya 421M, aproximadamente 808 MB descargados.
• Arquitectura — un backbone de modelo de lenguaje causal ejecutado solo en prefill con una lectura lineal, frente a un codificador bidireccional que puntúa cada opción en su propio [MASK] token.
• Contexto — Karpo 32.768 tokens por secuencia, divididos por pregunta con el estado repetido; Laya 512 tokens en total en la configuración distribuida, de los cuales 192 están reservados para el prompt de opciones, dejando aproximadamente 320 para el estado.
• Multimodalidad — Karpo lee imágenes y texto; Laya solo lee texto. No hay ruta de visión en el checkpoint en inglés.
• Latencia — Karpo 94 ms de mediana en una GPU de referencia; Laya 39,5 ms medidos en su propia tarjeta, y el rastreador registra una mediana de 5,8 ms en su hardware.
• Licencia — Apache-2.0 en ambos, pesos y código, sin restricciones de uso.
• Alojamiento — ninguno de los dos está en un endpoint alojado de su editor. Laya no necesita nada más que pip install laya.
La fila de contexto lo decide todo. 320 tokens utilizables para el estado son un ticket de soporte, un correo electrónico, un mensaje de chat, un título de producto, una línea de registro. No es una factura con líneas de detalle ni una política de cuarenta páginas. Si tu estado es más largo que un párrafo, no se le puede hacer la pregunta a Laya — no mal, no despacio, sino en absoluto.
Donde el modelo pequeño es genuinamente la respuesta correcta
Hay una clase de decisión para la que Karpo es absurdo, y el diseño de Laya apunta directamente a ella. Piensa en un agente que necesita, en cada paso, un sí/no sobre si el resultado de una herramienta parece satisfacer la intención, o a cuál de seis fuentes de recuperación debería ir una consulta, o si un mensaje de usuario contiene una señal de abandono. Son preguntas a escala de microsegundos sobre una frase de contexto, y podría haber cincuenta de ellas en una sola conversación.
Con 94 ms y un modelo residente de 62,5 GB, cincuenta llamadas suponen casi cinco segundos de tiempo de GPU por conversación, sobre un hardware que cuesta más de lo que el tráfico justifica. Con una mediana de 5,8 ms y un modelo de 800 MB que se ejecuta en la misma máquina que su aplicación, esas mismas cincuenta llamadas cuestan un tercio de segundo y ninguna partida en la factura del centro de datos. Eso no es una diferencia marginal en un bucle por paso; es la diferencia entre una funcionalidad que llega a producción y otra que no.
La ficha de Laya también documenta los modos de fallo con honestidad, lo cual vale más que una hoja de especificaciones impecable. El checkpoint en inglés se colapsa con escrituras no latinas —Khmer con una precisión de 0.000 mientras declara una confianza de 0.952—, que es exactamente el fallo de confianza equivocada que una capa de decisión no debe tener. El Router incluido detecta la escritura en menos de medio milisegundo en Python puro y enruta al checkpoint multilingüe antes de la pasada hacia adelante. Las preguntas de alta cardinalidad también se degradan: 77 opciones en un presupuesto de 256 tokens dejan tres o cuatro tokens por etiqueta, y la precisión de Banking77 cae a 0.425 frente a 0.870 de Jev. La ficha te indica que aumentes el presupuesto de la cabeza en lugar de fingir que el valor predeterminado funciona.

Esa combinación —un modelo pequeño con modos de fallo publicados y una solución documentada para cada uno— es más útil operativamente que una puntuación mejor sin desglose a nivel de tarea.
Dónde el modelo 31B se gana sus 62 GB
Las ventajas de Karpo son las que provienen de tener un modelo de lenguaje real dentro. Lee una captura de pantalla. Mantiene un documento de políticas y un registro de cliente en el mismo estado de 32,768 tokens y responde a cien preguntas sobre ambos en una sola pasada, porque el estado se calcula una vez y cada pregunta se ramifica desde el bloque compartido sin ver las opciones de las demás. Gestiona elecciones entre 255 opciones sin escasez de tokens, ya que el mecanismo de lectura puntúa códigos en lugar de incrustar el texto de las opciones en un presupuesto fijo.
El perfil de categoría respalda esto de una manera que se corresponde claramente con lo que te aporta un modelo grande. La habilidad de conocimiento y razonamiento de Karpo es de 65,5 frente a 2,9 de Laya — una cifra que refleja principalmente las preguntas de conocimiento de contexto largo de la suite, que a Laya no se le pueden plantear. Su habilidad en herramientas y automatización es de 88,4 frente a 5,8. No son distinciones sutiles entre dos modelos comparables; son dos clases diferentes de instrumento.
Lo que Karpo no tiene es ninguno de los andamiajes operativos. Ni exportación a ONNX, ni compilación para Core ML, ni servidor MCP, ni un agente instalable con pip al que puedas indicar una descripción de flujo de trabajo y ajustar en una tarde. La comunidad ya ha empezado a cuantizarlo —en dos semanas aparecieron un GGUF IQ3_M y una compilación NVFP4—, pero a la fecha de redacción no existe una ruta oficial de huella reducida ni un precio.
La brecha del ajuste fino, que decide más despliegues que la tabla de clasificación
El número más importante de la tarjeta de Laya no es una puntuación de benchmark. Es 0,766 frente a 0,362: la precisión de un checkpoint ajustado frente al modelo base en inglés en 2.000 decisiones a través de cuatro flujos de trabajo. El ajuste fino más que duplicó la precisión en las cargas de trabajo que importaban.
Ese es el argumento a favor de un modelo de 421M en una línea. Un modelo pequeño que puedes reentrenar con tus propias decisiones etiquetadas en una hora superará a un modelo de 31B que no puedes reentrenar en absoluto, en tu tráfico, con tu esquema. El 73.9 de Karpo es un promedio sobre una suite privada; tu distribución no es esa suite. La puntuación base de 0.362 de Laya también es un promedio sobre las decisiones de otra persona, y ambos modelos cambiarán una vez que los datos sean tuyos, pero solo uno de ellos viene con un camino documentado para hacer ese movimiento.
Karpo es un ajuste fino completo de un checkpoint de 31B, sin una receta de entrenamiento publicada y sin adaptador. Ajustarlo es posible en principio y no es algo que la ficha del modelo admita, documente o espere.
Ejecutando ambos, lo cual es la respuesta más a menudo que cualquiera de los dos.
Los dos modelos son más complementarios que sustitutos, y la división es mecánica. Enruta los estados cortos al encoder y los largos al 31B. El patrón Router ya es el predeterminado implementado en el lado de Laya; en el lado de Karpo, el equivalente es una comprobación del tamaño del estado antes de despachar.
Donde una capa de enrutamiento se justifica es en el tercer caso: el nivel entre ambos. Si tus estados se sitúan entre 512 tokens y 32.768, ninguno de estos encaja bien —Laya se niega y Karpo es excesivo y caro. Esa banda intermedia es donde tiene sentido un modelo de decisión servido, y Jev 1.14 está en nuestro catálogo para ello, invocable con la misma clave que todo lo demás. Poner una política de umbral delante de un único endpoint de enrutamiento —estado corto al codificador que alojas, estado largo a un modelo servido, salida incierta a una cola de revisión— es un trabajo de ingeniería más pequeño que operar un checkpoint de 62,5 GB, y mantiene el cambio de modelo fuera del código de tu aplicación. El catálogo ofrece más de 200 modelos, facturados al precio de lista del proveedor sin recargo, que también incluyen Gemma 4 31B, la base sobre la que se ajustó Karpo, que es una forma barata de comprobar qué aportó realmente el ajuste antes de dedicarle una GPU.
Si te obligan a una sola recomendación: empieza con Laya. No cuesta nada, se instala en un minuto y, en las decisiones cortas y de alto volumen que un agente toma en cada paso, es el instrumento correcto, no un compromiso. Cambia a Karpo Decision 31B cuando un estado deje de caber en un párrafo, y acepta que entonces estarás comprando una GPU, una descarga de 62 GB y un modelo sin precio, sin anuncio y sin puntuación independiente. La diferencia de 64 puntos en la tabla de clasificación es real y mide algo que solo importa cuando tu entrada es lo bastante larga como para necesitarlo.

