Una tarjeta de título generada encabezada por «Karpo Decision 31B vs Laya» con el subtítulo «Un líder de 31B frente a un codificador de 421M que puedes ejecutar en un portátil», tres chips que dicen «Karpo: 31.3B, 62.5 GB, 32,768 tokens», «Laya: 421M, 808 MB, 512 tokens» y «Puntuación total 73.9 vs 9.2», y un par de iconos planos: un bastidor de GPU de centro de datos etiquetado «necesita una GPU» y un portátil etiquetado «funciona en un portátil».
Guides & Insights

Karpo Decision 31B vs Laya: un líder de 31B frente a un codificador de 421M que puedes ejecutar en una laptop

Autor

Gideon Frost

Fecha de publicación

Últimos modelos · 20Ver todos los modelos →
Benchmarks: Artificial Analysis · actualizado a diario
Volver a todas las publicaciones

Si se pone Karpo Decision 31B junto a Laya, la primera reacción sincera es que alguien ha cometido un error de unidades. Karpo es un fine-tune de Gemma 4 de 31,3 mil millones de parámetros que necesita 62,5 GB de pesos y una GPU de centro de datos. Laya es un encoder ModernBERT de 421 millones de parámetros de Convai Innovations, Apache-2.0, 808 MB en disco, que se ejecuta en un portátil y responde en unos 33 milisegundos. En el Decision Index, el tablero comunitario en el que aparecen ambos, la diferencia en la puntuación Full es de 73,9 frente a 9,2: la mayor de todo este lote de comparaciones.

Y, sin embargo, Laya es el modelo que incluye un paquete pip mantenido, un servidor MCP, compilaciones para ONNX y Core ML, y una ruta de ajuste fino con un salto de precisión documentado de 0.362 a 0.766 en un conjunto de flujos de trabajo reales. Karpo incluye un README y un repositorio. La pregunta interesante no es qué modelo es mejor. Es para qué sirve realmente cada uno, porque la brecha de puntuación y la brecha de usabilidad apuntan en direcciones opuestas y solo una de ellas importa a la vez.

Qué significan los dos números y por qué la comparación está desequilibrada por diseño

La puntuación Full de 9,21 de Laya en el tracker es una cifra de habilidad corregida por azar, y su precisión bruta en la misma suite es del 37,7 % con una cobertura de 0,76 — lo que significa que aproximadamente una cuarta parte de las solicitudes de la suite nunca se respondieron. El tracker registra por qué: 320 solicitudes marcadas como no compatibles, abrumadoramente porque una instrucción era más larga que el presupuesto nativo de Laya y el modelo se niega en lugar de truncar. En una suite creada para modelos que aceptan un estado de 32k tokens, un codificador de 512 tokens no está compitiendo, está recurriendo al comportamiento por defecto.

Karpo responde la misma batería con una cobertura del 99,87 % y una precisión bruta del 83,2 %. Se rechazaron nueve solicitudes, todas ellas porque una pregunta junto con su estado superaba los 32.768 tokens.

Por tanto, una comparación directa de puntuaciones indica que un modelo diseñado para clasificación breve sobre una ventana de 512 tokens rinde mal en un benchmark diseñado para modelos de decisión de documentos largos. Eso no es una crítica a Laya; es una afirmación sobre el conjunto de pruebas. La comparación útil es por tarea, y la ficha de Laya tiene una: en clasificación de intenciones MASSIVE obtiene 0.783 en inglés y en XNLI 0.860, con entradas que caben dentro de su ventana. Karpo no tiene una cifra publicada equivalente para una tarea breve de clasificación única, porque su ficha no publica resultados a nivel de tarea en absoluto.

Las especificaciones, y qué implica cada una.

A generated two-column scoreboard titled 'Karpo Decision 31B vs Laya — the scoreboard'. The Karpo column reads 'Params: 31.3B, 62.5 GB', 'Context: 32,768 tokens', 'Full score: 73.9', 'Coverage: 99.87%', 'Latency: 94 ms median' and 'Licence: Apache-2.0'; the Laya column reads 'Params: 421M, 808 MB', 'Context: 512 tokens', 'Full score: 9.21', 'Coverage: 0.76', 'Latency: 5.8 ms median' and 'Licence: Apache-2.0'. The footer reads 'Full score and coverage per the Decision Index; Laya latency per the tracker and its model card.'

• Parámetros — Karpo 31.3B más una capa de lectura de 255 × 5,376, 62,5 GB en bf16; Laya 421M, aproximadamente 808 MB descargados.

• Arquitectura — un backbone de modelo de lenguaje causal ejecutado solo en prefill con una lectura lineal, frente a un codificador bidireccional que puntúa cada opción en su propio [MASK] token.

• Contexto — Karpo 32.768 tokens por secuencia, divididos por pregunta con el estado repetido; Laya 512 tokens en total en la configuración distribuida, de los cuales 192 están reservados para el prompt de opciones, dejando aproximadamente 320 para el estado.

• Multimodalidad — Karpo lee imágenes y texto; Laya solo lee texto. No hay ruta de visión en el checkpoint en inglés.

• Latencia — Karpo 94 ms de mediana en una GPU de referencia; Laya 39,5 ms medidos en su propia tarjeta, y el rastreador registra una mediana de 5,8 ms en su hardware.

• Licencia — Apache-2.0 en ambos, pesos y código, sin restricciones de uso.

• Alojamiento — ninguno de los dos está en un endpoint alojado de su editor. Laya no necesita nada más que pip install laya.

La fila de contexto lo decide todo. 320 tokens utilizables para el estado son un ticket de soporte, un correo electrónico, un mensaje de chat, un título de producto, una línea de registro. No es una factura con líneas de detalle ni una política de cuarenta páginas. Si tu estado es más largo que un párrafo, no se le puede hacer la pregunta a Laya — no mal, no despacio, sino en absoluto.

Donde el modelo pequeño es genuinamente la respuesta correcta

Hay una clase de decisión para la que Karpo es absurdo, y el diseño de Laya apunta directamente a ella. Piensa en un agente que necesita, en cada paso, un sí/no sobre si el resultado de una herramienta parece satisfacer la intención, o a cuál de seis fuentes de recuperación debería ir una consulta, o si un mensaje de usuario contiene una señal de abandono. Son preguntas a escala de microsegundos sobre una frase de contexto, y podría haber cincuenta de ellas en una sola conversación.

Con 94 ms y un modelo residente de 62,5 GB, cincuenta llamadas suponen casi cinco segundos de tiempo de GPU por conversación, sobre un hardware que cuesta más de lo que el tráfico justifica. Con una mediana de 5,8 ms y un modelo de 800 MB que se ejecuta en la misma máquina que su aplicación, esas mismas cincuenta llamadas cuestan un tercio de segundo y ninguna partida en la factura del centro de datos. Eso no es una diferencia marginal en un bucle por paso; es la diferencia entre una funcionalidad que llega a producción y otra que no.

La ficha de Laya también documenta los modos de fallo con honestidad, lo cual vale más que una hoja de especificaciones impecable. El checkpoint en inglés se colapsa con escrituras no latinas —Khmer con una precisión de 0.000 mientras declara una confianza de 0.952—, que es exactamente el fallo de confianza equivocada que una capa de decisión no debe tener. El Router incluido detecta la escritura en menos de medio milisegundo en Python puro y enruta al checkpoint multilingüe antes de la pasada hacia adelante. Las preguntas de alta cardinalidad también se degradan: 77 opciones en un presupuesto de 256 tokens dejan tres o cuatro tokens por etiqueta, y la precisión de Banking77 cae a 0.425 frente a 0.870 de Jev. La ficha te indica que aumentes el presupuesto de la cabeza en lugar de fingir que el valor predeterminado funciona.

A capture of the Hugging Face model card for convaiinnovations/laya showing the Text Classification tag, the Laya_system-one, calibrated-decisions and reinforcement-learning tags, the apache-2.0 licence, the summary describing a multilingual non-autoregressive System 1 decision model that returns calibrated probabilities in a single forward pass of about 33 ms across 100+ languages, the 'pip install laya' line with its onnx, mcp, langchain and serve extras, and the 0.4B-parameter file listing.

Esa combinación —un modelo pequeño con modos de fallo publicados y una solución documentada para cada uno— es más útil operativamente que una puntuación mejor sin desglose a nivel de tarea.

Dónde el modelo 31B se gana sus 62 GB

Las ventajas de Karpo son las que provienen de tener un modelo de lenguaje real dentro. Lee una captura de pantalla. Mantiene un documento de políticas y un registro de cliente en el mismo estado de 32,768 tokens y responde a cien preguntas sobre ambos en una sola pasada, porque el estado se calcula una vez y cada pregunta se ramifica desde el bloque compartido sin ver las opciones de las demás. Gestiona elecciones entre 255 opciones sin escasez de tokens, ya que el mecanismo de lectura puntúa códigos en lugar de incrustar el texto de las opciones en un presupuesto fijo.

El perfil de categoría respalda esto de una manera que se corresponde claramente con lo que te aporta un modelo grande. La habilidad de conocimiento y razonamiento de Karpo es de 65,5 frente a 2,9 de Laya — una cifra que refleja principalmente las preguntas de conocimiento de contexto largo de la suite, que a Laya no se le pueden plantear. Su habilidad en herramientas y automatización es de 88,4 frente a 5,8. No son distinciones sutiles entre dos modelos comparables; son dos clases diferentes de instrumento.

Lo que Karpo no tiene es ninguno de los andamiajes operativos. Ni exportación a ONNX, ni compilación para Core ML, ni servidor MCP, ni un agente instalable con pip al que puedas indicar una descripción de flujo de trabajo y ajustar en una tarde. La comunidad ya ha empezado a cuantizarlo —en dos semanas aparecieron un GGUF IQ3_M y una compilación NVFP4—, pero a la fecha de redacción no existe una ruta oficial de huella reducida ni un precio.

La brecha del ajuste fino, que decide más despliegues que la tabla de clasificación

El número más importante de la tarjeta de Laya no es una puntuación de benchmark. Es 0,766 frente a 0,362: la precisión de un checkpoint ajustado frente al modelo base en inglés en 2.000 decisiones a través de cuatro flujos de trabajo. El ajuste fino más que duplicó la precisión en las cargas de trabajo que importaban.

Ese es el argumento a favor de un modelo de 421M en una línea. Un modelo pequeño que puedes reentrenar con tus propias decisiones etiquetadas en una hora superará a un modelo de 31B que no puedes reentrenar en absoluto, en tu tráfico, con tu esquema. El 73.9 de Karpo es un promedio sobre una suite privada; tu distribución no es esa suite. La puntuación base de 0.362 de Laya también es un promedio sobre las decisiones de otra persona, y ambos modelos cambiarán una vez que los datos sean tuyos, pero solo uno de ellos viene con un camino documentado para hacer ese movimiento.

Karpo es un ajuste fino completo de un checkpoint de 31B, sin una receta de entrenamiento publicada y sin adaptador. Ajustarlo es posible en principio y no es algo que la ficha del modelo admita, documente o espere.

Ejecutando ambos, lo cual es la respuesta más a menudo que cualquiera de los dos.

Los dos modelos son más complementarios que sustitutos, y la división es mecánica. Enruta los estados cortos al encoder y los largos al 31B. El patrón Router ya es el predeterminado implementado en el lado de Laya; en el lado de Karpo, el equivalente es una comprobación del tamaño del estado antes de despachar.

Donde una capa de enrutamiento se justifica es en el tercer caso: el nivel entre ambos. Si tus estados se sitúan entre 512 tokens y 32.768, ninguno de estos encaja bien —Laya se niega y Karpo es excesivo y caro. Esa banda intermedia es donde tiene sentido un modelo de decisión servido, y Jev 1.14 está en nuestro catálogo para ello, invocable con la misma clave que todo lo demás. Poner una política de umbral delante de un único endpoint de enrutamiento —estado corto al codificador que alojas, estado largo a un modelo servido, salida incierta a una cola de revisión— es un trabajo de ingeniería más pequeño que operar un checkpoint de 62,5 GB, y mantiene el cambio de modelo fuera del código de tu aplicación. El catálogo ofrece más de 200 modelos, facturados al precio de lista del proveedor sin recargo, que también incluyen Gemma 4 31B, la base sobre la que se ajustó Karpo, que es una forma barata de comprobar qué aportó realmente el ajuste antes de dedicarle una GPU.

Si te obligan a una sola recomendación: empieza con Laya. No cuesta nada, se instala en un minuto y, en las decisiones cortas y de alto volumen que un agente toma en cada paso, es el instrumento correcto, no un compromiso. Cambia a Karpo Decision 31B cuando un estado deje de caber en un párrafo, y acepta que entonces estarás comprando una GPU, una descarga de 62 GB y un modelo sin precio, sin anuncio y sin puntuación independiente. La diferencia de 64 puntos en la tabla de clasificación es real y mide algo que solo importa cuando tu entrada es lo bastante larga como para necesitarlo.

A capture of the Hugging Face model card for MachinePulseAI/karpo-decision-31B showing the Text Classification tag, the gemma4 image-text-to-text tag, the apache-2.0 licence, the line 'Ranked #1 on the Decision Index, with the highest Full score, 73.9', the description of a multimodal decision model that returns a probability for every option of every question in one forward pass without generating text, 'Fine-tuned from google/gemma-4-31B', 'Parameters: 31.3B in bf16, plus a 255 x 5,376 readout in fp32', the screenshot input at state.viewport_screenshot, and the base-model link to google/gemma-4-31B.