Um cartão de título gerado com o cabeçalho 'Karpo Decision 31B vs Laya' e o subtítulo 'Um líder de 31B contra um codificador de 421M que você pode executar em um laptop', três chips com os textos 'Karpo: 31,3B, 62,5 GB, 32.768 tokens', 'Laya: 421M, 808 MB, 512 tokens' e 'Pontuação total 73,9 vs 9,2', e um par de ícones planos — um rack de GPU de datacenter rotulado 'precisa de uma GPU' e um laptop rotulado 'roda em um laptop'.
Guides & Insights

Karpo Decision 31B vs Laya: Um líder de 31B contra um encoder de 421M que você pode rodar em um laptop

Autor

Gideon Frost

Data de publicação

Modelos mais recentes · 20Ver todos os modelos →
Benchmarks: Artificial Analysis · atualizado diariamente
Voltar para todas as publicações

Coloque o Karpo Decision 31B ao lado do Laya e a primeira reação honesta é que alguém cometeu um erro de unidades. O Karpo é um fine-tune do Gemma 4 com 31,3 bilhões de parâmetros, que precisa de 62,5 GB de pesos e de uma GPU de datacenter. O Laya é um encoder ModernBERT de 421 milhões de parâmetros da Convai Innovations, Apache-2.0, com 808 MB em disco, que roda em um laptop e responde em cerca de 33 milissegundos. No Decision Index, o quadro da comunidade em que ambos aparecem, a diferença na pontuação Full é de 73,9 contra 9,2 — a maior disparidade de todo este lote de comparações.

E, no entanto, Laya é o modelo que entrega um pacote pip mantido, um servidor MCP, builds ONNX e Core ML, e um caminho de fine-tuning com um salto documentado de precisão de 0,362 para 0,766 em um conjunto real de fluxos de trabalho. Karpo entrega um README e um repositório. A pergunta interessante não é qual modelo é melhor. É para que cada um deles realmente serve, porque a diferença de pontuação e a diferença de usabilidade apontam em direções opostas e apenas uma delas importa por vez.

O que os dois números significam e por que a comparação é desequilibrada de propósito

A pontuação Full 9,21 da Laya no rastreador é uma métrica de habilidade corrigida pelo acaso, e sua precisão bruta no mesmo conjunto de testes é de 37,7%, com cobertura de 0,76 — o que significa que aproximadamente um quarto das solicitações do conjunto nunca foram respondidas. O rastreador registra o motivo: 320 solicitações marcadas como não suportadas, esmagadoramente porque uma instrução era mais longa do que o orçamento nativo da Laya e o modelo se recusa em vez de truncar. Em um conjunto criado para modelos que aceitam um estado de 32 mil tokens, um codificador de 512 tokens não está competindo, está usando o padrão.

Karpo responde à mesma suíte com 99,87% de cobertura e 83,2% de precisão bruta. Nove solicitações foram recusadas, todas porque uma pergunta mais seu estado excedia 32.768 tokens.

Portanto, uma comparação direta de pontuações mostra que um modelo projetado para classificação curta em uma janela de 512 tokens tem desempenho ruim em um benchmark projetado para modelos de decisão para documentos longos. Isso não é uma crítica à Laya; é uma afirmação sobre o conjunto. A comparação útil é por tarefa, e a ficha da Laya tem uma: na classificação de intenções MASSIVE, ela pontua 0,783 em inglês; no XNLI, 0,860, em entradas que cabem dentro de sua janela. A Karpo não tem um número publicado equivalente para uma tarefa curta de classificação única, porque sua ficha não publica resultados em nível de tarefa de forma alguma.

As especificações, e o que cada uma implica

A generated two-column scoreboard titled 'Karpo Decision 31B vs Laya — the scoreboard'. The Karpo column reads 'Params: 31.3B, 62.5 GB', 'Context: 32,768 tokens', 'Full score: 73.9', 'Coverage: 99.87%', 'Latency: 94 ms median' and 'Licence: Apache-2.0'; the Laya column reads 'Params: 421M, 808 MB', 'Context: 512 tokens', 'Full score: 9.21', 'Coverage: 0.76', 'Latency: 5.8 ms median' and 'Licence: Apache-2.0'. The footer reads 'Full score and coverage per the Decision Index; Laya latency per the tracker and its model card.'

• Parâmetros — Karpo 31.3B mais uma leitura de 255 × 5.376, 62,5 GB em bf16; Laya 421M, cerca de 808 MB baixados.

• Arquitetura — um backbone de modelo de linguagem causal executado somente em prefill com uma readout linear, em comparação com um encoder bidirecional que pontua cada opção em seu próprio [MASK] token.

• Contexto — Karpo 32.768 tokens por sequência, divididos por pergunta com o estado repetido; Laya 512 tokens no total na configuração enviada, dos quais 192 são reservados para o prompt de opção, deixando aproximadamente 320 para o estado.

• Multimodalidade — Karpo lê imagens e texto; Laya lê apenas texto. Não existe caminho de visão no checkpoint em inglês.

Latência — Karpo: mediana de 94 ms em uma GPU de referência; Laya: 39,5 ms medidos em sua própria placa; e o tracker registra uma mediana de 5,8 ms em seu hardware.

• Licença — Apache-2.0 em ambos, pesos e código, sem restrições de uso.

• Hospedagem — nenhum dos dois está em um endpoint hospedado do seu publicador. O Laya não precisa de nada além de pip install laya.

A linha de contexto é a decisão inteira. 320 tokens utilizáveis para o estado são um ticket de suporte, um e-mail, uma mensagem de chat, um título de produto, uma linha de log. Não é uma fatura com itens de linha nem uma política de quarenta páginas. Se o seu estado for mais longo que um parágrafo, não é possível fazer a pergunta à Laya — não de forma ruim, não de forma lenta, mas de forma alguma.

Onde o modelo pequeno é genuinamente a resposta certa

Há uma classe de decisão para a qual Karpo é absurdo, e o design de Laya é voltado diretamente para ela. Considere um agente que precisa, a cada passo, de um sim/não sobre se o resultado de uma ferramenta parece satisfazer a intenção, ou sobre para qual de seis fontes de recuperação uma consulta deve ir, ou sobre se uma mensagem de usuário contém um sinal de churn. São questões em escala de microssegundos sobre uma frase de contexto, e pode haver cinquenta delas em uma conversa.

A 94 ms e com um modelo residente de 62,5 GB, cinquenta chamadas equivalem a quase cinco segundos de tempo de GPU por conversa, em hardware que custa mais do que o tráfego justifica. A 5,8 ms de mediana com um modelo de 800 MB que roda na mesma máquina que sua aplicação, as mesmas cinquenta chamadas custam um terço de segundo e nenhum item de custo de datacenter. Isso não é uma diferença marginal em um loop por etapa; é a diferença entre um recurso que é lançado e um que não é.

O card da Laya também documenta os modos de falha com honestidade, o que vale mais do que uma ficha técnica impecável. O checkpoint em inglês colapsa em escritas não latinas — khmer com 0,000 de acurácia enquanto declara 0,952 de confiança —, o que é exatamente a falha de "confiantemente errado" que uma camada de decisão não pode ter. O Routerdetecta a escrita em menos de meio milissegundo em Python puro e encaminha para o checkpoint multilíngue antes do forward pass. Perguntas de alta cardinalidade também degradam: 77 opções em um orçamento de 256 tokens dá a cada rótulo três ou quatro tokens, e a acurácia do Banking77 cai para 0,425 contra 0,870 do Jev. O card recomenda aumentar o orçamento da cabeça em vez de fingir que o padrão funciona.

A capture of the Hugging Face model card for convaiinnovations/laya showing the Text Classification tag, the Laya_system-one, calibrated-decisions and reinforcement-learning tags, the apache-2.0 licence, the summary describing a multilingual non-autoregressive System 1 decision model that returns calibrated probabilities in a single forward pass of about 33 ms across 100+ languages, the 'pip install laya' line with its onnx, mcp, langchain and serve extras, and the 0.4B-parameter file listing.

Essa combinação — um modelo pequeno com modos de falha publicados e uma correção documentada para cada um — é mais útil operacionalmente do que uma pontuação melhor sem detalhamento por tarefa.

Onde o modelo 31B justifica seus 62 GB

As vantagens do Karpo são as que vêm de ter um modelo de linguagem real dentro dele. Ele lê uma captura de tela. Mantém um documento de políticas e um registro de cliente no mesmo estado de 32.768 tokens e responde a cem perguntas sobre ambos numa única passagem, porque o estado é calculado uma vez e cada pergunta se ramifica a partir do bloco compartilhado sem ver as opções das outras. Ele lida com escolhas de 255 opções sem escassez de tokens, já que a leitura pontua códigos em vez de incorporar o texto das opções num orçamento fixo.

O perfil da categoria confirma isso de uma forma que se mapeia claramente para o que um modelo grande proporciona. A habilidade de conhecimento e raciocínio do Karpo é 65,5 contra 2,9 do Laya — um número que reflete principalmente as perguntas de conhecimento de contexto longo da suíte, que não podem ser feitas ao Laya. Sua habilidade em ferramentas e automação é 88,4 contra 5,8. Essas não são distinções sutis entre dois modelos comparáveis; são duas classes diferentes de instrumento.

O que o Karpo não tem é qualquer infraestrutura operacional. Nenhuma exportação ONNX, nenhuma build Core ML, nenhum servidor MCP, nenhum agente instalável via pip que você possa apontar para uma descrição de workflow e fazer fine-tuning em uma tarde. A comunidade já começou a quantizá-lo — um GGUF IQ3_M e uma build NVFP4 surgiram em duas semanas —, mas, até o momento em que escrevo, não há uma via oficial de baixo consumo de recursos nem preço.

A lacuna do ajuste fino, que decide mais implantações do que o ranking.

O número mais importante no cartão da Laya não é uma pontuação de benchmark. É 0,766 contra 0,362: a precisão de um checkpoint ajustado por fine-tuning contra o modelo base em inglês em 2.000 decisões em quatro fluxos de trabalho. O ajuste fino mais que dobrou a precisão nas cargas de trabalho que importavam.

Esse é o argumento a favor de um modelo de 421M em uma linha. Um modelo pequeno que você pode retreinar com suas próprias decisões rotuladas em uma hora superará um modelo de 31B que você não consegue retreinar de jeito nenhum, no seu tráfego, com o seu esquema. O 73,9 do Karpo é uma média sobre uma suíte privada; sua distribuição não é essa suíte. A pontuação base de 0,362 da Laya também é uma média sobre as decisões de outra pessoa, e ambos os modelos vão mudar quando os dados forem seus — mas apenas um deles vem com um caminho documentado para fazer essa mudança.

O Karpo é um fine-tune completo de um checkpoint de 31B, sem receita de treino publicada e sem adaptador. O fine-tuning é possível em princípio e não é algo que o model card suporte, documente ou preveja.

Executar ambos, o que é a resposta com mais frequência do que qualquer um deles

Os dois modelos são mais complementares do que substitutos, e a divisão é mecânica. Encaminhe estados curtos para o encoder e os longos para o 31B. RouterO padrão já é o default enviado no lado Laya; no lado Karpo, o equivalente é uma verificação de tamanho do estado antes do despacho.

Onde uma camada de encaminhamento compensa é no terceiro caso: o patamar entre eles. Se os seus estados ficam entre 512 tokens e 32.768, nenhum destes é adequado — a Laya recusa e o Karpo é excessivo e caro. É nessa faixa intermédia que um modelo de decisão servido faz sentido, e o Jev 1.14 está no nosso catálogo para isso, podendo ser chamado com a mesma chave que tudo o resto. Colocar uma política de limiar à frente de um único endpoint de encaminhamento — estado curto para o encoder que aloja, estado longo para um modelo servido, saída incerta para uma fila de revisão — é um trabalho de engenharia menor do que operar um checkpoint de 62,5 GB, e mantém a troca de modelo fora do código da sua aplicação. O catálogo tem mais de 200 modelos, cobrados ao preço de tabela do fornecedor sem markup, e também inclui o Gemma 4 31B, o modelo base a partir do qual o Karpo foi afinado, que é uma forma barata de verificar o que o fine-tuning realmente trouxe antes de lhe dedicar uma GPU.

Se forçado a uma única recomendação: comece com o Laya. Não custa nada, instala em um minuto e, nas decisões curtas e de alto volume que um agente toma a cada passo, é o instrumento correto — não um meio-termo. Passe para o Karpo Decision 31B quando um estado deixar de caber em um parágrafo, e aceite que você estará então comprando uma GPU, um download de 62 GB e um modelo sem preço, sem anúncio e sem pontuação independente. A diferença de 64 pontos no leaderboard é real e está medindo algo que só importa quando sua entrada for longa o suficiente para precisar disso.

A capture of the Hugging Face model card for MachinePulseAI/karpo-decision-31B showing the Text Classification tag, the gemma4 image-text-to-text tag, the apache-2.0 licence, the line 'Ranked #1 on the Decision Index, with the highest Full score, 73.9', the description of a multimodal decision model that returns a probability for every option of every question in one forward pass without generating text, 'Fine-tuned from google/gemma-4-31B', 'Parameters: 31.3B in bf16, plus a 255 x 5,376 readout in fp32', the screenshot input at state.viewport_screenshot, and the base-model link to google/gemma-4-31B.