Um cartão de título gerado, encabeçado por «Karpo Decision 31B vs Kev 27B» e com o subtítulo «Mesmo quadro, catorze pontos de diferença — e o perdedor tem a melhor calibração», quatro chips com os textos «Karpo 73.9 Full», «Kev 59.6 Full», «erro de calibração 4.8 vs 2.18» e «testes privados idênticos», e dois cartões com contorno rotulados «Kev 27B» e «Karpo Decision 31B», ligados por uma linha com o texto «ambos avaliados pelo Decision Index».
Guides & Insights

Karpo Decision 31B vs Kev 27B: O modelo mais bem documentado perde por 14 pontos

Autor

Elias Hawthorne

Data de publicação

Modelos mais recentes · 20Ver todos os modelos →
Benchmarks: Artificial Analysis · atualizado diariamente
Voltar para todas as publicações

Esta é a rara comparação em que ambos os modelos foram avaliados no mesmo instrumento pelas mesmas pessoas. Karpo Decision 31B e Kev 27B estão ambos no Decision Index, o painel da comunidade que avalia reproduções abertas do Jev da TypeSafe, e a diferença entre eles não é pequena: 73,9 Full para o modelo MachinePulse contra 59,6 para o Kev 27B de Jared Palmer, uma diferença de quatorze pontos em testes privados idênticos. Karpo lidera o painel. Kev está em 74º de 307.

Esse resultado é incômodo, porque o Kev 27B é o modelo documentado com mais rigor por uma larga margem e, na única propriedade para a qual um modelo de decisão é de fato contratado — a honestidade de suas probabilidades —, ele é mensuravelmente melhor do que o modelo que o supera. Ambas essas afirmações vêm das mesmas duas fontes, e entender por que elas não se contradizem é a coisa mais útil nesta comparação.

O que cada modelo é, antes das pontuações

Kev 27B é um ajuste fino de pesos completos de Qwen3.8-27B publicado por Jared Palmer sob Apache-2.0. Sua segunda versão, lançada em 30 de setembro de 2026, é uma média ponderada: cada tensor do backbone é 0,85 × o peso do ajuste fino mais 0,15 × o da versão anterior, com a cabeça de ponteiro mantida da nova execução. O checkpoint servido é de 25,6B no backbone mais uma cabeça de 2,6M de parâmetros, 51,3 GB em bf16, com uma única temperatura de calibração de 1,32 embutida no arquivo da cabeça. Os estados vão até 65.536 tokens com pelo menos 8.192 por pergunta, e esse número é validado em vez de nominal — o cartão publica a diferença de acurácia pareada em cada faixa de 8k a 64k em relação à linha de base de 8k, com intervalos de confiança.

Karpo Decision 31B é um ajuste fino do Gemma 4 31B ajustado para instruções, publicado pela MachinePulse em 5 de novembro de 2026, também sob Apache-2.0. Ele mantém 31,3 bilhões de parâmetros em bf16, além de uma leitura fp32 de 255 × 5.376 — 62,5 GB em disco — e responde por meio de uma cabeça linear sobre códigos de opção, em vez de uma cabeça de ponteiro sobre tokens. O contexto é de 32.768 tokens por sequência, dividido por pergunta quando uma solicitação transborda, com recusa categórica em vez de truncamento quando uma única pergunta não couber.

Mesmo trabalho, engenharia diferente. Kev lê um documento longo e produz uma distribuição. Karpo lê um documento um pouco mais curto e produz uma distribuição, mais rapidamente.

Os 14 pontos, e o que os produziu

A generated two-column scoreboard titled 'Karpo Decision 31B vs Kev 27B — the scoreboard'. The Karpo column reads 'Full score: 73.9', 'Rank: first of 307, tied', 'Calibration error: 4.77 points', 'Context: 32,768 tokens', 'Latency: 94 ms median' and 'Licence: Apache-2.0'; the Kev column reads 'Full score: 59.6', 'Rank: 74th of 307', 'Calibration error: 2.18 points', 'Context: 65,536 tokens', 'Latency: 135 ms median' and 'Licence: Apache-2.0'. The footer reads 'Scores and calibration per the Decision Index; latency per each model card, hardware not identical.'

Ambas as linhas vêm da mesma placa, então esta seção é um dos poucos lugares onde uma subtração direta é legítima.

• Pontuação total — Karpo 73,9, Kev 59,6.

• Índice público — Karpo 75,05, Kev 56,69.

• Classificação por pontuação total — Karpo 1º (empatado com GLiDE 27B em 73,4), Kev 74º de 307.

• Conhecimento e raciocínio — Karpo 65,5 de habilidade corrigida pelo acaso, Kev 45,7.

• Ferramentas e automação — Karpo 88,4, Kev 72,7.

• Artes e gosto humano — Karpo 68,2, Kev 42,7.

• Latência mediana, uma GPU, uma solicitação por vez — Karpo 94 ms, Kev 135 ms.

A forma da perda é consistente em todas as categorias, e a maior diferença absoluta está em conhecimento, com quase vinte pontos. É essa a que deve preocupar qualquer pessoa que planeje usar o Kev para decisões de documentos: o modelo foi treinado intensivamente em trabalho com documentos e ferramentas de desenvolvimento — 24.000 dos seus 145.840 registos de treino vêm de famílias de tarefas licenciadas, outros 7.617 são documentos longos montados — e ainda assim atinge dois terços da competência de conhecimento do Karpo.

O próprio cartão de Kev é franco sobre a direção do percurso. Medido em sua própria suíte de abrangência contra o Jev da TypeSafe, ele relata um índice de 52,3 com um intervalo de confiança de [49,2, 55,4] contra 54,0 [51,2, 57,0] do Jev — uma perda que ele declara abertamente e não maquia. Uma equipe que publica seu próprio intervalo de derrota é uma equipe cujos outros números merecem o benefício da dúvida. É exatamente isso que torna o 59,6 crível em vez de embaraçoso.

O número que vai no sentido contrário

Aqui está a reviravolta. O erro de calibração — o quanto a probabilidade declarada se afasta da taxa de acertos observada — favorece Kev, e não por pouco.

O rastreador registra um erro de calibração esperado de 2,18 pontos para o Kev 27B, contra 4,77 para o Karpo Decision 31B. Em termos simples: quando o Kev diz 0,8, ele está certo cerca de 80% das vezes, com um erro médio de dois pontos. Quando o Karpo diz 0,8, o erro médio fica mais próximo de cinco pontos. A ficha do Kev corrobora isso do seu próprio lado, publicando valores de ECE por painel entre 0,014 e 0,053 e uma validação cruzada de cinco dobras que reduz o erro de ajuste de 4,8% para 3,8%.

Então, o modelo que é pior em responder é melhor em saber quão boas são as suas respostas. Isso não é um paradoxo, é a distinção entre precisão e calibração, e decide qual modelo pertence a onde:

• Se a decisão for automatizada em um limiar, a calibração é a propriedade determinante. Um gate definido em 0,9 que dispara nas respostas 0,9 do Karpo estará errado cerca de duas vezes mais frequentemente que o mesmo gate nas do Kev. A menor acurácia do Kev custa capacidade de processamento — mais casos ficam abaixo do limiar e vão para revisão — e sua melhor calibração significa que os que superam o limite são mais seguros.

• Se a decisão for revisada ou pontuada, a precisão domina. Um humano ou um processo a jusante vê a resposta principal e a probabilidade, e quatorze pontos de precisão são quatorze pontos de trabalho feito corretamente. A vantagem de calibração de Kev não vale nada quando ninguém está aplicando limiares.

A capture of the community Decision Index leaderboard, headed with the multimodalart jev-decision-index attribution, listing Karpo Decision 31B at 73.86 in first place ahead of GLiDE 27B at 73.37, REAX 1.3 at 72.64, Logits Sigma-1 Duo at 72.28, Copernicus-31B at 72.11, KnowLine 31B Gen1.5 at 71.91, Copernicus-57B at 71.8, FlexDM-LoRA 2.1 at 71.66, Sieve 31B v3 at 71.10, OneJev1.6g-31B at 70.86 and Turion Jev 31B at 70.47.

Ambos os modelos entregam os mesmos três tipos de pergunta — choice com até 255 opções, noul para verdadeiro/falso, score para uma rubrica ordenada — e ambos expõem um endpoint HTTP no formato do System One, então a escolha é reversível no código. Essa é a boa notícia: você pode medir isso nos seus próprios dados em uma tarde em vez de discutir sobre isso.

O tamanho do documento é onde as especificações realmente divergem.

O teto de 32.768 tokens do Karpo é por sequência, e a regra de divisão é “por pergunta, com cada parte carregando o estado completo”. Para cem perguntas em um contrato de 20 mil tokens, isso é uma passada e sem drama. Para uma pergunta em um contrato de 40 mil tokens, a solicitação é recusada — nove das 140.178 solicitações na própria execução da MachinePulse falharam exatamente assim.

O Kev atende estados de 65.536 tokens, validados em faixas, e seu painel de documentos longos é o item mais útil da ficha para quem tem contratos reais. Em acordos comerciais do CUAD, ele reporta precisão de 0,874 em 2.194 perguntas, com os números por faixa mantendo-se entre 0,867 e 0,880 desde menos de 8k até 32k–64k tokens. A precisão não despenca com o comprimento. O que muda é a calibração: o erro nesse painel de documentos longos é de 0,053, cerca de três vezes o valor para documentos curtos. Estados longos são onde a confiança do Kev fica solta.

Então, o compromisso honesto quanto ao comprimento: Kev aceitará um documento que Karpo recusa, e responderá a ele de forma um pouco menos confiável do que responde a um documento curto. Nenhum dos modelos truncará silenciosamente, o que importa mais do que qualquer um dos números — um modelo de decisão que descarta silenciosamente a cláusula sobre a qual você perguntou é pior do que um que diz não.

A implantação, os pesos e a licença partilham ambos

Ambos os modelos são Apache-2.0 para pesos e cabeça, ambos exigem seu próprio carregador, e ambos falham gravemente se você tratá-los como modelos de chat. Kev precisa de uma GPU da classe de 80 GB — um estado de 64k tokens atingiu o pico de 87,1 GB em uma H200 — ou de um Mac com cerca de 96 GB. Karpo precisa de uma GPU que comporte 62,5 GB de pesos bf16. Nenhum tem endpoint hospedado de seu publicador; Kev é servido pelo servidor do próprio repositório, Karpo pelo próprio pacote. Ambos atraíram quantizações da comunidade, o que é o sinal habitual de que as pessoas estão de fato executando-os, e não apenas lendo sobre eles.

A diferença de 135 ms versus 94 ms é por requisição em hardware que não é idêntico, então encare-a como indicativa. O que não é indicativo é o formato operacional: a atenção não causal de Kev sobre a sequência completa custa mais por token à medida que os estados ficam mais longos, enquanto Karpo calcula um estado compartilhado por requisição e ramifica perguntas a partir dele. Se sua carga de trabalho for muitas perguntas sobre um estado curto, Karpo foi feito exatamente para isso. Se for uma pergunta sobre um documento longo, Kev foi.

Qual deles executar

Escolha o Kev 27B se precisar entregar a um modelo um contrato de 64 mil tokens, se quiser usar um limiar de probabilidade e se importar que o limiar signifique o que afirma, e se valorizar um fornecedor que publica intervalos de confiança sobre as próprias perdas. Você está aceitando cerca de catorze pontos de precisão em um ranking no qual ambos os modelos competiram, e está obtendo a melhor evidência da área sobre o que essa precisão cobre e não cobre.

Escolha o Karpo Decision 31B se o estado for uma captura de tela, um ticket ou uma página — curto, muitas perguntas, sensível à latência — e se a pontuação Full do board for a evidência que você pondera. Você está aceitando um erro de calibração de cinco pontos e um teto de 32k, e está obtendo o líder atual em 94 ms.

O que nenhum dos dois oferece é um endpoint de produção. Se a camada de decisão tiver de ficar atrás de um gate que dispara antes de cada chamada de ferramenta, você mesmo vai operar uma destas, ou vai chamar algo hospedado. O Jev 1.14 da TypeSafe está no nosso catálogo exatamente para essa função, e é o modelo que os dois checkpoints foram criados para perseguir — útil como controle em um teste sombra, já que uma reprodução aberta que supera seu alvo em um painel de terceiros também deve superá-lo no seu tráfego. O catálogo também inclui os dois modelos base, Gemma 4 31B e Qwen3.8-27B, por meio de uma API para mais de 200 modelos ao preço de tabela do provedor, sem markup, que é a maneira mais barata de estabelecer se vale a pena ter uma camada de decisão antes de você comprar a GPU.

A questão em aberto que este confronto deixa é aquela que o conselho não consegue responder: se a vantagem de catorze pontos de Karpo sobrevive ao contato com uma carga de trabalho real, ou se é o tipo de vantagem que vem de ter sido ajustada numa distribuição mais próxima do conjunto de teste privado do que a do concorrente. A ficha de Kev documenta sua mistura de treinamento até a contagem de registros; a de Karpo não. Essa assimetria não é evidência de nada, e é o motivo para medir em vez de confiar em qualquer um dos números.

A capture of the Hugging Face model card for jaredpalmer/kev-27b showing the Text Classification tag, the qwen3.8 and typesafe tags, the apache-2.0 licence, the summary describing a decision model that returns a calibrated probability distribution in a single forward pass over documents of up to 64k tokens, 'a full-weight fine-tune of Qwen3.8-27B averaged with version 1', the model-details block listing a Qwen3.8-27B backbone of 64 layers with 48 Gated DeltaNet and 16 full-attention layers, 25.6B backbone parameters plus 2.6M in the head, bf16 precision in a 51.3 GB checkpoint, and states of up to 65,536 tokens.