
Karpo Decision 31B vs Kev 27B: O modelo mais bem documentado perde por 14 pontos
- OrcaNOVOOrcaCyber: Hy4 Flash Abliterated / Uncensored2026-11-18$0.07 / $0.28 por 1M de tokens · 184 tok/s
- tencentNOVOTencent: Hy4 Flash2026-11-16$0.02 / $0.07 por 1M de tokens · 223 tok/s
- GoogleNOVOGoogle: Gemini 4 Carbon2026-11-10$2.00 / $10.00 por 1M de tokens · 87 tok/s
- AnthropicNOVOAnthropic: Claude Fable 5.22026-11-09$8.00 / $40.00 por 1M de tokens · 96 tok/s
- orcaNOVOOrca: OrcaC2 1.02026-11-079 tok/s
- OrcaOrcaCyber: GLM 5.3 Abliterated / Uncensored2026-11-04$3.00 / $5.00 por 1M de tokens · 90 tok/s
- OrcaOrcaCyber: Hy4 Abliterated / Uncensored2026-11-04$0.80 / $1.60 por 1M de tokens · 131 tok/s
- OrcaOrcaCyber: Kimi K3.1 Pro Abliterated / Uncensored2026-11-04$2.00 / $5.00 por 1M de tokens · 77 tok/s
- tencentTencent: Hy42026-11-04$0.83 / $2.50 por 1M de tokens · 94 tok/s
- OrcaOrcaCyber: MiniMax M3.1 Flash Abliterated / Uncensored2026-10-29$0.80 / $1.60 por 1M de tokens · 114 tok/s
- OrcaOrcaCyber: GLM 5.3 Flash Abliterated / Uncensored2026-10-27$0.80 / $1.60 por 1M de tokens · 69 tok/s
- OrcaOrcaCyber: Qwen3.8 Flash Next Abliterated / Uncensored2026-10-26$0.80 / $1.60 por 1M de tokens · 94 tok/s
- OrcaOrcaCyber: MiMo V2.6 Flash Abliterated / Uncensored2026-10-26$0.80 / $1.60 por 1M de tokens · 41 tok/s
- MoonshotMoonshotAI: Kimi K3.1 Pro2026-10-2447Inteligência
- OrcaOrcaCyber: DeepSeek V4.1 Flash Abliterated / Uncensored2026-10-23$0.80 / $1.60 por 1M de tokens · 209 tok/s
- minimaxMiniMax: M3.1 Flash2026-10-1929Inteligência
- OrcaOrca: OrcaCyber Ultra 1.02026-10-17$5.00 / $10.00 por 1M de tokens · 111 tok/s
- deepseekDeepSeek: DeepSeek V4.1 Flash 10172026-10-1733Inteligência
- DeepSeekDeepSeek: DeepSeek V4.1 Flash 09102026-10-17$0.15 / $0.60 por 1M de tokens · 311 tok/s
- DeepSeekDeepSeek: DeepSeek V4.1 Flash2026-10-1740Inteligência
Esta é a rara comparação em que ambos os modelos foram avaliados no mesmo instrumento pelas mesmas pessoas. Karpo Decision 31B e Kev 27B estão ambos no Decision Index, o painel da comunidade que avalia reproduções abertas do Jev da TypeSafe, e a diferença entre eles não é pequena: 73,9 Full para o modelo MachinePulse contra 59,6 para o Kev 27B de Jared Palmer, uma diferença de quatorze pontos em testes privados idênticos. Karpo lidera o painel. Kev está em 74º de 307.
Esse resultado é incômodo, porque o Kev 27B é o modelo documentado com mais rigor por uma larga margem e, na única propriedade para a qual um modelo de decisão é de fato contratado — a honestidade de suas probabilidades —, ele é mensuravelmente melhor do que o modelo que o supera. Ambas essas afirmações vêm das mesmas duas fontes, e entender por que elas não se contradizem é a coisa mais útil nesta comparação.
O que cada modelo é, antes das pontuações
Kev 27B é um ajuste fino de pesos completos de Qwen3.8-27B publicado por Jared Palmer sob Apache-2.0. Sua segunda versão, lançada em 30 de setembro de 2026, é uma média ponderada: cada tensor do backbone é 0,85 × o peso do ajuste fino mais 0,15 × o da versão anterior, com a cabeça de ponteiro mantida da nova execução. O checkpoint servido é de 25,6B no backbone mais uma cabeça de 2,6M de parâmetros, 51,3 GB em bf16, com uma única temperatura de calibração de 1,32 embutida no arquivo da cabeça. Os estados vão até 65.536 tokens com pelo menos 8.192 por pergunta, e esse número é validado em vez de nominal — o cartão publica a diferença de acurácia pareada em cada faixa de 8k a 64k em relação à linha de base de 8k, com intervalos de confiança.
Karpo Decision 31B é um ajuste fino do Gemma 4 31B ajustado para instruções, publicado pela MachinePulse em 5 de novembro de 2026, também sob Apache-2.0. Ele mantém 31,3 bilhões de parâmetros em bf16, além de uma leitura fp32 de 255 × 5.376 — 62,5 GB em disco — e responde por meio de uma cabeça linear sobre códigos de opção, em vez de uma cabeça de ponteiro sobre tokens. O contexto é de 32.768 tokens por sequência, dividido por pergunta quando uma solicitação transborda, com recusa categórica em vez de truncamento quando uma única pergunta não couber.
Mesmo trabalho, engenharia diferente. Kev lê um documento longo e produz uma distribuição. Karpo lê um documento um pouco mais curto e produz uma distribuição, mais rapidamente.
Os 14 pontos, e o que os produziu

Ambas as linhas vêm da mesma placa, então esta seção é um dos poucos lugares onde uma subtração direta é legítima.
• Pontuação total — Karpo 73,9, Kev 59,6.
• Índice público — Karpo 75,05, Kev 56,69.
• Classificação por pontuação total — Karpo 1º (empatado com GLiDE 27B em 73,4), Kev 74º de 307.
• Conhecimento e raciocínio — Karpo 65,5 de habilidade corrigida pelo acaso, Kev 45,7.
• Ferramentas e automação — Karpo 88,4, Kev 72,7.
• Artes e gosto humano — Karpo 68,2, Kev 42,7.
• Latência mediana, uma GPU, uma solicitação por vez — Karpo 94 ms, Kev 135 ms.
A forma da perda é consistente em todas as categorias, e a maior diferença absoluta está em conhecimento, com quase vinte pontos. É essa a que deve preocupar qualquer pessoa que planeje usar o Kev para decisões de documentos: o modelo foi treinado intensivamente em trabalho com documentos e ferramentas de desenvolvimento — 24.000 dos seus 145.840 registos de treino vêm de famílias de tarefas licenciadas, outros 7.617 são documentos longos montados — e ainda assim atinge dois terços da competência de conhecimento do Karpo.
O próprio cartão de Kev é franco sobre a direção do percurso. Medido em sua própria suíte de abrangência contra o Jev da TypeSafe, ele relata um índice de 52,3 com um intervalo de confiança de [49,2, 55,4] contra 54,0 [51,2, 57,0] do Jev — uma perda que ele declara abertamente e não maquia. Uma equipe que publica seu próprio intervalo de derrota é uma equipe cujos outros números merecem o benefício da dúvida. É exatamente isso que torna o 59,6 crível em vez de embaraçoso.
O número que vai no sentido contrário
Aqui está a reviravolta. O erro de calibração — o quanto a probabilidade declarada se afasta da taxa de acertos observada — favorece Kev, e não por pouco.
O rastreador registra um erro de calibração esperado de 2,18 pontos para o Kev 27B, contra 4,77 para o Karpo Decision 31B. Em termos simples: quando o Kev diz 0,8, ele está certo cerca de 80% das vezes, com um erro médio de dois pontos. Quando o Karpo diz 0,8, o erro médio fica mais próximo de cinco pontos. A ficha do Kev corrobora isso do seu próprio lado, publicando valores de ECE por painel entre 0,014 e 0,053 e uma validação cruzada de cinco dobras que reduz o erro de ajuste de 4,8% para 3,8%.
Então, o modelo que é pior em responder é melhor em saber quão boas são as suas respostas. Isso não é um paradoxo, é a distinção entre precisão e calibração, e decide qual modelo pertence a onde:
• Se a decisão for automatizada em um limiar, a calibração é a propriedade determinante. Um gate definido em 0,9 que dispara nas respostas 0,9 do Karpo estará errado cerca de duas vezes mais frequentemente que o mesmo gate nas do Kev. A menor acurácia do Kev custa capacidade de processamento — mais casos ficam abaixo do limiar e vão para revisão — e sua melhor calibração significa que os que superam o limite são mais seguros.
• Se a decisão for revisada ou pontuada, a precisão domina. Um humano ou um processo a jusante vê a resposta principal e a probabilidade, e quatorze pontos de precisão são quatorze pontos de trabalho feito corretamente. A vantagem de calibração de Kev não vale nada quando ninguém está aplicando limiares.

Ambos os modelos entregam os mesmos três tipos de pergunta — choice com até 255 opções, noul para verdadeiro/falso, score para uma rubrica ordenada — e ambos expõem um endpoint HTTP no formato do System One, então a escolha é reversível no código. Essa é a boa notícia: você pode medir isso nos seus próprios dados em uma tarde em vez de discutir sobre isso.
O tamanho do documento é onde as especificações realmente divergem.
O teto de 32.768 tokens do Karpo é por sequência, e a regra de divisão é “por pergunta, com cada parte carregando o estado completo”. Para cem perguntas em um contrato de 20 mil tokens, isso é uma passada e sem drama. Para uma pergunta em um contrato de 40 mil tokens, a solicitação é recusada — nove das 140.178 solicitações na própria execução da MachinePulse falharam exatamente assim.
O Kev atende estados de 65.536 tokens, validados em faixas, e seu painel de documentos longos é o item mais útil da ficha para quem tem contratos reais. Em acordos comerciais do CUAD, ele reporta precisão de 0,874 em 2.194 perguntas, com os números por faixa mantendo-se entre 0,867 e 0,880 desde menos de 8k até 32k–64k tokens. A precisão não despenca com o comprimento. O que muda é a calibração: o erro nesse painel de documentos longos é de 0,053, cerca de três vezes o valor para documentos curtos. Estados longos são onde a confiança do Kev fica solta.
Então, o compromisso honesto quanto ao comprimento: Kev aceitará um documento que Karpo recusa, e responderá a ele de forma um pouco menos confiável do que responde a um documento curto. Nenhum dos modelos truncará silenciosamente, o que importa mais do que qualquer um dos números — um modelo de decisão que descarta silenciosamente a cláusula sobre a qual você perguntou é pior do que um que diz não.
A implantação, os pesos e a licença partilham ambos
Ambos os modelos são Apache-2.0 para pesos e cabeça, ambos exigem seu próprio carregador, e ambos falham gravemente se você tratá-los como modelos de chat. Kev precisa de uma GPU da classe de 80 GB — um estado de 64k tokens atingiu o pico de 87,1 GB em uma H200 — ou de um Mac com cerca de 96 GB. Karpo precisa de uma GPU que comporte 62,5 GB de pesos bf16. Nenhum tem endpoint hospedado de seu publicador; Kev é servido pelo servidor do próprio repositório, Karpo pelo próprio pacote. Ambos atraíram quantizações da comunidade, o que é o sinal habitual de que as pessoas estão de fato executando-os, e não apenas lendo sobre eles.
A diferença de 135 ms versus 94 ms é por requisição em hardware que não é idêntico, então encare-a como indicativa. O que não é indicativo é o formato operacional: a atenção não causal de Kev sobre a sequência completa custa mais por token à medida que os estados ficam mais longos, enquanto Karpo calcula um estado compartilhado por requisição e ramifica perguntas a partir dele. Se sua carga de trabalho for muitas perguntas sobre um estado curto, Karpo foi feito exatamente para isso. Se for uma pergunta sobre um documento longo, Kev foi.
Qual deles executar
Escolha o Kev 27B se precisar entregar a um modelo um contrato de 64 mil tokens, se quiser usar um limiar de probabilidade e se importar que o limiar signifique o que afirma, e se valorizar um fornecedor que publica intervalos de confiança sobre as próprias perdas. Você está aceitando cerca de catorze pontos de precisão em um ranking no qual ambos os modelos competiram, e está obtendo a melhor evidência da área sobre o que essa precisão cobre e não cobre.
Escolha o Karpo Decision 31B se o estado for uma captura de tela, um ticket ou uma página — curto, muitas perguntas, sensível à latência — e se a pontuação Full do board for a evidência que você pondera. Você está aceitando um erro de calibração de cinco pontos e um teto de 32k, e está obtendo o líder atual em 94 ms.
O que nenhum dos dois oferece é um endpoint de produção. Se a camada de decisão tiver de ficar atrás de um gate que dispara antes de cada chamada de ferramenta, você mesmo vai operar uma destas, ou vai chamar algo hospedado. O Jev 1.14 da TypeSafe está no nosso catálogo exatamente para essa função, e é o modelo que os dois checkpoints foram criados para perseguir — útil como controle em um teste sombra, já que uma reprodução aberta que supera seu alvo em um painel de terceiros também deve superá-lo no seu tráfego. O catálogo também inclui os dois modelos base, Gemma 4 31B e Qwen3.8-27B, por meio de uma API para mais de 200 modelos ao preço de tabela do provedor, sem markup, que é a maneira mais barata de estabelecer se vale a pena ter uma camada de decisão antes de você comprar a GPU.
A questão em aberto que este confronto deixa é aquela que o conselho não consegue responder: se a vantagem de catorze pontos de Karpo sobrevive ao contato com uma carga de trabalho real, ou se é o tipo de vantagem que vem de ter sido ajustada numa distribuição mais próxima do conjunto de teste privado do que a do concorrente. A ficha de Kev documenta sua mistura de treinamento até a contagem de registros; a de Karpo não. Essa assimetria não é evidência de nada, e é o motivo para medir em vez de confiar em qualquer um dos números.

