
Karpo Decision 31B vs Nimble v3: a licença responde antes do ranking.
- OrcaNOVOOrcaCyber: Hy4 Flash Abliterated / Uncensored2026-11-18$0.07 / $0.28 por 1M de tokens · 184 tok/s
- tencentNOVOTencent: Hy4 Flash2026-11-16$0.02 / $0.07 por 1M de tokens · 215 tok/s
- GoogleNOVOGoogle: Gemini 4 Carbon2026-11-10$2.00 / $10.00 por 1M de tokens · 87 tok/s
- AnthropicNOVOAnthropic: Claude Fable 5.22026-11-09$8.00 / $40.00 por 1M de tokens · 97 tok/s
- orcaNOVOOrca: OrcaC2 1.02026-11-079 tok/s
- OrcaOrcaCyber: GLM 5.3 Abliterated / Uncensored2026-11-04$3.00 / $5.00 por 1M de tokens · 90 tok/s
- OrcaOrcaCyber: Hy4 Abliterated / Uncensored2026-11-04$0.80 / $1.60 por 1M de tokens · 131 tok/s
- OrcaOrcaCyber: Kimi K3.1 Pro Abliterated / Uncensored2026-11-04$2.00 / $5.00 por 1M de tokens · 76 tok/s
- tencentTencent: Hy42026-11-04$0.83 / $2.50 por 1M de tokens · 109 tok/s
- OrcaOrcaCyber: MiniMax M3.1 Flash Abliterated / Uncensored2026-10-29$0.80 / $1.60 por 1M de tokens · 114 tok/s
- OrcaOrcaCyber: GLM 5.3 Flash Abliterated / Uncensored2026-10-27$0.80 / $1.60 por 1M de tokens · 68 tok/s
- OrcaOrcaCyber: Qwen3.8 Flash Next Abliterated / Uncensored2026-10-26$0.80 / $1.60 por 1M de tokens · 94 tok/s
- OrcaOrcaCyber: MiMo V2.6 Flash Abliterated / Uncensored2026-10-26$0.80 / $1.60 por 1M de tokens · 41 tok/s
- MoonshotMoonshotAI: Kimi K3.1 Pro2026-10-2447Inteligência
- OrcaOrcaCyber: DeepSeek V4.1 Flash Abliterated / Uncensored2026-10-23$0.80 / $1.60 por 1M de tokens · 209 tok/s
- minimaxMiniMax: M3.1 Flash2026-10-1929Inteligência
- OrcaOrca: OrcaCyber Ultra 1.02026-10-17$5.00 / $10.00 por 1M de tokens · 111 tok/s
- deepseekDeepSeek: DeepSeek V4.1 Flash 10172026-10-1733Inteligência
- DeepSeekDeepSeek: DeepSeek V4.1 Flash 09102026-10-17$0.15 / $0.60 por 1M de tokens · 311 tok/s
- DeepSeekDeepSeek: DeepSeek V4.1 Flash2026-10-1740Inteligência
Two decision models shipped in the same autumn with almost no announcement, and they land on opposite sides of the one question that usually decides a purchase. Nimble v3 — filed as Bespoke-Nimble-9B-v3, uploaded to Hugging Face on 30 September 2026 — is a 9B LoRA adapter under CC BY-NC 4.0, which the card glosses as "it may not be used for commercial purposes." Karpo Decision 31B, created on 5 November 2026 by MachinePulse, is a 31.3B Gemma 4 fine-tune under Apache-2.0 with Gemma 4's own terms carried alongside. Everything else in this matchup — a 22-point leaderboard gap, a three-times difference in weight size, a calibration error that differs by a factor of two and a half — is downstream of that fork, and most teams discover it after they have already picked a winner on benchmarks.
Comece pela licença, porque é a única parte desta comparação que está ao mesmo tempo resolvida e é decisiva. Depois, veja o que os números podem e não podem dizer-lhe, porque desse lado quase nada está de todo resolvido.
O que cada repositório realmente contém
O Nimble v3 é composto por cinco arquivos: um README, adapter_config.json, adapter_model.safetensors, um schema_config.json e .gitattributes. Trata-se de um adaptador PEFT, não de um modelo autônomo, e ele espera Qwen/Qwen3.5-9B como base, que o repositório não duplica. O card descreve um contexto e perguntas tipadas — uma escolha entre opções, ou sim ou não — e retorna uma probabilidade para cada opção. A Bespoke Labs não publicou comprimento de contexto, teto de opções, temperatura nem nota de alteração para a v3; os checkpoints anteriores da família documentavam parte disso, este não.
O Karpo Decision 31B é um checkpoint completo, 62,5 GB de pesos com 31,3B de parâmetros em bf16, além de uma cabeça de leitura de 255 × 5.376 em fp32. Ele lê texto, JSON e imagens, aceita até 255 opções por pergunta, limita uma sequência a 32.768 tokens, divide solicitações mais longas por pergunta e recusa qualquer coisa que ainda não caiba, em vez de truncá-la. É distribuído como um pacote Python e um servidor HTTP no formato System One, POST /v1/systemone, porque uma pilha genérica de chat-completions não consegue executá-lo: a atenção de ramificação e a leitura são ambas essenciais, e carregar o checkpoint como um modelo de chat comum não reproduzirá suas respostas.
A diferença entre os repositórios tem um lado prático. O README do Nimble v3 não explica como servi-lo corretamente; o cartão do Karpo explica. Um é um checkpoint com um manual do proprietário, o outro é um checkpoint com uma linha de licença.
A lacuna, e os instrumentos em que você teria de confiar para acreditar nela
On the Decision Index — the community board tracking open reproductions of TypeSafe's Jev, now in edition 0.4.1 — the two numbers are 73.86 and 51.06 on the Full score. That is a 22.8-point gap. The Full figure is the one worth trusting most, because the maintainers ran it themselves: roughly 60% of it comes from tests over the same skills as the public suite and 40% from domains nobody published for, and neither vendor saw either half beforehand. Karpo's split is 70.94 same-skills against 61.5 new-domains. Nimble v3's is 52.34 against 38.2.
Os números públicos em cada cartão são as execuções próprias dos fornecedores do kit oficial e devem ser lidos separadamente: 75,05 para Karpo em 140.178 solicitações avaliadas, e 56,88 para Nimble v3 — o número que seu cartão imprime na suíte mais antiga 0.2.1, que a reexecução do board coloca em 57,19 na escala atual. Ambos foram adotados pelo board, o que é uma etapa real de revisão e não é a mesma coisa que um laboratório independente colocar o modelo em seu próprio hardware. Nenhum dos modelos aparece no Artificial Analysis. Ninguém fora desses dois repositórios avaliou nenhum deles.
Na prática, isso significa que os 22,8 pontos são mais confiáveis do que a maioria das comparações de fornecedores e menos confiáveis do que a leitura de um único instrumento para ambos os modelos. Eles foram produzidos por uma única organização, em um único conjunto de testes, com uma única fórmula, o que é genuinamente o melhor cenário disponível para modelos abertos de decisão — e o conjunto de testes não é oficial, a faixa de empate é de 0,9 ponto, e a metade privada não pode ser inspecionada por você. Trate a direção como real e a magnitude como aproximada.
Onde o modelo 9B está mais próximo do que a diferença de tamanho sugere

Separe as cinco pontuações por categoria do placar e a história deixa de ser um passeio. Em ferramentas e automação, o Nimble v3 obtém 84,24 contra 88,39 do Karpo — quatro pontos, de um modelo com um terço do tamanho, na categoria que abrange seleção de ferramentas e controle de acionamento de agentes. Esse é o caso de uso para o qual a Bespoke Labs criou a família, e ele sobrevive à diferença de tamanho mais ou menos intacto. Se sua camada de decisão existe para responder "este agente deve chamar a ferramenta, e qual delas?", o adaptador 9B está na mesma conversa que o checkpoint 31B.
Em todos os outros lugares, a diferença é exatamente a que se preveria. A compreensão da linguagem marca 60,68 contra 76,78, a recuperação 55,48 contra 76,42, o conhecimento 40,96 contra 65,46, e as artes e o julgamento de questões abertas 44,05 contra 68,21. A vantagem do Karpo está concentrada exatamente nos pontos em que a capacidade extra de um modelo de 31B deveria compensar: contexto mais longo, mais conhecimento de mundo e melhor leitura de um estado denso.
A latência também não acompanha a diferença de tamanho. No hardware de referência do tracker — uma GPU, uma requisição por vez —, o Nimble v3 registra mediana de 73,9 ms contra 94,3 ms do Karpo. Vinte milissegundos não são motivo para escolher um modelo, mas são um lembrete de que um adaptador 9B mesclado é um objeto diferente de operar: cabe em um laptop em Q4, carrega em segundos e pode ficar dentro de um loop de agente por etapa sem uma conversa sobre orçamento de GPU.
Calibração, em que o modelo menor não é apenas mais fraco, mas também menos honesto
A acurácia diz com que frequência a resposta principal está correta. A calibração diz se a probabilidade associada a ela consegue sustentar um limiar e, para um modelo de decisão, esse é o único número que importa operacionalmente.
O cartão de Karpo relata um erro esperado de calibração de 4,8 pontos em 34.411 respostas: confiança média de 87,96% contra uma precisão real de 83,19%. Na faixa superior, que concentra 68,5% de todas as respostas, ele acerta 95,7% das vezes, embora declare 98,7%. Há excesso de confiança na extremidade superior, em cerca de três pontos, com a curva acompanhando no restante.
O resultado do Nimble v3 é de 12,29 pontos em 34.833 respostas: confiança de 87,26% contra acurácia de 74,97%. O bucket superior concentra 67% das respostas, declara 98,6% e acerta 89,1% — uma superestimação de 9,5 pontos na faixa em que um limiar de fato existe. Abaixo disso, os buckets intermediários são ainda piores: com 0,85 declarado, o modelo acerta cerca de 59% das vezes. Isso não é um modelo com um pequeno desvio de calibração; é um modelo cuja confiança não pode ser usada como gate sem reescalonamento, e a documentação da própria família nunca prometeu o contrário.
Leia esses dois parágrafos em conjunto e a conclusão honesta é mais restrita do que o ranking sugere. O Karpo é melhor em tomar decisões e melhor em saber quão boas são suas decisões. O Nimble v3 é mais barato de rodar e, na categoria que mais importa para o trabalho com agentes, fica perto — mas, se você planeja aceitar automaticamente acima de 0,9 e escalar abaixo, passará sua primeira semana ajustando uma correção para o Nimble que o Karpo fornece no cartão dele.
A bifurcação da licença, dita sem rodeios
O Nimble v3 é CC BY-NC 4.0. Isso não é ambíguo: o cartão diz que ele não pode ser usado para fins comerciais. Todos os checkpoints anteriores do Nimble eram Apache-2.0, e o modelo base é Apache-2.0, o que não muda nada — uma base permissiva não afrouxa um adaptador não comercial, e é no adaptador que o comportamento reside. O repositório do GitHub que contém o código de treinamento e curadoria do projeto não informa licença alguma por meio da API do GitHub, o que é um problema separado e possivelmente pior para quem planeja construir sobre ele.
Karpo Decision 31B is Apache-2.0 for weights and code, with Gemma 4's terms carried alongside in the repository. That is the permissive end of open, with the usual Gemma caveat that downstream redistribution has to carry those terms too.
Para um caderno de pesquisa, uma avaliação interna ou um artigo, a distinção é invisível, e o Nimble v3 é a opção de entrada mais barata. Para qualquer coisa que envolva receita — um gate de roteamento dentro de um produto comercial, um modelo de triagem em um pipeline pago, até mesmo uma ferramenta interna em uma empresa com fins lucrativos —, a licença resolve o confronto antes que os 22.8 pontos sejam sequer considerados. A Bespoke Labs tem um caminho de API hospedada e um placeholder para uma variante de 27B que reporta 65.33 na suíte pública mais antiga, e nenhum dos dois altera os termos do adaptador de 9B.
Servir qualquer um dos dois é um problema de roteamento antes de ser um problema de modelagem.

Os modelos de decisão são limitados por construção: respondem apenas às perguntas que lhes são apresentadas, não conseguem escrever, explicar nem devolver uma opção que não lhes tenha sido fornecida. Isso faz deles a metade pequena de um padrão de dois modelos, e a metade mais fácil de manter internamente. É na metade generativa que um único endpoint justifica a sua existência.
OrcaRouter runs neither of these checkpoints, and neither would make sense behind a chat-completions route. The two models it does serve sit one layer down: TypeSafe's Jev 1.14, the target the whole board exists to reproduce, and the Gemma 4 31B checkpoint that Karpo was fine-tuned from. One key covers both, pricing follows the provider's list with nothing added on top, so a vendor change reaches you the same day. What suits a decision head is the routing layer in front of it — a routing DSL that sends each request class to the model that should answer it, with failover behind that — so a nightly rescoring job and a live guardrail share one contract while the decision model itself stays wherever its licence allows.
Três coisas que mudariam esta leitura

A primeira é uma mudança de licença. Um adaptador Nimble utilizável comercialmente sobre uma base Qwen3.5-9B, com um contrato de contexto e uma temperatura declarada, tornaria a opção 9B genuinamente competitiva para o gating de agentes — a pontuação de 84,24 em ferramentas indica que a capacidade já existe. Nada no material público da Bespoke Labs sugere que isso esteja por vir; a mudança de Apache-2.0 para CC BY-NC foi na direção oposta.
O segundo é uma especificação de contexto e prompt. O card do Nimble v3 não documenta nenhum dos dois, o que significa que quem o executa está adivinhando um formato de prompt que as versões anteriores costumavam distribuir. Um modelo cujas entradas são reconstruídas pelo usuário é um modelo cujos números são difíceis de reproduzir, e o erro de calibração de 12,3 pontos é o tipo de número que melhora ou piora dependendo de como você formula a pergunta.
O terceiro é qualquer instrumento independente que leia ambos. O Decision Index é criterioso, transparente quanto ao seu método e honesto quanto às suas faixas de empate, e ainda é um painel comunitário. No dia em que qualquer um dos modelos aparecer no Artificial Analysis ao lado de um avaliador de hiperescalador, a comparação deixa de ser aritmética entre duas fichas de fornecedor e passa a ser uma medição. Isso não aconteceu para nenhum dos dois e, até que aconteça, a posição defensável é a mais sem graça: Apache-2.0 e melhor calibrado em 31B se você conseguir executá-lo, não comercial e barato em 9B se não conseguir, e nenhum motivo para escolher apenas com base no placar.
