Um cartão de título gerado com o cabeçalho "Karpo Decision 31B" e o subtítulo "Um fine-tune do Gemma 4 31B no topo de um quadro de 307 modelos, sem nenhum post de lançamento em seu nome", três chips com os dizeres "pesos: 5 de novembro de 2026", "Full score: 73.9" e "anúncio: nenhum", uma linha do tempo horizontal de quatro pontos com "5 de nov. repositório", "6 de nov. rodada de pontuação", "12 de nov. família de seis modelos" e "16 de nov. edições no README", e um cartão contornado com "sem preço", "sem endpoint" e "sem linha na Artificial Analysis".
Guides & Insights

Karpo Decision 31B lidera um ranking de 307 modelos sem ter nenhum post de lançamento em seu nome

Autor

jinhao.song

Data de publicação

Modelos mais recentes · 20Ver todos os modelos →
Benchmarks: Artificial Analysis · atualizado diariamente
Voltar para todas as publicações

Em 12 de novembro de 2026, o Decision Index — o ranking comunitário que acompanha reproduções abertas do Je​v da TypeSafe — colocou Karpo Decision 31B no topo de sua pontuação Full, com 73,9, a mais alta entre 307 entradas. Na mesma semana, começou a circular a alegação de que esse modelo, um ajuste fino do Gemma 4 31B aberto do Goog​le, supera o próprio Gem​ini Decision 1. Apenas uma dessas duas afirmações é algo que um leitor pode verificar hoje, e a diferença entre elas é toda a história. O ranking que coloca o Karpo em primeiro lugar é público, datado e reproduzível a partir de um arquivo de resultados de 45 MB publicado pelo laboratório. O confronto direto com o Gem​ini Decision 1 nunca foi realizado: os dois modelos não compartilham um único ranking, e os instrumentos com que foram pontuados não são o mesmo instrumento.

O que torna a primeira metade estranha não é a pontuação. É o silêncio ao redor dela. A MachinePulse Pte. Ltd., empresa de Singapura por trás do Karpo, criou o repositório no Hugging Face em 5 de novembro de 2026, publicou um repositório de inferência no GitHub no mesmo dia e lançou cinco irmãos menores — 12B, 9B, 4B, 2B e 0.8B — em 12 de novembro. Até o momento em que escrevo, não há página de produto, post no blog, preços, anúncio do modelo nem API. O site da própria empresa retorna 404 em todos os caminhos que abrigariam uma. O Karpo existe como pesos, um README, um pacote Python e uma linha de ranking. Este texto trata do que essas quatro coisas podem e não podem lhe dizer.

A capture of the community Decision Index leaderboard, headed with the multimodalart jev-decision-index attribution, listing Karpo Decision 31B at 73.86 in first place ahead of GLiDE 27B at 73.37, REAX 1.3 at 72.64, Logits Sigma-1 Duo at 72.28, Copernicus-31B at 72.11, KnowLine 31B Gen1.5 at 71.91, Copernicus-57B at 71.8, FlexDM-LoRA 2.1 at 71.66, Sieve 31B v3 at 71.10, OneJev1.6g-31B at 70.86 and Turion Jev 31B at 70.47.

As datas, e por que elas importam mais do que o habitual

O registro de criação do repositório é 5 de novembro de 2026 às 15:33 UTC. O código de inferência do GitHub foi criado vinte e dois minutos depois. O conjunto de dados da execução do Decision Index — o elemento que torna o 73,9 auditável — foi carregado em 6 de novembro às 05:18 UTC. O README ainda estava sendo editado em 16 de novembro, com os dois últimos commits não alterando nada além de uma linha de direitos autorais e uma declaração de licença.

Isso é um modelo de duas semanas, com um repositório ativo e nenhum lançamento. Não é um vazamento, e não é a renomeação de algo mais antigo: os pesos são novos, o arquivo de licença é novo, e a família de seis modelos foi enviada em uma única tarde. O que isso é, é um laboratório que decidiu publicar o artefato antes do marketing.

O que exatamente o 73.9 mede

A single-column scoreboard titled 'Karpo Decision 31B — the scoreboard' with six rows reading 'Full score: 73.9, third-party private tests', 'Public index: 75.05, vendor run, board-adopted', 'Rank: joint first of 307', 'Artificial Analysis: no row', 'Price: none published' and 'Licence: Apache-2.0, Gemma 4 terms alongside', footed 'Full score computed by the Decision Index maintainers; public index from a 140,178-request vendor run adopted by the board.'

O Decision Index, na versão atual, é a edição 0.4.1. Sua pontuação Full é calculada pelos mantenedores do conselho em testes privados: cerca de 60% das tarefas extraídas das mesmas habilidades da suíte pública e 40% de domínios que a suíte pública não cobre. A linha de Karpo mostra 73,9 Full, com 70,7 na parte das mesmas habilidades e 78,6 na parte de novos domínios. Esses dois últimos números aparecem em uma ordem incomum — um modelo geralmente tem desempenho pior em território desconhecido do que nas habilidades para as quais foi ajustado — e o card relata isso sem comentário.

A classificação concede uma única posição aos modelos que estão a até 0,9 ponto do líder, então Karpo não ocupa sozinho o primeiro lugar. O GLiDE 27B, com 73,4, divide a vaga #1. Atrás deles ficam REAX 1.3, com 72,6; Logits Sigma-1 Duo, com 72,3; Copernicus-31B, com 72,1; e KnowLine 31B Gen1.5, com 71,9. É um topo disputado, não uma disparada.

O segundo número no cartão, 75,05, tem uma proveniência diferente e merece ser lido de outra forma. Esse é o índice público, e vem da própria execução do kit oficial de avaliação da MachinePulse — 140.178 requisições avaliadas, nove delas recusadas porque uma única pergunta mais seu estado excedeu a janela de 32.768 tokens. O conselho adotou essa execução. O motivo para confiar nisso mais do que em um número típico de fornecedor é que o diretório da execução é público: results.jsonl.gz, um arquivo de pontuações por requisição, um manifesto de ambiente. Qualquer pessoa pode executar o kit novamente e comparar. A adoção pelo próprio conselho é a etapa de revisão. Esse é um padrão mais forte do que a maioria das alegações de lançamento cumpre, e ainda não é o mesmo que um laboratório independente avaliar o modelo em seu próprio hardware.

Dois rótulos, então, e eles não devem ser fundidos: o Full score é calculado por terceiros a partir de testes privados; o índice público é calculado pela própria parte a partir de uma suíte pública e adotado. Nenhum dos dois é um benchmark de fornecedor no sentido usual. Nenhum dos dois é o Artificial Analysis.

Por que "beats Gem​ini Decision 1" ainda não é uma afirmação baseada em medição

Gem​ini Decision 1 tem um número. A Artificial Analysis o pontuou em 65,98 no Decision Index v2.1, um composto de seis avaliações ponderadas entre decisões de documentos, chamadas de ferramentas, conhecimento, raciocínio e invariância. Nesse ranking, ele ocupa a décima primeira posição entre os modelos de decisão que a AA classifica, abaixo de d1.2-ultra com 74,85, Drex Max v1.1 com 72,62 e SubQ Snap 1.2 com 72,58, e acima de Microsoft-Decision-1 com 62,07. A pontuação é da AA, no hardware da AA, e custa US$ 345 por milhão de tarefas para executar.

Karpo não aparece nesse quadro de forma alguma. O Artificial Analysis não tem página nem linha para ele. O Gem​ini Decision 1 também não aparece no rastreador Decision Index que inclui o Karpo — esse quadro é um registro de reproduções abertas, e o modelo do Goog​le é um produto fechado, somente via API, sem pesos para reproduzir.

Então, a comparação que todo mundo está fazendo é uma inferência a partir de dois números produzidos por duas organizações em duas suítes com combinações de tarefas diferentes, parcelas diferentes de testes privados e fórmulas de pontuação diferentes. 73,9 não é maior que 65,98 em nenhum sentido que sobreviva ao contato com a metodologia. Se as duas fossem executadas com o mesmo kit amanhã, Karpo bem que poderia vencer — seu perfil por categoria é forte —, mas ninguém a executou, e a manchete atualmente é uma hipótese vestindo roupas de resultado.

Há mais uma nuance que vale a pena conhecer, porque ela joga contra a alegação, e não a favor. Nas cinco divisões por categoria do tracker, a área mais fraca do Karpo é conhecimento e raciocínio, com 65,5 de habilidade corrigida pelo acaso. A mais forte é ferramentas e automação, com 88,4. No painel da AA, o único componente em que o Gemini Decision 1 supera quase tudo é o de conhecimento: 66,3 no AA-Omniscience, o mais alto dos quatro modelos verificados aqui. A área em que o modelo do Google é melhor é a área em que o ajuste fino do Gemma é comparativamente mais fraco. Um confronto direto seria uma disputa genuína ali, não um passeio, e é exatamente por isso que a comparação não realizada não deve ser relatada como uma vitória.

A parte do cartão que é mais interessante do que o ranking

A capture of the Hugging Face model card for MachinePulseAI/karpo-decision-31B showing the Text Classification tag, the gemma4 image-text-to-text tag, the apache-2.0 licence, the line 'Ranked #1 on the Decision Index, with the highest Full score, 73.9', the description of a multimodal decision model that returns a probability for every option of every question in one forward pass without generating text, 'Fine-tuned from google/gemma-4-31B', 'Parameters: 31.3B in bf16, plus a 255 x 5,376 readout in fp32', the screenshot input at state.viewport_screenshot, and the base-model link to google/gemma-4-31B.

Karpo não é um modelo de chat com modo JSON. É um mecanismo de leitura direta. Cada opção em uma pergunta recebe um código de opção, e uma cabeça linear pontua 255 códigos em um slot fixo e, em seguida, aplica softmax sobre as opções que a pergunta realmente ofereceu. Nada é gerado, então a resposta é sempre uma das escolhas que você forneceu e o custo de saída é estruturalmente zero.

A arquitetura merece um parágrafo porque explica a latência. Uma requisição é um estado mais qualquer número de perguntas, codificada como uma única sequência: primeiro as perguntas, depois o estado, depois um ramo por pergunta. A atenção de ramo permite que um ramo leia o bloco compartilhado e a si mesmo, nunca outro ramo. O estado é calculado uma vez. Cem perguntas sobre uma única fatura, portanto, custam aproximadamente uma passada sobre a fatura, não cem.

• Parâmetros — 31,3B em bf16, além de uma leitura de 255 × 5.376 em fp32; cerca de 62,5 GB em disco.

• Contexto — 32.768 tokens por sequência; uma solicitação mais longa é dividida por pergunta, com cada parte carregando o estado completo, e uma pergunta que ainda assim não couber é recusada em vez de truncada.

• Entrada — texto, JSON e imagens; uma captura de tela pode ser passada como state.viewport_screenshot ou como uma URL de dados.

• Tipos de pergunta — escolha com até 255 opções, noul para verdadeiro/falso, pontuação para um nível ordenado.

• Interface — uma API Python e um servidor HTTP no formato do System One, POST /v1/systemone.

• Licença — Apache-2.0 para os pesos e o código, com a licença própria do Gem​ma 4 incluída junto no repositório.

A latência medida no hardware de referência do tracker, com uma GPU e uma requisição por vez, é de 94 ms na mediana. Isso não é rápido o suficiente para ser invisível dentro de um loop de agente por etapa que faz vinte chamadas pequenas por turno, e é rápido o suficiente para ficar atrás de um gate de chamada de ferramenta que dispara algumas vezes por conversa. A ficha também informa um erro de calibração de 4,8 pontos, que é o número do qual uma implantação realmente depende: a acurácia diz com que frequência a resposta principal está correta; a calibração diz se é possível aplicar um limiar à probabilidade associada a ela.

O que não está confirmado, dito claramente

Não há preço. Não é "não divulgado até o lançamento" — não há tabela de preços, endpoint hospedado, console nem teste. Se você quiser o Karpo Decision 31B hoje, baixe 62,5 GB e execute-o na sua própria GPU com o loader do próprio repositório. Carregar o checkpoint como um modelo de chat comum não reproduzirá suas respostas; a atenção de ramificação e o readout são ambos necessários.

Não há pontuação independente. O Decision Index é não oficial e mantido pela comunidade. É criterioso, bem documentado e incomumente transparente quanto ao método, e não é o Artificial Analysis, e não lhe foi solicitado que pontuasse este modelo em seu próprio hardware. O elemento de terceiros mais forte é que seus mantenedores calcularam a pontuação Full em testes que o fornecedor nunca viu.

Não há qualquer declaração do fornecedor sobre para que o modelo foi criado além da própria descrição no README: as pequenas chamadas que um agente faz a cada passo — se deve chamar uma ferramenta ou perguntar primeiro, em que elemento de uma página clicar, se uma devolução é elegível ao abrigo de uma política. Essa descrição é o enquadramento do laboratório, não um âmbito validado de forma independente.

E não há anúncio. Nem um discreto, nem uma entrada no changelog. Duas semanas depois que os pesos foram disponibilizados, a face pública da empresa é uma página de vagas e uma linha de produto diferente.

Onde isso deixa uma equipe que quer experimentar

O resumo honesto é que o Karpo Decision 31B é o modelo de decisão aberto mais interessante das últimas duas semanas e o menos respaldado. Sua liderança é real, mas está empatada; seu índice público é reproduzível; sua pontuação no teste privado é genuinamente de terceiros; e sua principal alegação de marketing — de que um ajuste fino do Gem​ma agora supera o Goog​le em seu próprio modelo de decisão — não foi mensurada.

Para equipes que já operam uma camada de decisão, o caminho prático é uma implantação em modo sombra, e não uma migração. Mantenha o modelo que está atendendo o tráfego de produção, execute o Karpo offline nas mesmas requisições e compare as probabilidades, e não os rótulos: um erro de calibração de 4,8 pontos significa que aproximadamente uma em cada vinte respostas está errada com mais confiança do que a probabilidade declarada sugere, e é a sua política de limiar que transforma isso em uma fila de revisão humana ou em um incidente. Se você está padronizando em um único endpoint para o restante da stack, os modelos que você realmente consegue acessar esta semana são os que estão no catálogo — o próprio Gemma 4 31B, que é a base do Karpo e é servido por meio de uma API para 200+ modelos ao preço de tabela do provedor, sem markup, e o Jev 1.14 da TypeSafe, o modelo que todo este placar de reprodução aberta foi criado para alcançar. O Karpo terá de conquistar seu lugar da mesma forma que os outros: sendo chamável.

O ponto a observar não é o 73,9. É se a MachinePulse lança uma página de produto, um preço e uma submissão à AA no próximo mês. Um laboratório que publica pesos antes de um site geralmente tem um motivo, e esse motivo costuma aparecer como um endpoint hospedado ou um pivô. De qualquer forma, o primeiro número independente no quadro da AA vai resolver em uma semana o que uma quinzena de aritmética de ranking não resolveu.

Comparados neste artigo1

Detectado a partir deste artigo · Benchmarks: Artificial Analysis · atualizado diariamente