Benchmarks do Kimi K3.1 Pro: cada pontuação, quem a produziu e onde a tabela ainda está em branco

O número mais útil no lançamento do Kimi K3.1 Pro não está no gráfico da própria Moonshot. A Artificial Analysis, que executa suas próprias avaliações em vez de citar tabelas de fornecedores, mede o Kimi K3.1 Pro com 55 no seu Intelligence Index — quarto entre 215 modelos da sua classe, dois pontos acima do GPT-6 Astra, com 53, e três pontos abaixo do Claude Opus 5.5, com 58. O material de lançamento da Moonshot conta uma história diferente e mais lisonjeira: 65,7% no Terminal-Bench 4.0, uma vantagem de 7,5 pontos sobre os 58,2% que atribui ao Astra. Ambos os números são reais, ambos foram produzidos honestamente, e eles discordam sobre quem está na frente. Essa discordância é o que vale a pena entender antes de você mover uma carga de trabalho para este modelo.

O que segue são todos os números publicados para o Kimi K3.1 Pro, com a fonte e a configuração associadas a cada linha, e uma observação sempre que a planilha estiver em branco. É o mesmo tratamento que este blog dá aos modelos da Anthropic e da OpenAI, pelo mesmo motivo: uma tabela de benchmark é uma afirmação tanto sobre um harness quanto sobre um modelo.

O número independente, primeiro

A Artificial Analysis avaliou o modelo na versão 4.3.2 do seu índice, que combina dez avaliações em um único número. Os quatro números que importam para um comprador são estes:

• Índice de inteligência — 55, classificado em 4º de 215 modelos. Para referência, a mediana da sua classe é 27, e GPT-6 Astra (Max) obtém 53, enquanto Claude Opus 5.5 obtém 58 na mesma versão do índice.

• Custo por tarefa — US$ 2,11 por tarefa do Intelligence Index, 85º lugar entre 113 em custo. O equivalente do GPT-6 Astra é US$ 3,26. Este é o número que transforma um preço por token em um custo de carga de trabalho, e o baixo preço por token do modelo é parcialmente consumido de volta em verbosidade.

• Verbosidade — 150 milhões de tokens de saída gerados durante a execução do índice, contra uma mediana de 87 milhões. O avaliador chama o modelo de “muito verboso”, e isso importa diretamente: a saída é o item caro na própria tabela de preços deste modelo, a US$ 10 por milhão de tokens.

• Velocidade — 73,5 tokens de saída por segundo no provedor do avaliador, mais lento que a média de 82. Na nossa própria rota, o tempo mediano até o primeiro token é de 7,15 segundos, que é o número que decide como o modelo parece em uma sessão de programação interativa.

Um rótulo nessa página merece destaque: a Artificial Analysis lista o Kimi K3.1 Pro como um modelo proprietário, porque, em 24 de outubro, os pesos estão prometidos, mas não foram publicados. Essa classificação deve mudar até 4 de novembro se a Moonshot cumprir a data.

A tabela de fornecedores, linha por linha, com a configuração anexada

A Moonshot publicou uma ampla planilha de suas próprias avaliações junto com o lançamento e, em vários pontos, compara o Kimi K3.1 Pro com o Claude Opus 5.5 e o GPT-6 Astra nas mesmas linhas. Todos os números abaixo são informados pelo fornecedor, a menos que a linha indique o contrário.

• Terminal-Bench 4.0 — 65,7% para o Kimi K3.1 Pro, contra 66,4% do Claude Opus 5.5 e 58,2% do GPT-6 Astra. Esta é a manchete. É também a linha com mais ressalvas: os 66,4% da Anthropic foram produzidos com esforço xhigh, um nível acima do padrão; a própria execução do Kimi está no padrão do modelo, max. Os dois números vêm de harnesses diferentes.

• Kimi Code Bench 3.0, longo horizonte — 61,2% contra 55,95% do Kimi K3. Esta é a comparação com o antecessor mais limpa do lançamento, e a mais controlada pelo fornecedor: tanto o benchmark quanto o harness pertencem à Moonshot.

• BenchCAD com ferramentas — 92,7% para Kimi K3.1 Pro, contra 96,2% para Claude Opus 5.5 e 95,9% para GPT-6 Astra. Sem ferramentas, 72,8% contra 73,0% do Opus; a Astra não divulgou um número sem ferramentas. Esta é a linha em que o desafiante visivelmente perde, e ela fica no meio da própria proposta de criação 3D do lançamento.

Kimi Hallu Bench Hard — uma taxa de alucinação no nível de afirmação de 8,3% com ferramentas, 5,4% sem. No mesmo benchmark, o GPT-6 Astra é melhor com ferramentas (5,5 versus 8,3) e melhor sem (4,2 versus 5,4); o Claude Opus 5.5 é pior em ambos (15,0 e 6,8). A Moonshot também relata que a taxa caiu de 23,4% no Kimi K3, e que respostas contendo pelo menos um erro factual agora representam 42,4% da taxa do predecessor.

• Avaliações financeiras e empresariais, internas — Modelagem Financeira 57,6 contra 50,4 para o K3, Pesquisa Financeira 70,4 contra 58,8, Operação Empresarial 37 contra 8,9. A última representa uma melhoria de quatro vezes em uma tarefa na qual o modelo antigo era praticamente não funcional. Trate as magnitudes como direcionais; estas são as próprias suítes da Moonshot.

• OfficeQA Pro v2 — 64,4, que a Moonshot descreve como estado da arte. Nenhum valor de um segundo fornecedor aparece na linha.

• xdev-bench-hard, pass@3 — 81,0% para o modelo entregue, 90,5% para um checkpoint treinado sem as medidas de redução de risco cibernético da empresa, 33,3% para o Kimi K3. Essa diferença de 9,5 pontos é o preço que a Moonshot diz ter pago para manter a capacidade cibernética ofensiva abaixo de um limite.

Onde a tabela ainda está em branco

Três lacunas merecem ser mencionadas, porque a cobertura deste lançamento, em grande parte, as ignorou.

O primeiro está na própria documentação da API da Moonshot. No dia do lançamento, a página de início rápido do Kimi K3.1 Pro ainda trazia strings de placeholder literais — "[xx.x%]" — onde deveriam estar as pontuações do Terminal-Bench 4.0, do Terminal-Bench-Science 0.1 e de codificação interna, enquanto o post de marketing trazia os números finais. Trata-se de um pipeline de documentação que foi publicado antes do texto, não de uma fabricação, mas é um motivo para ler os números na página do blog em vez de na documentação.

O segundo é o Terminal-Bench-Science 0.1, no qual a Anthropic publica 58,7% para o Claude Opus 5.5 e o material da Moonshot diz apenas que o Kimi K3.1 Pro está "acima do K3", sem um número. Uma linha sem qualquer número de nenhum dos lados de uma comparação não é uma linha.

O terceiro é o SWE-bench. É o benchmark que muitas equipes ainda citam quando falam sobre agentes de programação, e o post de lançamento menciona DeepSWE v1.1 e SWE-Marathon v1.1 em notas de rodapé sem publicar pontuações. Seja qual for o motivo, o número mais solicitado está ausente.

Como ler um 65.7

Duas coisas influenciam uma pontuação no Terminal-Bench mais do que o modelo: a estrutura de suporte ao seu redor e a configuração de esforço de raciocínio. A própria tabela do Opus 5.5 da Anthropic mostra ambos os efeitos em um único modelo — o CursorBench 4.0 passa de 57,8% com esforço xhigh para 52,5% com medium, enquanto o FrontierCode varia 0,2 ponto entre as mesmas duas configurações. O Kimi K3.1 Pro tem três configurações e usa por padrão a mais cara, então uma execução do fornecedor que não declara seu nível de esforço provavelmente é uma execução no máximo, quer diga isso ou não.

É por isso que o índice independente e a tabela do fornecedor classificam esses três modelos de forma diferente. Na linha Terminal-Bench da Moonshot, o Kimi supera o Astra em 7,5 pontos. No índice de dez avaliações da Artificial Analysis, o Kimi está 2 pontos à frente do Astra e 3 atrás do Opus. Nenhuma das ordenações está errada; elas respondem a perguntas diferentes com estruturas de avaliação diferentes, e o único resumo defensável é que os três modelos estão a poucos pontos uns dos outros em capacidade geral, com o preço variando cinco vezes entre o mais barato e o mais caro.

O que fazer com os números

Para uma carga de trabalho em que o volume de saída domina — geração longa de código, redação de documentos, laços agênticos que escrevem muito mais do que leem —, o número de verbosidade é o que se deve usar para planejar. A 150 milhões de tokens por execução de índice, contra os 60 milhões da Astra, o Kimi K3.1 Pro produz cerca de 2,5 vezes a saída para uma tarefa e, mesmo a um quinto do preço da saída, isso ainda reduz consideravelmente a vantagem de custo. O valor de US$ 2,11 por tarefa já considera isso, e é por isso que ele é o melhor número para planejamento do que a tabela de preços.

Para uma carga de trabalho em que um ponto de precisão decide o resultado, a diferença de três pontos em relação ao Claude Opus 5.5 no índice independente é o número que importa, e nenhuma tabela de fornecedor deve dissuadi-lo disso.

O Kimi K3.1 Pro pode ser chamado através do OrcaRouter a $2.00 por milhão de tokens de entrada e $10.00 por milhão de tokens de saída, com 1,048,576 tokens de contexto, até 943,718 tokens de saída e três formatos de endpoint — Chat Completions, Responses e Messages — na mesma chave que o restante da sua stack. O preço de tabela do fornecedor é o que você paga, sem acréscimo de margem, o que significa que a aritmética acima é a aritmética que você obtém. A única coisa que esta página não pode lhe dar é o seu próprio benchmark: execute uma amostra do seu tráfego real com esforço baixo, alto e máximo antes de escolher um padrão, porque essa configuração altera o custo mais do que a escolha do modelo.