Nemotron 3.5 Bolt 74B vs Kimi K3: Um Arquivo de 24 GB Contra um Modelo Principal de 2,8 Trilhões de Parâmetros

Os dois modelos nesta comparação não estão competindo pelo mesmo espaço, e os números deixam isso claro antes mesmo que qualquer um dos fornecedores diga uma palavra. N​VIDIA N​emotron 3.5 Bolt 74B-A9B 24GB é um modelo de visão-linguagem de 74 bilhões de parâmetros que a N​VIDIA comprimiu para um checkpoint de 2 bits pequeno o suficiente para caber em 24 gigabytes de memória junto com o sistema operacional. Kimi K3 é o carro-chefe de 2,8 trilhões de parâmetros da M​oonshot AI, um modelo de pesos abertos cuja menor implantação viável é um rack. O primeiro é um arquivo que você pode copiar para um laptop e que a N​VIDIA começou a distribuir em 15 de outubro de 2026. O segundo é uma carga de trabalho que você aluga por token. Ler as pontuações deles lado a lado é útil justamente porque a diferença é tão grande que ninguém pode fingir que o menor é um substituto.

O que realmente vale a pena fazer nesta página é perceber onde vão parar os 22 pontos do Intelligence Index, e se algum deles recai sobre as tarefas que um agente local executa de facto.

O que foi lançado e quando

O repositório Bolt apareceu no Hugging Face em 7 de outubro de 2026; a própria publicação de lançamento da NVIDIA que o nomeia, "Open From Data Center to Desktop: NVIDIA Expands Nemotron Family With Highest Efficiency Super VL and Bolt Models", é datada de 15 de outubro. O próprio cartão do modelo traz uma data de lançamento de 10/15/2026. Essa ordem — pesos primeiro, anúncio oito dias depois — importa para qualquer pessoa que leia a cobertura deste modelo, porque uma semana do registro público consiste em um checkpoint baixável e um cartão do modelo sem nenhum comunicado à imprensa anexado a ele.

Fora isso, os dois modelos são separados por tudo. O Kimi K3 foi revelado em 16 de julho de 2026, com os pesos vindo em seguida, em 27 de julho, o que o torna cerca de três meses mais antigo e consideravelmente mais bem documentado por terceiros.

• Arquitetura — O NVIDIA Nemotron 3.5 Bolt 74B-A9B 24GB é um LatentMoE híbrido de Mamba-2–Transformer com um codificador de visão C-RADIO v4-H. O Kimi K3 é uma mistura esparsa de especialistas (mixture-of-experts) com 2,8 trilhões de parâmetros, que ativa 104 bilhões de parâmetros por token em 16 de 896 especialistas, construído sobre o Kimi Delta Attention da Moonshot.

• Parâmetros — 74B no total, 9B ativos para o modelo NVIDIA; 2,8T no total, 104B ativos para o Kimi K3. O modelo menor ativa menos de um décimo da computação por token do modelo maior.

• Pegada de memória — 24 GB com quantização de 2 bits (IQ2-XXS a 2,0625 bits por elemento para os pesos dos especialistas, NVFP4 para camadas Mamba, Q8_0 para embeddings e saída) em comparação com o que quer que uma implantação de 2,8T de parâmetros custe, o que não é um número que esta página possa indicar em gigabytes.

• Contexto — 262.144 tokens para o modelo NVIDIA; 1.048.576 para o Kimi K3, com preço fixo independentemente do comprimento.

• Entradas — texto, imagens e vídeo na entrada, texto na saída para ambos.

• Licença — OpenMDW-1.1 para o checkpoint da N​VIDIA; a Licença Kimi K3 para os pesos da M​oonshot, permissiva para a maioria dos usos, com um acordo separado exigido acima de US$ 20 milhões em receita anual.

Os números independentes, e aquele que não existe

A Artificial Analysis executou ambos os modelos, e é isso que torna esta comparação passível de resposta. Nem tudo no painel foi medido para ambos, e as lacunas são tão informativas quanto as pontuações.

• Intelligence Index — NVIDIA Nemotron 3.5 Bolt 74B-A9B 24GB pontua 21,4, quarto entre 67 modelos em sua classe de tamanho no conjunto de comparação do próprio painel. O Kimi K3 pontua 43,6 em seu modo de raciocínio máximo e 30,1 em seu modo baixo. Ambos os valores são medidos de forma independente, não informados pelo fornecedor.

• Custo por tarefa do Intelligence Index — o modelo da NVIDIA não tem valor porque não possui preço medido: a Artificial Analysis não lista nenhuma tarifa de entrada ou de saída para ele. O Kimi K3 custa US$ 2,00 de gasto de API por tarefa do índice, a US$ 3,00 por milhão de tokens de entrada e US$ 15,00 por milhão de saída, contra US$ 0,30 para entrada em cache.

• Velocidade de saída — o Kimi K3 gera 43,8 tokens por segundo, com 3,6 segundos até o primeiro token no equipamento do painel. Não existe nenhum número independente de throughput para o modelo da NVIDIA; a própria página de pesquisa da NVIDIA publica 83,99 tokens por segundo no AIPerf SPEED-Bench-Coding com o drafter LiLiCorr ativado, o que é uma medição do fornecedor em um benchmark diferente e em uma máquina diferente.

• Terminal-Bench 2.1 — 85,0 para o Kimi K3, executado de forma independente, contra a própria afirmação da M​oonshot de 88,3. A N​VIDIA informa 50,98 para o modelo Bolt em seu cartão de modelo, então os dois não estão em pé de igualdade: um número foi reproduzido fora do laboratório e o outro não.

• GPQA Diamond — 93,5 para o Kimi K3 de forma independente; 86,43 para o modelo NVIDIA, conforme publicado pela NVIDIA, sem número independente no painel.

• Recuperação de contexto longo (AA-LCR) — 88,7 para o Kimi K3, contra 69,7 do modelo NVIDIA, ambos medidos.

• Codificação científica (SciCode) — 59,5 para Kimi K3 contra 39,7 para o modelo NVIDIA, ambos medidos.

• Precisão do conhecimento e alucinação — no AA-Omniscience, o Kimi K3 atinge 47,6% de acurácia com 46,8% de não alucinação; o modelo NVIDIA atinge 17,1% de acurácia com 56,3% de não alucinação. Esse par é a linha mais interessante do quadro e a menos lisonjeira para uma leitura simples do índice: o modelo comprimido sabe menos e admite isso com mais frequência.

A medição que falta é a que um comprador mais gostaria de ter. Ninguém fora da NVIDIA publicou um teste de throughput ou latência no checkpoint de 24 GB, que é justamente o objetivo de lançar um checkpoint de 24 GB.

Para onde os 22 pontos realmente vão

Uma diferença de 22 pontos no índice soa como uma diferença de categoria, e em algumas tarefas é mesmo. O Kimi K3 é vinte pontos melhor em programação científica, dezenove pontos melhor em recuperação de contexto longo e mais de sete pontos melhor em perguntas de ciências de nível de pós-graduação. Não são erros de arredondamento nem artefatos do conjunto de comparação.

Mas a história de compressão por trás do modelo NVIDIA é específica o suficiente para explicar a forma do déficit. O checkpoint foi produzido pelo Star Elastic, a busca de arquitetura guiada por roteador da NVIDIA, que partiu do modelo pai 120B-A12B Super VL e buscou o número de especialistas e a largura do MoE por camada que caberia em menos de 24GB com tamanho de lote um e contexto de 128K, reduzindo o top-K de especialistas de 22 para 9 e então quantizando os especialistas para 2,0625 bits por elemento com destilação ciente de quantização para recuperar a precisão. Essa é uma troca deliberada de conhecimento armazenado por pegada. Um modelo que foi comprimido para 2 bits por peso de especialista mantém seu procedimento e perde seus fatos, e é por isso que a linha de alucinação melhora enquanto a linha de precisão colapsa.

A própria tabela de benchmarks da NVIDIA faz o mesmo argumento na direção oposta. A empresa divulga o modelo Bolt superando Qwen3.6-35B-A3B, Gemma4 26B-A4B e seu próprio Nemotron 3.5 Lightning 30B-A3B em Terminal-Bench 2.1, GPQA Diamond, BrowseComp e WebArena vision — ou seja, em tarefas agênticas e de uso de ferramentas — enquanto perde para o Gemma4 em precisão no AA-Omniscience e para o Qwen3.6 no PinchBench. A execução agêntica foi o que a compressão preservou.

Ambos têm pesos abertos, o que faz com que a escolha se resuma a eletricidade

Esta é a parte que diferencia este confronto de uma comparação com uma API fechada. Os pesos do Kimi K3 podem ser baixados. Se você tiver o hardware, pode executar você mesmo o modelo de 2,8T e não pagar nada por token — a mesma proposta do arquivo de 24GB, em uma escala completamente diferente. Nenhum dos modelos aqui está bloqueado por um fornecedor que pode mudar de ideia sobre o acesso.

A divisão prática é a geografia de implantação. Um checkpoint IQ2 de 24 GB é executado no vLLM numa única A100, H100 ou componente Blackwell, e a própria receita de referência da N​VIDIA também menciona o llama.cpp e uma conversão GGUF, que é como ele acaba dentro de harnesses de agentes locais em máquinas RTX e DGX Spark. O comando de serving recomendado não é um toggle de uma linha: fixa uma build nightly do vLLM, requer um plugin de parser de raciocínio baixado, precisa dos kernels b12x para os backends linear e MoE, define backends explícitos de Mamba e de atenção, e ativa a decodificação especulativa com sete tokens de rascunho LiLiCorr. Isso é uma receita para quem pretende ser dono da máquina, não para quem quer uma transcrição.

O Kimi K3 segue o caminho oposto. Todo o seu design parte do princípio de que você está alugando inferência, e seu preço é definido de acordo — $3,00 de entrada e $15,00 de saída por milhão de tokens é uma posição deliberada no topo do mercado de pesos abertos.

Executando a comparação em vez de lê-la

Se você quer saber se uma diferença de 22 pontos no índice importa para sua carga de trabalho, o experimento barato é chamar a metade cara. O Kimi K3 está no catálogo da OrcaRouter como kimi/kimi-k3, na mesma chave que o resto dos mais de 200 modelos que roteamos, cobrado pelo preço de tabela do provedor da M​oonshot sem acréscimo — então uma mudança de preço da M​oonshot entra em vigor do nosso lado no mesmo dia, em vez de no próximo ciclo de cobrança. Direcione um conjunto de prompts que se pareça com seu tráfego real para ele e meça a diferença em relação ao que você está executando localmente. A OrcaRouter não hospeda nenhum modelo da N​VIDIA e não tem endpoint Bolt para oferecer; a família N​emotron não está no nosso catálogo, e a metade local desta comparação continua sendo uma questão de hardware de qualquer forma.

Onde o roteamento realmente se justifica aqui é no caminho de fallback. Kimi K3 é um compromisso com um único modelo a um preço elevado, e o modo de falha de um agente de produção conectado a um único modelo de alta capacidade é que um problema de capacidade upstream se torne um incidente. O failover automático entre provedores por trás de um único endpoint transforma isso em uma nova tentativa.

Como decidir

A regra é mais curta do que a lacuna sugere.

Se o seu requisito inclui as palavras offline, privado, no dispositivo ou sem custo por token, o Kimi K3 não é candidato e a comparação acabou — um modelo de 2,8 trilhões de parâmetros não vai rodar na máquina em que você está lendo isto, e o checkpoint de 24 GB vai. Compre o laptop, aceite 21,4 no índice e direcione-o para uso de ferramentas em vez de perguntas sobre bioquímica.

Se o seu requisito é exatidão em raciocínio difícil, trabalho com contexto longo em centenas de milhares de tokens ou programação em escala de repositório, o modelo de 24 GB é a ferramenta errada, e a lacuna no índice está lhe dizendo a verdade. Pague pelo Kimi K3.

O que nenhum dos fornecedores resolveu é o caso intermediário, porque ele depende de um número que ninguém publicou: quão rápido o checkpoint de 2 bits realmente roda em hardware que você consegue comprar. Até que exista uma medição independente de throughput, a resposta honesta para "um arquivo de 24 GB pode substituir um flagship de 2,8T no loop do meu agente" é que a lacuna de inteligência é mensurável e a da latência ainda não.

Para um modelo cujos modos de falha ainda não estão documentados, a contraparte útil é o registro do que já deu errado em outros lugares: os incidentes de IA documentados e as falhas de agentes em torno de modelos desta classe são coletados em o OrcaRouter AI Incident Archive, onde cada entrada carrega suas próprias fontes, gravidade, grau de confiança e indicador de disputa.