Nemotron 3.5 Bolt 74B vs Gemma 4 26B A4B: Oito pontos de índice e uma incompatibilidade de largura de bits

Já existe uma comparação direta entre NVIDIA Nemotron 3.5 Bolt 74B-A9B 24GB e Google Gemma 4 26B A4B, e a NVIDIA publicou-a. Ela está na tabela de benchmarks da ficha do modelo Bolt, onde a coluna da Gemma é uma linha de base que a empresa escolheu. Ler essa tabela com atenção é a forma mais rápida de entender o que esses dois modelos realmente são, porque os dois checkpoints não estão competindo pela mesma tarefa, e a própria forma como o fornecedor enquadra a comparação diz isso em voz alta: os modelos de comparação foram escolhidos pela capacidade de caberem em 24GB de memória com quantização de 4 bits. O Bolt cabe em 24GB por um caminho diferente — 2,0625 bits por peso nas suas camadas de especialistas — e a diferença entre essas duas estratégias é a história inteira.

Os dois números no título são reais. A Artificial Analysis mediu o Bolt em 21 no seu Intelligence Index e o Gemma 4 26B A4B, em sua configuração de raciocínio, em 17. Nenhum dos valores vem de um fornecedor, e ambos estavam no ar nas páginas de modelos do painel quando isto foi escrito.

A comparação que a NVIDIA fez e a coluna que ela escolheu

A tabela da N​VIDIA para o Bolt tem quatro colunas: Qwen3.6-35B-A3B em BF16, G​emma 4 26B-A4B em BF16, N​emotron 3.5 Lightning 30B-A3B em BF16, e Bolt em IQ2. Todos os números nela são informados pelo fornecedor e não foram reproduzidos por ninguém independente. Aqui está a coluna do G​emma em comparação com a do Bolt, benchmark por benchmark.

• GDPVal-AA-V2 — G​emma 15,33, Bolt 28,47

• Terminal-Bench 2.1 — Gemma 37,22, Bolt 50,98

• Tau3 Banking — G​emma 14.02, Bolt 17.01

• HLE sem ferramentas — G​emma 17.42, Bolt 25.30

• SciCode — Gemma 40.28, Bolt 41.02

• GPQA Diamond — G​emma 79.61, Bolt 86.43

• Recuperação de contexto longo AA-LCR — Gemma 57,56, Bolt 64,06

• PinchBench — Gemma 74,70; Bolt 87,82

• Visão WebArena — G​emma 38.2, Bolt 50.86

• Precisão do AA-Omniscience — G​emma 22,17, Bolt 16,90. G​emma vence esta linha, e é a única na tabela em que isso acontece.

• Não alucinação do AA-Omniscience — Gemma 14,22, Bolt 61,27. Esta é uma perda grande e específica para a linhagem da Gemma, e vale a pena parar para refletir: a métrica de não alucinação do Omniscience penaliza um modelo que responde com confiança quando não sabe algo, e a versão da Gemma registrada aqui pontua cerca de um quarto da pontuação da Bolt.

Uma ressalva se aplica a todo o bloco. A NVIDIA executou tudo, incluindo a coluna do Gemma, em uma versão BF16 do Gemma contra uma versão de 2 bits de seu próprio modelo, e depois reportou o resultado em seu próprio cartão de modelo.

Dois checkpoints, dois regimes de compressão

Gemma 4 26B A4B é um produto lançado com um ano de uso por trás. Chegou ao Hugging Face em 11 de março de 2026 sob a Apache 2.0, com 25,2 bilhões de parâmetros totais e 3,8 bilhões ativos por token, com uma pilha de atenção híbrida que intercala camadas locais de janela deslizante com camadas globais, 256K de contexto, suporte nativo a system prompt e visão em todos os tamanhos da família. É um modelo que você pode pegar, quantizar para 4 bits por conta própria e executar, e já existe um grande ecossistema de quantizações prontas.

Bolt é um resultado de compressão usando um model card. A NVIDIA pegou o Nemotron 3.5 Super VL 120B-A12B — um checkpoint multimodal da mesma geração — e executou o Star Elastic sobre ele, uma busca de arquitetura guiada por roteador que precisa satisfazer um orçamento rígido de implantação, neste caso abaixo de 24GB com tamanho de lote 1 e contexto de 128K. O top-K dos especialistas caiu de 22 no modelo pai para 9. Os pesos dos especialistas foram então quantizados para IQ2-XXS a 2,0625 bits por elemento, com destilação ciente de quantização para recuperar a precisão, as camadas Mamba foram mantidas em NVFP4, os embeddings e as camadas de saída em Q8_0, e a torre de visão foi reconectada depois.

O resultado são 74 bilhões de parâmetros em um arquivo de 24 GB. Isso não é uma quantização de um modelo lançado; é uma rede com formato diferente que foi buscada sob uma restrição de memória e depois treinada para se recuperar.

Por que a largura de bits importa mais do que os parâmetros

Coloque os dois lado a lado e a leitura intuitiva é que um modelo de 74B supera um modelo de 26B. Essa leitura provavelmente está correta neste caso, e também não é a parte interessante, porque os dois modelos estão sendo solicitados a fazer coisas diferentes com os mesmos 24GB.

• Parâmetros — Bolt 74B no total, 9B ativos por token. Gemma 4 26B A4B: 25,2B no total, 3,8B ativos por token.

• Arquitetura — Bolt: híbrido Mamba-2–Transformer LatentMoE com um codificador de visão C-RADIO v4-H. G​emma: MoE de atenção híbrida local/global com uma torre de visão e, em outros tamanhos da família, áudio.

• Precisão armazenada — O Bolt é fornecido nativamente a 2,0625 bits por peso de especialista. O repositório do Gemma é de 16 bits, com builds de 4 bits e de treinamento com reconhecimento de quantização publicados separadamente.

• Contexto — Bolt até 256.000 tokens. Gemma 4 26B A4B: 256.000 tokens. Esta linha é um empate, o que surpreende quem assume que o modelo de 2 bits abriu mão de algo aqui. Não abriu.

• Entradas — Bolt aceita texto, imagens e vídeo. Gemma 4 26B A4B aceita texto e imagens; o vídeo chega como quadros, e o áudio está restrito aos membros menores da família.

• Licença — Bolt: OpenMDW-1.1. Gemma 4 26B A4B: Apache 2.0, com a política de uso proibido do Google vindo junto.

• Decodificação especulativa — O Bolt traz um drafter LiLiCorr, conectado via DFlash com sete tokens especulativos na receita de referência da NVIDIA. O Gemma 4 26B A4B não tem drafter fornecido pelo fabricante; a previsão de múltiplos tokens aparece em ajustes finos da comunidade, e não na versão base.

A consequência prática da linha de precisão é que o download do Bolt já é o pequeno. Não há mais nenhuma build de 2 bits para encontrar, porque a build de 2 bits é o modelo. O 26B do G​emma é um checkpoint de 16 bits que se espera que você comprima, e a versão de 4 bits que a maioria das pessoas realmente vai servir é uma conversão dele feita por alguém.

Onde o modelo menor é a melhor compra

A própria tabela da NVIDIA dá à Gemma duas coisas que merecem ser levadas a sério. A precisão do AA-Omniscience favorece a Gemma, com 22,17 contra 16,90, e a leitura honesta disso é que a compressão de 2 bits teve um custo mensurável na recordação factual, mesmo após a destilação. Qualquer pessoa cuja carga de trabalho seja enciclopédica, e não agêntica, deve dar bastante peso a essa linha.

O licenciamento é o segundo. O Apache 2.0 é a opção com menos ônus disponível para implantação comercial, e a OpenMDW-1.1, embora tenha sido redigida para ser permissiva e explicitamente liberada pela NVIDIA para uso comercial, é um instrumento mais novo, com menos literatura sobre ela e nenhuma decisão judicial que a interprete. As equipes jurídicas já viram uma dessas antes, mas não a outra.

Terceiro: maturidade. O Gemma 4 26B A4B está disponível para download desde março e pode ser invocado a partir de um endpoint hospedado desde a primavera. Builds quantizadas, ajustes finos, receitas de serving e reproduções de benchmark já existem. O repositório do Bolt foi ao ar em outubro. Nada independente foi publicado sobre sua latência, e não há quantizações da comunidade com que contar, porque não há nada para quantizar.

Quarto, e fácil de passar despercebido: os irmãos do Gemma de 21B ou menos têm suporte nativo a áudio. Se o pipeline envolver fala, o 26B A4B é o membro errado da própria família, e nenhum modelo Nemotron é o certo.

Quanto custa realmente manter cada um

O Bolt não tem preço, e isso não é uma falha nos dados. Não há endpoint hospedado para ele em lugar algum, nem tarifa por uso na página do modelo do Artificial Analysis, nem provedor que o ofereça. Executá-lo significa possuir a máquina, e a receita de referência da NVIDIA é um fim de semana, não uma tarde: uma imagem nightly fixada do vLLM, o pacote de kernel b12x, um plugin de parser de raciocínio obtido como um arquivo separado, e depois configurações explícitas para o executor de modelo v2, os backends linear e MoE, os backends de atenção e Mamba, os dtypes de cache do Mamba, prefill em blocos e uma configuração de decodificação especulativa apontando para o drafter LiLiCorr.

O Gemma 4 26B A4B tem um preço em dois lugares. No catálogo pelo qual roteamos, google/gemma-4-26b-a4b-it está listado a US$ 0,06 por milhão de tokens de entrada e US$ 0,33 por milhão de saída, em um contexto de 262.144 tokens, com um tempo p50 até o primeiro token de cerca de 2,8 segundos — esse é um número medido por nós nos últimos sete dias, não uma alegação de fornecedor. A Artificial Analysis acompanha uma combinação diferente de provedores para o mesmo modelo e lista US$ 0,10 de entrada e US$ 0,40 de saída, que é o tipo de variação que mostra que o preço é uma propriedade do endpoint e não dos pesos. Os dois números são honestos; são preços de coisas diferentes.

O OrcaRouter coloca os modelos que roteamos atrás de uma única chave, pelo preço de tabela do provedor, com 0% de acréscimo, de modo que um corte de preço do fornecedor em um modelo roteado entra em vigor do nosso lado no mesmo dia, e o failover automático entre provedores significa que um problema de capacidade na origem é retentado em vez de chegar aos seus usuários. Não hospedamos nenhum checkpoint de N​emotron — o catálogo foi verificado, não presumido, e a família não está nele —, portanto, nesta página essas garantias cobrem a metade G​emma da comparação e nada mais. O que elas valem na prática é uma forma de testar o modelo menor com tráfego real sem um segundo contrato, enquanto você decide se o maior vale o hardware.

Escolher entre um arquivo e um serviço

Esta comparação não é equilibrada em termos de capacidade e não era suposto ser. Bolt é um modelo maior e mais capaz que foi fortemente comprimido e não pode ser alugado. Gemma 4 26B A4B é um modelo ligeiramente mais fraco que você pode alugar hoje, e cujas fraquezas são documentadas por pessoas que não têm nada a ganhar com ele.

Escolha o Bolt se a carga de trabalho envolver capturas de tela, PDFs, quadros de vídeo ou um navegador, se ele tiver que rodar sem rede, e se uma máquina com um acelerador da classe Blackwell já estiver na sala. Aceite que você é quem vai descobrir seu throughput, porque ninguém o publicou. Escolha o Gemma 4 26B A4B se você quiser um modelo de texto e imagem que você pode pagar por milhão de tokens esta tarde, se você precisar do Apache 2.0, ou se a recall factual em um conjunto amplo de perguntas importar mais do que a conclusão de tarefas agênticas.

A medição que resolveria isto é a que ninguém fez: uma execução independente de throughput e latência no checkpoint de 24 GB, e uma repetição independente da tabela da N​VIDIA com o G​emma quantizado para os mesmos 4 bits que o fornecedor diz ter selecionado. Enquanto essas não existirem, o argumento a favor do Bolt assenta numa tabela do fornecedor e numa contagem de parâmetros, e o argumento a favor do G​emma assenta num ano de resultados de outras pessoas.

Também é em comparações como esta que os modos de falha aparecem: os incidentes de IA documentados e as falhas de agentes por trás de modelos nesta classe são coletados no OrcaRouter AI Incident Archive, onde cada entrada carrega suas próprias fontes, gravidade, grau de confiança e sinalização de disputa.