Nemotron 3.5 Bolt vs Nemotron 3 Ultra: O Que Sobrevive a uma Compressão de 7,4 Vezes

Dois modelos do mesmo fornecedor, separados por um fator de 7,4 no número de parâmetros e por cerca de duas ordens de grandeza no hardware necessário para executá-los. NVIDIA Nemotron 3.5 Bolt 74B-A9B 24GB foi lançado em 15 de outubro de 2026 como um arquivo de 24 GB que roda ao lado de seus outros aplicativos em um dispositivo Spark ou uma GPU Blackwell. NVIDIA Nemotron 3 Ultra 550B-A55B está no Hugging Face desde 3 de junho de 2026 e exige, no mínimo, dezesseis H100s em BF16.

A pergunta interessante não é qual é mais forte — a resposta é óbvia e não chega perto. É o que especificamente sobrevive quando você comprime um modelo grande em um envelope de memória pequeno, porque isso diz quais cargas de trabalho o pequeno consegue absorver e quais vão deixá-lo em apuros. A própria nota de pesquisa da NVIDIA responde diretamente a parte dessa pergunta, e as partes que ela não responde são onde a decisão real mora.

Eles não são pai e filho, independentemente do que a nomenclatura sugira.

A suposição óbvia é que o Bolt é um Ultra encolhido. Não é, e acertar isso muda o que você espera do arquivo. O Nemotron 3.5 Lightning, o nível 30B-A3B de 11 de agosto de 2026, foi destilado do Ultra. O Bolt não. O Bolt é comprimido a partir do Nemotron 3.5 Super VL, um modelo de visão-linguagem 120B-A12B, usando uma busca guiada por roteador que a NVIDIA chama de Star Elastic, seguida de destilação ciente de quantização até 2,0625 bits por peso de especialista em um formato IQ2_XXS.

Essa linhagem explica a única diferença que importa mais do que qualquer linha de benchmark: o Bolt tem um codificador de visão C-RADIO v4-H e aceita imagens e vídeo. O Ultra é texto entra, texto sai, e não é uma lacuna de reporte — o checkpoint não tem uma torre de visão para pontuar. O modelo menor, mais novo e fortemente quantizado enxerga; o maior modelo de raciocínio da família não.

O que a compressão manteve

Bolt carrega 74 bilhões de parâmetros com 9 bilhões ativos por token em um backbone híbrido de Mamba-2 e Transformer. Ultra carrega 550 bilhões com 55 bilhões ativos. A proporção de parâmetros ativos é de 6,1 para 1, e a proporção de parâmetros totais é de 7,4 para 1, o que significa que a compressão removeu proporcionalmente mais capacidade total do que computação por token — o modelo ficou mais estreito mais rapidamente do que ficou mais raso.

O que isso produz, com base nas evidências disponíveis:

• Inteligência independente — A Artificial Analysis pontua o Nemotron 3.5 Bolt com 21 em seu Intelligence Index, quarto de 67 em sua classe filtrada por footprint, contra uma mediana de 8 na classe. O Ultra não está na mesma classe e pontua muito mais alto na mesma versão do índice. Este é o custo mensurável da compressão.

• Velocidade independente — A Artificial Analysis mede o Ultra a 156,1 tokens de saída por segundo, décimo de 74 modelos naquela página e em sua faixa de velocidade máxima. Para o Bolt, os mesmos campos mostram N/A, porque não há endpoint hospedado para chamar. Os próprios números da NVIDIA — 84 tokens por segundo no AIPerf SPEED-Bench no RTX Spark, 83,99 no llama.cpp em um Surface Laptop Ultra — são relatados pelo fornecedor e não reproduzidos.

• Aderência a instruções — o Ultra registra 82,9 no IFBench. Esta é a linha a observar em um agente que precisa obedecer a uma longa política de ferramentas, e é o tipo de capacidade que a destilação com reconhecimento de quantização preserva de forma desigual.

• Raciocínio de contexto longo — o Ultra registra 75,2 no AA-LCR frente a uma especificação de 1M de tokens. A janela publicada do Bolt é de 262.144 tokens, compartilhando 24 GB com o cache KV, as imagens e a conversa. Uma janela declarada ampla e a capacidade de usá-la são propriedades distintas; aqui, o modelo maior tem mais de ambas.

• Contenção factual — Ultra registra 22,1 em alucinação no AA-Omniscience, com 77,91 de não alucinação. A própria ficha do Bolt registra 61,27 em não alucinação, a única linha em que ele perde para o muito menor Nemotron 3.5 Lightning. Dois sinais independentes apontando na mesma direção: é aqui que a compressão agressiva de 2 bits custa mais, e nenhum truque de roteamento corrige um modelo que inventa mais.

O envelope de implantação, que é onde os dois realmente se separam.

Esta é a parte da comparação que não se reduz a uma pontuação.

• Memória — Bolt é um único artefato de 24 GB, já quantizado, feito para coexistir com um navegador e uma IDE em uma única máquina. O Ultra em BF16 exige dezesseis H100s, oito H200s ou oito nós classe GB200, segundo seu próprio model card; a build NVFP4 reduz isso para oito H100s no mínimo. A diferença entre essas duas frases é a diferença entre um pedido de compra e um programa de aquisição.

• Configuração de contexto — O Bolt atende 262.144 tokens diretamente em sua receita publicada do vLLM. As receitas do Ultra usam 256K por padrão e exigem uma flag de ambiente para alcançar os 1.048.576 completos, e é por isso que o painel registra 262K para o Ultra apesar de uma especificação de 1M. Leia a especificação e depois leia a receita.

• Pilha de serving — O Bolt corre sob o vLLM em Ampere, Hopper e Blackwell, ou sob o llama.cpp em hardware RTX Spark e DGX Spark, sob a licença OpenMDW-1.1 que permite utilização comercial. O Ultra corre sob a mesma licença em paralelismo de classe de datacenter. Ambos são pesos abertos; apenas um deles é portável.

• Custo do prompt — O Ultra é cobrado a $0,60 por milhão de tokens de entrada e $2,50 por milhão de tokens de saída, com 73% de desconto de cache, o que dá cerca de $0,60 para executar uma tarefa do Intelligence Index — genuinamente barato para um modelo desse tamanho, e disponível porque outra pessoa opera o cluster. O Bolt não tem preço algum: nenhum endpoint hospedado, nenhuma API de fornecedor, nenhuma tabela de preços, e N/A nos campos de velocidade e custo do único painel independente que o lista.

Ler o anúncio pelo que ele diz e pelo que não diz

O checkpoint do Bolt estava no Hugging Face desde 7 de outubro de 2026, com apenas um model card anexado. O anúncio do fornecedor que o nomeia — ao lado de um irmão de 4 GB, Nemotron 3.5 Bolt E4B, voltado para personagens de jogos e datado de 23 de outubro — saiu em 15 de outubro. Publicar os pesos oito dias antes do texto não é incomum, mas significa que uma semana do registro público não contém nenhuma explicação do modelo, e que qualquer relato escrito nessa janela estava trabalhando apenas com o card.

O anúncio também é o lugar de procurar o que está ausente. Não há endpoint hospedado, nem API, nem tabela de preços, nem plataforma de terceiros medindo o Bolt — e nenhum benchmark independente executado sobre os pesos de 24 GB por ninguém. Os números do fornecedor são reais e específicos, obtidos com llama.cpp em um Surface Laptop Ultra com 128 GB; eles simplesmente não foram reproduzidos fora da NVIDIA.

Onde cada modelo se encaixa, e onde um roteador se encaixa

Nenhum destes modelos está no catálogo da OrcaRouter. Não hospedamos nenhum checkpoint da NVIDIA, não existe endpoint Bolt nem endpoint Ultra, e nada aqui é uma oferta de servir qualquer um deles. O que um único endpoint de fato oferece, se você estiver executando um ou ambos por conta própria, é uma forma de manter as metades local e hospedada de um fluxo de trabalho sob uma única chave — os mais de 200 modelos do nosso catálogo ficam atrás de uma única chave de API e de uma única fatura, ao preço de tabela de cada fornecedor, repassado com 0% de margem adicionada, então uma mudança de preço de um fornecedor entra no ar do nosso lado no mesmo dia, e não na próxima renovação. Uma requisição que precise de uma janela completa de um milhão de tokens ou de um raciocinador em escala de frontend vai para um modelo hospedado; o arquivo local fica com o trabalho de alto volume e sensível à privacidade que nunca deveria ter saído do prédio. O failover automático faz com que um upstream degradado mova a requisição em vez de falhá-la.

O posicionamento decorre da matemática de implantação, e não das pontuações. O Bolt deve ficar numa estação de trabalho quando os dados não podem sair, quando a carga de trabalho envolve vídeo, ou quando o volume faz da cobrança por token o item dominante — e quando uma janela de 262K e uma lacuna de restrição factual já visível são aceitáveis. O Ultra deve ficar num endpoint com medição quando o trabalho exige alcance de um milhão de tokens, a melhor adesão a instruções da família e a menor taxa de alucinação que a NVIDIA publica atualmente.

Quem deve agir, e quem deve esperar

Aja agora se a carga de trabalho for local e envolver vídeo: Bolt é o único modelo desta família que cabe em 24GB e consegue ver, e nenhum outro checkpoint aberto com esse tamanho pontua 21 no índice independente. Aja agora se a carga de trabalho for raciocínio de texto de contexto longo em volume: Ultra é medido, mensurado e mais barato por tarefa do Intelligence Index do que um modelo do seu tamanho teria qualquer direito de ser.

Espere, se a sua decisão depende da taxa de transferência. A velocidade do Bolt é a única dimensão sem qualquer medição independente em lugar algum, e, para um modelo implantado localmente, a velocidade é o que você sente a cada segundo de cada dia. Uma única medição de latência feita por terceiros sobre os pesos de 24GB resolveria mais do que as próximas dez linhas de benchmark do fornecedor — e, enquanto ela não existir, o planejamento de capacidade para o Bolt é planejar em torno de uma alegação.