Nemotron 3.5 Bolt 74B vs Nemotron 3.5 Lightning 30B-A3B: Mesma Receita, Dois Tetos de Memória

Esta é a única comparação na árvore genealógica da família NVIDIA Nemotron 3.5 em que ambos os lados foram construídos pela mesma equipe para a mesma tarefa em dois tamanhos diferentes, e o fornecedor já realizou o confronto direto por conta própria. NVIDIA Nemotron 3.5 Bolt 74B-A9B 24GB e NVIDIA Nemotron 3.5 Lightning 30B-A3B são ambos checkpoints híbridos de mistura de especialistas Mamba-2 com cabeças de decodificação especulativa, ambos lançados sob OpenMDW-1.1 para uso comercial, ambos destinados a serem executados pela pessoa que lê sobre eles, em vez de serem alugados de um data center. O Lightning foi lançado em 11 de agosto de 2026. Os pesos do Bolt foram publicados em 7 de outubro de 2026 e a NVIDIA o anunciou em 15 de outubro.

A diferença é um teto de memória: 24 GB para um, cerca de 16 GB para o outro na sua forma quantizada, e os oito pontos do Artificial Analysis Intelligence Index entre eles são o que esse teto compra.

Uma receita, executada em dois tamanhos

O Lightning chegou primeiro e estabeleceu a forma que toda a geração 3.5 segue: uma pilha híbrida que intercala blocos de espaço de estados Mamba-2 com camadas de mistura de especialistas e atenção, cabeças de Previsão de Múltiplos Tokens para que o modelo possa rascunhar vários tokens de uma vez e verificá-los em paralelo, e drafters complementares separados — DSpark para implantações em data center de baixa concorrência, DFlash e, mais tarde, o drafter LiLiCorr — que fazem da decodificação especulativa uma configuração suportada, em vez de um truque de pesquisa. A destilação do professor N​emotron 3 Ultra é a outra metade da receita.

O Bolt é a mesma receita apontada para um orçamento muito mais apertado. Os seus 74B parâmetros são comprimidos para 24GB pelo Star Elastic, a pesquisa de arquitetura guiada por roteador da NVIDIA, que parte de um checkpoint pai e procura o número de especialistas por camada e a largura intermediária do MoE que satisfazem uma pegada de implantação rígida, ao mesmo tempo que minimiza a perda de destilação de conhecimento. No caso do Bolt, a pesquisa foi limitada a menos de 24GB com tamanho de lote 1 e contexto de 128K, o top-K de especialistas desceu de 22 no pai para 9, e os pesos dos especialistas foram depois quantizados para IQ2-XXS a 2,0625 bits por elemento, com destilação ciente de quantização para recuperar a precisão. As camadas Mamba ficam em NVFP4, e as camadas de embeddings e de saída em Q8_0.

O modelo pai do Bolt não é o Lightning. É o Nemotron 3.5 Super VL 120B-A12B, o modelo multimodal de 120 bilhões de parâmetros que a NVIDIA lançou no mesmo dia, e é por isso que o Bolt vem com um codificador de visão C-RADIO v4-H e o Lightning não.

O contraste das especificações, ambos os lados em uma linha.

• Parâmetros totais e ativos — Bolt: 74B no total, 9B ativos por token. Lightning: 30B no total, aproximadamente 3B ativos por token.

• Arquitetura — Bolt: híbrido Mamba-2–Transformer LatentMoE mais um codificador de visão C-RADIO v4-H. Lightning: MoE híbrido Mamba-2 com atenção, sem torre de visão.

• Precisão e ocupação — Bolt: IQ2 a 2,0625 bits por elemento, compactado para abaixo de 24 GB. Lightning: BF16, NVFP4 e outras versões quantizadas publicadas separadamente.

• Contexto — Bolt: até 256.000 tokens, com receitas de implantação individuais livres para usar menos. Lightning: até 1.000.000 de tokens em princípio, sendo aproximadamente 256.000 o teto prático em uma única H100.

• Entradas e saídas — Bolt: texto, imagens e vídeo na entrada, texto na saída. Lightning: texto na entrada, texto na saída.

• Licença — OpenMDW-1.1 para ambos, liberada pela N​VIDIA para uso comercial e não comercial.

• Decodificação especulativa — Bolt: o drafter LiLiCorr via DFlash, sete tokens especulativos na receita de referência. Lightning: cabeças MTP mais os drafters DFlash e DSpark.

• Índice de Inteligência — Bolt: 21,4, quarto entre 67 em sua classe de tamanho, medido de forma independente pela Artificial Analysis. Lightning: 12,9, medido de forma independente.

• Preço — Bolt: não há tarifa medida em lugar nenhum; a Artificial Analysis não lista preço de entrada nem de saída e não há endpoint hospedado publicado. Lightning: US$ 0,06 por milhão de tokens de entrada e US$ 0,20 por milhão de saída, conforme acompanhado pela Artificial Analysis, com entrada em cache em torno de US$ 0,006.

Velocidade de saída — Bolt: nenhuma medição independente publicada. Lightning: 305 tokens de saída por segundo, com 0,57 segundos até o primeiro token, ambos medidos independentemente, o que está entre as marcas mais rápidas no placar do painel.

O comparativo direto do próprio fornecedor, leia com atenção

O model card da NVIDIA para o Bolt publica uma tabela na qual o Lightning é uma das três baselines, e vale a pena lê-la como um argumento, e não como um placar, porque a empresa selecionou benchmarks nos quais seu novo modelo vence.

• Terminal-Bench 2.1 — Bolt 50,98 contra os 23,46 do Lightning. Ambos executados pelo fornecedor, ambos na build BF16 do Lightning.

• GPQA Diamond — Bolt 86,43 contra 75,57 do Lightning.

• BrowseComp — Bolt 66,75 contra os 36,81 do Lightning.

• HLE sem ferramentas — Bolt 25.30 contra o 10.47 do Lightning.

• PinchBench — Bolt 87,82 contra 83,43 do Lightning, uma margem muito mais estreita do que as demais e consistente com a alegação da NVIDIA de que o Bolt é o modelo aberto número um de sua categoria nesse benchmark.

• Não alucinação do AA-Omniscience — Bolt 61,27 contra os 68,81 do Lightning. O Lightning vence neste quesito, e é a linha que a N​VIDIA escolheu publicar mesmo assim, o que é um ponto a favor da tabela.

• Precisão do AA-Omniscience — Bolt 16,90 contra os 16,63 do Lightning. Efetivamente um empate, e o par de números mais fraco da tabela em termos absolutos.

Cada número dessa lista é informado pelo fornecedor no cartão do modelo e não foi reproduzido. Artificial Analysis, desde então, mediu as duas pontuações dos índices de forma independente — 21,4 e 12,9 — e a direção coincide, o que é o máximo que se pode afirmar hoje.

Onde o modelo menor é a melhor resposta

A lacuna de índice é real, e não é o único eixo. O Lightning vence em três linhas que importam para implantações específicas.

É mais rápido por um fator que ninguém mediu do lado do Bolt. 305 tokens de saída por segundo com tempo até o primeiro token abaixo de um segundo é uma classe de capacidade de resposta diferente de qualquer coisa que se possa atualmente presumir que um checkpoint 74B de 2 bits não medido alcance, e isso é medido. A própria taxa de transferência publicada do Bolt, 83,99 tokens por segundo no AIPerf SPEED-Bench-Coding com o drafter LiLiCorr ativo, vem da página de pesquisa da N​VIDIA em uma máquina de classe laptop e não é comparável à configuração do painel.

Tem quatro vezes o contexto. Um milhão de tokens contra 256.000, e a diferença aparece na pontuação independente de recuperação de contexto longo: o Lightning registra 49,19 no AA-LCR na tabela da N​VIDIA, o Bolt 64,06 — o Bolt é melhor em usar contexto longo, mas o Lightning é o único dos dois que anuncia uma janela de um milhão de tokens, então, se a carga de trabalho for "ler o repositório inteiro", o teto pode importar mais do que a qualidade de recuperação dentro dele.

É o único dos dois com um preço. O Lightning está disponível a US$ 0,06 de entrada e US$ 0,20 de saída por milhão de tokens, o que o torna uma infraestrutura invocável, em vez de um projeto de hardware. Ninguém publicou uma tarifa de hospedagem para o Bolt, então a única forma de executá-lo é ter a máquina.

O que o Lightning não consegue fazer é ver. Ele é somente texto, e o Bolt aceita imagens e vídeo por meio do encoder C-RADIO v4-H, obtendo 50,86 no WebArena vision, onde o Lightning não tem entrada. Se o agente lê capturas de tela, abre PDFs ou controla um navegador, só essa linha já decide a escolha — e é a linha que vem da linhagem Super VL do Bolt, e não do seu número de parâmetros.

Quanto custa, de fato, operar o Bolt

A receita de serving de referência da NVIDIA para o checkpoint de 24 GB não é um único comando que você cola. Ela fixa uma imagem nightly específica do vLLM, instala o pacote de kernel b12x e baixa os kernels, busca um arquivo de plugin de parser de raciocínio separadamente e, em seguida, define o executor de modelo v2, os backends linear e MoE para b12x, os backends de atenção e Mamba para FlashInfer, dtypes explícitos de cache Mamba, um sinalizador de chunked-prefill e uma configuração de decodificação especulativa apontando para o drafter LiLiCorr com sete tokens de rascunho. Os parsers de chamada de ferramenta e de raciocínio são nomeados explicitamente, e os limites de mídia limitam uma solicitação a uma imagem e um vídeo, com uma taxa de poda de vídeo de 0,5.

A história de implantação do Lightning é um contêiner Docker, um endpoint compatível com a OpenAI e um nome de modelo que você também consegue obter de um provedor hospedado por seis centavos por milhão de tokens. Na prática, essa diferença é a comparação inteira: o Bolt é um fim de semana de trabalho e uma máquina que você possui; o Lightning é uma tarde e uma fatura.

Como escolher, e o que resolveria a questão

Escolha o Lightning se sua carga de trabalho for texto, seu orçamento de latência for apertado e suas necessidades de contexto forem grandes, ou se você preferir pagar por token em vez de comprar hardware. O perfil independente dele — velocidade de saída mais rápida medida em sua classe, primeiro token em menos de um segundo, preço publicado — faz dele a opção de menor risco da família, e a pontuação de inteligência mais baixa está precificada de acordo. Ele também é o padrão certo se você planeja combinar um pequeno executor local com um planejador hospedado maior, que é exatamente como a NVIDIA o posiciona.

Escolha o Bolt se o seu agente lida com pixels ou funciona sem rede. A linha de visão é exclusiva dele, o raciocínio em escala de 74B está oito pontos de índice à frente, e o envelope de 24 GB é o único da família que encaixa um checkpoint destilado de professor 74B em um único acelerador de classe consumidor. Aceite que você está executando o planejador hospedado em GPU localmente e pagando por isso em latência que você ainda não consegue prever.

Para a metade hospedada de qualquer uma das duas arquiteturas, o OrcaRouter coloca os modelos que roteamos atrás de uma única chave pelo preço de tabela do provedor, com 0% de acréscimo, e o failover automático entre provedores significa que um problema de capacidade upstream é tentado novamente em vez de ser exibido. Não hospedamos nenhum modelo N​emotron — o catálogo foi verificado em vez de presumido, e a família não está nele — portanto o lado local desta comparação não é afetado por nada que fazemos. O que uma configuração roteada oferece é um plano B para o planejador enquanto você avalia, o que importa aqui porque nenhum desses dois checkpoints tem um perfil de latência independente publicado com o qual você possa dimensionar um caminho de produção.

O que decidiria a escolha é um número que ainda não existe: uma execução independente de throughput e latência no checkpoint de 24 GB com tamanho de lote um. Até que alguém o publique, o argumento em favor do Bolt se baseia inteiramente nas duas coisas que o Lightning não consegue igualar — escala de parâmetros e visão —, e o argumento em favor do Lightning se baseia em quatro números medidos independentemente.

O que os números não podem dizer é se algo deu errado em campo: os incidentes de IA documentados e as falhas de agentes envolvendo modelos dessa classe estão reunidos em o OrcaRouter AI Incident Archive, onde cada entrada traz suas próprias fontes, gravidade, grau de confiança e sinalização de contestação.