Nemotron 3.5 Bolt 24GB vs Nemotron 3.5 Lightning 30B-A3B: Mesma Família, Implantações Opostas

Two models from one family, released four months apart, built to opposite ends of the same question. N​VIDIA N​emotron 3.5 Lightning 30B-A3B shipped in August 2026 as a high-throughput text model for data-centre serving. N​VIDIA N​emotron 3.5 Bolt 74B-A9B 24GB shipped on 15 October 2026 as a multimodal agent that fits on a laptop. Bolt has double the total parameters and three times the active parameters of Lightning, and it runs on hardware Lightning cannot start on. This is what actually separates them, and where the family resemblance is misleading.

Ambos vêm da mesma receita de treinamento

N​VIDIA's technical report for the pair is explicit that both models begin with the same two stages: a 100-billion-token warm-up for multi-token-prediction heads, then a trillion tokens of distillation from the next-larger N​emotron 3 model. Lightning distils from N​emotron 3 Super Base; Bolt distils from the N​emotron 3.5 Super VL line, which is why Bolt can see and Lightning cannot.

Depois disso, os caminhos se separam, e a separação é toda a história.

O Lightning passa por uma fase de contexto longo de 21 bilhões de tokens que o estende para um milhão de tokens, depois por um pipeline de pós-treinamento com SFT e RLVR, e é lançado como um modelo de texto de 30B no total / 3B ativos, com opções especulativas DSpark, DFlash e MTP, e um alvo de implantação em GPU única de uma H100 ou um DGX Spark com pesos NVFP4.

Bolt é comprimido a partir de um modelo pai de 120 bilhões de parâmetros pela busca de arquitetura Star Elastic, reacoplado à sua torre de visão, retreinado por meio de um estágio supervisionado com forte ênfase em visão, depois submetido a aprendizado por reforço de ponta a ponta em ambientes agênticos e, por fim, quantizado para 2,0625 bits por peso de especialista com destilação com reconhecimento de quantização. Ele vem com um modelo de rascunho, LiLiCorr, e um formato de implantação: algo com 24 GB de memória e a capacidade de executá-lo ao lado de outros aplicativos.

O contraste das especificações, lado a lado

• Parâmetros — Bolt: 74B no total, 9B ativos. Lightning: 30B no total, 3B ativos.

• Precisão conforme entregue — Bolt: especialistas IQ2_XXS a 2,0625 bits por elemento, camadas Mamba em NVFP4, embeddings e atenção em Q8_0. Lightning: NVFP4 em todos os componentes para o checkpoint de implantação, com uma versão de referência BF16 para personalização.

• Contexto — Bolt: 262.144 tokens. Lightning: um milhão de tokens, o resultado de uma fase dedicada de treinamento de contexto longo.

• Modalidade — Bolt: entrada de texto, imagens e vídeo. Lightning: apenas texto. A entrada do Artificial Analysis para cada modelo diz isso no mesmo painel com a mesma redação, o que a torna uma das poucas linhas em que os dois são diretamente comparáveis sem ressalvas.

• Hardware host — Bolt: notebooks RTX Spark, PCs GeForce RTX, DGX Spark, DGX Station, workstations RTX PRO. Lightning: um DGX Spark ou um H100, ou Blackwell e Ampere via W4A16.

• Decodificação especulativa — Bolt: LiLiCorr, um modelo de rascunho de 1,13B, sete tokens rascunhados por passo. Lightning: DSpark para trabalho de baixa concorrência, com DFlash e MTP também publicados.

• Licença — OpenMDW-1.1 para ambos, e ambos estão liberados para uso comercial.

O único lugar onde ambos são medidos por outra pessoa

These two models have something most of the N​emotron family lacks: entries on the same independent panel, measured the same way. That makes the comparison unusually clean for a family-internal matchup.

Artificial Analysis scores N​emotron 3.5 Lightning at 13 on its Intelligence Index, ranking 28th of 141 models, and N​emotron 3.5 Bolt 74B-A9B at 21, ranking fourth of 67 models in its own class. Those classes are not identical — Bolt is a medium open-weights model, Lightning is a small one — so the ranks are not directly comparable, but the index scores are produced by the same methodology on the same evaluations.

Speed is where the gap inverts, and this is the single most decision-relevant fact about the pair. The panel measures Lightning at 307 output tokens per second, first of 63 models on that dimension. It reports Bolt's speed as unavailable, because there is no public API serving it and the panel's speed measurement requires one. The only throughput figure that exists for Bolt is N​VIDIA's own: 83.99 tokens per second on AIPerf SPEED-Bench-Coding, on a Surface Laptop Ultra with 128GB of memory, with the drafter attached.

Leia esses dados em conjunto e a história da família fica concreta. O Lightning é cerca de três vezes e meia mais rápido que o Bolt nos números que temos, em um formato que você pode alugar por token; o Bolt é consideravelmente mais inteligente no mesmo índice e roda em uma máquina que ninguém pode alugar de forma alguma.

Três formas de a escolha se resolver

Se a carga de trabalho for de alto volume e apenas texto, o Lightning não é um compromisso, é a ferramenta melhor. Um contexto de um milhão de tokens a 307 tokens por segundo, com uma tarifa publicada de seis centavos por milhão de tokens de entrada e vinte centavos por milhão de saída, é algo específico e útil, e o Bolt não consegue igualar a velocidade nem o contexto em hardware de qualquer tipo.

If the workload is visual, there is no decision to make. Bolt accepts images and video and Lightning does not, and no amount of context or throughput substitutes for a modality that is absent. The WebArena vision row in N​VIDIA's own table — 50.86 for Bolt, with Lightning not listed at all — is what that looks like when it moves from a spec sheet into a benchmark.

Se a carga de trabalho tiver de ser executada sem rede, o Bolt é o único dos dois que foi empacotado para isso. O alvo de implantação do Lightning é uma única H100 ou DGX Spark com um checkpoint NVFP4, que é um servidor; o do Bolt é um arquivo de 24 GB em um laptop que também está executando um navegador. A distinção não está na capacidade, mas em onde a máquina se encontra.

O que a família ganha ao enviar ambos

The interesting thing about this pair is not that one beats the other. It is that N​VIDIA built the cheap one first, then spent four months building the expensive one to fit somewhere the cheap one could not go.

A Lightning é a aposta na vazão: poucos parâmetros ativos, contexto enorme, projetada para ser servida muitas vezes em uma única GPU. O Bolt é a aposta na densidade: uma quantidade enorme de parâmetros comprimida em um orçamento de memória fixo, para que um único usuário em uma única máquina obtenha localmente algo mais próximo do comportamento de um agente de fronteira. As duas otimizam proporções diferentes — tokens por segundo por GPU contra inteligência por gigabyte por dispositivo — e o fato de o Bolt marcar 21 contra os 13 da Lightning não é uma derrota para a Lightning, porque a Lightning não caberia na máquina para a qual o Bolt foi projetado, na forma em que o Bolt existe.

There is also a data point for the compression argument itself. Bolt's vendor table includes Lightning as one of its baselines, and Bolt beats it on nearly every agentic row: 50.98 against 23.46 on Terminal-Bench 2.1, 66.75 against 36.81 on BrowseComp, 17.01 against 9.48 on Tau3 Banking, 28.47 against 18.26 on GDPVal-AA-V2. Those are N​VIDIA's own numbers comparing two of its own models in the same table, and the honest reading is that compressing a 120B parent beats training a 30B model from scratch at the same target size. That is precisely the claim Star Elastic was invented to support.

Onde isso deixa quem está construindo um agente

The pairing suggests a shape rather than a winner. Lightning handles the high-volume, long-context, text-only middle of an agent's work where throughput and context are the binding constraints. Bolt handles the local, visual, latency-tolerant work that cannot leave the machine. Neither is a replacement for the other, and N​VIDIA's own framing of the family — Ultra for the hardest reasoning, Lightning for throughput, Bolt for the edge — is an admission that the boundary is real.

What neither model solves is the part of the stack that is not local and not N​VIDIA's. We do not host either checkpoint; the OrcaRouter catalogue has no N​emotron entry, so there is no endpoint or rate to quote for these two. What a gateway contributes to a mixed stack is the other side: one key across 200-plus hosted models, provider list price passed through with no markup added, automatic failover when a provider degrades, and a routing DSL for describing escalation across models as configuration. The choice between Bolt and Lightning is made on your hardware and in your harness. What happens when the task exceeds both, or when a request has to reach a model neither of them can be, is the part that lives behind an endpoint.

Qual experimentar primeiro?

Se você tem uma GPU com 24 GB e uma conexão de rede que vai e volta, o Bolt é o download mais interessante: é mais novo, é multimodal e faz algo que nenhum outro lançamento da família consegue.

If you have a DGX Spark, an H100, or an application where latency is the product, Lightning has been generally available since August, has an independent speed measurement that puts it first in its class, has a published price, and has had two months for the ecosystem to find its sharp edges. Bolt has had one day, its drafter is a mandatory third download, and nobody outside N​VIDIA has measured its latency.

Ambas as afirmações podem ser verdadeiras ao mesmo tempo. É para isso que serve uma família.

Essa lacuna entre o que um placar mede e o que uma implantação enfrenta é a razão pela qual o registro importa: as falhas de IA documentadas e os incidentes com agentes envolvendo modelos dessa classe estão reunidos em o OrcaRouter AI Incident Archive, onde cada entrada traz suas próprias fontes, gravidade, grau de confiança e indicador de contestação.