Nemotron 3.5 Bolt 24GB: O que a NVIDIA realmente colocou em um arquivo de 24 GB

O número de destaque não é a contagem de parâmetros. É a contagem de bytes. Em 15 de outubro de 2026, a NVIDIA lançou NVIDIA Nemotron 3.5 Bolt 74B-A9B 24GB, um modelo agente de visão-linguagem cujos 74 bilhões de parâmetros ocupam 23,75 GB no formato que a maioria das pessoas realmente baixará — um GGUF de 22,02 GB mais um arquivo de projetor de visão de 1,73 GB. Ambos os números vêm da própria listagem de arquivos do repositório publicado, não do post do blog, e são a razão pela qual o nome termina em um número. Isto é o que esse número entrega, o que ele esconde e o que ele não inclui.

O que foi lançado e quando

A sala de imprensa da NVIDIA enquadrou 15 de outubro como uma expansão da família, e não como o lançamento de um único modelo: Nemotron 3.5 Super VL, um modelo multimodal de 120 bilhões de parâmetros com 12 bilhões de parâmetros ativos, chegou junto com o checkpoint Bolt, e um irmão muito menor, Nemotron 3.5 Bolt E4B 4GB, tem data marcada para 23 de outubro. O Bolt junta-se ao Nemotron 3.5 Lightning (agosto) e ao Nemotron 3 Ultra numa família que agora abrange raciocínio em centros de dados, serviço de alto rendimento e agentes locais de edge.

O lançamento é genuinamente novo, e também é um pouco mais antigo que o anúncio. O repositório Hugging Face nvidia/N​VIDIA-N​emotron-3.5-Bolt-74B-A9B-24GB foi criado em 7 de outubro de 2026; o cartão do modelo dentro dele traz uma data de lançamento de 15 de outubro, a mesma data em que a própria página de pesquisa da N​VIDIA está marcada como "Publicado". Oito dias de arquivos visíveis ao público antes de uma única palavra de explicação é um padrão normal para um fornecedor que lança sob coordenação de embargo com o hardware — os laptops RTX Spark têm data de 16 de outubro, o dia seguinte ao anúncio — e vale a pena saber qual metade do registro público deste modelo veio de uma decisão de marketing e qual veio de uma listagem de arquivos.

Como 74 bilhões de parâmetros cabem em 24 gigabytes

Dois mecanismos, e eles são separáveis.

O primeiro é estrutural. O Bolt não é um modelo menor treinado do zero; é o modelo pai Super 3.5 VL comprimido por um algoritmo que a NVIDIA chama de Star Elastic, uma busca de arquitetura guiada por roteador que precisava satisfazer uma restrição — uma pegada de implantação abaixo de 24 GB com tamanho de lote 1 e contexto de 128K — perdendo o mínimo possível de precisão de destilação de conhecimento. O que isso produziu é um híbrido de mistura de especialistas com 74B no total / 9B ativos, com o top-K de especialistas fixado em 9, ao passo que o modelo pai usava 22. A própria formulação da NVIDIA sobre o resultado é direta e verificável: para um orçamento fixo de memória, comprimir um modelo grande supera treinar um modelo pequeno.

A segunda é a precisão, e é aí que reside a maior parte da economia.

• Pesos de especialistas — camadas FC1 e FC2 roteadas e compartilhadas quantizadas para IQ2_XXS a 2,0625 bits por elemento, que constituem a maior parte do modelo em número de parâmetros.

• Camadas Mamba — NVFP4, um formato de ponto flutuante de 4 bits, e apenas nas camadas onde a precisão extra vale mais bytes.

• Embeddings, cabeça de saída, atenção e os pesos latentes do MoE — Q8_0.

• Recuperação — destilação sensível à quantização, em vez de uma passagem pós-hoc de arredondamento para o valor mais próximo, que é a diferença entre um modelo comprimido e um modelo quebrado.

Leia tudo isso em conjunto e o "24GB" deixa de ser um resumo de marketing e passa a ser uma alocação de orçamento. Os especialistas de 2 bits são baratos por byte e numerosos; as camadas que importam para a estabilidade mantêm 4 ou 8 bits.

O valor de 24GB, conferido com os arquivos

A alegação resiste a uma auditoria, o que nem sempre é verdade.

• Pesos GGUF — 22.018.326.528 bytes, ou 22,02 GB decimais, em um único arquivo.

• Projetor de visão — 1.733.692.736 bytes, ou 1,73 GB, fornecido separadamente como mmproj, que é como o llama.cpp recebe entrada de imagem e vídeo.

• Build do Safetensors — o mesmo modelo em fragmentos prontos para vLLM totaliza 24,12 GB distribuídos em 90 arquivos, ligeiramente acima do número anunciado.

• Referência BF16 — 149,8 GB distribuídos em 63 shards, publicada separadamente para quem deseja fazer fine-tuning em vez de inferência.

Sobre isso, pairam duas ressalvas honestas. Primeiro, pesos não são um modelo em execução. A receita vLLM que a NVIDIA publica fixa o cache KV em fp8 e define o contexto servido em 262.144 tokens com max-num-seqs 1 — uma única sequência concorrente. Essa é a diferença entre caber em 24GB e rodar rápido em 24GB, e é o tipo de detalhe que a manchete do tamanho da memória nunca carrega. Segundo, 24GB é o número dado à busca de arquitetura, não um número medido na sua máquina: sobrecarga de driver, o sistema operacional e tudo o mais que estiver no laptop ficam todos fora disso, e é exatamente por isso que o argumento é "rodar junto com seus apps" e não "rodar em vez deles".

A alegação de velocidade, e a máquina na qual foi medida

A NVIDIA foi projetada para pelo menos 80 tokens por segundo e relata 83,99 no AIPerf SPEED-Bench-Coding. Esse número precisa de três elementos de contexto antes de significar qualquer coisa: ele foi produzido com llama.cpp no Windows 11 ARM x64, em um Surface Laptop Ultra com 128 GB de memória, com o rascunhador especulativo LiLiCorr acoplado e sete tokens rascunhados por passo. O rascunhador não é enfeite opcional — é um checkpoint companheiro de 1,13B cujo propósito inteiro é aumentar o comprimento de aceitação (a NVIDIA relata médias de 4,68 sob decodificação greedy e 4,25 com amostragem na concorrência 64 no vLLM). Retire o rascunhador e você estará medindo um modelo diferente.

The second speed figure is the more interesting one, because it is a completion time rather than a rate: 600.80 seconds of replay duration on AA-AgentPerf Local, against 453.97 for Qwen3.6 35B-A3B, 480.68 for Gemma 4 26B-A4B and 1,043.28 for Qwen3.8 27B — all from N​VIDIA's own table, all on the same hardware. Bolt wins that row by finishing the same agent trajectories faster than a smaller model, and loses the throughput row to both of the others at 83.99 against 96.63 and 100.56 tokens per second. Fast and quick are not the same measurement, and this is a model that trades the second for the first.

O que diz a medição independente

Um número no registro público sobre o Bolt não foi produzido pela NVIDIA: o Artificial Analysis Intelligence Index o pontua em 21, o que o coloca em quarto lugar entre 67 modelos de sua classe. Esse painel também não informa velocidade nem custo para ele, porque não há API pública para chamar — e lista a modalidade de entrada do modelo como texto e imagem, não vídeo, o que é uma leitura mais restrita do que a do fornecedor.

A mesma página observa que o modelo gerou 230M tokens durante a avaliação, o que ela classifica como muito verboso em comparação com uma mediana de 100M. Raciocínio que produz mais tokens na mesma tarefa não é automaticamente pior, mas custa algo num dispositivo local, onde cada token é gerado por uma ventoinha.

Everything else in circulation is vendor-reported. N​VIDIA's own thirteen-benchmark table, in which Bolt leads its memory class on PinchBench and sits second on WebArena and BrowseComp, compares against models chosen partly for fitting in 24GB at 4-bit — a peer group defined by a constraint Bolt was engineered to satisfy. It is not dishonest; it is also not a ranking of agent models in general, and the one cell that goes the other way is instructive: at 16.90 on AA-Omniscience accuracy, Bolt trails Gemma 4 26B-A4B at 22.17 in the same table.

O que não está na caixa

Não há endpoint. Nenhuma tarifa medida, nenhum provedor que o sirva, nenhuma forma de avaliá-lo com seu próprio tráfego sem concluir a implantação. O que existe, em vez disso, é suporte de runtime que chegou no lançamento, e não meses depois: llama.cpp e o checkpoint GGUF, Ollama, LM Studio, Unsloth para ajuste fino, e vLLM para o checkpoint quantizado no DGX Spark e o checkpoint BF16 em outros lugares. O próprio blog da NVIDIA lista esses cinco pelo nome, e a amplitude é o verdadeiro produto aqui — um arquivo de 24 GB só é útil se aquilo que o carrega já existir na sua máquina.

O alcance de hardware é mais amplo do que sugere a narrativa do lançamento sobre laptops RTX Spark: PCs GeForce RTX, DGX Spark, DGX Station e estações de trabalho RTX PRO são todos citados, e a ficha do modelo lista Ampere, Hopper e Blackwell para o caminho do vLLM.

A licença é a OpenMDW-1.1, permissiva o suficiente para se construir sobre ela e pouco familiar o bastante para que a revisão jurídica seja uma etapa real, e não uma formalidade — vale a pena saber disso antes que uma decisão de arquitetura dependa dela.

Um deslize de copiar e colar no próprio blog técnico da N​VIDIA coloca a lista de checkpoints sob o título “N​emotron 3.5 Super VL 74B-A9B 24GB”, em vez de Bolt. É um erro de digitação em um lançamento rápido, não uma bifurcação da família, mas é um lembrete útil de que páginas de fornecedores escritas no dia do anúncio são rascunhos com uma data de publicação nelas.

Para equipes que também chamam modelos que não são deles

A metade executada localmente de uma pilha de agentes e a metade hospedada normalmente são o mesmo projeto, e o Bolt aborda apenas uma delas. O OrcaRouter não hospeda nenhum checkpoint do N​emotron — isso foi verificado em nosso próprio catálogo, e não presumido —, portanto nada aqui é uma proposta para um modelo que servimos. O que fazemos é o outro lado de uma implantação mista: uma única chave para mais de 200 modelos pelo preço de tabela do provedor, com sem margem adicionada, failover automático quando um provedor oscila no meio de uma requisição, e uma DSL de roteamento para descrever uma cadeia de fallback como configuração em vez de código de aplicação. Se o Bolt executa a metade local, essa é a metade que nunca aparece na fatura; a questão de roteamento é o que acontece com o resto.

O que assistir

Três coisas vão consolidar a reputação deste modelo, e nenhuma delas está no anúncio.

A primeira é a latência independente em hardware real. Os 83,99 tokens por segundo da N​VIDIA são um benchmark controlado com um rascunhador especulativo acoplado; alguém eventualmente publicará o que ela faz em um laptop rodando um navegador e um editor ao mesmo tempo, e esse número importará mais do que este. A segunda é a variante E4B em 23 de outubro, que testa se a receita de compressão se adapta a tamanhos menores ou só funciona em um tamanho. A terceira é se alguém fora da N​VIDIA faz pós-treinamento do checkpoint BF16 — porque um artefato de implantação de 24GB com uma licença aberta e um artefato de personalização de 150GB ao lado dele é um lançamento deliberado de duas trilhas, e a segunda trilha é a que decide se isto se torna uma plataforma ou um checkpoint.

Por enquanto, o fato se sustenta por si só. Um agente multimodal de 74 bilhões de parâmetros cabe na memória de um laptop que custa menos que uma estação de trabalho, roda a cerca de 84 tokens por segundo com um drafter acoplado, pontua 21 no único índice independente que o mediu, e não pode ser chamado como API por ninguém. Essa é uma combinação específica e incomum, e vale a pena ser preciso sobre qual metade dela você precisa.

Nada disso é hipotético: as falhas de IA documentadas e os incidentes com agentes por trás de lançamentos como este estão reunidos no Arquivo de Incidentes de IA da OrcaRouter, onde cada entrada traz as suas próprias fontes, gravidade, grau de confiança e sinalização de contestação.