Nemotron 3.5 Bolt E4B 4GB: O que realmente foi lançado, e por que o nome é enganoso

NVIDIA-Nemotron-3.5-Bolt-E4B-4GB entrou no ar no Hugging Face em 23 de outubro de 2026, e a primeira coisa que vale dizer sobre ele é aritmética: o arquivo tem 6,18 GB. O nome diz 4 GB. Ambos os números são reais, medem coisas diferentes, e a diferença entre eles é o fato mais útil do lançamento.

O blog técnico da NVIDIA chama 4 GB de envelope de memória pretendido para as cargas de trabalho alvo do modelo — um orçamento para o que o modelo deve ocupar enquanto um aplicativo é executado ao lado dele. Não é uma contagem de parâmetros nem um tamanho de download. O próprio checkpoint tem 8B no total, com 4B de parâmetros efetivos, pós-treinado a partir do Gemma-4-E4B-it e publicado em exatamente duas precisões: uma build BF16 de 15,88 GB e um GGUF Q4_K_M de 6,18 GB. Se você chegou procurando um arquivo de quatro gigabytes para colocar em um dispositivo, não há nenhum no repositório.

Isso merece ser dito de forma clara, porque o restante do lançamento é excepcionalmente legível. A ficha do modelo é detalhada, o relatório técnico é público, e a tabela de latência medida cobre quatro dispositivos. O que falta é a verificação independente, e a própria ficha diz isso.

O lançamento, reconstruído a partir do que é público

Este não teve um lançamento. Teve uma nota de rodapé e depois um post de blog.

• 5 de outubro de 2026 — os repositórios do Hugging Face para as builds Q4_K_M e BF16 foram criados. Nenhum deles está preenchido com pesos.

• 15 de outubro de 2026 — A NVIDIA anuncia a família Nemotron 3.5: Super VL 120B-A12B e Bolt 74B-A9B 24GB, ambos disponíveis naquele dia. O E4B ganha duas frases e uma data: chega em 23 de outubro.

• 23 de outubro de 2026 — os pesos Q4_K_M e BF16 são publicados, a ficha do modelo é disponibilizada, e o laboratório de pesquisa da NVIDIA publica um blog técnico e um relatório técnico. Não há comunicado de imprensa corporativo, e a cobertura de lançamento que se seguiu ao anúncio de 15 de outubro não se repete para este.

Portanto, “lançado discretamente” é preciso, mas “secreto” não seria. A NVIDIA nomeou o modelo, datou-o e o documentou adequadamente no dia. O que ela não fez foi colocar o E4B diante dos mesmos repórteres que cobriram seus irmãos. A consequência prática para quem ler isto nas primeiras semanas é que quase toda afirmação abaixo remonta a uma única fonte: a NVIDIA.

Quatro gigabytes é um orçamento, não um download

Os tamanhos dos arquivos publicados são inequívocos quando se olha o repositório em vez do nome.

• Q4_K_M GGUF — 6.180.446.208 bytes, ou 6,18 GB em termos decimais, em um único arquivo chamado Nemotron-3.5-Bolt-E4B-Q4_K_M.gguf.

• safetensors BF16 — 15.882.494.698 bytes, ou 15,88 GB, em um único shard, além de um arquivo de KV compartilhado congelado de 110 MB.

Nenhum artefato de 4GB — não há uma quantização menor no repositório, e o card não publica um arquivo que corresponda ao número no nome.

O que a NVIDIA publica é uma medição do llama.cpp com batch 1 em quatro dispositivos, e é nessa tabela que a afirmação dos 4 GB se torna concreta:

• RTX 5070 12 GB — 3,5 a 4,3 GB de VRAM, 548 a 1.238 ms de tempo até o primeiro token, 106,2 a 133,4 tokens por segundo.

• RTX Spark 32GB — 3,1 a 4,2 GB de VRAM, 930 a 1.988 ms até o primeiro token, 52,0 a 67,0 tokens por segundo.

• Jetson Orin Nano 8GB — 4,2 a 4,9 GB de VRAM, 5.785 a 6.259 ms até o primeiro token, 13,0 a 15,5 tokens por segundo.

• Jetson AGX Orin 32GB — 4,2 a 5,0 GB de VRAM, 3.687 a 4.091 ms até o primeiro token, 20,3 a 24,0 tokens por segundo.

Os números de VRAM ficam abaixo do tamanho de arquivo de 6,18 GB, o que significa que o runtime não está mantendo o arquivo inteiro residente na GPU nessas execuções. A placa não explica o mecanismo, e este é um bom momento para resistir à tentação de inventar um: pesos mapeados em memória, offload parcial e dimensionamento do KV-cache interagem entre si, e a NVIDIA não publicou a divisão. O que se pode dizer é que o envelope de 4 GB é um resultado medido em hardware específico sob um runtime específico, não uma propriedade do download.

A linha Orin Nano é a que deve ser lida duas vezes se a proposta for assistência por voz. Treze a quinze tokens por segundo com quase seis segundos até o primeiro token é um agente embarcado viável e um parceiro de conversação em tempo real ruim. A linha RTX 5070 é o oposto: rápida o suficiente para uso interativo, em uma GPU de desktop.

O que a NVIDIA realmente mudou no Gemma 4 E4B

A arquitetura é herdada integralmente. Este é o Gemma-4-E4B, uma mistura de 8B no total com 4B de parâmetros efetivos, e a contribuição da NVIDIA é o pós-treinamento, e não um novo backbone. A ficha lista o trabalho como aprendizado por reforço a partir de recompensas verificáveis e feedback humano por meio do NeMo-RL e do NeMo-Gym, abrangendo chamada de ferramentas e esquemas, seguimento de instruções e hierarquia, saídas estruturadas, formatação livre e modelagem generativa de recompensas. Os lotes de treinamento mantinham uma proporção de 2:1 entre amostras sem raciocínio e com raciocínio, e a NVIDIA aumentou as penalidades de comprimento para controlar a verbosidade — um detalhe que aparece mais adiante na tabela de benchmarks.

A build Q4_K_M foi produzida com o llama.cpp usando calibração imatrix em cerca de um milhão de tokens de rollouts de RL. Há também um drafter DFlash para decodificação especulativa, que, segundo a NVIDIA, entregou até 21% mais throughput do que o drafter original de previsão de múltiplos tokens do Gemma-4-E4B. O drafter é um repositório separado e, no momento da verificação, retornava HTTP 401 para solicitações anônimas, então trate-o como uma etapa adicional de acesso, e não como um download no mesmo dia.

Dois comutadores do template de chat fazem a maior parte do trabalho comportamental. enable_thinkingativa ou desativa o raciocínio e aceita um orçamento de raciocínio em tempo de execução; conversational_modeacrescenta uma instrução de sistema de conversa falada para respostas curtas e com pouca formatação. Esse segundo comutador é a pista. Este modelo foi feito para conversar, não para preencher uma janela de contexto com análise.

Contexto é 64K de entrada e 64K de saída. A cobertura de idiomas é 34 nos metadados do Hugging Face e 35 no blog técnico — uma pequena inconsistência, não substancial, e o cartão de pós-treinamento lista inglês, francês, alemão, italiano, japonês, espanhol e chinês como principais.

A licença é um conjunto de licenças, e não um único documento: OpenMDW-1.1 para a contribuição da NVIDIA, Apache 2.0 para o componente Gemma 4. O cartão afirma que o modelo está pronto para uso comercial ou não comercial. A OpenMDW é permissiva, mas não é aprovada pela OSI, o que importa mais para equipes jurídicas do que para desenvolvedores.

A tabela de benchmark, lida em comparação com os modelos que ela nomeia

A NVIDIA avaliou o modelo em comparação com Gemma4 E4B-it, Qwen3.5 4B e seu próprio Nemotron 3 Nano-4B, sob um harness NeMo-Gym consistente. Todos os números abaixo são relatados pelo fornecedor e não foram reproduzidos. A ficha diz que os números "podem diferir dos números autorrelatados pelos fornecedores", o que é uma ressalva honesta e também um lembrete de que o conjunto de comparação é escolha da NVIDIA.

As vitórias estão concentradas na conversa e no controle:

• RoleBench Custom — 67,05 para o Bolt E4B contra 53,66 para o Qwen3.5 4B, 49,95 para o Gemma4 E4B-it e 12,02 para o Nano-4B. Este é o benchmark de personas, e a margem é a mais ampla da tabela.

• IHEval, hierarquia de instruções — 84,79 contra 60,57, 67,04 e 51,31. Uma vantagem de 17 pontos sobre o concorrente mais próximo é incomum neste porte.

• When2Call Multi-Turn — 63,36 contra 37,85 para Qwen3.5 4B, 62,90 para Gemma4 e 27,70 para Nano-4B. Saber quando não chamar uma ferramenta é uma habilidade conversacional tanto quanto uma habilidade agêntica.

• RelyToolBench — 63,16 contra 43,35, 61,60 e 41,20. Ancoragem na saída da ferramenta, novamente uma habilidade adjacente à conversa.

• MultiChallenge — 53,10 contra 51,76, 42,08 e 35,30. Uma vitória apertada no tratamento de desafios de múltiplos turnos.

As perdas são igualmente claras, e são elas que importam se você quer um agente em vez de um personagem:

• Tau2-Bench — 55,10 contra 75,06 do Qwen3.5 4B. Trata-se de um déficit de 20 pontos na conclusão de tarefas agênticas de múltiplos turnos, e nenhum nível de qualidade de persona compensa isso.

• RULER em 64K — 86,99 contra 95,15 do Qwen3.5 4B e 91,51 do Nano-4B. O modelo aceita 64K de contexto; não recupera ao longo dele com a mesma confiabilidade que seus pares.

• LongBench v2 em 48K — 50,50 contra 59,93 do Qwen3.5 4B. Mesmo cenário no raciocínio com documentos longos.

• BFCL-v3 — 68,51 contra 70,95 do Qwen3.5 4B. Um pequeno déficit em chamada de funções e uma vitória sobre os 66,39 do Gemma4.

• EQ-Bench v3 — 39,40 contra 41,17 do Gemma4 E4B-it. A única linha de inteligência emocional em que o modelo pai supera o filho.

A coluna Q4_K_M é mais interessante do que uma tabela de quantização costuma ser. A compressão não custou precisão de forma uniforme: MultiChallenge sobe de 53,10 para 55,60, RoleBench de 67,05 para 71,21, ToolSandbox de 68,77 para 74,13, e RelyToolBench de 63,16 para 69,29. Cai no Tau2 de 55,10 para 52,32, no LongMemEval de 72,10 para 69,92, e no RULER de 86,99 para 85,76. Uma build de quatro bits que melhora várias pontuações conversacionais é plausível quando os dados de calibração vêm dos próprios rollouts de RL do modelo, mas ainda é uma medição do fornecedor, e o ruído no nível do benchmark em um modelo de 4B é grande o suficiente para que esses deltas não devam ser lidos como uma escada de precisão.

Duas linhas merecem um destaque próprio. Brevity Bench e When2Call Multi-Turn são avaliações que a NVIDIA descreve como formas de preencher lacunas nos benchmarks existentes, e o blog diz que serão lançadas em uma data posterior. Elas não são reproduzíveis de forma independente hoje — o que importa sobretudo para o Brevity, porque é essa a linha que sustenta a história do menor número de tokens de saída.

A principal alegação da NVIDIA é que o modelo tem, em média, cerca de 40% melhor desempenho que o Nemotron 3 Nano-4B e aproximadamente 10% melhor que modelos concorrentes, com até 80% menos tokens de saída em comparações com raciocínio ativado. O número de 80% é uma alegação de verbosidade, não de precisão, e está alinhado com a pontuação de 82,52 no Brevity Benchmark — que a NVIDIA incluiu em seu próprio conjunto de testes. Leve a direção a sério e a porcentagem exata com cautela.

O que o repositório não lhe dirá

O cartão é sincero sobre suas próprias lacunas, e vale a pena listar as lacunas porque elas definem quanta confiança o lançamento sustenta.

• Nenhuma avaliação independente. A Artificial Analysis não tem página de modelo para o E4B no momento em que este texto foi escrito, e nenhum terceiro publicou uma reprodução da tabela de benchmark de 21 linhas.

• Nenhum preço de serviço hospedado. O card data uma listagem do Build.NVIDIA.com em 23 de outubro, mas nenhum preço por token é publicado lá nem no card. Se você quiser uma API, está negociando ou usando um nível gratuito, não lendo uma tabela de preços.

• A implantação está marcada como "llama.cpp (recipe pending)", embora o início rápido contenha comandos llama.cpp funcionais. Trata-se de uma contradição na documentação, não de natureza técnica, mas é o tipo de coisa que faz tropeçar um pipeline de implantação automatizado.

• A meta de 4 GB não é demonstrada como um arquivo. O envelope medido de VRAM é a evidência; o download é de 6,18 GB.

• Os subcartões de segurança, viés, explicabilidade e privacidade existem como arquivos separados. Este artigo não os audita, e nenhum órgão independente ainda o faz.

Nada disso torna o lançamento indigno de confiança. Torna-o prematuro. Uma ficha do modelo escrita pela equipe que treinou o modelo é a melhor descrição disponível daquilo a que o modelo se destina; não é prova de que o modelo o faça.

Onde um modelo local 4B para, e o que colocar por trás dele

A arquitetura honesta para essa classe de modelo é dividida. Um checkpoint conversacional de 4B em um Jetson ou em uma placa RTX é excelente na camada de reflexo: respostas a palavras de ativação, diálogo de persona, chamadas curtas de ferramentas, ancoragem da entrada, as partes de uma interface que não podem depender de uma ida e volta pela rede. Ele não é o que você quer que responda a uma pergunta que exige 200K de contexto ou um plano agêntico de dez etapas, e a própria tabela de benchmarks dele diz isso.

Isso deixa cada implantação com uma segunda pergunta: o que atende às solicitações que o modelo local não deveria. Colocar um modelo hospedado por trás da mesma aplicação por meio do OrcaRouter significa uma única API para mais de 200 modelos, 0% de margem sobre o preço de tabela do provedor, e failover automático quando um provedor se degrada — assim, o caminho de escalonamento é uma decisão de roteamento, em vez de um segundo SDK, uma segunda chave e uma segunda relação de cobrança. O modelo local continua sendo o caminho rápido; o modelo hospedado é o fallback para os casos para os quais o E4B nunca foi treinado.

O que mudaria esta imagem?

Três coisas, em ordem de utilidade. Uma execução independente de benchmark na mesma infraestrutura de avaliação definiria se o perfil com uso intenso de conversação sobrevive fora da avaliação da NVIDIA. Um artefato publicado de 4 GB ou menos tornaria o nome literal. E um preço no endpoint Build transformaria o modelo de um download em um serviço que você pode comparar.

Até lá, a leitura correta é estreita e útil: a NVIDIA pós-treinou o Gemma 4 E4B, transformando-o em um pequeno modelo conversacional comprovadamente melhor, publicou as evidências e as lacunas no mesmo documento, e o lançou uma semana após o lançamento da família, com quase nenhum alarde. O 4GB no nome é uma meta que o runtime medido cumpre e o download não. Planeje seu armazenamento em torno de 6.18GB e suas expectativas em torno de 13 a 133 tokens por segundo, dependendo do dispositivo que você realmente tem.