Nemotron 3.5 Bolt E4B 4GB: Wat er daadwerkelijk is uitgebracht, en waarom de naam misleidt

NVIDIA-Nemotron-3.5-Bolt-E4B-4GB ging op 23 oktober 2026 live op Hugging Face, en het eerste dat vermeldenswaard is, is rekenwerk: het bestand is 6,18 GB. De naam zegt 4 GB. Beide getallen zijn echt, ze meten verschillende dingen, en de kloof daartussen is het meest bruikbare feit in de release.

NVIDIA's technische blog noemt 4GB het beoogde geheugenbereik voor de doelworkloads van het model — een budget voor wat het model zou moeten innemen terwijl er een applicatie naast draait. Het is geen parameteraantal en geen downloadgrootte. De checkpoint zelf telt 8B totaal met 4B effectieve parameters, is post-trained vanuit Gemma-4-E4B-it en is gepubliceerd in precies twee precisies: een BF16-build van 15,88GB en een Q4_K_M-GGUF van 6,18GB. Als u op zoek was naar een bestand van vier gigabyte om op een apparaat te zetten, dan is dat er niet in de repository.

Dat is de moeite waard om ronduit te zeggen, omdat de rest van de release ongewoon leesbaar is. De modelkaart is gedetailleerd, het technische rapport is openbaar en de gemeten latentietabel bestrijkt vier apparaten. Wat ontbreekt, is onafhankelijke verificatie, en de kaart zegt dat zelf.

De release, gereconstrueerd op basis van wat openbaar is

Deze kreeg geen lancering. Het werd een voetnoot en vervolgens een blogpost.

• 5 oktober 2026 — de Hugging Face-repositories voor de Q4_K_M- en BF16-builds zijn aangemaakt. Geen van beide is gevuld met gewichten.

• 15 oktober 2026 — NVIDIA kondigt de Nemotron 3.5-familie aan: Super VL 120B-A12B en Bolt 74B-A9B 24GB, beide die dag beschikbaar. De E4B krijgt twee zinnen en een datum: komt op 23 oktober.

• 23 oktober 2026 — de Q4_K_M- en BF16-gewichten worden gepubliceerd, de modelkaart verschijnt, en NVIDIA's onderzoekslab plaatst een technische blog en een technisch rapport. Er is geen bedrijfspersbericht, en de lanceringsverslaggeving die volgde op de aankondiging van 15 oktober blijft ditmaal uit.

Dus "stil uitgebracht" is accuraat, maar "geheim" zou dat niet zijn. NVIDIA gaf het model een naam, koppelde er een datum aan en documenteerde het diezelfde dag nog netjes. Wat het bedrijf niet deed, was de E4B voorleggen aan dezelfde verslaggevers die over de andere modellen uit de reeks hadden bericht. De praktische consequentie voor iedereen die dit in de eerste weken leest, is dat bijna elke bewering hieronder terug te herleiden is tot één bron: NVIDIA.

Vier gigabyte is een budget, geen download

De gepubliceerde bestandsgroottes zijn eenduidig zodra je naar de repository kijkt in plaats van naar de naam.

• Q4_K_M GGUF — 6.180.446.208 bytes, of 6,18 GB in decimale termen, in één bestand met de naam Nemotron-3.5-Bolt-E4B-Q4_K_M.gguf.

• BF16-safetensors — 15.882.494.698 bytes, of 15,88 GB, in één shard, plus een bevroren gedeeld-KV-bestand van 110 MB.

• Geen 4GB-artefact — er is geen kleinere kwantisatie in de repository, en de kaart publiceert geen bestand dat overeenkomt met het getal in de naam.

Wat NVIDIA wél publiceert, is een batch-1 llama.cpp-meting op vier apparaten, en juist in die tabel wordt de bewering over 4GB concreet:

• RTX 5070 12GB — 3,5 tot 4,3GB VRAM, 548 tot 1.238ms tijd tot eerste token, 106,2 tot 133,4 tokens per seconde.

• RTX Spark 32GB — 3,1 tot 4,2 GB VRAM, 930 tot 1.988 ms tot eerste token, 52,0 tot 67,0 tokens per seconde.

• Jetson Orin Nano 8GB — 4,2 tot 4,9 GB VRAM, 5.785 tot 6.259 ms tot het eerste token, 13,0 tot 15,5 tokens per seconde.

• Jetson AGX Orin 32GB — 4,2 tot 5,0 GB VRAM, 3.687 tot 4.091 ms tot het eerste token, 20,3 tot 24,0 tokens per seconde.

De VRAM-cijfers liggen onder de bestandsgrootte van 6,18 GB, wat betekent dat de runtime tijdens die runs niet het volledige bestand resident op de GPU houdt. De kaart legt het mechanisme niet uit, en dit is een goed moment om niet iets te verzinnen: memory-mapped weights, gedeeltelijke offload en de grootte van de KV-cache beïnvloeden elkaar allemaal, en NVIDIA heeft de verdeling niet gepubliceerd. Wat wel kan worden gezegd, is dat de 4GB-envelop een gemeten resultaat is op specifieke hardware onder een specifieke runtime, niet een eigenschap van de download.

De Orin Nano-rij moet je twee keer lezen als de propositie spraakassistentie is. Dertien tot vijftien tokens per seconde met bijna zes seconden tot het eerste token is een werkbare embedded agent en een slechte realtime-gesprekspartner. De RTX 5070-rij is het tegenovergestelde: snel genoeg voor interactief gebruik, op een desktop-GPU.

Wat NVIDIA daadwerkelijk heeft veranderd in Gemma 4 E4B

De architectuur is volledig overgenomen. Dit is Gemma-4-E4B, een 8B-totaal mengsel met 4B effectieve parameters, en NVIDIA's bijdrage is post-training in plaats van een nieuwe backbone. De kaart vermeldt het werk als reinforcement learning van verifieerbare beloningen en menselijke feedback via NeMo-RL en NeMo-Gym, over tool calling en schema's, instructievolging en hiërarchie, gestructureerde outputs, vrije vormgeving, en generatieve beloningsmodellering. Trainingsbatches hadden een 2:1-verhouding van niet-redenerende tot redenerende samples, en NVIDIA verhoogde lengtestraffen om breedsprakigheid te beheersen — een detail dat later in de benchmarktabel opduikt.

De Q4_K_M-build werd geproduceerd met llama.cpp met imatrix-calibratie op ongeveer één miljoen tokens aan RL-rollouts. Er is ook een DFlash-drafter voor speculatieve decoding, waarvan NVIDIA zegt dat deze tot 21% meer doorvoer opleverde dan de originele multi-token-prediction-drafter van Gemma-4-E4B. De drafter is een aparte repository, en op het moment van controleren gaf deze HTTP 401 op anonieme verzoeken, dus behandel het als een extra toegangsstap in plaats van een download op dezelfde dag.

Twee schakelaars in de chat-template doen het meeste gedragswerk. enable_thinking schakelt redeneren in of uit en accepteert een denkbudget tijdens runtime; conversational_mode voegt een systeeminstructie voor gesproken gesprekken toe voor korte antwoorden met weinig opmaak. Die tweede schakelaar is de aanwijzing. Dit model is gemaakt om te praten, niet om een contextvenster met analyse te vullen.

Context is 64K in en 64K uit. Taalcoverage is 34 in de Hugging Face-metadata en 35 in de technische blog — een kleine inconsistentie, geen wezenlijke, en de post-trainingkaart noemt Engels, Frans, Duits, Italiaans, Japans, Spaans en Chinees als primaire talen.

De licentie is een stapel in plaats van één enkel document: OpenMDW-1.1 voor NVIDIA's bijdrage, Apache 2.0 voor de Gemma 4-component. Op de kaart staat dat het model klaar is voor commercieel of niet-commercieel gebruik. OpenMDW is permissief, maar niet door de OSI goedgekeurd, wat voor juridische teams meer van belang is dan voor ontwikkelaars.

De benchmarktabel, afgezet tegen de modellen die erin worden genoemd

NVIDIA evalueerde het model ten opzichte van Gemma4 E4B-it, Qwen3.5 4B en zijn eigen Nemotron 3 Nano-4B, met een consistente NeMo-Gym-harness. Elk cijfer hieronder is door de leverancier gerapporteerd en niet gereproduceerd. De modelkaart zegt dat de cijfers 'kunnen afwijken van de door leveranciers zelf gerapporteerde cijfers', wat een eerlijk voorbehoud is en tegelijk een herinnering dat de vergelijkingsset NVIDIA's keuze is.

De successen zijn geconcentreerd in gesprek en controle:

• RoleBench Custom — 67,05 voor Bolt E4B tegenover 53,66 voor Qwen3.5 4B, 49,95 voor Gemma4 E4B-it en 12,02 voor Nano-4B. Dit is de persona-benchmark, en de marge is de grootste in de tabel.

• IHEval, instructiehiërarchie — 84,79 tegenover 60,57, 67,04 en 51,31. Een voorsprong van 17 punten op de naaste concurrent is ongewoon bij deze omvang.

• When2Call Multi-Turn — 63,36 tegen 37,85 voor Qwen3.5 4B, 62,90 voor Gemma4 en 27,70 voor Nano-4B. Weten wanneer je geen tool moet aanroepen is net zo goed een gespreksvaardigheid als een agentische vaardigheid.

• RelyToolBench — 63.16 tegen 43.35, 61.60 en 41.20. Verankering in tooloutput, opnieuw een gespreksgerelateerde vaardigheid.

• MultiChallenge — 53,10 tegen 51,76, 42,08 en 35,30. Een nipte overwinning bij het afhandelen van meerbeurtige uitdagingen.

De verliezen zijn net zo duidelijk, en die zijn het die ertoe doen als je een agent wilt in plaats van een personage:

• Tau2-Bench — 55,10 tegenover 75,06 voor Qwen3.5 4B. Dit is een tekort van 20 punten bij het voltooien van agentische taken over meerdere beurten, en geen enkele mate van personakwaliteit maakt dat goed.

• RULER op 64K — 86,99 tegenover 95,15 voor Qwen3.5 4B en 91,51 voor Nano-4B. Het model accepteert 64K context; het haalt informatie daaruit niet zo betrouwbaar op als zijn concurrenten.

• LongBench v2 op 48K — 50,50 tegenover 59,93 voor Qwen3.5 4B. Hetzelfde verhaal bij redeneren over lange documenten.

BFCL-v3 — 68,51 tegenover 70,95 voor Qwen3.5 4B. Een kleine achterstand op het gebied van function calling, en een overwinning op de 66,39 van Gemma4.

• EQ-Bench v3 — 39,40 tegen 41,17 voor Gemma4 E4B-it. De enige rij op het gebied van emotionele intelligentie waarin het oudermodel het kindmodel verslaat.

De kolom Q4_K_M is interessanter dan een kwantiseringstabel gewoonlijk is. Compressie kostte niet uniform nauwkeurigheid: MultiChallenge stijgt van 53,10 naar 55,60, RoleBench van 67,05 naar 71,21, ToolSandbox van 68,77 naar 74,13 en RelyToolBench van 63,16 naar 69,29. Het daalt op Tau2 van 55,10 naar 52,32, op LongMemEval van 72,10 naar 69,92 en op RULER van 86,99 naar 85,76. Een vierbitsbuild die verschillende gespreksscores verbetert, is plausibel wanneer de kalibratiegegevens uit de eigen RL-rollouts van het model komen, maar het blijft een meting van de leverancier, en de ruis op benchmarkniveau in een 4B-model is groot genoeg dat deze delta's niet als een precisieladder moeten worden gelezen.

Twee rijen verdienen een aparte vermelding. Brevity Bench en When2Call Multi-Turn zijn evaluaties waarvan NVIDIA zegt dat ze lacunes in bestaande benchmarks aanpakken, en volgens de blog worden ze op een later moment vrijgegeven. Ze zijn vandaag niet onafhankelijk reproduceerbaar — wat het meest van belang is voor Brevity, omdat juist die rij het verhaal over minder output-tokens onderbouwt.

NVIDIA's belangrijkste claim is dat het model gemiddeld ongeveer 40% beter presteert dan Nemotron 3 Nano-4B en ruwweg 10% beter dan vergelijkbare modellen, met tot 80% minder outputtokens in vergelijkingen waarin redeneren is ingeschakeld. Het cijfer van 80% is een bewering over breedsprakigheid, niet over nauwkeurigheid, en het komt overeen met de Brevity Benchmark-score van 82,52 — die NVIDIA in zijn eigen suite heeft ingebouwd. Neem de richting serieus en het exacte percentage met een korreltje zout.

Wat de repository je niet zal vertellen

De kaart is openhartig over zijn eigen hiaten, en die hiaten zijn het vermelden waard, omdat ze bepalen hoeveel vertrouwen de release ondersteunt.

• Geen onafhankelijke evaluatie. Artificial Analysis heeft op het moment van schrijven geen modelpagina voor de E4B, en geen enkele derde partij heeft een reproductie van de benchmarktabel met 21 rijen gepubliceerd.

• Geen gehoste prijs. De kaart dateert een Build.NVIDIA.com-vermelding op 23 oktober, maar er wordt daar noch in de kaart een prijs per token gepubliceerd. Als je een API wilt, onderhandel je of gebruik je een gratis tier, en lees je geen tariefkaart.

• De deployment is gemarkeerd als "llama.cpp (recipe pending)", hoewel de quickstart werkende llama.cpp-commando's bevat. Dat is een tegenstrijdigheid in de documentatie, geen technische, maar het is wel het soort iets dat een geautomatiseerde deploymentpipeline laat struikelen.

• Het 4GB-doel wordt niet als bestand aangetoond. De gemeten VRAM-envelop is het bewijs; de download is 6,18GB.

• Subkaarten voor veiligheid, bias, uitlegbaarheid en privacy bestaan als afzonderlijke bestanden. Dit artikel auditeert ze niet, en dat doet vooralsnog geen enkele onafhankelijke instantie.

Niets daarvan maakt de release onbetrouwbaar. Het maakt hem vroeg. Een modelkaart die is geschreven door het team dat het model heeft getraind, is de best beschikbare beschrijving van waar het model voor bedoeld is; het is geen bewijs dat het model dat ook doet.

Waar een lokaal 4B-model ophoudt, en wat je erachter moet zetten

De eerlijke architectuur voor deze modelklasse is een gesplitste architectuur. Een 4B conversationeel checkpoint op een Jetson of een RTX-kaart is uitstekend in de reflexlaag: reacties op wake-words, persona-dialoog, korte tool calls, input-grounding, de onderdelen van een interface die zich geen netwerkroundtrip kunnen veroorloven. Het is niet het model dat je wilt laten antwoorden op een vraag die 200K context vereist of een agentisch plan in tien stappen, en dat zegt zijn eigen benchmarktabel ook.

Daarmee blijft voor elke implementatie een tweede vraag over: wat verwerkt de aanvragen die het lokale model niet zou moeten afhandelen. Een gehost model achter dezelfde applicatie plaatsen via OrcaRouter betekent één API voor meer dan 200 modellen, 0% opslag op de lijstprijs van de provider, en automatische failover wanneer een provider degradeert — zodat het escalatiepad een routeringsbeslissing is in plaats van een tweede SDK, een tweede sleutel en een tweede factureringsrelatie. Het lokale model blijft het snelle pad; het gehoste model is de terugvaloptie voor de gevallen waarvoor de E4B nooit is getraind.

Wat zou deze afbeelding veranderen?

Drie dingen, in volgorde van nut. Een onafhankelijke benchmark op dezelfde harness zou uitmaken of het gespreksintensieve profiel buiten NVIDIA's evaluatie standhoudt. Een gepubliceerd artefact van 4 GB of kleiner zou de naam letterlijk maken. En een prijs op het Build-endpoint zou het model van een download veranderen in een service die je kunt vergelijken.

Tot die tijd is de juiste lezing beperkt en nuttig: NVIDIA heeft Gemma 4 E4B post-getraind tot een aantoonbaar beter klein gespreksmodel, de bewijzen en de hiaten in hetzelfde document gepubliceerd en het een week na de lancering van de familie uitgebracht met vrijwel geen ruchtbaarheid. De 4 GB in de naam is een streefwaarde die de gemeten runtime wel haalt en de download niet. Plan je opslag rond 6,18 GB en je verwachtingen rond 13 tot 133 tokens per seconde, afhankelijk van welk apparaat je daadwerkelijk hebt.