Nemotron 3.5 Bolt E4B 4GB: Vad som faktiskt levererades, och varför namnet är missvisande

NVIDIA-Nemotron-3.5-Bolt-E4B-4GB lanserades på Hugging Face den 23 oktober 2026, och det första som är värt att säga om den är aritmetik: filen är 6,18 GB. Namnet säger 4 GB. Båda siffrorna är verkliga, de mäter olika saker, och gapet mellan dem är det mest användbara faktumet i lanseringen.

NVIDIA:s tekniska blogg kallar 4 GB för den avsedda minnesramen för modellens målarbetslaster – en budget för vad modellen bör uppta medan en applikation körs vid sidan om. Det är inte ett parameterantal och inte en nedladdningsstorlek. Checkpointen i sig är 8B totalt med 4B effektiva parametrar, eftertränad från Gemma-4-E4B-it och publicerad i exakt två precisioner: en 15,88 GB BF16-version och en 6,18 GB Q4_K_M GGUF. Om du kom hit för att leta efter en fil på fyra gigabyte att lägga på en enhet, finns det ingen sådan i repositoriet.

Det är värt att säga rakt ut, eftersom resten av lanseringen är ovanligt lättbegriplig. Modellkortet är detaljerat, den tekniska rapporten är offentlig och den uppmätta latensstabellen omfattar fyra enheter. Det som saknas är oberoende verifiering, och kortet säger det självt.

Släppet, rekonstruerat utifrån det som är offentligt

Den här fick ingen lansering. Den fick en fotnot och sedan ett blogginlägg.

• 5 oktober 2026 — Hugging Face-repositorierna för Q4_K_M- och BF16-byggena skapas. Inget av dem är fyllt med vikter.

• 15 oktober 2026 — NVIDIA tillkännager Nemotron 3.5-familjen: Super VL 120B-A12B och Bolt 74B-A9B 24GB, båda tillgängliga samma dag. E4B får två meningar och ett datum: kommer 23 oktober.

• 23 oktober 2026 — vikterna för Q4_K_M och BF16 publiceras, modellkortet läggs upp och NVIDIAs forskningslaboratorium publicerar en teknisk blogg och en teknisk rapport. Det finns inget företagspressmeddelande, och den lanseringsbevakning som följde på tillkännagivandet den 15 oktober återkommer inte för den här lanseringen.

Så "släpptes i tysthet" är korrekt, men "hemlig" skulle inte vara det. NVIDIA namngav modellen, daterade den och dokumenterade den sedan ordentligt samma dag. Det man inte gjorde var att presentera E4B för samma reportrar som bevakade dess syskon. Den praktiska konsekvensen för alla som läser detta under de första veckorna är att nästan varje påstående nedan kan spåras tillbaka till en enda källa: NVIDIA.

Fyra gigabyte är en budget, inte en nedladdning

De publicerade filstorlekarna är entydiga när man tittar på förrådet i stället för namnet.

• Q4_K_M GGUF — 6 180 446 208 byte, eller 6,18 GB i decimala termer, i en enda fil med namnet Nemotron-3.5-Bolt-E4B-Q4_K_M.gguf.

• BF16 safetensors – 15,882,494,698 byte, eller 15.88GB, i en enda shard, plus en 110MB fryst delad KV-fil.

• Ingen 4GB-artefakt – det finns ingen mindre kvantisering i repositoriet, och kortet publicerar ingen fil som träffar siffran i namnet.

Det NVIDIA faktiskt publicerar är en mätning med llama.cpp för batch 1 på fyra enheter, och det är i den tabellen som 4GB-påståendet blir konkret:

• RTX 5070 12GB – 3,5 till 4,3 GB VRAM, 548 till 1 238 ms tid till första token, 106,2 till 133,4 tokens per sekund.

• RTX Spark 32GB — 3,1 till 4,2 GB VRAM, 930 till 1 988 ms till första token, 52,0 till 67,0 token per sekund.

Jetson Orin Nano 8GB – 4,2 till 4,9 GB VRAM, 5 785 till 6 259 ms till första token, 13,0 till 15,5 token per sekund.

• Jetson AGX Orin 32GB — 4,2 till 5,0 GB VRAM, 3 687 till 4 091 ms till första token, 20,3 till 24,0 token per sekund.

VRAM-siffrorna ligger under filstorleken på 6,18 GB, vilket innebär att runtime inte håller hela filen resident på GPU:n i de körningarna. Kortet förklarar inte mekanismen, och det här är ett bra ställe att avstå från att hitta på en: minnesmappade vikter, delvis offload och storlekssättning av KV-cache samverkar alla, och NVIDIA har inte publicerat uppdelningen. Vad som kan sägas är att 4 GB-gränsen är ett uppmätt resultat på specifik hårdvara under en specifik runtime, inte en egenskap hos nedladdningen.

Orin Nano-raden är den man bör läsa två gånger om säljargumentet är röstassistans. Tretton till femton tokens per sekund med nästan sex sekunder till första token är en fungerande inbäddad agent och en dålig samtalspartner i realtid. RTX 5070-raden är motsatsen: tillräckligt snabb för interaktiv användning, på ett stationärt grafikkort.

Vad NVIDIA faktiskt ändrade i Gemma 4 E4B

Arkitekturen är helt och hållet ärvd. Detta är Gemma-4-E4B, en mixture med totalt 8B och 4B effektiva parametrar, och NVIDIAs bidrag är efterträning snarare än en ny backbone. Kortet listar arbetet som förstärkningsinlärning från verifierbara belöningar och mänsklig feedback via NeMo-RL och NeMo-Gym, inom verktygsanrop och scheman, instruktionsföljning och hierarki, strukturerade utdata, fritt format och generativ belöningsmodellering. Träningsbatchar hade ett förhållande på 2:1 mellan prover utan resonemang och prover med resonemang, och NVIDIA ökade längdstraff för att kontrollera utförlighet – en detalj som dyker upp senare i benchmark-tabellen.

Q4_K_M-bygget producerades med llama.cpp med imatrix-kalibrering på ungefär en miljon tokens av RL-rollouts. Det finns också en DFlash-drafter för spekulativ avkodning, som NVIDIA säger gav upp till 21 % högre genomströmning än Gemma-4-E4B:s ursprungliga drafter för flertokensprediktion. Draftern är ett separat arkiv, och vid tidpunkten för kontrollen returnerade den HTTP 401 till anonyma förfrågningar, så betrakta den som ett extra åtkomststeg snarare än en nedladdning samma dag.

Två växlar i chattmallen gör det mesta av det beteendemässiga arbetet. enable_thinking slår på eller av resonemang och accepterar en tankebudget vid körning; conversational_mode lägger till en systeminstruktion för talat samtal för korta svar med låg formatering. Den där andra växeln är avslöjandet. Den här modellen är byggd för att prata, inte för att fylla ett kontextfönster med analys.

Kontexten är 64K in och 64K ut. Språktäckningen är 34 i Hugging Face-metadata och 35 i den tekniska bloggen — en liten inkonsekvens, inte en substantiell sådan, och post-training-kortet anger engelska, franska, tyska, italienska, japanska, spanska och kinesiska som primära.

Licensen är en stack snarare än ett enda dokument: OpenMDW-1.1 för NVIDIAs bidrag, Apache 2.0 för Gemma 4-komponenten. Kortet anger att modellen är redo för kommersiell eller icke-kommersiell användning. OpenMDW är tillåtande men inte OSI-godkänt, vilket spelar större roll för juridiska team än för utvecklare.

Benchmarktabellen, läst mot de modeller den namnger

NVIDIA utvärderade modellen mot Gemma4 E4B-it, Qwen3.5 4B och sin egen Nemotron 3 Nano-4B, i ett konsekvent NeMo-Gym-ramverk. Alla siffror nedan är leverantörsrapporterade och inte reproducerade. Modellkortet säger att siffrorna "kan skilja sig från leverantörernas självrapporterade siffror", vilket är en ärlig varning och också en påminnelse om att jämförelseuppsättningen är NVIDIAs val.

Vinsterna är koncentrerade till konversation och kontroll:

RoleBench Custom – 67,05 för Bolt E4B mot 53,66 för Qwen3.5 4B, 49,95 för Gemma4 E4B-it och 12,02 för Nano-4B. Det här är persona-benchmarken, och marginalen är den bredaste i tabellen.

• IHEval, instruktionshierarki — 84,79 mot 60,57, 67,04 och 51,31. Ett försprång på 17 poäng över närmaste konkurrent är ovanligt i den här storleken.

When2Call Multi-Turn — 63,36 mot 37,85 för Qwen3.5 4B, 62,90 för Gemma4 och 27,70 för Nano-4B. Att veta när man inte ska anropa ett verktyg är en konversationsfärdighet i lika hög grad som en agentisk färdighet.

• RelyToolBench — 63,16 mot 43,35, 61,60 och 41,20. Förankring i verktygsutdata, återigen en samtalsnära färdighet.

• MultiChallenge — 53,10 mot 51,76, 42,08 och 35,30. En knapp seger i hanteringen av utmaningar över flera turer.

Förlusterna är lika tydliga, och det är de som spelar roll om du vill ha en agent i stället för en karaktär:

• Tau2-Bench — 55,10 mot 75,06 för Qwen3.5 4B. Det är ett underskott på 20 poäng när det gäller slutförande av agentiska uppgifter över flera turer, och ingen grad av personakvalitet stänger det gapet.

• RULER vid 64K – 86,99 mot 95,15 för Qwen3.5 4B och 91,51 för Nano-4B. Modellen accepterar 64K kontext; den hämtar inte information över hela kontexten lika tillförlitligt som sina jämförbara modeller.

• LongBench v2 vid 48K – 50,50 mot 59,93 för Qwen3.5 4B. Samma sak gäller för resonemang över långa dokument.

• BFCL-v3 — 68,51 mot 70,95 för Qwen3.5 4B. En liten brist när det gäller funktionsanrop, och en vinst mot Gemma4s 66,39.

• EQ-Bench v3 — 39,40 mot 41,17 för Gemma4 E4B-it. Den enda raden för emotionell intelligens där föräldern slår barnet.

Q4_K_M-kolumnen är mer intressant än en kvantiseringstabell vanligtvis är. Komprimeringen kostade inte noggrannhet på ett enhetligt sätt: MultiChallenge stiger från 53,10 till 55,60, RoleBench från 67,05 till 71,21, ToolSandbox från 68,77 till 74,13 och RelyToolBench från 63,16 till 69,29. Den faller på Tau2 från 55,10 till 52,32, på LongMemEval från 72,10 till 69,92 och på RULER från 86,99 till 85,76. En fyrabitarsbygge som förbättrar flera konversationspoäng är rimligt när kalibreringsdata kommer från modellens egna RL-rollouts, men det är fortfarande en leverantörsmätning, och bruset på benchmarknivå i en 4B-modell är tillräckligt stort för att dessa deltan inte bör läsas som en precisionsstege.

Två rader förtjänar en egen flagga. Brevity Bench och When2Call Multi-Turn är utvärderingar som NVIDIA beskriver som att de åtgärdar luckor i befintliga benchmarkar, och bloggen säger att de släpps vid ett senare datum. De går inte att reproducera oberoende i dag – vilket spelar störst roll för Brevity, eftersom det är raden som bär berättelsen om färre utdatatokens.

NVIDIA:s huvudpåstående är att modellen i genomsnitt är cirka 40 % bättre än Nemotron 3 Nano-4B och ungefär 10 % bättre än jämförbara modeller, med upp till 80 % färre utdatatokens i jämförelser där resonemang är aktiverat. Siffran 80 % är ett påstående om ordrikedom, inte om träffsäkerhet, och den stämmer överens med Brevity Benchmark-poängen 82,52 – som NVIDIA byggde in i sin egen svit. Ta riktningen på allvar och den exakta procentsatsen med en nypa salt.

Vad repositoriet inte kommer att berätta för dig

Kortet är uppriktigt om sina egna luckor, och luckorna är värda att räknas upp eftersom de avgör hur mycket förtroende utgåvan kan inge.

• Ingen oberoende utvärdering. Artificial Analysis har ingen modellsida för E4B vid tidpunkten för skrivandet, och ingen tredje part har publicerat en reproduktion av benchmarktabellen med 21 rader.

• Inget hostat pris. Kortet daterar en Build.NVIDIA.com-listning till 23 oktober, men inget pris per token publiceras där eller i kortet. Om du vill ha ett API förhandlar du eller använder en gratisnivå – du läser inte en prislista.

Driftsättningen är märkt "llama.cpp (recept väntar)" trots att snabbstarten innehåller fungerande llama.cpp-kommandon. Det är en motsägelse i dokumentationen, inte en teknisk sådan, men det är precis den typen av sak som får en automatiserad driftsättningspipeline att köra fast.

• Målet på 4GB demonstreras inte som en fil. Det uppmätta VRAM-utrymmet är beviset; nedladdningen är 6.18GB.

• Underkort för säkerhet, bias, förklarbarhet och integritet finns som separata filer. Den här artikeln granskar dem inte, och det gör inte heller något oberoende organ ännu.

Inget av det gör utgåvan opålitlig. Det gör den tidig. Ett modellkort skrivet av teamet som tränade modellen är den bästa tillgängliga beskrivningen av vad modellen är till för; det är inte bevis för att modellen gör det.

Där en lokal 4B-modell tar slut, och vad man ska sätta bakom den

Den ärliga arkitekturen för den här klassen av modeller är uppdelad. En 4B-konversationscheckpoint på en Jetson eller ett RTX-kort är utmärkt på reflexlagret: wake word-svar, personadialog, korta verktygsanrop, indatagrundning, de delar av ett gränssnitt som inte har råd med en nätverksrundtur. Det är inte det du vill ska svara på en fråga som kräver 200K kontext eller en agentisk plan i tio steg, och dess egen benchmarktabell säger samma sak.

Det lämnar varje driftsättning med en andra fråga: vad hanterar de förfrågningar som den lokala modellen inte bör hantera. Att sätta en värdbaserad modell bakom samma applikation via OrcaRouter innebär ett API för 200+ modeller, 0 % påslag på leverantörens listpris, och automatisk failover när en leverantör försämras – så eskaleringsvägen är ett routingbeslut i stället för ett andra SDK, en andra nyckel och en andra faktureringsrelation. Den lokala modellen förblir den snabba vägen; den värdbaserade modellen är reservlösningen för de fall som E4B aldrig tränades för.

Vad skulle förändra den här bilden?

Tre saker, i ordning efter användbarhet. En oberoende benchmarkkörning på samma harness skulle avgöra om den samtalsintensiva profilen överlever utanför NVIDIAs utvärdering. En publicerad artefakt på 4 GB eller mindre skulle göra namnet bokstavligt. Och ett pris på Build-slutpunkten skulle förvandla modellen från en nedladdning till en tjänst som går att jämföra.

Fram till dess är den korrekta tolkningen snäv och användbar: NVIDIA eftertränade Gemma 4 E4B till en bevisligen bättre liten samtalsmodell, publicerade bevisen och luckorna i samma dokument och släppte den en vecka efter familjelanseringen nästan utan uppmärksamhet. 4GB i namnet är ett mål som den uppmätta körtiden klarar men nedladdningen inte. Planera lagringen efter 6.18GB och förväntningarna efter 13 till 133 tokens per sekund, beroende på vilken enhet du faktiskt har.