Nemotron 3.5 Bolt 24GB: Wat NVIDIA werkelijk in een 24GB-bestand heeft gestopt

Het getal in de kop is niet het parameteraantal. Het is het byteaantal. Op 15 oktober 2026 lanceerde NVIDIA NVIDIA Nemotron 3.5 Bolt 74B-A9B 24GB, een visie-taalagentmodel waarvan de 74 miljard parameters 23,75GB innemen in het formaat dat de meeste mensen daadwerkelijk zullen downloaden — een GGUF van 22,02GB plus een vision-projectorbestand van 1,73GB. Beide cijfers komen uit de eigen bestandslijst van de gepubliceerde repository, niet uit de blogpost, en ze zijn de reden dat de naam op een getal eindigt. Dit is wat dat getal oplevert, wat het verbergt, en wat het niet bevat.

Wat is er uitgebracht, en wanneer

De newsroom van NVIDIA positioneerde 15 oktober als een uitbreiding van de familie in plaats van de lancering van één model: Nemotron 3.5 Super VL, een multimodaal model met 120 miljard parameters en 12 miljard actieve parameters, verscheen samen met het Bolt-checkpoint, en een veel kleiner broertje, Nemotron 3.5 Bolt E4B 4GB, staat gepland voor 23 oktober. Bolt voegt zich bij Nemotron 3.5 Lightning (augustus) en Nemotron 3 Ultra in een familie die nu datacenter-redenering, high-throughput serving en lokale edge-agents omvat.

De release is echt nieuw, en hij is ook iets ouder dan de aankondiging. De Hugging Face-repository nvidia/NVIDIA-Nemotron-3.5-Bolt-74B-A9B-24GB werd aangemaakt op 7 oktober 2026; de modelkaart erin vermeldt een releasedatum van 15 oktober, dezelfde datum waarop NVIDIA's eigen onderzoekspagina het stempel "Gepubliceerd" draagt. Acht dagen lang bestanden die publiek zichtbaar zijn voordat er één woord uitleg volgt, is een normaal patroon voor een leverancier die onder embargoafstemming met hardware verscheept — RTX Spark-laptops zijn gedateerd op 16 oktober, de dag na de aankondiging — en het is de moeite waard om te weten welke helft van het publieke spoor van dit model uit een marketingbeslissing voortkwam en welke uit een bestandslijst.

Hoe 74 miljard parameters in 24 gigabytes passen

Twee mechanismen, en ze zijn scheidbaar.

Het eerste is structureel. Bolt is geen kleiner model dat vanaf nul is getraind; het is het Super 3.5 VL-oudermodel dat is gecomprimeerd met een algoritme dat NVIDIA Star Elastic noemt, een door een router gestuurde architectuurzoektocht die aan één beperking moest voldoen — een deployment-footprint van minder dan 24GB bij batchgrootte 1 en 128K context — terwijl er zo weinig mogelijk nauwkeurigheid van knowledge distillation verloren ging. Wat het opleverde, is een hybride mixture-of-experts-model met in totaal 74B en 9B actief, waarbij de expert-top-K op 9 is vastgezet waar het oudermodel 22 gebruikte. NVIDIA's eigen formulering van het resultaat is bot en controleerbaar: voor een vast geheugenbudget verslaat het comprimeren van een groot model het trainen van een klein model.

De tweede is precisie, en daar zit het grootste deel van de besparingen.

• Expertgewichten — gerouteerde en gedeelde FC1- en FC2-lagen gekwantiseerd naar IQ2_XXS met 2,0625 bits per element, wat qua parameteraantal het grootste deel van het model vormt.

• Mamba-lagen — NVFP4, een 4-bits drijvendekommaformaat, en alleen op de lagen waar de extra precisie meer bytes waard is.

• Embeddings, uitvoerhoofd, attention en de latente MoE-gewichten — Q8_0.

• Herstel — kwantisatiebewuste distillatie in plaats van een post-hoc round-to-nearest-pass, wat het verschil is tussen een gecomprimeerd model en een kapot model.

Als je die samen leest, is de "24GB" niet langer een marketingopsomming maar een budgettoewijzing. De 2-bit-experts zijn goedkoop per byte en talrijk; de lagen die van belang zijn voor stabiliteit behouden 4 of 8 bits.

Het 24GB-getal, gecontroleerd aan de hand van de bestanden

De claim doorstaat een audit, wat niet altijd waar is.

• GGUF-gewichten — 22.018.326.528 bytes, oftewel 22,02 GB decimaal, in één enkel bestand.

• Vision-projector — 1.733.692.736 bytes, ofwel 1,73GB, apart geleverd als mmproj, wat de manier is waarop llama.cpp beeld- en video-invoer accepteert.

• Safetensors-build — hetzelfde model in vLLM-ready shards komt uit op 24,12 GB verdeeld over 90 bestanden, net iets boven het hoofdcijfer.

• BF16-referentie — 149,8 GB verdeeld over 63 shards, afzonderlijk gepubliceerd voor iedereen die wil fine-tunen in plaats van inferentie te doen.

Daar komen twee eerlijke kanttekeningen bij. Ten eerste: gewichten zijn geen draaiend model. Het vLLM-recept dat NVIDIA publiceert, zet de KV-cache vast op fp8 en stelt de geserveerde context in op 262.144 tokens met max-num-seqs 1 — één gelijktijdige sequentie. Dat is het verschil tussen passen in 24GB en snel draaien in 24GB, en het is precies het soort detail dat een kop over geheugengrootte nooit bevat. Ten tweede: 24GB is het getal dat de architecture search kreeg, niet een getal dat op jouw machine is gemeten: driveroverhead, het besturingssysteem en al het andere dat op de laptop staat vallen er allemaal buiten, en dat is precies waarom de pitch "draai naast je apps" is in plaats van "draai in plaats van je apps".

De snelheidsclaim, en de machine waarop die is gemeten

NVIDIA heeft het ontworpen voor minstens 80 tokens per seconde en rapporteert 83,99 op AIPerf SPEED-Bench-Coding. Dat getal heeft drie stukken context nodig voordat het iets betekent: het is geproduceerd met llama.cpp op Windows 11 ARM x64, op een Surface Laptop Ultra met 128 GB geheugen, met de LiLiCorr speculatieve drafter eraan gekoppeld en zeven gedraftte tokens per stap. De drafter is geen optionele versiering — het is een 1,13B companion-checkpoint waarvan het hele doel is om de acceptatielengte te verhogen (NVIDIA rapporteert gemiddelden van 4,68 bij greedy decoding en 4,25 met sampling bij concurrency 64 in vLLM). Haal de drafter eruit en je meet een ander model.

Het tweede snelheidscijfer is het interessantere, omdat het een voltooiingstijd is en geen tempo: 600,80 seconden replay-duur op AA-AgentPerf Local, tegenover 453,97 voor Qwen3.6 35B-A3B, 480,68 voor Gemma 4 26B-A4B en 1.043,28 voor Qwen3.8 27B — allemaal uit NVIDIA's eigen tabel, allemaal op dezelfde hardware. Bolt wint die rij doordat hij dezelfde agenttrajecten sneller afrondt dan een kleiner model, en verliest de doorvoerrij van beide anderen met 83,99 tegenover 96,63 en 100,56 tokens per seconde. Snel en vlug zijn niet dezelfde meting, en dit is een model dat het tweede inruilt voor het eerste.

Wat de onafhankelijke meting zegt

Eén cijfer in het openbare dossier over Bolt is niet afkomstig van NVIDIA: de Artificial Analysis Intelligence Index geeft het een score van 21, waarmee het vierde van de 67 modellen in zijn klasse is. Dat panel meldt er ook geen snelheid en geen kosten voor, omdat er geen openbare API is om aan te roepen — en het vermeldt de invoermodaliteit van het model als tekst en afbeelding, niet video, wat een beperktere interpretatie is dan die van de leverancier.

Dezelfde pagina merkt op dat het model tijdens de evaluatie 230M tokens genereerde, wat het als zeer verbose bestempelt tegenover een mediaan van 100M. Redeneringen die bij dezelfde taak meer tokens produceren, zijn niet automatisch slechter, maar het kost iets op een lokaal apparaat waar elke token door een ventilator wordt gegenereerd.

Al het andere dat in omloop is, is afkomstig van de leverancier. NVIDIA's eigen tabel met dertien benchmarks, waarin Bolt op PinchBench zijn geheugenklasse aanvoert en op WebArena en BrowseComp tweede staat, vergelijkt met modellen die deels zijn gekozen omdat ze in 24GB bij 4-bit passen — een peergroep die wordt gedefinieerd door een beperking waaraan Bolt juist is ontworpen te voldoen. Het is niet oneerlijk; het is ook geen ranglijst van agentmodellen in het algemeen, en de ene cel die de andere kant op wijst is leerzaam: met 16,90 op AA-Omniscience-nauwkeurigheid blijft Bolt achter bij Gemma 4 26B-A4B met 22,17 in dezelfde tabel.

Wat zit er niet in de doos?

Er is geen endpoint. Geen tarief per gebruik, geen provider die het aanbiedt, geen manier om het op je eigen verkeer te evalueren zonder de deployment af te ronden. Wat er in plaats daarvan is, is runtime-ondersteuning die al bij de release beschikbaar kwam in plaats van maanden later: llama.cpp en de GGUF-checkpoint, Ollama, LM Studio, Unsloth voor fine-tuning, en vLLM voor de gekwantiseerde checkpoint op DGX Spark en de BF16-checkpoint elders. De eigen blog van NVIDIA noemt die vijf bij naam, en de breedte is hier het echte product — een bestand van 24GB is alleen nuttig als het ding dat het laadt al op je machine staat.

Het hardwarebereik is breder dan het lanceringsverhaal over RTX Spark-laptops doet vermoeden: GeForce RTX-pc's, DGX Spark, DGX Station en RTX PRO-workstations worden allemaal genoemd, en de modelkaart vermeldt Ampere, Hopper en Blackwell voor het vLLM-pad.

De licentie is OpenMDW-1.1, permissief genoeg om op voort te bouwen en onbekend genoeg dat juridische toetsing een echte stap is in plaats van een formaliteit — de moeite waard om te weten voordat een architectuurbeslissing ervan afhangt.

Een copy-pastefoutje in de eigen technische blog van NVIDIA zet de checkpointlijst onder de kop "Nemotron 3.5 Super VL 74B-A9B 24GB" in plaats van Bolt. Het is een typfout in een snelle release, geen fork in de familie, maar het is een nuttige herinnering dat leverancierspagina's die op de dag van de aankondiging worden geschreven, concepten zijn met een publicatiedatum erop.

Voor teams die ook modellen aanroepen die ze niet bezitten

De lokaal gedraaide helft van een agent-stack en de gehoste helft zijn meestal hetzelfde project, en Bolt richt zich slechts op één daarvan. OrcaRouter host geen enkele Nemotron-checkpoint — dat is gecontroleerd aan de hand van onze eigen catalogus in plaats van zomaar aangenomen — dus niets hier is een verkooppraatje voor een model dat wij aanbieden. Wat wij doen is de andere kant van een gemengde deployment: één sleutel voor meer dan 200 modellen tegen de lijstprijs van de provider, zonder toegevoegde opslag, automatische failover wanneer een provider tijdens een request hapert, en een routerings-DSL om een fallback-keten als configuratie te beschrijven in plaats van als applicatiecode. Als Bolt de lokale helft draait, is dat de helft die nooit op een factuur verschijnt; de routeringsvraag is wat er met de rest gebeurt.

Wat te kijken

Drie dingen zullen de reputatie van dit model bepalen, en geen ervan staat in de aankondiging.

Het eerste is onafhankelijke latentie op echte hardware. NVIDIA's 83,99 tokens per seconde is een gecontroleerde benchmark met een speculatieve drafter eraan gekoppeld; iemand zal uiteindelijk publiceren wat het doet op een laptop waarop tegelijk een browser en een editor draaien, en dat getal zal meer uitmaken dan dit. Het tweede is de E4B-variant op 23 oktober, die test of het compressierecept omlaag schaalt of alleen bij één grootte werkt. Het derde is of iemand buiten NVIDIA de BF16-checkpoint posttraint — want een deployment-artefact van 24GB met een open licentie en daarnaast een customization-artefact van 150GB is een bewuste tweesporenrelease, en het tweede spoor is het spoor dat bepaalt of dit een platform of een checkpoint wordt.

Voorlopig staat het feit op zichzelf. Een multimodale agent met 74 miljard parameters past in het geheugen van een laptop die minder kost dan een workstation, draait op ongeveer 84 tokens per seconde met een drafter eraan gekoppeld, scoort 21 op de enige onafhankelijke index die hem heeft gemeten, en kan door niemand als API worden aangeroepen. Dat is een specifieke en ongebruikelijke combinatie, en het loont om precies te zijn over welke helft ervan je nodig hebt.

Niets daarvan is hypothetisch: de gedocumenteerde AI-fouten en agent-incidenten achter releases zoals deze zijn verzameld in the OrcaRouter AI Incident Archive, waar elke vermelding zijn eigen bronnen, ernst, betrouwbaarheidsgraad en markering voor betwisting bevat.