Nemotron 3.5 Bolt vs Nemotron 3 Ultra: Wat overleeft een 7,4-voudige compressie

Twee modellen van dezelfde leverancier, met een factor 7,4 verschil in aantal parameters en ruwweg twee ordes van grootte in de hardware die nodig is om ze te draaien. NVIDIA Nemotron 3.5 Bolt 74B-A9B 24GB werd uitgebracht op 15 oktober 2026 als een 24GB-bestand dat naast je andere applicaties draait op een Spark-apparaat of een Blackwell-GPU. NVIDIA Nemotron 3 Ultra 550B-A55B staat sinds 3 juni 2026 op Hugging Face en vraagt om zestien H100's op de ondergrens in BF16.

De interessante vraag is niet welke sterker is — het antwoord is overduidelijk en niet eens in de buurt. Het is wat er specifiek overleeft wanneer je een groot model in een kleine geheugenenvelop comprimeert, want dat vertelt je welke workloads de kleine kan opvangen en welke het voor schut zullen zetten. NVIDIA's eigen onderzoeksnotitie beantwoordt een deel van die vraag rechtstreeks, en de delen die ze niet beantwoordt, zijn waar de echte beslissing ligt.

Het zijn geen ouder en kind, wat de benaming ook suggereert.

De voor de hand liggende aanname is dat Bolt een verkleinde Ultra is. Dat is niet zo, en als je dit goed begrijpt, verandert dat wat je van het bestand verwacht. Nemotron 3.5 Lightning, de 30B-A3B-tier van 11 augustus 2026, werd gedistilleerd uit Ultra. Bolt niet. Bolt is gecomprimeerd uit Nemotron 3.5 Super VL, een 120B-A12B vision-languagemodel, met behulp van een router-gestuurde zoektocht die NVIDIA Star Elastic noemt, gevolgd door quantisatiebewuste distillatie tot 2,0625 bits per expertgewicht in een IQ2_XXS-indeling.

Die afstamming verklaart het ene verschil dat meer uitmaakt dan welke benchmarkrij dan ook: Bolt heeft een C-RADIO v4-H vision-encoder en accepteert afbeeldingen en video. Ultra is tekst in, tekst uit, en het is geen rapportagehiaat — het checkpoint heeft geen vision-toren om te scoren. Het kleinere, nieuwere, zwaar gekwantiseerde model ziet; het grootste redeneermodel in de familie niet.

Wat de compressie behield

Bolt heeft 74 miljard parameters, waarvan 9 miljard actief per token, op een hybride backbone van Mamba-2 en Transformer. Ultra heeft 550 miljard parameters, waarvan 55 miljard actief. De verhouding tussen de actieve parameters is 6,1 op 1, en de verhouding tussen de totale parameters is 7,4 op 1, wat betekent dat de compressie proportioneel meer totale capaciteit wegnam dan rekenkracht per token — het model werd sneller smaller dan dat het ondieper werd.

Wat dat oplevert, op basis van het beschikbare bewijs:

• Onafhankelijke intelligentie — Artificial Analysis geeft Nemotron 3.5 Bolt een score van 21 op zijn Intelligence Index, de vierde van 67 in zijn op footprint gefilterde klasse, tegenover een mediaan van 8 in die klasse. Ultra zit niet in dezelfde klasse en scoort veel hoger op dezelfde versie van de index. Dit is de meetbare prijs van de compressie.

• Onafhankelijke snelheid — Artificial Analysis meet Ultra op 156,1 outputtokens per seconde, tiende van 74 modellen op die pagina en in de hoogste snelheidsband. Voor Bolt tonen dezelfde velden N/A, omdat er geen gehost endpoint is om aan te roepen. NVIDIA's eigen cijfers — 84 tokens per seconde op AIPerf SPEED-Bench op RTX Spark, 83,99 in llama.cpp op een Surface Laptop Ultra — zijn door de leverancier gerapporteerd en niet gereproduceerd.

• Instructieopvolging — Ultra behaalt 82,9 op IFBench. Dit is de rij om in de gaten te houden bij een agent die een lang toolbeleid moet volgen, en het is het soort capaciteit dat quantisatiebewuste distillatie ongelijkmatig behoudt.

• Redeneren met lange context — Ultra behaalt 75,2 op AA-LCR tegenover een specificatie van 1M tokens. Het gepubliceerde venster van Bolt is 262.144 tokens, waarbij 24GB wordt gedeeld met de KV-cache, de afbeeldingen en het gesprek. Een breed opgegeven venster en het vermogen om het te benutten zijn afzonderlijke eigenschappen; hier heeft het grotere model van beide meer.

• Feitelijke terughoudendheid — Ultra scoort 22,1 op AA-Omniscience-hallucinatie met 77,91 niet-hallucinatie. Bolts eigen kaart noteert 61,27 op niet-hallucinatie, de enige rij waarin het verliest van de veel kleinere Nemotron 3.5 Lightning. Twee onafhankelijke signalen wijzen dezelfde kant op: dit is waar agressieve 2-bits compressie het meest kost, en geen enkele routing-truc repareert een model dat meer verzint.

De ontplooiingsenvelop, het punt waarop de twee daadwerkelijk van elkaar scheiden.

Dit is het deel van de vergelijking dat zich niet tot een score laat herleiden.

• Geheugen — Bolt is één enkel artefact van 24GB, al gekwantiseerd, bedoeld om naast een browser en een IDE op één machine te bestaan. Ultra in BF16 vraagt volgens zijn eigen modelkaart om zestien H100's, acht H200's of acht nodes uit de GB200-klasse; de NVFP4-build brengt dat terug tot minimaal acht H100's. Het verschil tussen die twee zinnen is het verschil tussen een inkooporder en een inkoopprogramma.

• Contextconfiguratie — Bolt serveert 262.144 tokens rechtstreeks in zijn gepubliceerde vLLM-recept. De recepten van Ultra staan standaard op 256K en vereisen een omgevingsflag om de volledige 1.048.576 te bereiken, wat de reden is dat het paneel 262K voor Ultra registreert ondanks een 1M-specificatie. Lees de specificatie en lees daarna het recept.

• Serving-stack — Bolt draait onder vLLM op Ampere, Hopper en Blackwell, of onder llama.cpp op RTX Spark- en DGX Spark-hardware, onder de OpenMDW-1.1-licentie die commercieel gebruik toestaat. Ultra draait onder dezelfde licentie op parallellisme van datacenterklasse. Beide zijn open weights; slechts één ervan is portable.

• Promptkosten — Ultra wordt afgerekend tegen $0,60 per miljoen inputtokens en $2,50 per miljoen outputtokens met 73% cachekorting, wat neerkomt op ongeveer $0,60 om één Intelligence Index-taak uit te voeren — oprecht goedkoop voor een model van die omvang, en beschikbaar omdat iemand anders het cluster beheert. Bolt heeft helemaal geen prijs: geen gehost endpoint, geen leveranciers-API, geen tariefkaart, en N/A in zowel het snelheids- als het kostenveld van het enige onafhankelijke panel dat het vermeldt.

De aankondiging lezen op wat er wel en niet in staat.

De checkpoint van Bolt stond vanaf 7 oktober 2026 op Hugging Face, met alleen een modelkaart eraan toegevoegd. De leveranciersaankondiging die hem bij naam noemt — samen met een 4GB-broertje, Nemotron 3.5 Bolt E4B, bedoeld voor gamepersonages en gedateerd op 23 oktober — kwam op 15 oktober. Het online zetten van de gewichten acht dagen vóór het proza is niet ongewoon, maar het betekent wel dat een week van de publieke verslaglegging geen enkele uitleg over het model bevat, en dat elk verslag dat in dat venster werd geschreven, zich uitsluitend op de kaart baseerde.

De aankondiging is ook de plek om te zoeken naar wat ontbreekt. Er is geen gehoste endpoint, geen API, geen tariefkaart, geen platform van derden dat Bolt meet — en niemand heeft een onafhankelijke benchmark uitgevoerd op de 24GB-gewichten. De cijfers van de leverancier zijn echt en specifiek, verkregen met llama.cpp op een Surface Laptop Ultra met 128GB; ze zijn simpelweg niet buiten NVIDIA gereproduceerd.

Waar elk model thuishoort, en waar een router thuishoort.

Geen van deze modellen staat in de catalogus van OrcaRouter. We hosten geen enkele NVIDIA-checkpoint, er is geen Bolt-endpoint en geen Ultra-endpoint, en niets hier is een aanbod om een van beide te serveren. Wat één endpoint wél oplevert, als je er één of beide zelf draait, is een manier om de lokale en de gehoste helft van een workflow onder één sleutel te houden — de ruim 200 modellen in onze catalogus zitten achter één API-sleutel en één factuur, tegen de lijstprijs van elke aanbieder, doorgegeven met 0% markup erbovenop, zodat een prijswijziging van een leverancier dezelfde dag nog bij ons live staat in plaats van pas bij de volgende verlenging. Een verzoek dat een volledig venster van een miljoen tokens of een reasoner op frontend-schaal nodig heeft, gaat naar een gehost model; het lokale bestand houdt het volumineuze, privacygevoelige werk dat het gebouw nooit had mogen verlaten. Automatische failover betekent dat een verslechterde upstream het verzoek verplaatst in plaats van het te laten mislukken.

De plaatsing volgt uit de deployment-wiskunde, niet uit de scores. Bolt hoort op een workstation wanneer de data niet kan worden verplaatst, wanneer de workload videomateriaal bevat, of wanneer het volume facturering per token tot de dominante kostenpost maakt — en wanneer een venster van 262K en een al zichtbare kloof in feitelijke terughoudendheid acceptabel zijn. Ultra hoort op een endpoint met verbruiksmetering wanneer het werk een bereik van een miljoen tokens nodig heeft, de sterkste instructieopvolging in de familie, en het laagste hallucinatiepercentage dat NVIDIA momenteel publiceert.

Wie moet handelen, en wie moet wachten?

Handel nu als de workload lokaal is en video bevat: Bolt is het enige model in deze familie dat zowel in 24GB past als kan zien, en geen enkele andere open checkpoint met die voetafdruk scoort 21 op de onafhankelijke index. Handel nu als de workload grootschalige tekstredenering met lange context is: Ultra is verbruiksgemeten, gemeten, en goedkoper per Intelligence Index-taak dan een model van zijn omvang redelijkerwijs zou mogen zijn.

Wacht, als je beslissing afhangt van doorvoer. De snelheid van Bolt is de enige dimensie zonder enige onafhankelijke meting, en voor een lokaal geïmplementeerd model is snelheid wat je elke seconde van elke dag voelt. Eén enkele latentiemeting door een derde partij op de 24GB-gewichten zou meer beslechten dan de volgende tien benchmarkregels van leveranciers — en zolang die niet bestaat, is capaciteitsplanning voor Bolt plannen rond een bewering.