Nemotron 3.5 Bolt 74B vs Nemotron 3.5 Lightning 30B-A3B: Hetzelfde recept, twee geheugenplafonds

Dit is de enige vergelijking in de stamboom van N​VIDIA N​emotron 3.5 waarbij beide kanten door hetzelfde team zijn gebouwd voor dezelfde taak op twee verschillende groottes, en de leverancier heeft de onderlinge vergelijking al zelf uitgevoerd. N​VIDIA N​emotron 3.5 Bolt 74B-A9B 24GB en N​VIDIA N​emotron 3.5 Lightning 30B-A3B zijn beide Mamba-2 hybride mixture-of-experts-checkpoints met speculative-decoding-heads, beide vrijgegeven onder OpenMDW-1.1 voor commercieel gebruik, beide bedoeld om te worden gedraaid door de persoon die erover leest in plaats van te worden gehuurd uit een datacenter. Lightning is op 11 augustus 2026 uitgekomen. De gewichten van Bolt werden op 7 oktober 2026 gepubliceerd en N​VIDIA kondigde het op 15 oktober aan.

Het verschil is een geheugenplafond: 24GB voor de een, ongeveer 16GB voor de ander in gekwantiseerde vorm, en de acht punten op de Artificial Analysis Intelligence Index daartussen zijn wat dat plafond oplevert.

Eén recept, uitgevoerd op twee formaten

Lightning kwam als eerste en legde de vorm vast die de hele 3.5-generatie volgt: een hybride stack die Mamba-2 state-space-blokken afwisselt met mixture-of-experts- en attentionlagen, Multi-Token Prediction-heads zodat het model meerdere tokens tegelijk kan opstellen en ze parallel kan verifiëren, en afzonderlijke begeleidende drafters — DSpark voor datacenterimplementaties met lage gelijktijdigheid, DFlash, en later de LiLiCorr-drafter — die van speculatief decoderen een ondersteunde configuratie maken in plaats van een onderzoeksfoefje. Distillatie van de N​emotron 3 Ultra-teacher is de andere helft van het recept.

Bolt is hetzelfde recept, gericht op een veel krapper budget. De 74B parameters ervan worden gecomprimeerd tot 24GB door Star Elastic, NVIDIA's router-geleide architectuurzoektocht, die een parent-checkpoint neemt en zoekt naar het aantal experts per laag en de MoE-tussenbreedte die aan een harde deployment-footprint voldoet, terwijl het knowledge-distillation-verlies wordt geminimaliseerd. In het geval van Bolt was de zoektocht begrensd tot onder de 24GB bij batchgrootte 1 en 128K-context, daalde de expert top-K van 22 in het parentmodel naar 9, en werden de expertgewichten vervolgens gekwantiseerd naar IQ2-XXS op 2,0625 bits per element, met kwantisatiebewuste distillatie om de nauwkeurigheid te herstellen. Mamba-lagen staan op NVFP4, embeddings en outputlagen op Q8_0.

De parent van Bolt is niet Lightning. Het is N​emotron 3.5 Super VL 120B-A12B, het multimodale model met 120 miljard parameters dat N​VIDIA dezelfde dag lanceerde, waardoor Bolt wordt geleverd met een C-RADIO v4-H vision encoder en Lightning niet.

Het specificatiecontrast, beide zijden op één regel

• Totale en actieve parameters — Bolt: 74B totaal, 9B actief per token. Lightning: 30B totaal, ongeveer 3B actief per token.

• Architectuur — Bolt: Mamba-2–Transformer hybride LatentMoE plus een C-RADIO v4-H vision-encoder. Lightning: Mamba-2 hybride MoE met attention, geen vision tower.

• Precisie en voetafdruk — Bolt: IQ2 met 2,0625 bits per element, verpakt tot onder 24GB. Lightning: BF16, NVFP4 en andere gekwantiseerde builds worden afzonderlijk gepubliceerd.

• Context — Bolt: tot 256.000 tokens, waarbij individuele deploymentrecepten vrij zijn om minder te gebruiken. Lightning: in principe tot 1.000.000 tokens, met ongeveer 256.000 als het praktische plafond op één enkele H100.

• Invoer en uitvoer — Bolt: tekst, afbeeldingen en video in, tekst uit. Lightning: tekst in, tekst uit.

• Licentie — OpenMDW-1.1 voor beide, goedgekeurd door N​VIDIA voor commercieel en niet-commercieel gebruik.

Speculatief decoderen — Bolt: de LiLiCorr-drafter via DFlash, zeven speculatieve tokens in het referentierecept. Lightning: MTP-heads plus DFlash- en DSpark-drafters.

• Intelligence Index — Bolt: 21,4, vierde van 67 in zijn grootteklasse, onafhankelijk gemeten door Artificial Analysis. Lightning: 12,9, onafhankelijk gemeten.

• Prijs — Bolt: nergens een verbruikstarief; Artificial Analysis vermeldt geen input- of outputprijs en er is geen gepubliceerd gehost eindpunt. Lightning: $0,06 per miljoen inputtokens en $0,20 per miljoen output, zoals bijgehouden door Artificial Analysis, met gecachte input rond $0,006.

• Uitvoersnelheid — Bolt: geen onafhankelijke meting gepubliceerd. Lightning: 305 uitvoertokens per seconde met 0,57 seconden tot het eerste token, beide onafhankelijk gemeten, wat tot de snelste cijfers op het scorebord van het panel behoort.

De eigen head-to-head van de leverancier, aandachtig lezen

N​VIDIA's modelkaart voor Bolt publiceert een tabel waarin Lightning een van de drie baselines is, en het is de moeite waard om die als een argument in plaats van als een scorebord te lezen, omdat het bedrijf benchmarks heeft geselecteerd waarop zijn nieuwe model wint.

• Terminal-Bench 2.1 — Bolt 50,98 tegenover de 23,46 van Lightning. Beide door de leverancier uitgevoerd, beide op de BF16 Lightning-build.

• GPQA Diamond — Bolt 86,43 tegen de 75,57 van Lightning.

• BrowseComp — Bolt 66,75 tegen Lightning's 36,81.

• HLE zonder hulpmiddelen — Bolt 25,30 tegen de 10,47 van Lightning.

• PinchBench — Bolt 87,82 tegenover de 83,43 van Lightning, een veel kleinere marge dan de andere en in overeenstemming met de bewering van NVIDIA dat Bolt het nummer één open model in zijn klasse is op die benchmark.

• AA-Omniscience non-hallucinatie — Bolt 61,27 tegen de 68,81 van Lightning. Lightning wint deze, en het is juist de rij die NVIDIA toch heeft gepubliceerd, wat in het voordeel van de tabel pleit.

• AA-Omniscience-nauwkeurigheid — Bolt 16,90 tegenover de 16,63 van Lightning. Feitelijk een gelijkspel, en het zwakste paar getallen in de tabel in absolute zin.

Elk cijfer in die lijst is door de leverancier gerapporteerd op de modelkaart en niet gereproduceerd. Artificial Analysis heeft sindsdien de twee indexscores onafhankelijk gemeten — 21,4 en 12,9 — en de richting komt overeen, wat vandaag het meest is dat gezegd kan worden.

Waar het kleinere model het betere antwoord is

De indexkloof is reëel, en het is niet de enige as. Lightning wint drie rijen die van belang zijn voor specifieke implementaties.

Het is sneller met een factor die niemand aan de Bolt-kant heeft gemeten. 305 outputtokens per seconde met een tijd tot het eerste token van minder dan een seconde is een andere klasse van responsiviteit dan alles wat een ongemeten 2-bits 74B-checkpoint momenteel geacht kan worden te bereiken, en het is gemeten. Bolts eigen gepubliceerde doorvoer, 83,99 tokens per seconde op AIPerf SPEED-Bench-Coding met de LiLiCorr-drafter actief, komt van de onderzoekspagina van NVIDIA op een machine van laptopklasse en is niet te vergelijken met de opstelling van het panel.

Het heeft vier keer zoveel context. Een miljoen tokens tegenover 256.000, en het verschil is te zien in de onafhankelijke longcontext-retrievalscore: Lightning scoort 49,19 op AA-LCR in de tabel van N​VIDIA, Bolt 64,06 — Bolt is beter in het benutten van lange context, maar Lightning is van de twee de enige die een venster van een miljoen tokens adverteert, dus als de workload "de hele repository lezen" is, kan het plafond belangrijker zijn dan de retrievalskwaliteit daarbinnen.

Het is het enige van de twee met een prijs. Lightning is beschikbaar voor $0,06 per miljoen tokens voor invoer en $0,20 per miljoen tokens voor uitvoer, wat het aanroepbare infrastructuur maakt in plaats van een hardwareproject. Niemand heeft een gehost tarief voor Bolt gepubliceerd, dus de enige manier om het te draaien is de machine zelf te bezitten.

Wat Lightning niet kan, is zien. Het is alleen tekst, en Bolt accepteert afbeeldingen en video via de C-RADIO v4-H-encoder, met een score van 50,86 op WebArena vision, waar Lightning niet in voorkomt. Als de agent schermafbeeldingen leest, pdf's opent of een browser aanstuurt, bepaalt die rij alleen al de keuze — en het is de rij die voortkomt uit Bolts Super VL-afkomst en niet uit het aantal parameters.

Wat het kost om Bolt daadwerkelijk te draaien

De referentieresep van NVIDIA voor serving van de 24GB-checkpoint is niet één commando dat je plakt. Het zet een specifieke vLLM nightly-image vast, installeert het b12x-kernelpakket en downloadt de kernels, haalt afzonderlijk een plug-inbestand voor de reasoning-parser op, en stelt vervolgens het volgende in: de v2-modelrunner, de linear- en MoE-backends op b12x, de attention- en Mamba-backends op FlashInfer, expliciete Mamba-cache-dtypes, een chunked-prefill-flag en een speculative-decoding-configuratie die naar de LiLiCorr-drafter wijst met zeven draft-tokens. De tool-call- en reasoning-parsers worden expliciet genoemd, en de medialimieten begrenzen een request tot één afbeelding en één video met een videopruningpercentage van 0,5.

Het deploymentverhaal van Lightning is een Docker-container, een OpenAI-compatibel endpoint en een modelnaam die je ook bij een gehoste provider kunt krijgen voor zes cent per miljoen tokens. In de praktijk is dat verschil de hele vergelijking: Bolt is een weekend werk en een machine die je bezit, Lightning is een middag en een factuur.

Hoe te kiezen, en wat het zou beslechten

Kies Lightning als je workload tekst is, je latencybudget krap is en ofwel je contextbehoeften groot zijn, ofwel je liever per token betaalt dan hardware koopt. Het onafhankelijke profiel — de snelst gemeten uitvoersnelheid in zijn klasse, een eerste token binnen een seconde, een gepubliceerde prijs — maakt het de optie met het laagste risico in de familie, en de lagere intelligentiescore wordt dienovereenkomstig in de prijs weerspiegeld. Het is ook de juiste standaardoptie als je van plan bent een kleine lokale executor te koppelen aan een grotere gehoste planner, precies zoals N​VIDIA het positioneert.

Kies Bolt als je agent pixels aanraakt of zonder netwerk werkt. De vision-rij is exclusief voor Bolt, het redeneren op 74B-schaal ligt acht indexpunten voor, en de 24GB-envelop is de enige in de familie waarin een 74B teacher-distilled checkpoint op één accelerator van consumentenklasse past. Accepteer dat je de GPU-gehoste planner lokaal draait en daarvoor betaalt met latentie die je nog niet kunt voorspellen.

Voor het gehoste deel van elk van beide architecturen, OrcaRouter plaatst de modellen die we wel routeren achter één sleutel tegen de lijstprijs van de provider, met 0 procent opslag toegevoegd, en automatische failover tussen providers betekent dat een capaciteitsprobleem upstream opnieuw wordt geprobeerd in plaats van naar boven te komen. We hosten geen enkel N​emotron-model — de catalogus is gecontroleerd in plaats van aangenomen, en de familie staat er niet in — dus de lokale kant van deze vergelijking wordt niet beïnvloed door wat wij doen. Wat een gerouteerde opzet oplevert, is een plan B voor de planner terwijl je evalueert, wat hier van belang is omdat geen van deze twee checkpoints een gepubliceerd onafhankelijk latentieprofiel heeft waartegen je een productiepad kunt dimensioneren.

Wat de keuze zou beslechten, is één getal dat nog niet bestaat: een onafhankelijke doorvoer- en latentiemeting op de 24GB-checkpoint bij batchgrootte één. Totdat iemand dat publiceert, berust het pleidooi voor Bolt volledig op de twee dingen die Lightning niet kan evenaren — parameteromvang en zicht — en het pleidooi voor Lightning berust op vier onafhankelijk gemeten getallen.

Wat de cijfers je niet kunnen vertellen, is of er in de praktijk iets mis is gegaan: de gedocumenteerde AI-incidenten en agent-fouten rond modellen in deze klasse zijn verzameld in het OrcaRouter AI Incident Archive, waar elke vermelding zijn eigen bronnen, ernstniveau, betrouwbaarheidsgraad en betwistingsmarkering heeft.