Nemotron 3.5 Bolt vs Nemotron 3.5 Lightning: Wat NVIDIA's eigen tabel zegt als je beide kolommen leest

NVIDIA Nemotron 3.5 Bolt 74B-A9B 24GB en NVIDIA Nemotron 3.5 Lightning 30B-A3B zijn twee niveaus van dezelfde familie, die tien weken na elkaar zijn uitgebracht, en de leverancier heeft al een tabel gepubliceerd waarin ze tegenover elkaar worden gezet. Dat is ongewoon en nuttig: de meeste directe vergelijkingstabellen die je leest, worden samengesteld door een journalist of een leverancier die flatteuze vergelijkingen uitkiest, en deze is afkomstig van een lab dat zijn eigen nieuwere model tegen zijn eigen oudere model benchmarkt, in het openbaar, waarbij het oudere model als baseline wordt genoemd. Het is nog steeds door de leverancier gerapporteerd en niemand buiten NVIDIA heeft ook maar één rij ervan gereproduceerd — maar de bedoeling erachter staat niet ter discussie, en de richting van het resultaat evenmin. Bolt wint twaalf van de dertien rijen. Het is de moeite waard om precies te begrijpen welke rij Bolt verliest en waarom juist die rij de interessante is.

De familiestructuur is belangrijker dan de cijfers. Nemotron 3.5 Lightning verscheen op 11 augustus 2026 als de uitvoeringslaag van een agent-stack — een hybride model met in totaal 30B en 3B actieve parameters dat NVIDIA distilleerde uit het veel grotere Nemotron 3 Ultra, specifiek zodat een frontier-model het plannen kon doen terwijl Lightning tool-aanroepen afwerkt op één GPU. Bolt is een heel andere afstamming: het werd gecomprimeerd uit het 120B-A12B Nemotron 3.5 Super VL-model, niet uit Ultra, en het bestaat om een vision-languagegeneralist te zijn die in 24GB past. Beide zijn open-weight onder OpenMDW-1.1, beide zijn sparse mixtures of experts op Mamba-2 hybride backbones, en beide leveren speculative decoding mee — Lightning met Multi-Token Prediction-heads plus DFlash- en DSpark-drafters, Bolt met een LiLiCorr-drafter die via DFlash wordt aangestuurd en zeven tokens vooruit voorstelt.

De gedeelde afkomst houdt op nuttig te zijn op het moment dat je moet beslissen, want de twee modellen beantwoorden verschillende vragen. De ene is een goedkope uitvoerder. De andere is een lokale generalist.

De tabel lezen op rol, niet op score

Elk cijfer hieronder komt uit NVIDIA's eigen model card voor het Bolt 24GB-checkpoint, waarin Lightning als baseline wordt vermeld. De kolom Bolt is IQ2, een 2-bits gekwantiseerd artefact. De kolom Lightning is BF16, niet-gekwantiseerd. Die asymmetrie is het allerbelangrijkste om over de tabel te weten, en ze valt in het voordeel van Bolt uit — het wint die rijen terwijl het ruwweg achtvoudig is gecomprimeerd ten opzichte van zijn moedermodel.

• Algemene agentische redenering — GDPVal-AA-V2: Bolt 28,47, Lightning 18,26. Een verschil van tien punten, en de rij die het dichtst in de buurt komt van "hoe goed dit is in het alledaagse kantoorachtige werk waarvoor het model is gebouwd."

• Terminalwerk — Terminal-Bench 2.1: Bolt 50,98, Lightning 23,46. Dit is het grootste verschil op het scorebord en dat is geen verrassing, want de eigen richtlijn van NVIDIA voor Lightning luidt dat het niet de primaire agent zou moeten zijn. Een onafhankelijke evaluatie registreerde ongeveer 24,6 voor Lightning op dezelfde benchmark, wat dicht genoeg bij de 23,46 van de leverancier ligt om te suggereren dat het getal klopt.

• Wetenschappelijk en kennisredeneren — GPQA Diamond: Bolt 86,43, Lightning 75,57. SciCode: Bolt 41,02, Lightning 31,38. Humanity's Last Exam zonder tools: Bolt 25,30, Lightning 10,47. Consistentie over drie verschillende vormen van moeilijke vragen.

• Redeneren met lange context — AA-LCR: Bolt 64,06, Lightning 49,19. Vijftien punten, en hier is de geheugenbeperking voor geen van beide modellen de beperkende factor.

• Web- en browsingvermogen — BrowseComp: Bolt 66,75, Lightning 36,81. Dertig punten. Het grootste individuele verschil in de tabel, en het verschil dat het meest direct ingaat tegen het idee van Lightning als autonome uitvoerder.

• Dichtheid van toolgebruik — MCP-Atlas: Bolt 52,20, Lightning 46,4. PinchBench: Bolt 87,82, Lightning 83,43. Beide liggen dichter bij elkaar dan de verschillen hierboven, wat in overeenstemming is met de feitelijke ontwerpopdracht van Lightning: korte, hoogfrequente toolstappen.

• Beeld — WebArena vision: Bolt 50,86, Lightning heeft geen vermelding. Dit is geen hiaat in de rapportage. Lightning is tekst in, tekst uit; het heeft geen beeldencoder om te scoren.

De ene rij die Lightning wint, en waarom dat geen ruis is

AA-Omniscience non-hallucinatie: Nemotron 3.5 Lightning 68,81, Nemotron 3.5 Bolt 61,27. Op de nauwkeurigheidshelft van dezelfde evaluatie liggen de twee binnen een derde punt van elkaar — 16,90 voor Bolt tegenover 16,63 voor Lightning — waardoor het verschil op de non-hallucinatiehelft het hele verhaal is in plaats van een afrondingsartefact. Het kleinere, oudere, niet-gekwantiseerde model is meetbaar terughoudender als het gaat om het beweren van dingen die het niet weet.

Dat is een echte bevinding en ze heeft een plausibel mechanisme. Bolt bereikte zijn voetafdruk via agressieve 2-bit-kwantisatie met kwantisatiebewuste distillatie; het deel met verlies van die pijplijn is precies het deel dat gekalibreerde onzekerheid bepaalt. Lightning is kleiner, maar zit op volledige BF16-precisie, en zijn distillatiedoel was een redeneermodel in plaats van een compressieratio. Als de faalmodus van je agent een zelfverzekerd fout antwoord is dat zich voortplant in een actie, is dit de rij om het zwaarst te wegen — en geen enkele hoeveelheid routeerslimheid lost een model op dat meer verzint.

Fabrikanten publiceren zelden een tabel met daarin een rij waarop hun nieuwe model verliest. Dat deze dat wel doet, is een klein stukje bewijs dat de tabel niet louter promotioneel is.

Serveerkosten zijn de echte tweede as

De scores hierboven zijn niet de hele beslissing, want deze twee modellen zijn niet even duur om te draaien.

• Actieve parameters — Bolt activeert 9B per token; Lightning activeert ongeveer 3B. Drie keer zoveel rekenkracht per token voor het grotere model, bij elke token, voor altijd.

• Geheugen-envelop — Bolt is een bestand van 24 GB waarin alles al is gecomprimeerd; Lightning is een 30B BF16-checkpoint dat om één GPU vraagt en comfortabel past op een RTX 5090, een DGX Spark of een Jetson-onderdeel.

• Context — beide zijn gespecificeerd op 1M tokens, en beide zijn in de praktijk beperkter. Lightning biedt 256K op een enkele H100 voordat de geheugenberekeningen lastig worden; het gepubliceerde venster van Bolt is 262.144, en dat venster deelt dezelfde 24GB met de KV-cache, de afbeeldingen en de toolresultaten.

• Snelheidsclaims — NVIDIA claimt tot 4x de uitvoersnelheid ten opzichte van modellen van vergelijkbare grootte voor Lightning via zijn MTP- en DFlash/DSpark-drafters, en ten minste 80 tokens per seconde aan decodering als het ontwerpdoel voor Bolt, met 84 gemeten op de AIPerf SPEED-Bench op RTX Spark en 83,99 in een llama.cpp-run op een Surface Laptop Ultra met 128GB. Beide zijn cijfers van de leverancier. Geen van beide is gereproduceerd door iemand buiten NVIDIA.

• Meting — geen van beide heeft een gehoste prijs van ons of van een platform waarnaar we je kunnen verwijzen. De kosten zijn hoe dan ook je hardware, en dat is precies waarom het aantal actieve parameters meer uitmaakt dan in een gehoste vergelijking.

Wat het panel wel en niet kon meten

Artificial Analysis heeft een vermelding voor Nemotron 3.5 Bolt 74B-A9B en geeft het een 21 op de Intelligence Index: de vierde van 67 in zijn voetafdrukcategorie, tegen een categoriemediaan van 8. De velden voor snelheid en kosten per taak tonen N/A, omdat er geen gehost endpoint is om aan te roepen. Die twee lege plekken zijn de eerlijke toestand van het model: de ondergrens van zijn intelligentie is onafhankelijk geverifieerd en het plafond van zijn prestaties niet.

Er is op het moment van schrijven geen Artificial Analysis-vermelding voor Nemotron 3.5 Lightning, waardoor de hele vergelijking op NVIDIA's eigen cijfers rust. Het onafhankelijke datapunt dat wel bestaat — een LLM Stats-verificatie van ongeveer 24,6 op Terminal-Bench 2.1, in lijn met de 23,46 van de leverancier — ondersteunt de cijfers van de leverancier in plaats van ze tegen te spreken. Dat is geruststellend wat de tabel betreft, maar vormt geen vervanging voor een tweede testharnas.

Hoe je eigenlijk kiest

De ontwerpintentie beslist de meeste gevallen al voordat de benchmarks dat doen. Lightning is door zijn opzet een uitvoerder: de eigen richtlijn van NVIDIA is om een frontiermodel te laten plannen en Lightning de lus te laten draaien, en zijn beste rijen in de tabel zijn de hoogfrequente tool-call-rijen in plaats van de autonome-agent-rijen. Bolt is door zijn opzet een generalist: dezelfde tabel laat zien dat hij ver voorloopt op het gebied van browse-autonomie en terminalwerk, de plannerachtige taken die Lightning nooit had moeten hebben — en hij is de enige van de twee die kan zien.

De samenstelling waarvoor beide modellen zijn gebouwd is een planner, een uitvoerder en een lokale specialist. Omdat geen van beide checkpoints een gehoste prijs heeft, komt de opsplitsing op je eigen hardware terecht en één endpoint ervoor verricht het nuttige werk: een routeringsregel die korte tool-call-loops naar een Lightning-deployment stuurt, de verzoeken met vision en browserbesturing naar Bolt, en alles waarvoor echte frontier-redenering nodig is naar een gehost model — allemaal achter één sleutel, met failover over upstream-providers wanneer een gehoste schakel verslechtert. De regel leeft in configuratie in plaats van in elke service, wat het verschil is tussen een routeringslaag en een herschrijving.

De openstaande vraag is één enkele onafhankelijke run. Als een derde partij de Terminal-Bench- en BrowseComp-verschillen op Bolt reproduceert, is de 24GB-checkpoint werkelijk de sterkere generalist en beperkt het pleidooi voor de 30B-tier zich tot pure doorvoereconomie. Zo niet, dan is de eerlijke lezing dat een 2-bit gekwantiseerde 74B en een BF16 30B dichter bij elkaar liggen dan de tabel van één leverancier suggereert — en dat de niet-hallucinatieregel, degene die Lightning wint, meer gewicht verdient dan zijn positie onderaan de kaart suggereert.