Nemotron 3.5 Bolt 74B vs Nemotron 3.5 Lightning 30B-A3B: Samma recept, två minnestak

Detta är den enda jämförelsen i N​VIDIA N​emotron 3.5-familjeträdet där båda sidor byggdes av samma team för samma uppgift i två olika storlekar, och leverantören har redan kört den direkta jämförelsen själv. N​VIDIA N​emotron 3.5 Bolt 74B-A9B 24GB och N​VIDIA N​emotron 3.5 Lightning 30B-A3B är båda Mamba-2-hybrida mixture-of-experts-checkpoints med speculative-decoding-huvuden, båda släppta under OpenMDW-1.1 för kommersiell användning, båda avsedda att köras av personen som läser om dem i stället för att hyras från ett datacenter. Lightning släpptes den 11 augusti 2026. Bolts vikter lades upp den 7 oktober 2026 och N​VIDIA meddelade det den 15 oktober.

Skillnaden är ett minnestak: 24GB för den ena, ungefär 16GB för den andra i kvantiserad form, och de åtta poängen i Artificial Analysis Intelligence Index mellan dem är vad det taket köper.

Ett recept, kört i två storlekar

Lightning kom först, och det etablerade den form som hela 3.5-generationen följer: en hybridstack som varvar Mamba-2-block för tillståndsrymder med mixture-of-experts- och uppmärksamhetslager, Multi-Token Prediction-huvuden så att modellen kan generera utkast för flera token samtidigt och verifiera dem parallellt, samt separata kompletterande drafters – DSpark för datacenterdistributioner med låg samtidighet, DFlash och senare LiLiCorr-draftern – som gör spekulativ avkodning till en konfiguration som stöds i stället för ett forskningstrick. Destillation från läraren Nemotron 3 Ultra är den andra halvan av receptet.

Bolt är samma recept riktat mot en mycket snävare budget. Dess 74B parametrar komprimeras till 24GB av Star Elastic, NVIDIAs routerstyrda arkitektursökning, som tar en föräldracheckpoint och söker efter antalet experter per lager och MoE:s mellanbredd som uppfyller ett hårt driftsättningsavtryck samtidigt som kunskapsdestillationsförlusten minimeras. I Bolts fall begränsades sökningen till under 24GB vid batchstorlek 1 och 128K kontext, expert-top-K sänktes från 22 i föräldern till 9, och expertvikterna kvantiserades därefter till IQ2-XXS vid 2,0625 bitar per element med kvantiseringsmedveten destillation för att återställa noggrannheten. Mamba-lager ligger på NVFP4, inbäddnings- och utdatalager på Q8_0.

Föräldern till Bolt är inte Lightning. Det är N​emotron 3.5 Super VL 120B-A12B, den multimodala modellen med 120 miljarder parametrar som N​VIDIA lanserade samma dag, vilket är anledningen till att Bolt levereras med en C-RADIO v4-H-visionencoder och Lightning inte gör det.

Spec-kontrasten, båda sidorna på en rad

• Totala och aktiva parametrar — Bolt: 74B totalt, 9B aktiva per token. Lightning: 30B totalt, ungefär 3B aktiva per token.

• Arkitektur — Bolt: Mamba-2–Transformer hybrid LatentMoE plus en C-RADIO v4-H-visionencoder. Lightning: Mamba-2 hybrid MoE med attention, inget visionstorn.

• Precision och fotavtryck — Bolt: IQ2 vid 2,0625 bitar per element, packat till under 24GB. Lightning: BF16, NVFP4 och andra kvantiserade byggen publiceras separat.

• Kontext — Bolt: upp till 256 000 tokens, där enskilda driftsättningsrecept fritt kan använda mindre. Lightning: upp till 1 000 000 tokens i princip, med ungefär 256 000 som praktisk övre gräns på ett enda H100.

• Indata och utdata — Bolt: text, bilder och video in, text ut. Lightning: text in, text ut.

• Licens — OpenMDW-1.1 för båda, godkänd av N​VIDIA för kommersiell och icke-kommersiell användning.

• Spekulativ avkodning — Bolt: LiLiCorr-utkastaren via DFlash, sju spekulativa tokens i referensreceptet. Lightning: MTP-huvuden plus DFlash- och DSpark-utkastare.

• Intelligence Index — Bolt: 21,4, fjärde av 67 i sin storleksklass, oberoende mätt av Artificial Analysis. Lightning: 12,9, oberoende mätt.

• Pris — Bolt: ingen mätarbaserad taxa någonstans; Artificial Analysis listar inget pris för indata eller utdata och det finns ingen publicerad hostad slutpunkt. Lightning: $0,06 per miljon indatatoken och $0,20 per miljon utdatatoken enligt Artificial Analysis, med cachad indata runt $0,006.

• Utdatningshastighet — Bolt: ingen oberoende mätning har publicerats. Lightning: 305 utdatatoken per sekund med 0,57 sekunder till första token, båda oberoende uppmätta, vilket är bland de snabbaste värdena på panelens resultattavla.

Leverantörens egen direktjämförelse, läs noga.

NVIDIAs modellkort för Bolt publicerar en tabell där Lightning är en av tre baslinjer, och den är värd att läsas som ett argument snarare än en resultattavla, eftersom företaget valde benchmarks där dess nya modell vinner.

• Terminal-Bench 2.1 — Bolt 50,98 mot Lightnings 23,46. Båda körda av leverantören, båda på BF16 Lightning-bygget.

• GPQA Diamond — Bolt 86,43 mot Lightnings 75,57.

• BrowseComp — Bolt 66,75 mot Lightnings 36,81.

• HLE utan verktyg — Bolt 25,30 mot Lightnings 10,47.

• PinchBench — Bolt 87,82 mot Lightnings 83,43, en mycket mindre marginal än de andra och i linje med NVIDIAs påstående att Bolt är den främsta öppna modellen i sin klass i det benchmarket.

• AA-Omniscience icke-hallucinering — Bolt 61,27 mot Lightnings 68,81. Lightning vinner den här, och det är raden N​VIDIA ändå valde att publicera, vilket är ett plus för tabellen.

• AA-Omniscience-noggrannhet — Bolt 16,90 mot Lightnings 16,63. I praktiken oavgjort, och det svagaste sifferparet i tabellen i absoluta tal.

Varje siffra i den listan är leverantörsrapporterad på modellkortet och inte reproducerad. Artificial Analysis har sedan dess mätt de två indexpoängen oberoende – 21,4 och 12,9 – och riktningen stämmer, vilket är det mesta som kan sägas i dag.

Där den mindre modellen är det bättre svaret

Indexgapet är verkligt, och det är inte den enda axeln. Lightning vinner tre rader som har betydelse för specifika driftsättningar.

Det är snabbare med en faktor som ingen har mätt på Bolt-sidan. 305 utdatatoken per sekund med tid till första token på under en sekund är en annan klass av responsivitet än vad en icke uppmätt 2-bitars 74B-checkpoint för närvarande kan antas kunna nå, och det är uppmätt. Bolts egen publicerade genomströmning, 83,99 token per sekund på AIPerf SPEED-Bench-Coding med LiLiCorr-draftaren aktiv, kommer från NVIDIAs forskningssida på en maskin i laptopklass och är inte jämförbar med panelens rigg.

Den har fyra gånger så mycket kontext. En miljon tokens mot 256 000, och skillnaden syns i den oberoende poängen för hämtning i långa kontexter: Lightning rapporterar 49,19 på AA-LCR i NVIDIAs tabell, Bolt 64,06 — Bolt är bättre på att använda lång kontext, men Lightning är den enda av de två som annonserar ett fönster på en miljon tokens, så om arbetsbelastningen är "läs hela kodförrådet" kan taket spela större roll än hämtningskvaliteten i det.

Det är den enda av de två som har ett pris. Lightning finns tillgängligt för $0,06 för indata och $0,20 för utdata per miljon tokens, vilket gör det till anropbar infrastruktur snarare än ett hårdvaruprojekt. Ingen har publicerat något pris för en hostad version av Bolt, så det enda sättet att köra det är att äga maskinen.

Det Lightning inte kan göra är att se. Den är endast textbaserad, och Bolt tar emot bilder och video via kodaren C-RADIO v4-H, med 50,86 på WebArena vision där Lightning inte har någon post. Om agenten läser skärmbilder, öppnar PDF:er eller styr en webbläsare, avgör den raden ensam valet — och det är den raden som kommer från Bolts Super VL-härstamning snarare än från dess parameterantal.

Vad det kostar att faktiskt driva Bolt

NVIDIAs referensrecept för servering av 24GB-checkpointen är inte ett enda kommando som du klistrar in. Det låser en specifik vLLM nightly-image, installerar b12x-kärnpaketet och laddar ner kärnorna, hämtar en separat plugin-fil för reasoning-parser och ställer sedan in v2-modellköraren, de linjära och MoE-backendarna till b12x, attention- och Mamba-backendarna till FlashInfer, explicita Mamba-cache-dtyper, en chunked-prefill-flagga och en speculative-decoding-konfiguration som pekar på LiLiCorr-draften med sju draft-tokens. Verktygsanrops- och reasoning-parsrarna namnges explicit, och mediagränserna begränsar en begäran till en bild och en video med en video-pruning-frekvens på 0,5.

Lightnings driftsättningshistoria är en Docker-container, en O​penAI-kompatibel endpoint och ett modellnamn som du även kan få från en hostad leverantör för sex cent per miljon tokens. I praktiken är den skillnaden hela jämförelsen: Bolt är en helgs arbete och en maskin du äger, Lightning är en eftermiddag och en faktura.

Hur man väljer, och vad som skulle avgöra det

Ta Lightning om din arbetsbelastning är text, din latensbudget är stram och antingen dina kontextbehov är stora eller så föredrar du att betala per token snarare än att köpa hårdvara. Dess oberoende profil — snabbast uppmätta utdatahastighet i sin klass, under en sekund till första token, ett publicerat pris — gör den till det minst riskfyllda alternativet i familjen, och den lägre intelligenspoängen är prissatt därefter. Det är också standardvalet om du planerar att kombinera en liten lokal exekverare med en större hostad planerare, vilket är exakt hur N​VIDIA positionerar den.

Välj Bolt om din agent rör vid pixlar eller körs utan nätverk. Visionsraden är exklusiv för den, resonemanget i 74B-skala ligger åtta indexpunkter före, och 24GB-ramen är den enda i familjen som får en 74B lärardestillerad checkpoint att rymmas på en enda konsumentklassad accelerator. Acceptera att du kör den GPU-hostade planeraren lokalt och betalar för det i latens du ännu inte kan förutse.

För den hostade halvan av endera arkitekturen, placerar OrcaRouter de modeller vi faktiskt routar bakom en enda nyckel till leverantörens listpris med 0 procents påslag, och automatisk failover mellan leverantörer innebär att ett kapacitetsproblem uppströms försöks igen i stället för att bli synligt. Vi hostar inte någon N​emotron-modell — katalogen kontrollerades i stället för att antas, och familjen finns inte med — så den lokala sidan av den här jämförelsen påverkas inte av något vi gör. Vad en routad lösning ger är en plan B för planeraren medan du utvärderar, vilket spelar roll här eftersom ingen av dessa två checkpoints har en publicerad oberoende latensprofil som du kan dimensionera en produktionsväg mot.

Det som skulle avgöra valet är en siffra som ännu inte finns: en oberoende körning av genomströmning och latens på 24GB-checkpointen vid batchstorlek ett. Tills någon publicerar den vilar argumentet för Bolt helt och hållet på de två saker som Lightning inte kan matcha – parameterskala och syn – och argumentet för Lightning vilar på fyra oberoende uppmätta siffror.

Vad siffrorna inte kan berätta för dig är huruvida något av det har gått fel i fält: de dokumenterade AI-incidenterna och agentfelen kring modeller i den här klassen samlas i OrcaRouter AI Incident Archive, där varje post har sina egna källor, allvarlighetsgrad, konfidensgrad och omtvistad flagga.