Nemotron 3.5 Bolt vs Nemotron 3.5 Lightning: Vad NVIDIAs egen tabell säger när du läser båda kolumnerna

NVIDIA Nemotron 3.5 Bolt 74B-A9B 24GB och NVIDIA Nemotron 3.5 Lightning 30B-A3B är två nivåer i samma familj, släppta med tio veckors mellanrum, och tillverkaren har redan publicerat en tabell som ställer dem mot varandra. Det är ovanligt och användbart: de flesta jämförelsetabeller man läser sätts ihop av en journalist eller en tillverkare som väljer ut smickrande jämförelser, och den här är ett labb som benchmarkar sin egen nyare modell mot sin egen äldre, offentligt, med den äldre angiven som baslinje. Den är fortfarande rapporterad av tillverkaren och ingen utanför NVIDIA har reproducerat en enda rad av den — men avsikten bakom den råder det ingen tvekan om, och inte heller resultatets riktning. Bolt tar tolv av de tretton raderna. Det är värt att förstå exakt vilken den förlorar och varför just den raden är den intressanta.

Familjestrukturen spelar roll före siffrorna. Nemotron 3.5 Lightning släpptes den 11 augusti 2026 som exekveringslagret i en agentstack – en hybrid med 30B totalt och 3B aktiva parametrar som NVIDIA destillerade från den betydligt större Nemotron 3 Ultra, specifikt för att en frontiermodell skulle kunna sköta planeringen medan Lightning nöter sig igenom verktygsanrop på en enda GPU. Bolt är en helt annan härstamning: den komprimerades från Nemotron 3.5 Super VL-modellen med 120B-A12B, inte från Ultra, och den finns för att vara en vision-språk-generalist som får plats i 24 GB. Båda är öppenviktsmodeller under OpenMDW-1.1, båda är glesa mixture-of-experts-modeller på Mamba-2-hybridstommar, och båda levereras med spekulativ avkodning — Lightning med Multi-Token Prediction-huvuden plus DFlash- och DSpark-drafters, Bolt med en LiLiCorr-drafter som drivs genom DFlash och föreslår sju token i förväg.

Det gemensamma ursprunget slutar vara användbart i det ögonblick då du måste fatta ett beslut, eftersom de två modellerna besvarar olika frågor. Den ena är en billig utförare. Den andra är en lokal generalist.

Att läsa tabellen efter roll, inte efter poäng

Alla siffror nedan kommer från NVIDIAs eget modellkort för Bolt 24GB-checkpointen, där Lightning listas som baslinje. Bolt-kolumnen är IQ2, en 2-bitars kvantiserad artefakt. Lightning-kolumnen är BF16, okvantiserad. Den asymmetrin är det enskilt viktigaste att känna till om tabellen, och den talar till Bolts fördel – den vinner de raderna samtidigt som den är komprimerad ungefär åtta gånger jämfört med sin förälder.

• Allmän agentisk resonemangsförmåga — GDPVal-AA-V2: Bolt 28,47, Lightning 18,26. Ett gap på tio poäng, och raden som ligger närmast ”hur bra detta är på det vardagliga kontorsliknande arbete som modellen byggdes för.”

• Terminalarbete — Terminal-Bench 2.1: Bolt 50,98, Lightning 23,46. Detta är den största skillnaden på resultattavlan och det är inte förvånande, eftersom NVIDIAs egen vägledning för Lightning är att den inte bör vara den primära agenten. En oberoende utvärdering registrerade cirka 24,6 för Lightning på samma benchmark, vilket är tillräckligt nära leverantörens 23,46 för att antyda att siffran är verklig.

• Vetenskapligt och kunskapsbaserat resonemang — GPQA Diamond: Bolt 86,43, Lightning 75,57. SciCode: Bolt 41,02, Lightning 31,38. Humanity's Last Exam utan verktyg: Bolt 25,30, Lightning 10,47. Konsekvens över tre olika typer av svåra frågor.

• Långkontextresonemang — AA-LCR: Bolt 64,06, Lightning 49,19. Femton poäng, och här är minnesbegränsningen inte den begränsande faktorn för någon av modellerna.

• Webb- och surfningsagens — BrowseComp: Bolt 66,75, Lightning 36,81. Trettio poäng. Den största enskilda skillnaden i tabellen, och den som mest direkt motsäger idén om Lightning som en autonom utförare.

• Verktygsanvändningstäthet — MCP-Atlas: Bolt 52,20, Lightning 46,4. PinchBench: Bolt 87,82, Lightning 83,43. Båda ligger närmare än gapen ovan, vilket stämmer överens med Lightnings faktiska designbrief: korta, högfrekventa verktygssteg.

• Vision — WebArena vision: Bolt 50,86, Lightning har ingen post. Detta är inte en brist i rapporteringen. Lightning är text in, text ut; den har ingen visionskodare att poängsätta.

Den enda rad där Lightning vinner, och varför det inte är brus

AA-Omniscience icke-hallucinering: Nemotron 3.5 Lightning 68,81, Nemotron 3.5 Bolt 61,27. På träffsäkerhetshalvan av samma utvärdering ligger de två inom en tredjedels poäng från varandra – 16,90 för Bolt mot 16,63 för Lightning – vilket gör gapet på icke-hallucineringshalvan till hela förklaringen snarare än en avrundningsartefakt. Den mindre, äldre, okvantiserade modellen är mätbart mer återhållsam med att säga saker som den inte vet.

Det är ett verkligt fynd och det har en trolig mekanism. Bolt nådde sitt fotavtryck genom aggressiv 2-bitars kvantisering med kvantiseringsmedveten destillation; den förlustbehäftade delen av den pipelinen är precis den del som styr kalibrerad osäkerhet. Lightning är mindre men ligger på full BF16-precision, och dess destillationsmål var en resonemangsmodell snarare än en komprimeringsgrad. Om din agents felläge är ett självsäkert felaktigt svar som fortplantar sig till en åtgärd, är detta raden att väga tyngst – och ingen mängd smarthet i routning åtgärdar en modell som hittar på mer.

Tillverkare publicerar sällan en tabell med en rad där deras nya modell förlorar. Att den här gör det är ett litet bevis på att tabellen inte enbart är marknadsföring.

Kostnaden för serving är den verkliga andra axeln

Poängen ovan utgör inte hela beslutet, eftersom dessa två modeller inte är lika dyra att köra.

• Aktiva parametrar — Bolt aktiverar 9B per token; Lightning aktiverar ungefär 3B. Tre gånger så mycket beräkning per token för den större modellen, för varje token, för alltid.

• Minnesutrymme — Bolt är en 24 GB-fil med allt redan komprimerat; Lightning är en 30B BF16-checkpoint som vill ha en enda GPU och ryms med god marginal på en RTX 5090, en DGX Spark eller en Jetson-enhet.

• Kontext — båda är specificerade till 1M tokens, och båda är i praktiken snävare. Lightning klarar 256K på en enda H100 innan minnesmatematiken blir krånglig; Bolts publicerade fönster är 262 144, och det fönstret delar samma 24 GB med KV-cachen, bilderna och verktygsresultaten.

• Hastighetspåståenden – NVIDIA hävdar upp till 4x utdatahastighet jämfört med modeller av liknande storlek för Lightning genom dess MTP- och DFlash/DSpark-drafters, och minst 80 tokens per sekund av avkodning som designmål för Bolt, med 84 uppmätt på AIPerf SPEED-Bench på RTX Spark och 83,99 i en llama.cpp-körning på en Surface Laptop Ultra med 128 GB. Båda är leverantörssiffror. Ingen utanför NVIDIA har återskapat någon av dem.

• Mätning — ingen av dem har ett hostat pris från oss eller från någon plattform vi kan hänvisa dig till. Kostnaden är din hårdvara hur som helst, vilket är precis varför antalet aktiva parametrar spelar större roll än vad det gör i en hostad jämförelse.

Vad panelen kunde och inte kunde mäta

Artificial Analysis har en post för Nemotron 3.5 Bolt 74B-A9B och ger den 21 på Intelligence Index, fyra av 67 i dess footprint-klass mot en klassmedian på 8. Dess fält för hastighet och kostnad per uppgift visar N/A, eftersom det inte finns någon hostad endpoint att anropa. De två tomma fälten är modellens ärliga tillstånd: dess intelligensgolv är oberoende verifierat och dess prestandatak är det inte.

Det finns ingen Artificial Analysis-post för Nemotron 3.5 Lightning när detta skrivs, vilket gör att hela jämförelsen vilar på NVIDIA:s eget kort. Den oberoende datapunkt som faktiskt finns – en LLM Stats-verifiering på ungefär 24,6 på Terminal-Bench 2.1, i linje med leverantörens 23,46 – stöder leverantörens siffror snarare än motsäger dem. Det är betryggande för tabellen utan att vara en ersättning för ett andra testramverk.

Hur man faktiskt väljer

Designavsikten avgör de flesta fall innan benchmarkarna gör det. Lightning är till sin konstruktion en utförare: NVIDIAs egen vägledning är att låta en frontiermodell planera och Lightning köra loopen, och dess bästa rader i tabellen är de som avser högfrekventa verktygsanrop snarare än de som avser autonoma agenter. Bolt är till sin konstruktion en generalist: samma tabell visar att den ligger långt före när det gäller agentisk webbläsning och terminalarbete, vilka är planerarliknande uppgifter som Lightning aldrig var tänkt att hantera — och den är den enda av de två som kan se.

Den sammansättning som båda modellerna byggdes för är en planerare, en exekutor och en lokal specialist. Eftersom ingen av checkpointerna har ett hostat pris, hamnar uppdelningen på din egen hårdvara och en slutpunkt framför den gör det nyttiga arbetet: en routingregel som skickar korta verktygsanropsslingor till en Lightning-distribution, de synbärande och webbläsardrivande förfrågningarna till Bolt, och allt som kräver äkta frontier-resonemang ut till en hostad modell – allt bakom en enda nyckel, med failover över uppströmsleverantörer när ett hostat ben försämras. Regeln finns i konfigurationen snarare än i varje tjänst, vilket är skillnaden mellan ett routinglager och en omskrivning.

Den öppna frågan är en enda oberoende körning. Om en tredje part reproducerar Terminal-Bench- och BrowseComp-skillnaderna på Bolt, är 24GB-checkpointen genuint den starkare generalisten och argumentet för 30B-nivån begränsas till ren genomströmningsekonomi. Om inte, är den ärliga tolkningen att en 2-bitars kvantiserad 74B och en BF16 30B ligger närmare varandra än en leverantörs tabell antyder – och att raden för icke-hallucination, den som Lightning vinner, förtjänar större vikt än dess placering längst ner på kortet antyder.