Nemotron 3.5 Bolt 24GB: Vad NVIDIA faktiskt stoppade in i en 24GB-fil

Siffran i rubriken är inte antalet parametrar. Det är antalet byte. Den 15 oktober 2026 släppte NVIDIA NVIDIA Nemotron 3.5 Bolt 74B-A9B 24GB, en agentmodell för vision och språk vars 74 miljarder parametrar upptar 23,75 GB i det format som de flesta faktiskt kommer att ladda ner – en GGUF på 22,02 GB plus en visionsprojektorfil på 1,73 GB. Båda siffrorna kommer från det publicerade repositoriets egen filförteckning, inte från blogginlägget, och de är anledningen till att namnet slutar på en siffra. Det här är vad den siffran ger, vad den döljer och vad den inte omfattar.

Vad som släpptes, och när

NVIDIAs nyhetsrum beskrev den 15 oktober som en familjeutökning snarare än en lansering av en enda modell: Nemotron 3.5 Super VL, en multimodal modell med 120 miljarder parametrar och 12 miljarder aktiva parametrar, anlände tillsammans med Bolt-checkpointen, och ett mycket mindre syskon, Nemotron 3.5 Bolt E4B 4GB, är daterat till den 23 oktober. Bolt ansluter till Nemotron 3.5 Lightning (augusti) och Nemotron 3 Ultra i en familj som nu täcker datacenterresonemang, hög genomströmning vid serving och lokala edge-agenter.

Lanseringen är verkligen ny, och den är också något äldre än tillkännagivandet. Hugging Face-repositoriet nvidia/NVIDIA-Nemotron-3.5-Bolt-74B-A9B-24GB skapades den 7 oktober 2026; modellkortet i det anger ett släppdatum på 15 oktober, samma datum som NVIDIA:s egen forskningssida är stämplad ”Publicerad”. Att filer ligger framme offentligt i åtta dagar innan ett enda ord av förklaring är ett normalt mönster för en leverantör som släpper under embargosamordning med hårdvara — RTX Spark-bärbara datorer är daterade till den 16 oktober, dagen efter tillkännagivandet — och det är värt att veta vilken hälft av den här modellens offentliga dokumentation som kom från ett marknadsföringsbeslut och vilken som kom från en fillistning.

Hur 74 miljarder parametrar får plats i 24 gigabyte

Två mekanismer, och de är separerbara.

Det första är strukturellt. Bolt är inte en mindre modell tränad från grunden; det är föräldramodellen Super 3.5 VL komprimerad av en algoritm som NVIDIA kallar Star Elastic, en routerstyrd arkitektursökning som var tvungen att uppfylla ett villkor – ett driftsättningsfotavtryck under 24 GB vid batchstorlek 1 och 128K kontext – samtidigt som så lite kunskapsdestillationsnoggrannhet som möjligt förlorades. Resultatet blev en mixture-of-experts-hybrid med 74B totalt / 9B aktiva, med expert-top-K fixerat till 9 där föräldern använde 22. NVIDIAs egen formulering av resultatet är rakt på sak och kontrollerbar: för en fast minnesbudget slår komprimering av en stor modell träning av en liten.

Den andra är precision, och det är där merparten av besparingarna finns.

• Expertvikter — routade och delade FC1- och FC2-lager kvantiserade till IQ2_XXS vid 2,0625 bitar per element, vilket utgör huvuddelen av modellen räknat i parametrar.

• Mamba-lager — NVFP4, ett 4-bitars flyttalsformat, och endast på de lager där den extra precisionen är värd fler byte.

• Inbäddningar, utmatningshuvud, uppmärksamhet och de latenta MoE-vikterna — Q8_0.

• Återställning — kvantiseringsmedveten destillation i stället för ett i efterhand utfört avrundningssteg till närmaste, vilket är skillnaden mellan en komprimerad modell och en trasig.

Läs dem tillsammans och "24GB" slutar vara en marknadsföringssammanfattning och blir en budgetfördelning. 2-bitsexperterna är billiga per byte och många; lagren som har betydelse för stabiliteten behåller 4 eller 8 bitar.

24GB-siffran, kontrollerad mot filerna

Påståendet håller vid en granskning, vilket inte alltid är sant.

• GGUF-vikter — 22 018 326 528 byte, eller 22,02 GB decimalt, i en enda fil.

• Visionsprojektor — 1 733 692 736 byte, eller 1,73 GB, levereras separat som mmproj, vilket är hur llama.cpp tar emot bild- och videoindata.

• Safetensors-bygge – samma modell i vLLM-redo shards uppgår till 24,12 GB fördelat på 90 filer, marginellt över rubrikvärdet.

• BF16-referens – 149,8 GB fördelat över 63 shards, publicerad separat för alla som vill finjustera i stället för att köra inferens.

Ovanpå det finns två ärliga förbehåll. För det första är vikter inte en körande modell. Receptet för vLLM som NVIDIA publicerar låser KV-cachen till fp8 och ställer in den betjänade kontexten till 262 144 token med max-num-seqs 1 – en enda samtidig sekvens. Det är skillnaden mellan att få plats i 24 GB och att köra snabbt i 24 GB, och det är den typ av detalj som rubriken om minnesstorlek aldrig förmedlar. För det andra är 24 GB den siffra som arkitektursökningen fick, inte en siffra som uppmätts på din dator: drivrutinsöverhead, operativsystemet och vad som nu annars finns på laptopen ligger alla utanför den, vilket är precis varför säljbudskapet är "kör vid sidan av dina appar" i stället för "kör i stället för dem".

Hastighetspåståendet, och maskinen den mättes på

NVIDIA har designat för minst 80 tokens per sekund och rapporterar 83,99 på AIPerf SPEED-Bench-Coding. Den siffran behöver tre bitar kontext innan den betyder något: den togs fram med llama.cpp på Windows 11 ARM x64, på en Surface Laptop Ultra med 128 GB minne, med den spekulativa draftaren LiLiCorr ansluten och sju draftade tokens per steg. Draftaren är inte ett valfritt garnityr – den är en kompanjon-checkpoint på 1,13B vars hela syfte är att öka acceptanslängden (NVIDIA rapporterar medelvärden på 4,68 vid greedy-avkodning och 4,25 med sampling vid samtidighet 64 i vLLM). Plockar man bort draftaren mäter man en annan modell.

Den andra siffran för snabbhet är den mer intressanta, eftersom det är en slutförandetid snarare än ett tempo: 600,80 sekunders uppspelningstid på AA-AgentPerf Local, mot 453,97 för Qwen3.6 35B-A3B, 480,68 för Gemma 4 26B-A4B och 1 043,28 för Qwen3.8 27B – alla från NVIDIAs egen tabell, alla på samma hårdvara. Bolt vinner den raden genom att slutföra samma agenttrajektorier snabbare än en mindre modell, och förlorar genomströmningsraden mot båda de andra med 83,99 mot 96,63 och 100,56 tokens per sekund. Snabbhet och kvickhet är inte samma mätning, och detta är en modell som byter bort det senare mot det förra.

Vad den oberoende mätningen säger

En siffra i de offentliga uppgifterna om Bolt producerades inte av NVIDIA: Artificial Analysis Intelligence Index poängsätter den till 21, vilket placerar den på fjärde plats bland 67 modeller i sin klass. Den panelen rapporterar inte heller någon hastighet eller kostnad för den, eftersom det inte finns något offentligt API att anropa — och den listar modellens indatamodalitet som text och bild, inte video, vilket är en snävare tolkning än leverantörens.

Samma sida noterar att modellen genererade 230M tokens medan den utvärderades, vilket den betecknar som mycket ordrikt jämfört med en median på 100M. Resonemang som producerar fler tokens för samma uppgift är inte automatiskt sämre, men det kostar något på en lokal enhet där varje token genereras av en fläkt.

Allt annat i omlopp är leverantörsrapporterat. NVIDIAs egen tabell över tretton benchmarks, där Bolt leder sin minnesklass på PinchBench och ligger tvåa på WebArena och BrowseComp, jämför mot modeller som delvis valts för att de får plats i 24 GB vid 4-bit – en jämförelsegrupp definierad av en begränsning som Bolt konstruerades för att uppfylla. Det är inte ohederligt; det är inte heller en rangordning av agentmodeller i allmänhet, och den enda cellen som går i motsatt riktning är lärorik: med 16,90 i AA-Omniscience-noggrannhet ligger Bolt efter Gemma 4 26B-A4B på 22,17 i samma tabell.

Vad är inte i lådan

Det finns ingen slutpunkt. Ingen mätarbaserad taxa, ingen leverantör som tillhandahåller den, inget sätt att utvärdera den på din egen trafik utan att slutföra driftsättningen. Det som finns i stället är runtime-stöd som kom vid releasen i stället för månader senare: llama.cpp och GGUF-checkpointen, Ollama, LM Studio, Unsloth för finjustering, och vLLM för den kvantiserade checkpointen på DGX Spark och BF16-checkpointen på annat håll. NVIDIAs egen blogg räknar upp dessa fem vid namn, och bredden är den verkliga produkten här — en 24GB-fil är bara användbar om det som laddar den redan finns på din maskin.

Hårdvaruomfånget är bredare än lanseringsdagens berättelse om RTX Spark-bärbara datorer antyder: GeForce RTX-datorer, DGX Spark, DGX Station och RTX PRO-arbetsstationer nämns alla, och modellkortet listar Ampere, Hopper och Blackwell för vLLM-vägen.

Licensen är OpenMDW-1.1, som är tillräckligt tillåtande att bygga vidare på och tillräckligt obekant för att juridisk granskning är ett verkligt steg snarare än en formalitet – värt att känna till innan ett arkitekturbeslut beror på den.

Ett copy-paste-misstag i NVIDIA:s egen tekniska blogg placerar checkpoint-listan under rubriken "Nemotron 3.5 Super VL 74B-A9B 24GB" i stället för Bolt. Det är ett stavfel i en snabb release, inte en förgrening i familjen, men det är en användbar påminnelse om att leverantörssidor som skrivs på tillkännagivandedagen är utkast med ett publiceringsdatum på sig.

För team som också anropar modeller som de inte äger

Den lokalt körda halvan av en agentstack och den hostade halvan är vanligtvis samma projekt, och Bolt hanterar bara en av dem. OrcaRouter hostar ingen Nemotron-checkpoint – det kontrollerades mot vår egen katalog i stället för att antas – så inget här är en pitch för en modell som vi tillhandahåller. Det vi gör är den andra sidan av en blandad driftsättning: en nyckel för 200-plus modeller till leverantörens listpris med inget påslag tillagt, automatisk failover när en leverantör strular mitt i en begäran, och ett routing-DSL för att beskriva en fallback-kedja som konfiguration i stället för applikationskod. Om Bolt kör den lokala halvan är det den halvan som aldrig dyker upp på en faktura; routingfrågan är vad som händer med resten.

Vad du ska titta på

Tre saker kommer att avgöra den här modellens rykte, och ingen av dem finns i tillkännagivandet.

Den första är oberoende latens på riktig hårdvara. NVIDIAs 83,99 tokens per sekund är ett kontrollerat benchmark med en spekulativ drafter inkopplad; någon kommer till slut att publicera vad den presterar på en bärbar dator som kör en webbläsare och en editor samtidigt, och den siffran kommer att betyda mer än den här. Den andra är E4B-varianten den 23 oktober, som testar huruvida komprimeringsreceptet skalar nedåt eller bara fungerar i en storlek. Den tredje är huruvida någon utanför NVIDIA eftertränar BF16-checkpointen — för en 24 GB distributionsartefakt med öppen licens och en 150 GB anpassningsartefakt bredvid den är en avsiktlig tvåspårsutgåva, och det andra spåret är det som avgör huruvida detta blir en plattform eller en checkpoint.

Än så länge står faktumet för sig självt. En multimodal agent med 74 miljarder parametrar får plats i minnet på en laptop som kostar mindre än en arbetsstation, kör på ungefär 84 tokens per sekund med en drafter kopplad, får 21 poäng på det enda oberoende indexet som har mätt den, och kan inte anropas som ett API av någon. Det är en specifik och ovanlig kombination, och det är värt att vara noggrann med vilken hälft av den du behöver.

Inget av detta är hypotetiskt: de dokumenterade AI-felen och agentincidenterna bakom släpp som detta samlas i OrcaRouter AI Incident Archive, där varje post har sina egna källor, allvarlighetsgrad, tillförlitlighetsgrad och omtvistad flagga.