Nemotron 3.5 Bolt har släppts: Vad NVIDIAs 24 GB 2-bitars checkpoint faktiskt innehåller

Repositoriet för N​VIDIA N​emotron 3.5 Bolt 74B-A9B 24GB dök upp på Hugging Face den 7 oktober 2026 och låg där, tyst, i åtta dagar. Den 15 oktober tillkännagav N​VIDIA den – ett blogginlägg, ett pressmeddelande från nyhetsrummet och en forskningssida daterad till det datumet – vilket innebär att det intressanta i den här historien inte är lanseringen. Det är gapet. I åtta dagar var det enda någon kunde veta om N​emotron 3.5 Bolt vad ett modellkort och en uppsättning safetensors sade, och allt annat var slutledningar. Det gapet har nu stängts, och det är värt att vara precis om vad stängningen faktiskt avgjorde, eftersom en hel del av det som folk upprepar om den här modellen kom från repositoriet snarare än från tillkännagivandet, och de två är inte samma dokument.

Det som är säkert nu, i ett stycke, är följande. Nemotron 3.5 Bolt 74B-A9B 24GB är en mixture-of-experts-baserad vision-språkmodell med 74 miljarder parametrar och 9 miljarder aktiva parametrar per token, släppt den 15 oktober 2026 under licensen OpenMDW-1.1, och lagrar sina expertvikter vid 2,0625 bitar per element så att hela modellen får plats i 24GB. Den är utformad för att köra lokalt agentiskt arbete – verktygsanrop, webbläsning, terminalanvändning – på RTX- och DGX Spark-hårdvara. Den finns på Ollama som en 25GB-tagg med ett 256K-kontextfönster. Den finns inte på något hostat API och har inget pris. En del av den meningen är oberoende uppmätt och resten är tillverkarens egna ord.

Två datum, och vilket av dem man ska citera

Det finns en verklig skillnad mellan de två datumen, och den avgör hur du bör läsa resten av den här artikeln.

Hugging Face-repositoriet skapades den 7 oktober 2026 kl. 17:50 UTC. Modellkortet i det innehåller ett fält för utgivningsdatum med texten Hugging Face 10/15/2026. N​VIDIAs egen forskningssida för checkpointen är stämplad Publicerad: 15 oktober 2026. Leverantörens blogginlägg som tillkännager Bolt-nivån är daterat den 15 oktober 2026 och säger, med exakt dessa ord, att Super VL och Bolt 74B-A9B "är tillgängliga nu".

Den ärliga tolkningen är alltså att 15 oktober är releasedatumet och att 7 oktober är när mappen dök upp. Den som citerar 7 oktober som lansering citerar en filens tidsstämpel; den som citerar 15 oktober citerar leverantören. Glappet på åtta dagar spelar dock roll av en annan anledning än datumen. Det innebär att modellen existerade i över en vecka i ett tillstånd där repositoriet var den enda ytan – inget tillkännagivande, ingen prissida, ingen post på resultattavlan, ingen från N​VIDIA som sa vad den var till för. Varje tidig beskrivning av Bolt som skrevs under det fönstret, inklusive de som nu cirkulerar, byggde på kortet. Kortet visar sig ha varit korrekt. Det är värt att säga rakt ut, eftersom det vanliga utfallet i sådana här situationer är att så inte är fallet.

Vad enbart repositoriet bevisar

Allt i det här avsnittet gick att läsa från modellkortet och konfigurationsfilerna innan NVIDIA sagt ett ord, och allt är fortfarande sant.

• Parametrar — 74 miljarder totalt, 9 miljarder aktiva per token. Gles mixture-of-experts, inte en tät modell.

• Arkitektur — en hybrid av Mamba-2 och Transformer med en LatentMoE-stomme och en C-RADIO v4-H-visionskodare. Konfigurationen registrerar klassen som NemotronH_Omni_Reasoning_V3.

• Lagrad precision – IQ2_XXS vid 2,0625 bitar per element på de routade och delade expert-FC1- och FC2-lagren, där merparten av vikterna finns. Mambas linjära lager ligger på NVFP4, och inbäddningarna, utgångshuvudet, attention- och LatentMoE-vikterna på Q8_0.

• Kontext — upp till 256K tokens, eller 262 144 i driftsättningsrecepten.

• Indata och utdata — text, bilder och video in; text ut.

• Licens — OpenMDW-1.1, och kortet säger det tydligt: "redo för kommersiell eller icke-kommersiell användning."

• Baser och härkomst — kortet anger sin basmodell som BF16-checkpointen med samma namn och sin relation till den som kvantiserad, och datamängdstaggarna pekar på N​VIDIA:s N​emotron-samlingar för förträning och efterträning.

• Modelldatum – december 2025 till maj 2026, med ett cutoff-datum för efterträningsdata i maj 2026. Läs det noga om aktualitet är viktigt för dig: modellen är en utgåva från 2026 byggd på data som upphör fyra och en halv månad innan den släpptes.

• Körtidsmiljöer — vLLM på N​VIDIA Ampere, Hopper och Blackwell, samt llama.cpp för RTX Spark och DGX Spark. Ollamas lista är mer rättfram om begränsningarna: CUDA-driftsättning är dokumenterad, och Apple Silicon och Metal stöds för närvarande inte.

Vad tillkännagivandet tillförde

Leverantörens material tillför tre saker som arkivet inte hade kunnat berätta för dig.

Först, inplaceringen i familjen. Bolt positioneras som edge-nivån i Nemotron-familjen, under Nemotron 3.5 Super VL på 120B för ständigt aktiva serveragenter och ovanför ingenting särskilt — NVIDIAs egen mening sorterar dem: Super VL och Bolt "täcker hela spannet av agentdistributioner, från stora företagsservrar ner till edge-enheter och lokal hårdvara." Nemotron 3.5 Bolt E4B 4GB, en modell med 4 miljarder parametrar för konversationsagenter och fysiska agenter, lanseras den 23 oktober.

För det andra: kompressionshistorien, som är det genuint nya ingenjörspåståendet här. Bolt är inte en modell som tränades liten och sedan kvantiserades. Det är Nemotron 3.5 Super VL — 120B totalt, 12B aktiva — som kördes genom Star Elastic, NVIDIAs routerstyrda arkitektursökning, under ett hårt krav att rymmas under 24 GB minne vid batchstorlek ett och 128K kontext. Expert-top-K gick från 22 i föräldramodellen ner till 9 i Bolt, MoE:ns mellanliggande bredder söktes per lager, och sedan kvantiserades det komprimerade nätverket och kördes genom kvantiseringsmedveten destillation för att återvinna noggrannhet. NVIDIAs uttalade slutsats är det intressanta, och det är en verklig ståndpunkt, inte ett skryt: för en fast minnesbudget slår komprimering av en stor modell att träna en liten från grunden. Det är ett påstående som du kan testa, och ingen utanför NVIDIA har gjort det.

För det tredje, två placeringar på topplistor som leverantören uppger: #1 öppen modell i sin klass på PinchBench, och #2 öppen modell på BrowseComp. Båda är NVIDIA:s karakterisering av sin egen modell mot en klass som de själva har definierat.

Det som tillkännagivandet inte lägger till är en serverad slutpunkt. Det finns inget hostat API, inget pris per token och inget sätt att anropa Nemotron 3.5 Bolt utan att anskaffa hårdvaran som den körs på. Artificial Analysis, som har betygsatt modellen, listar hastighets- och kostnadsfälten som otillgängliga av just den anledningen: inget offentligt tillgängligt API att mäta med.

Den del som ingen utanför N​VIDIA har kört

Det är här artikeln måste sakta ner, eftersom gapet mellan vad som har mätts och vad som har påståtts är ovanligt stort för en modell av den här storleken.

På den uppmätta sidan finns ett nummer, och det är ett bra sådant: Artificial Analysis placerar N​emotron 3.5 Bolt 74B-A9B på 21 i sitt Intelligence Index, vilket placerar den på fjärde plats av 67 modeller i sin jämförelseklass. Det är en oberoende mätning av den faktiska 2-bitars-checkpointen, inte av ett BF16-referensbygge, och det är den enskilt mest användbara siffran som finns för den här modellen i dag.

On the asserted side there is everything else. The model card carries a thirteen-benchmark table with four columns — Qwen3.6-35B-A3B in BF16, Gemma 4 26B-A4B in BF16, N​emotron 3.5 Lightning 30B-A3B in BF16, and Bolt in IQ2 — and every row of it was produced by N​VIDIA, including the three baseline columns, which N​VIDIA selected because they fit in 24GB with 4-bit quantisation. Bolt is the bolded winner in ten rows and is not the winner in three: AA-Omniscience accuracy, where Gemma 4 26B-A4B scores 22.17 against Bolt's 16.90; AA-Omniscience non-hallucination, where N​emotron 3.5 Lightning 30B-A3B scores 68.81 against Bolt's 61.27; and PinchBench, where Qwen3.6-35B-A3B scores 88.07 against Bolt's 87.82. Publishing the three rows you lose is a point in the vendor's favour and does not change what the table is: unreproduced.

The speed numbers deserve their own paragraph because they cut against the marketing. N​VIDIA's own measurement table, taken with llama.cpp on Windows 11 ARM64 on a Surface Laptop Ultra with 128GB, shows Bolt at 83.99 tokens per second on AIPerf SPEED-Bench-Coding — behind Qwen3.6-35B-A3B at 96.63 and Gemma 4 26B-A4B at 100.56. On the same page, end-to-end replay duration across realistic agent trajectories is 600.80 seconds for Bolt against 453.97 for Qwen3.6 and 480.68 for G​emma. The pitch is intelligence per gigabyte, not speed, and the vendor's own table is consistent with that pitch rather than with a claim of being fastest.

Så här ser bevisläget ut: en oberoende sammansatt poäng som är respektabel, en leverantörsbenchmarktabell som ingen har reproducerat, en leverantörshastighetstabell på en laptop som ingen utanför NVIDIA har kört, och noll oberoende latensmätningar. Betrakta varje artikel som rapporterar Bolt's PinchBench-siffra utan att ange vem som tog fram den som opålitlig, inklusive varje artikel som håller med den här.

Vad anlände tillsammans med det?

En modellrelease är sällan bara vikterna, och Bolts stödjande ensemble är större än vanligt för något utan API.

LiLiCorrs spekulativa drafter levereras med den – 1,13 miljarder parametrar exklusive de delade inbäddningarna och utdatahuvudet, tränad gemensamt med målmodellen, och NVIDIA rapporterar genomsnittliga acceptanslängder på 4,68 vid girig avkodning och 4,25 vid probabilistisk sampling med sju draftade token vid samtidighet 64 i vLLM. Draftern är en separat nedladdningsbar checkpoint, inte en runtime-flagga, och den är mekanismen bakom siffran 84 TPS som anges för RTX Spark.

Ramverksstöd landade snabbt. Ollama listar nemotron-3.5-bolt i tre taggar – en standard, en 74B-A9B-tagg och en IQ2-tagg – var och en på 25 GB med en 256K-kontext samt text- och bildinmatning, med enradiga startprogram för C​laude Code, OpenCode, Hermes Agent och OpenClaw. Utöver det finns en GGUF-build från N​VIDIA, en kedja av community-kvantiseringar i 4-bit och 8-bit, och MLX-konverteringar som dök upp inom ett dygn efter tillkännagivandet. För en checkpoint som körs på en enda 24 GB-enhet är det faktum att ekosystemet anländer inom fyrtioåtta timmar den verkliga signalen om att detta är en användbar artefakt snarare än en demonstrator.

Den praktiska varningen till alla som planerar att använda det: siffran 24 GB är en nedre gräns för vikterna, inte ett tak för arbetsbelastningen. Bilder, videorutor, konversationshistorik och verktygsresultat delar alla på kontextbudgeten, och Ollamas egen anteckning säger att användbar kontext beror på tillgängligt minne. En nedladdning på 25 GB som ryms med god marginal är inte samma sak som en session på 256K token som ryms med god marginal.

Var detta lämnar dig, och var det inte

Om din arbetsbelastning är lokal och agentisk – terminalanvändning, surfning, verktygsanrop, kodfelsökning på en enhet du äger – är N​emotron 3.5 Bolt 74B-A9B 24GB nu ett försvarbart val med en oberoende poäng och en uppsättning vikter du kan granska. Komprimeringsargumentet bakom den är genuint intressant, licensen tillåter kommersiell användning, och verktygen dök upp inom en dag.

Om din arbetsbelastning behöver anropas från kod som körs någonstans du inte äger är den här modellen inte ett alternativ i dag, och det ärliga svaret på "hur använder jag den" är att du kör den själv på NVIDIA-hårdvara eller väntar. Vi kontrollerade vår egen katalog i stället för att anta, och det finns ingen NVIDIA-modell i den — så det finns inget här för oss att dirigera, och att påstå något annat vore en lögn. Det OrcaRouter däremot erbjuder är den andra halvan av en blandad driftsättning: de modeller du skulle anropa när en begäran är för svår, för lång eller för obekant för en lokal 2-bitars checkpoint, bakom en enda nyckel över 200+ modeller till leverantörens listpris utan påslag, med automatisk redundansväxling när en leverantör strular. Att para ihop en lokal Bolt med ett routat API är en vettig arkitektur. Att låtsas att Bolt finns på den routade sidan är det inte.

Det man bör hålla ögonen på är inte nästa benchmarktabell. Det är huruvida någon utanför N​VIDIA publicerar en latensmätning på 24GB-checkpointen på hårdvara som en läsare faktiskt äger, och huruvida en hostad endpoint överhuvudtaget dyker upp. Tills ett av dessa inträffar är specifikationen ett löfte, och en enda indexpoäng är det enda som står bakom den.

Ett resultat som detta är också en påminnelse om att modellmisstag redan är dokumenterade: AI-incidenterna och agentfelen bakom modeller i den här klassen samlas i OrcaRouter AI Incident Archive, där varje post har sina egna källor, allvarlighetsgrad, konfidensgrad och flagga för omtvistat.