Nemotron 3.5 Bolt vs Nemotron 3 Ultra: Vad överlever en 7,4-faldig kompression

Två modeller från samma leverantör, åtskilda av en faktor 7,4 i parameterantal och av ungefär två storleksordningar i den hårdvara som krävs för att köra dem. NVIDIA Nemotron 3.5 Bolt 74B-A9B 24GB släpptes den 15 oktober 2026 som en 24 GB-fil som körs vid sidan av dina andra program på en Spark-enhet eller en Blackwell-GPU. NVIDIA Nemotron 3 Ultra 550B-A55B har funnits på Hugging Face sedan den 3 juni 2026 och kräver sexton H100 som minimum i BF16.

Den intressanta frågan är inte vilken som är starkare – svaret är uppenbart och inte ens nära. Det är vad som specifikt överlever när man komprimerar en stor modell till ett litet minnesutrymme, eftersom det säger dig vilka arbetsbelastningar den lilla kan absorbera och vilka som kommer att få den att framstå i dålig dager. NVIDIAs egen forskningsanteckning besvarar en del av den frågan direkt, och de delar den inte besvarar är där det verkliga beslutet ligger.

De är inte förälder och barn, vad namngivningen än antyder.

Det självklara antagandet är att Bolt är en förminskad Ultra. Det är det inte, och att få detta rätt förändrar vad du förväntar dig av filen. Nemotron 3.5 Lightning, 30B-A3B-nivån från 11 augusti 2026, destillerades från Ultra. Bolt gjorde det inte. Bolt komprimeras från Nemotron 3.5 Super VL, en synspråkmodell på 120B-A12B, med hjälp av en routerstyrd sökning som NVIDIA kallar Star Elastic, följt av kvantiseringsmedveten destillation ner till 2,0625 bitar per expertvikt i ett IQ2_XXS-format.

Den här härstamningen förklarar den enda skillnaden som betyder mer än någon benchmark-rad: Bolt har en C-RADIO v4-H-visionencoder och tar emot bilder och video. Ultra är text in, text ut, och det är inte en lucka i rapporteringen – checkpointen har inget visionstorn att poängsätta. Den mindre, nyare, kraftigt kvantiserade modellen ser; den största resonemangsmodellen i familjen gör det inte.

Vad komprimeringen behöll

Bolt har 74 miljarder parametrar med 9 miljarder aktiva per token på en hybridstomme av Mamba-2 och Transformer. Ultra har 550 miljarder med 55 miljarder aktiva. Kvoten för aktiva parametrar är 6,1 till 1, och kvoten för totala parametrar är 7,4 till 1, vilket innebär att komprimeringen tog bort proportionellt mer total kapacitet än beräkning per token – modellen blev smalare snabbare än den blev grundare.

Vad det ger, utifrån den tillgängliga bevisningen:

• Oberoende intelligens – Artificial Analysis ger Nemotron 3.5 Bolt 21 poäng på sitt Intelligence Index, fjärde av 67 i sin fotavtrycksfiltrerade klass mot en klassmedian på 8. Ultra är inte i samma klass och får mycket högre poäng på samma version av indexet. Detta är komprimeringens mätbara kostnad.

• Oberoende hastighet – Artificial Analysis mäter Ultra till 156,1 utdatatokens per sekund, tionde av 74 modeller på den sidan och i dess högsta hastighetsklass. För Bolt står N/A i samma fält, eftersom det inte finns någon hostad slutpunkt att anropa. NVIDIAs egna siffror – 84 tokens per sekund i AIPerf SPEED-Bench på RTX Spark, 83,99 i llama.cpp på en Surface Laptop Ultra – är tillverkarens egna uppgifter och har inte reproducerats.

• Instruktionsföljning — Ultra uppnår 82,9 på IFBench. Det här är raden att hålla ögonen på hos en agent som måste följa en lång verktygspolicy, och det är den typ av förmåga som kvantiseringsmedveten destillation bevarar ojämnt.

• Långkontextresonemang — Ultra uppnår 75,2 på AA-LCR mot en specifikation på 1M tokens. Bolts publicerade fönster är 262 144 tokens och delar 24 GB med KV-cachen, bilderna och konversationen. Ett brett deklarerat fönster och förmågan att använda det är separata egenskaper; här har den större modellen mer av båda.

• Faktamässig återhållsamhet — Ultra registrerar 22,1 på AA-Omniscience hallucination med 77,91 icke-hallucination. Bolts eget kort registrerar 61,27 på icke-hallucination, den enda raden där den förlorar mot den långt mindre Nemotron 3.5 Lightning. Två oberoende tecken som pekar i samma riktning: det är här aggressiv 2-bitars kompression kostar mest, och inget routingknep reparerar en modell som hittar på mer.

Utplaceringsenveloppen, som är där de två faktiskt separerar

Det här är den del av jämförelsen som inte kan reduceras till en poäng.

• Minne — Bolt är en enda 24 GB-artefakt, redan kvantiserad, avsedd att samexistera med en webbläsare och en IDE på en och samma maskin. Ultra i BF16 kräver sexton H100, åtta H200 eller åtta noder av GB200-klass enligt sitt eget modellkort; NVFP4-bygget snävar in det till åtta H100 som lägst. Skillnaden mellan de två meningarna är skillnaden mellan en inköpsorder och ett upphandlingsprogram.

• Kontextkonfiguration — Bolt hanterar 262 144 token direkt i sitt publicerade vLLM-recept. Ultras recept har standardvärdet 256K och kräver en miljöflagga för att nå hela 1 048 576, vilket är anledningen till att panelen registrerar 262K för Ultra trots en specifikation på 1M. Läs specifikationen och läs sedan receptet.

Serveringsstack — Bolt körs under vLLM på Ampere, Hopper och Blackwell, eller under llama.cpp på RTX Spark- och DGX Spark-hårdvara, under licensen OpenMDW-1.1 som tillåter kommersiell användning. Ultra körs under samma licens med parallellism i datacenterklass. Båda är öppna vikter; endast en av dem är portabel.

• Promptkostnad — Ultra debiteras med $0,60 per miljon indatatokens och $2,50 per miljon utdatatokens med 73 % cacherabatt, vilket blir cirka $0,60 för att köra en Intelligence Index-uppgift — verkligen billigt för en modell av den storleken, och tillgängligt eftersom någon annan driver klustret. Bolt har inget pris alls: ingen hostad endpoint, inget leverantörs-API, ingen prislista, och N/A i både hastighets- och kostnadsfälten i den enda oberoende panel som listar den.

Att läsa tillkännagivandet för vad det säger och inte säger

Bolts checkpoint fanns på Hugging Face från och med den 7 oktober 2026 med endast ett modellkort bifogat. Leverantörens tillkännagivande som namnger den – tillsammans med en 4 GB syskonmodell, Nemotron 3.5 Bolt E4B, riktad mot spelfigurer och daterad till den 23 oktober – kom den 15 oktober. Att släppa vikterna åtta dagar före prosan är inte ovanligt, men det innebär att en vecka av den offentliga dokumentationen inte innehåller någon förklaring av modellen över huvud taget, och att varje redogörelse som skrevs under det fönstret utgick enbart från kortet.

Tillkännagivandet är också platsen att leta efter det som saknas. Det finns ingen hostad slutpunkt, inget API, ingen prislista, ingen tredjepartsplattform som mäter Bolt – och ingen oberoende benchmark som någon har kört på 24GB-vikterna. Leverantörens siffror är verkliga och specifika, tagna med llama.cpp på en Surface Laptop Ultra med 128GB; de har helt enkelt inte reproducerats utanför NVIDIA.

Var varje modell hör hemma, och var en router hör hemma

Ingen av dessa modeller finns i OrcaRouters katalog. Vi hostar ingen NVIDIA-checkpoint, det finns ingen Bolt-endpoint och ingen Ultra-endpoint, och inget här utgör ett erbjudande om att tillhandahålla någon av dem. Vad en enda endpoint faktiskt ger, om du kör en eller båda själv, är ett sätt att hålla de lokala och hostade halvorna av ett arbetsflöde under en och samma nyckel — de över 200 modellerna i vår katalog ligger bakom en och samma API-nyckel och en och samma faktura, till varje leverantörs listpris som förs vidare med 0 % påslag, så en leverantörsprisändring slår igenom hos oss samma dag i stället för vid nästa förnyelse. En begäran som behöver ett fullt fönster på en miljon tokens eller en reasoner i frontend-skala skickas ut till en hostad modell; den lokala filen behåller det arbete med hög volym och integritetskänsliga uppgifter som aldrig borde ha lämnat byggnaden. Automatisk redundansväxling innebär att en försämrad uppströmsresurs flyttar begäran i stället för att misslyckas med den.

Placeringen följer av driftsättningsmatematiken snarare än av poängen. Bolt hör hemma på en arbetsstation när data inte kan föras över, när arbetsbelastningen innehåller video, eller när volymen gör fakturering per token till den dominerande radposten — och när ett 262K-fönster och en redan synlig brist på faktamässig återhållsamhet är acceptabla. Ultra hör hemma på en mätarbaserad slutpunkt när arbetet kräver en räckvidd på en miljon tokens, den starkaste instruktionsföljningen i familjen och den lägsta hallucinationsfrekvens som NVIDIA för närvarande publicerar.

Vem bör agera, och vem bör vänta

Agera nu om arbetsbelastningen är lokal och innehåller video: Bolt är den enda modellen i den här familjen som både ryms i 24 GB och kan se, och ingen annan öppen checkpoint med samma fotavtryck får 21 poäng på det oberoende indexet. Agera nu om arbetsbelastningen är långkontextuellt textresonemang i stor skala: Ultra är mätbaserad, uppmätt och billigare per Intelligence Index-uppgift än en modell av dess storlek har någon rätt att vara.

Vänta, om ditt beslut hänger på genomströmning. Bolts hastighet är den enda dimensionen där det inte finns någon oberoende mätning någonstans, och för en lokalt driftsatt modell är hastigheten det du känner av varje sekund, varje dag. En enda latensmätning från tredje part på 24GB-vikterna skulle avgöra mer än de nästa tio raderna med leverantörsbenchmarks – och tills den finns går kapacitetsplanering för Bolt ut på att planera kring ett påstående.