Nemotron 3.5 Bolt 74B vs Nemotron 3 Ultra: 1,5 indexpoäng, sju gånger så många parametrar

Den mest överraskande siffran i NVIDIA Nemotron 3.5-familjen är inte storleken på dess flaggskepp. Det är att NVIDIA Nemotron 3.5 Bolt 74B-A9B 24GB, en checkpoint med 74 miljarder parametrar pressad in i 24 gigabyte vid två bitar per vikt, hamnar inom 1,5 poäng från Nemotron 3 Ultra, modellen med 550 miljarder parametrar som resten av familjen destillerades från, på Artificial Analysis oberoende körda Intelligence Index — 21,4 mot 22,9. Sju gånger parametrarna, sex gånger den aktiva beräkningskraften per token, och en skillnad som man skulle kunna tappa bort i ett benchmarks felstaplar. Bolts vikter dök upp på Hugging Face den 7 oktober 2026, med NVIDIAs tillkännagivande som följde den 15 oktober; Ultra släpptes den 4 juni 2026.

De två modellerna är inte utbytbara, och punkterna där de skiljer sig är mer upplysande än rubrikresultatet. Vad komprimeringen bevarade och vad den förkastade är båda synliga i de publicerade siffrorna, och de utgör inte samma rader.

Vad var och en är

Ultra är den tidigare generationens flaggskepp och läraren i centrum för NVIDIAs destillationspipeline. Det är en Mamba-2-hybrid med 550B totalt och 55B aktiva, med Multi-Token Prediction, släppt under OpenMDW-1.1 tillsammans med sin träningsdata och sina recept, byggd för långvarigt agentiskt arbete med upp till en miljon tokens i kontext och en gräns på 65 000 tokens i utdata per begäran. NVIDIAs eget påstående om den var att den var den mest intelligenta amerikanska modellen med öppna vikter under sitt lanseringsfönster, och det oberoende underlaget stöder till stor del det: panelen ger den 22,9 i sin resonemangskonfiguration, med uppmätta 156 utdatatokens per sekund, 1,29 sekunder till första token och en median på 19 sekunder för svarstid från början till slut.

Bolt är edge-nivån i den nyare generationen och är inte en destillerad Ultra i direkt bemärkelse. Dess förälder är N​emotron 3.5 Super VL 120B-A12B, den multimodala 120-miljardersparametermodell som N​VIDIA lanserade tillsammans med den. Komprimeringen utfördes av Star Elastic, N​VIDIAs routerstyrda arkitektursökning, som optimerade för den lägsta förlusten vid kunskapsdestillering som samtidigt uppfyllde ett hårt minnesavtryckskrav på under 24 GB vid batchstorlek 1 och 128K kontext – vilket drog ner expert-top-K från 22 till 9 och kvantiserade expertvikter till IQ2-XXS vid 2,0625 bitar per element, med kvantiseringsmedveten destillering för att återvinna noggrannhet. Den har en C-RADIO v4-H-visionencoder eftersom dess förälder var multimodal.

De oberoende raderna, båda sidorna

Allt nedan kommer från Artificial Analysis om inget annat anges, vilket är det som gör jämförelsen användbar: båda modellerna kördes av samma utvärderare under samma testramverk.

• Intelligensindex — Bolt 21.4; Ultra 22.9. Oberoende uppmätt för båda.

• GDPval-AA (normaliserad) — Bolt 0,240; Ultra 0,257. En skillnad på 1,7 poäng i ett riktmärke byggt på verkliga yrkesmässiga leverabler.

• SciCode — Bolt 0.397; Ultra 0.403. I praktiken lika.

• Humanity's Last Exam, inga verktyg — Bolt 24,7 procent; Ultra 28,4 procent. Gapet på fyra punkter här är det största på den här listan i relativa termer.

• AA-LCR långkontextsretrieval — Bolt 69,7 procent; Ultra 79,3 procent. Tio punkter, och det tydligaste beviset på vad 2-bitarskomprimering kostar.

• AA-Omniscience – Bolt 17,1 procents träffsäkerhet med 56,3 procents icke-hallucinering; Ultra 22,6 procents träffsäkerhet med 70,3 procents icke-hallucinering. Flaggskeppet är både mer kunnigt och bättre kalibrerat, vilket är det minst överraskande resultatet på sidan.

• Terminal-Bench 4.0 (svårare uppsättning) — båda får noll poäng. Ingen av modellerna löser den nivån, inte ens flaggskeppet.

• Kontextfönster — Bolt: upp till 256 000 tokens enligt modellkortet, och 262 144 enligt panelens registrering. Ultra: upp till 1 000 000 enligt NVIDIA, med en maximal utdata på 65 000 tokens.

• Indata – Bolt: text, bilder och video in, text ut. Ultra: text in, text ut. Inget i flaggskeppets lanseringsmaterial gör anspråk på ett visionstorn.

• Pris — Bolt: inget. Det finns ingen publicerad mätbaserad taxa för 24GB-checkpointen, och panelen listar ingen siffra för indata eller utdata för den. Ultra: $0.60 per miljon indatatoken och $2.50 per miljon utdata, med cachad indata på $0.16, och en uppmätt utgift på $0.60 per Intelligence Index-uppgift.

• Hastighet — Bolt: ingen oberoende mätning. Ultra: 156,1 utdatatoken per sekund, 1,29 sekunder till första token, median 14,6 sekunder resonemangstid per svar.

• Fotavtryck — Bolt: 24 GB vid IQ2, kan driftsättas på ett enda A100-, H100- eller Blackwell-kort. Ultra: en driftsättning över flera acceleratorer; NVIDIAs eget recept för lärarcheckpoints i den här familjen anger fyra B200:or eller åtta H100:or som minimikrav, och Ultra är den största medlemmen.

Varför indexgapet är mindre än storleksgapet, och vad det innebär

Det finns två ärliga förklaringar och båda är förmodligen delvis sanna.

Det första är att Intelligence Index är ett sammansatt mått som belönar procedur mer än återkallning. Bolt förlorade sina lagrade fakta på grund av 2-bitars kvantisering – du kan se det i noggrannhetsraderna – men behöll tillräckligt mycket av kedjetänkande, verktygsanrop och beteendet för strukturerad utdata för att få poäng på de sammansatta uppgifterna. Notera att Ultras fördel koncentreras precis där minnet spelar roll: långkontexthämtning, allvetenhetsnoggrannhet, hallucinationsfrekvens, svåra naturvetenskapliga frågor som kräver ett faktum snarare än en metod.

Det andra är att arkitektursökning på en stark föräldramodell är ett bättre utnyttjande av en fast budget än att träna små modeller från grunden, vilket är NVIDIAs uttryckliga argument i Bolt-dokumentationen. Att ta en multimodal 120B-lärarmodell och söka efter den bredaste studentmodellen som får plats i 24 GB är en annan övning än att förträna en 30B-modell, och den resulterande 74B/9B-checkpointen ligger där en ovanligt effektiv 74B skulle ligga.

Vad det inte innebär är att Bolt ersätter Ultra. En modell som erkänner osäkerhet oftare (56,3 mot 70,3 procent icke-hallucination, i fel riktning) och som är mindre tillförlitlig på att hämta från lång kontext är en sämre assistent för de frågor människor faktiskt ställer. Den är en bättre assistent för uppgifter som mestadels handlar om procedur: att anropa verktyg, fylla i formulär, redigera filer, läsa en skärmbild och klicka på rätt sak.

De två saker som Ultra inte kan göra

Bolts fördelar är begränsade, och båda är strukturella snarare än numeriska.

Det får plats. En 24 GB-checkpoint körs på hårdvara som en person äger, utan nätverk, utan mätning per token och utan kapacitetsförhandling. Ultras intelligens går bara att nå via ett API, till $0,60 in och $2,50 ut per miljon tokens och ungefär $0,60 i kostnad per indexuppgift. Det priset är verkligen lågt för en modell i sin klass, vilket är anledningen till att den hostade vägen är ett verkligt alternativ snarare än en kompromiss – men det är fortfarande en väg som kräver anslutning och tillit till någon annans drifttid.

Den ser. Bolts C-RADIO v4-H visionsencoder ger den bild- och videoindata, och NVIDIAs modellkort rapporterar 50,86 på WebArena vision och 66,75 på BrowseComp. Ultra är en textmodell. Om agentens uppgift omfattar skärmbilder, PDF:er, läsning av instrumentpaneler eller webbläsarautomatisering med visuellt tillstånd, kan den äldre generationens flaggskepp inte användas som ersättning, oavsett pris.

Hur man väljer

Ta Ultra om arbetsbelastningen är resonemangstung och enbart text: flerstegsanalys, långa dokumentsamlingar, kodning över stora kodförråd, eller något där det är dyrt att ha fel. Dess oberoende poäng slår Bolt nästan överallt, priset är bland de lägsta i högintelligensklassen, och dess genomströmning är mätt snarare än antagen.

Välj Bolt om arbetsbelastningen körs på hårdvara du kontrollerar, behöver se, eller måste fortsätta köra när nätverket inte fungerar. Indexgapet på 1,5 punkter är verkligt och tillräckligt smalt för att beslutet oftast fattas utifrån driftsättning snarare än kvalitet — och det faktum att N​VIDIA har släppt en 24 GB-fil som ligger inom två punkter från sin egen 550B-flaggskeppsmodell är det mer nyhetsvärda faktumet av de två släppen.

Det finns en mellanväg värd att nämna, för det är så N​VIDIA positionerar familjen snarare än hur en köpare av en enda modell skulle göra: en liten lokal utförare som gör verktygsanrop och läser av skärmen, med en större hostad modell som sköter planering och krävande resonemang. Den arkitekturen behöver ett tillförlitligt sätt att nå den hostade halvan hos mer än en leverantör, vilket är vad OrcaRouters redundansväxling är till för – automatiskt återförsök hos flera leverantörer bakom en enda slutpunkt, på en nyckel som också når över 200 modeller till leverantörens listpris med 0 procents påslag. Vi hostar ingen N​VIDIA-modell; N​emotron-familjen finns inte i vår katalog, och inget här är ett påstående om att vi betjänar den. Poängen är bara att en tvåskiktad agentdesign behöver det andra skiktet vara dirigerbart, och en enda hårdkodad leverantörsslutpunkt är det vanliga sättet som en sådan design misslyckas på.

Vad skulle ändra den här sidan

Två mätningar. Den första är en oberoende körning av genomströmning och latens på 24GB-checkpointen, som antingen skulle bekräfta eller kullkasta argumentet för att använda den som lokal exekutor i interaktiv hastighet; i dag är det enda tillgängliga siffran NVIDIA:s egna 83,99 tokens per sekund på AIPerf SPEED-Bench-Coding, uppmätt på en maskin i laptopklass och inte jämförbar med panelens rigg. Den andra är en oberoende omkörning av de agentiska benchmarkarna på 2-bitarsvikterna vid en kvantisering som en tredje part kontrollerar — leverantörens tabell visar att Bolt slår Ultra på Terminal-Bench 2.1 med nästan 27 poäng, och det påståendet utför ett enormt arbete utan extern bekräftelse.

Inget av detta är ett skäl att undvika modellen, bara ett skäl att känna till historien: de dokumenterade AI-incidenterna och agentfelen bakom modeller i den här klassen finns samlade i OrcaRouter AI Incident Archive, där varje post har sina egna källor, allvarlighetsgrad, konfidensgrad och flagga för omstridd status.