Nemotron 3.5 Bolt 74B vs Nemotron 3 Ultra: 1,5 indexpunten, zeven keer zoveel parameters

Het meest verrassende cijfer in de NVIDIA Nemotron 3.5-familie is niet de grootte van het vlaggenschip. Het is dat NVIDIA Nemotron 3.5 Bolt 74B-A9B 24GB, een checkpoint met 74 miljard parameters dat in 24 gigabyte is geperst bij twee bits per gewicht, binnen 1,5 punt blijft van Nemotron 3 Ultra, het model met 550 miljard parameters waaruit de rest van de familie is gedistilleerd, op de onafhankelijk uitgevoerde Intelligence Index van Artificial Analysis — 21,4 tegen 22,9. Zeven keer zoveel parameters, zes keer zoveel actieve rekenkracht per token, en een verschil dat je in de foutmarge van een benchmark zou kunnen verliezen. De gewichten van Bolt verschenen op 7 oktober 2026 op Hugging Face, met de aankondiging van NVIDIA die op 15 oktober volgde; Ultra verscheen op 4 juni 2026.

De twee modellen zijn niet uitwisselbaar, en de plaatsen waarop ze verschillen zijn leerzamer dan de hoofdscore. Wat de compressie behield en wat ze wegliet, zijn beide zichtbaar in de gepubliceerde cijfers, en het zijn niet dezelfde rijen.

Wat elk is

Ultra is het vlaggenschip van de vorige generatie en de leraar in het centrum van N​VIDIA's distillatiepijplijn. Het is een Mamba-2-hybride met 550B totaal en 55B actief, met Multi-Token Prediction, uitgebracht onder OpenMDW-1.1 met zijn trainingsdata en recepten, gebouwd voor langdurig agentisch werk met tot een miljoen tokens context en een uitvoerlimiet van 65.000 tokens per verzoek. N​VIDIA's eigen claim ervoor was dat het het intelligentste Amerikaanse open-weights-model van zijn releasevenster was, en de onafhankelijke gegevens ondersteunen dat grotendeels: het panel geeft het een score van 22,9 in zijn redeneerconfiguratie, met een gemeten 156 uitvoertokens per seconde, 1,29 seconden tot het eerste token en een mediane end-to-end responstijd van 19 seconden.

Bolt is de edge-tier van de nieuwere generatie, en het is geen distilled-Ultra in directe zin. Het moedermodel is N​emotron 3.5 Super VL 120B-A12B, het multimodale model met 120 miljard parameters dat N​VIDIA tegelijk met Bolt uitbracht. De compressie werd uitgevoerd door Star Elastic, de router-gestuurde architecture search van N​VIDIA, die optimaliseerde voor het laagste kennisdistillatieverlies dat voldeed aan een harde voetafdruk van minder dan 24GB bij batchgrootte 1 en 128K-context — waarbij expert-top-K van 22 naar 9 werd teruggebracht en expertgewichten werden gequantiseerd naar IQ2-XXS op 2,0625 bits per element, met kwantisatiebewuste distillatie om de nauwkeurigheid te herstellen. Het heeft een C-RADIO v4-H vision encoder omdat zijn moedermodel multimodaal was.

De onafhankelijke rijen, beide zijden

Alles hieronder is afkomstig van Artificial Analysis, tenzij anders aangegeven, en dat is precies wat de vergelijking bruikbaar maakt: beide modellen zijn door dezelfde evaluator in dezelfde testomgeving gedraaid.

• Intelligentie-index — Bolt 21,4; Ultra 22,9. Onafhankelijk gemeten voor beide.

• GDPval-AA (genormaliseerd) — Bolt 0,240; Ultra 0,257. Een verschil van 1,7 punt op een benchmark die is opgebouwd uit echte beroepsmatige deliverables.

• SciCode — Bolt 0.397; Ultra 0.403. Praktisch gelijk.

• Humanity's Last Exam, zonder hulpmiddelen — Bolt 24,7 procent; Ultra 28,4 procent. De kloof van vier punten is hier relatief gezien de grootste op deze lijst.

• AA-LCR long-contextretrieval — Bolt 69,7 procent; Ultra 79,3 procent. Tien punten, en het duidelijkste bewijs van wat 2-bitcompressie kost.

• AA-Omniscience — Bolt 17,1 procent nauwkeurigheid met 56,3 procent niet-hallucinatie; Ultra 22,6 procent nauwkeurigheid met 70,3 procent niet-hallucinatie. Het vlaggenschip is zowel kennisrijker als beter gekalibreerd, wat het minst verrassende resultaat op de pagina is.

• Terminal-Bench 4.0 (moeilijkere set) — beide scoren nul. Geen van beide modellen lost dat niveau op, het topmodel inbegrepen.

• Contextvenster — Bolt: tot 256.000 tokens volgens de modelkaart, en 262.144 volgens de registratie van het panel. Ultra: tot 1.000.000 volgens N​VIDIA, met een maximale uitvoer van 65.000 tokens.

• Invoer — Bolt: tekst, afbeeldingen en video in, tekst uit. Ultra: tekst in, tekst uit. In het release-materiaal van het vlaggenschip wordt nergens een vision tower geclaimd.

• Prijs — Bolt: geen. Er is geen gepubliceerd tarief op basis van verbruik voor de 24GB-checkpoint, en het paneel vermeldt er geen invoer- of uitvoercijfer voor. Ultra: $0,60 per miljoen invoertokens en $2,50 per miljoen uitvoertokens, met gecachte invoer tegen $0,16, en een gemeten uitgave van $0,60 per Intelligence Index-taak.

• Snelheid — Bolt: geen onafhankelijke meting. Ultra: 156,1 outputtokens per seconde, 1,29 seconden tot het eerste token, mediaan 14,6 seconden redeneertijd per antwoord.

• Voetafdruk — Bolt: 24GB bij IQ2, inzetbaar op één A100, H100 of Blackwell-onderdeel. Ultra: een implementatie op meerdere accelerators; NVIDIA's eigen recept voor de teacher-checkpoints in deze familie noemt vier B200's of acht H100's als ondergrens, en Ultra is het grootste lid.

Waarom het indexverschil kleiner is dan het grootteverschil, en wat dat betekent.

Er zijn twee eerlijke verklaringen en beide zijn waarschijnlijk gedeeltelijk waar.

Het eerste is dat de Intelligence Index een samengestelde maatstaf is die procedure meer beloont dan het ophalen van feiten. Bolt verloor zijn opgeslagen feiten door 2-bits kwantisatie — je ziet het in de nauwkeurigheidsrijen — maar behield genoeg van het gedrag rond chain-of-thought, het aanroepen van tools en gestructureerde output om te scoren op de samengestelde taken. Merk op dat de voorsprong van Ultra zich precies concentreert waar geheugen ertoe doet: long-contextretrieval, alwetendheidsnauwkeurigheid, hallucinatiegraad, moeilijke bètawetenschapsvragen die een feit vereisen in plaats van een methode.

Het tweede is dat architectuurzoek op een sterke ouder een beter gebruik van een vast budget is dan een klein model vanaf nul te trainen, wat NVIDIA's expliciete argument in de Bolt-documentatie is. Een 120B multimodale teacher nemen en zoeken naar de breedste student die in 24GB past, is een andere exercitie dan het vooraf trainen van een 30B-model, en het resulterende 74B/9B-checkpoint zit waar een ongewoon efficiënte 74B zou zitten.

Wat dat niet betekent, is dat Bolt Ultra vervangt. Een model dat vaker onzekerheid toegeeft (56,3 tegenover 70,3 procent niet-hallucinatie, in de verkeerde richting) en minder betrouwbaar informatie uit een lange context ophaalt, is een slechtere assistent voor de vragen die mensen daadwerkelijk stellen. Het is een betere assistent voor taken die overwegend procedureel van aard zijn: tools aanroepen, formulieren invullen, bestanden bewerken, een screenshot lezen en op het juiste element klikken.

De twee dingen die Ultra niet kan

De voordelen van Bolt zijn beperkt, en beide zijn structureel in plaats van numeriek.

Het past. Een checkpoint van 24 GB draait op hardware die iemand zelf bezit, zonder netwerk, zonder meter per token en zonder onderhandeling over capaciteit. Ultra's intelligentie is alleen bereikbaar via een API, tegen $0,60 in en $2,50 out per miljoen tokens en ongeveer $0,60 aan kosten per indextaak. Die prijs is echt laag voor een model in zijn klasse, en daarom is de gehoste route een echte optie in plaats van een compromis — maar het blijft een route die connectiviteit vereist en vertrouwen in de uptime van iemand anders.

Het ziet. De C-RADIO v4-H vision-encoder van Bolt voorziet het van beeld- en video-invoer, en de modelkaart van NVIDIA meldt 50,86 op WebArena vision en 66,75 op BrowseComp. Ultra is een tekstmodel. Als het werk van de agent screenshots, pdf's, het lezen van dashboards of browserautomatisering met visuele status omvat, kan het vlaggenschip van de oudere generatie tegen geen enkele prijs als vervanging worden ingezet.

Hoe te kiezen

Kies Ultra als de workload veel redeneerwerk en alleen tekst bevat: analyse in meerdere stappen, lange documentsets, coderen over grote repositories, of alles waarbij een fout kostbaar is. De onafhankelijke scores verslaan Bolt bijna overal, de prijs behoort tot de laagste in het segment voor hoge intelligentie, en de doorvoer is gemeten in plaats van aangenomen.

Kies Bolt als de workload draait op hardware die je zelf beheert, moet kunnen zien, of moet blijven draaien wanneer het netwerk uitvalt. Het verschil van 1,5 punt in de index is reëel en smal genoeg dat de beslissing meestal op basis van deployment wordt genomen in plaats van op kwaliteit — en het feit dat NVIDIA een bestand van 24GB heeft uitgebracht dat binnen twee punten van zijn eigen 550B-vlaggenschip scoort, is het nieuwswaardigere feit van de twee releases.

Er is een middenweg die het verdient om genoemd te worden, want het is hoe N​VIDIA de familie positioneert, niet hoe een koper van één model dat zou doen: een kleine lokale executor die tool-aanroepen en het lezen van het scherm doet, met een groter gehost model dat planning en complexe redeneertaken afhandelt. Die architectuur heeft een betrouwbare manier nodig om de gehoste helft via meer dan één provider te bereiken, wat het doel is van de failover van OrcaRouter — automatische retry bij meerdere providers achter één endpoint, op een key die ook 200-plus modellen bereikt tegen de lijstprijs van de provider, met 0 procent toegevoegde opslag. Wij hosten geen enkel N​VIDIA-model; de Nemotron-familie staat niet in onze catalogus, en niets hier is een claim dat wij die aanbieden. Het punt is alleen dat een tweetraps agentontwerp vereist dat de tweede laag routeerbaar is, en één hardgecodeerd leveranciers-endpoint is de gebruikelijke manier waarop dat ontwerp faalt.

Wat zou deze pagina veranderen

Twee metingen. De eerste is een onafhankelijke doorvoer- en latentietest op de 24GB-checkpoint, die het pleidooi voor het gebruik ervan als lokale executor bij interactieve snelheid ofwel zou bevestigen ofwel tenietdoen; vandaag is het enige beschikbare cijfer N​VIDIA's eigen 83,99 tokens per seconde op AIPerf SPEED-Bench-Coding, gemeten op een machine uit de laptopklasse en niet vergelijkbaar met de testopstelling van het panel. De tweede is een onafhankelijke herhaling van de agentische benchmarks op de 2-bit-gewichten bij een kwantisatie die door een derde partij wordt gecontroleerd — de leverancierstabel laat Bolt Ultra verslaan op Terminal-Bench 2.1 met bijna 27 punten, en die bewering verricht enorm veel werk zonder bevestiging van buitenaf.

Niets hiervan is een reden om het model te vermijden, alleen een reden om de geschiedenis te kennen: de gedocumenteerde AI-incidenten en agentstoringen achter modellen in deze klasse zijn verzameld in het OrcaRouter AI Incident Archive, waar elke vermelding zijn eigen bronnen, ernstgraad, betrouwbaarheidsclassificatie en betwist-markering bevat.