Nemotron 3.5 Bolt 74B vs Qwen3.8-Max: De grootste kloof op het scorebord

Elke vergelijking in de N​emotron 3.5 Bolt-familie heeft een kloof. Deze heeft de grootste. N​VIDIA N​emotron 3.5 Bolt 74B-A9B 24GB scoort 21,4 op de Artificial Analysis Intelligence Index; Qwen3.8-Max, het vlaggenschip van A​libaba en het hoogst scorende model in deze reeks vergelijkingen, scoort 45,4 op dezelfde onafhankelijk beheerde ranglijst. Dat is 24 punten, meer dan de volledige indexscore van het kleinere model, en het is het eerlijke uitgangspunt voor iedereen die zich afvraagt of een lokale agent van 24GB de frontier kan vervangen.

Het kan niet. Wat het paar de moeite waard maakt om over te schrijven, is dat de twee modellen winnen op volledig verschillende rijen, en dat de eigen benchmarktabel van N​VIDIA Bolt vergelijkt met een Q​wen-model dat niet dit model is.

Twee modellen die niets gemeen hebben behalve multimodaliteit.

N​VIDIA N​emotron 3.5 Bolt 74B-A9B 24GB is een vision-languagemodel met 74 miljard parameters dat is gecomprimeerd tot een 2-bits checkpoint dat in 24 gigabyte geheugen past. De gewichten werden op 7 oktober 2026 op Hugging Face geplaatst; N​VIDIA noemde het in een lanceringsbericht op 15 oktober. Het is gebouwd voor lokaal agentisch werk — tool calling, browsen op het web, terminalgebruik, een scherm lezen — en het wordt verkocht als download in plaats van als service, zonder ergens een gepubliceerde prijs per gebruik.

Qwen3.8-Max is de tegenovergestelde constructie. A​libaba's topmodel is een sparse mixture-of-experts die het bedrijf direct positioneert tegenover de sterkste gesloten modellen uit zijn releasevenster, geleverd via drie wire formats — een O​penAI-compatibel oppervlak, een A​nthropic-compatibel oppervlak en A​libaba's eigen DashScope — in regio's in Peking, Singapore, Tokio, Frankfurt en Virginia. Het gehoste model werd gelanceerd op 3 augustus 2026 met beeld- en video-invoer, een context van een miljoen tokens en een denk-toggle; de snapshot van 2 september is de versie die momenteel op de leaderboards wordt gescoord. Het open-weight broertje in dezelfde familie, Qwen3.8-2.4T-A95B, is een aparte release en niet het model dat hier wordt gemeten.

Het ene is een bestand. Het andere is een dienst. De vergelijking heeft nog steeds nut, omdat de dienst een prijs publiceert en het bestand niet, en het verschil tussen beide is wat een lokale implementatie feitelijk koopt.

• Intelligentie-index — N​VIDIA N​emotron 3.5 Bolt 74B-A9B 24GB: 21,4. Qwen3.8-Max: 45,4. Beide onafhankelijk gemeten door Artificial Analysis.

• Context — 262.144 tokens voor het NVIDIA-checkpoint tegenover ongeveer 983.000 voor Qwen3.8-Max, met een maximale output van 131.072 tokens aan de Alibaba-zijde.

• Parameters — 74B totaal en 9B actief voor Bolt; het vlaggenschipniveau van Alibaba is een sparse mixture-of-experts van een geheel andere orde, waarbij in zijn open-weightvorm ongeveer 95B parameters per token worden geactiveerd.

• Invoer — tekst, afbeeldingen en video in, tekst uit voor beide. Dit is de enige dimensie waarop de twee echt op elkaar lijken.

• Prijs — Qwen3.8-Max: $2,00 per miljoen invoertokens, $6,00 per miljoen uitvoertokens, $0,25 voor gecachte invoer. Bolt: niets, want er is geen endpoint om te kopen.

• Kosten per Intelligence Index-taak — $5,41 voor Qwen3.8-Max, gemeten. Geen cijfer voor Bolt, om dezelfde reden.

• Snelheid — Qwen3.8-Max: 39,8 uitvoertokens per seconde met 3,06 seconden tot het eerste token en een mediane redeneertijd van 50,3 seconden per antwoord, allemaal onafhankelijk gemeten. Bolt: er bestaat geen onafhankelijke doorvoermeting.

De rijen, waar de 24 punten vandaan komen

Artificial Analysis heeft beide uitgevoerd. Het lezen van de details per rij is nuttiger dan de samengestelde score, omdat de samengestelde score verbergt dat geen van beide modellen consequent vooroploopt.

• Terminal-Bench 2.1 — Qwen3.8-Max 88,8 procent, onafhankelijk gemeten. Bolt heeft geen onafhankelijke vermelding in deze benchmark; N​VIDIA rapporteert 50,98 op zijn modelkaart.

• GPQA Diamond — Qwen3.8-Max 92,8 procent onafhankelijk. De 86,43 van Bolt is het eigen cijfer van N​VIDIA, en het panel heeft daarvoor geen onafhankelijk cijfer.

• Humanity's Last Exam, zonder hulpmiddelen — Qwen3.8-Max 43,1 procent tegenover Bolt's 24,7 procent, beide onafhankelijk gemeten.

• Ophalen met lange context (AA-LCR) — 80,3 procent tegen 69,7 procent, beide gemeten.

• Wetenschappelijk programmeren (SciCode) — 52,1 procent tegenover 39,7 procent, beide gemeten.

• Multimodale redenering (MMMU-Pro) — Qwen3.8-Max 82,8 procent, onafhankelijk gemeten. Bolt heeft geen onafhankelijke vermelding, wat een opmerkelijke omissie is voor een model waarvan het belangrijkste verkoopargument is dat het kan zien.

• Beroepsmatige deliverables (GDPval-AA) — Qwen3.8-Max 0,583 genormaliseerd ten opzichte van de 0,240 van Bolt, beide gemeten.

• Agentische en IT-operaties — Qwen3.8-Max scoort 42,4 procent op APEX-Agents, 40,3 procent op ITBench-SRE en 45,0 procent op een analist-agent-evaluatie. Bolt heeft in geen van die drie kolommen onafhankelijke scores.

• Non-hallucinatie (AA-Omniscience) — Qwen3.8-Max 71,2 procent tegenover de 56,3 procent van Bolt, met een nauwkeurigheid van 31,7 procent tegenover 17,1 procent. Anders dan bij de vergelijking Bolt versus Ultra, waar het gecomprimeerde model de kalibratierij wint, wint hier het vlaggenschip op beide.

• Kosten per indextaak — $5,41 voor Qwen3.8-Max. Dit is het hoogste kosten-per-taakcijfer in de reeks vergelijkingen rond dit model, en het is het getal dat de lokale optie interessant maakt, zelfs bij een achterstand van 24 punten.

Wat $5,41 per taak oplevert, en wat 24GB in plaats daarvan oplevert

De kostenstructuur van Qwen3.8-Max is ongebruikelijk voor een frontiermodel: de prijs per token van $2,00 in en $6,00 uit is gematigd, maar het model denkt lang na. De mediane redeneertijd tijdens de runs van het panel is 50,3 seconden, en de end-to-end reactietijd bedraagt gemiddeld 65,9 seconden. Een taak waarvoor het model een minuut intern beraad nodig heeft, genereert veel uitvoertokens, en de kosten per indextaak zijn de maatstaf die dat blootlegt. Dat is geen kritiek op het model — diepgaand redeneren is het product — maar het is de reden waarom een agent-loop met een hoog volume op dit niveau snel duur wordt.

Dat is precies de workload waarvoor Bolt is gebouwd. Een lokale checkpoint heeft helemaal geen per-tokenmeter: de marginale kosten van een tool call zijn elektriciteit, en de vaste kosten zijn een GPU. Voor een altijd actieve agent die duizenden kleine procedurele stappen uitvoert — een scherm lezen, een endpoint aanroepen, een bestand bewerken — is de vergelijking niet 21,4 tegenover 45,4, maar een constante tegenover een groeiende factuur. De eigen framing van N​VIDIA is dat Bolt bestaat zodat alledaagse agentische taken lokaal kunnen draaien zonder de workload naar de cloud te sturen, en rapporteert 50,86 op WebArena vision en 66,75 op BrowseComp voor precies die taken.

Het addertje onder het gras is dat de vaste kosten reëel zijn en de latentie onbekend. Het referentierecept voor serving van N​VIDIA bestaat uit meerdere stappen: een vastgezette vLLM nightly-build, het b12x-kernelpakket, een afzonderlijk gedownloade reasoning-parser-plugin, expliciete Mamba- en attention-backends, en een speculative-decodingconfiguratie die de LiLiCorr-drafter met zeven drafttokens gebruikt. De doorvoer wordt door N​VIDIA gepubliceerd als 83,99 tokens per seconde op AIPerf SPEED-Bench-Coding op een machine van laptopklasse — een leverancierscijfer op een leveranciersbenchmark, zonder een onafhankelijke run om het mee te vergelijken.

De basislijn die NVIDIA koos

Er is nog iets dat het opmerken waard is, en het is eerder een leesles dan een technische. De benchmarktabel op de modelkaart van Bolt bevat een Qwen-model als vergelijkingspunt — en het is Qwen3.6-35B-A3B, een veel kleiner model dan het vlaggenschip dat op deze pagina wordt gemeten. De tabel van NVIDIA laat zien dat Bolt wint op Terminal-Bench 2.1, GPQA Diamond, BrowseComp, GDPVal, Tau3 Banking, SciCode, AA-LCR en MCP-Atlas tegen dat model, terwijl Bolt verliest op AA-Omniscience accuracy, AA-Omniscience non-hallucination en PinchBench.

Die vergelijkingen zijn misschien wel correct. Maar een lezer die "Bolt verslaat Q​wen" uit de tabel haalt, vergelijkt een 74B edge-model met een 35B dense-class MoE, niet met de frontier-tier van A​libaba. Tegen Qwen3.8-Max wijst het onafhankelijke beeld op bijna elke gedeelde rij de andere kant op, en op de moeilijkste benchmarks wordt de kloof groter in plaats van kleiner. Wanneer een leverancier zijn eigen baselines kiest, is de eerlijke zet om te controleren wat de baseline is.

Hoe te beslissen

Kies Qwen3.8-Max wanneer correctheid de beperkende factor is. Als de taak meerstapsanalyse, moeilijke multimodale redenering, agentisch werk met echte gevolgen, of iets is dat wordt gemeten door de benchmarks waarop het 24 punten voorloopt, komt de lokale optie niet in aanmerking — en voor $2,00 en $6,00 per miljoen tokens is het geprijsd als infrastructuur in plaats van als luxe. Het is ook het model om te kiezen wanneer de workflow gestructureerde uitvoer, native tool-aanroepen en een context van een miljoen tokens in één aanroep nodig heeft, wat A​libaba allemaal als ondersteund documenteert.

Kies Bolt wanneer de beperking is waar het werk plaatsvindt. Privacy, offline werking, latentie die niet afhankelijk is van een netwerk, en een kostenpost per aanroep die niet bestaat, zijn vier afzonderlijke argumenten, en elk ervan is op zichzelf voldoende voor sommige teams. Het model is competent in procedures en zwak in recall; richt het op het eerste.

Voor het gehoste deel is Qwen3.8-Max via OrcaRouter bereikbaar als qwen/qwen3.8-max/ op dezelfde sleutel als 200-plus andere modellen, tegen de provider-listprijs van Alibaba zonder dat er opslag bovenop komt — wat betekent dat een prijswijziging van de leverancier dezelfde dag nog bij ons landt in plaats van aan het einde van een factureringscyclus. Dat weegt op dit niveau zwaarder dan op een goedkoop niveau, want $5.41 per indextaak is een getal dat een financelteam maandelijks opnieuw wil controleren. Waar routing de vorm van de beslissing verandert, is het volumeprobleem: een werklast die voor 90 procent uit kleine procedurele stappen bestaat en voor 10 procent uit zwaar redeneerwerk kan die 10 procent hierheen sturen en de rest lokaal houden, met automatische failover tussen providers, zodat het gehoste niveau degradeert tot een nieuwe poging in plaats van een storing.

Wij hosten geen enkel N​VIDIA-model en hebben geen Bolt-endpoint — de N​emotron-familie staat niet in onze catalogus, en het lokale deel van deze vergelijking is een hardwarekwestie waar geen enkele routeringslaag aan te pas komt.

Het onopgeloste nummer

Wat niemand heeft gepubliceerd, is de meting die deze vergelijking compleet zou maken: een onafhankelijke test van latentie en doorvoer op het 24GB-checkpoint bij batchgrootte één, op een machine die iemand kan kopen. Als een 2-bits 74B-checkpoint interactieve agentstappen blijkt te draaien met een bruikbare snelheid, wordt de kloof van 24 punten een kloof waar je omheen kunt routeren — lokaal voor procedures, gehost voor redeneren. Zo niet, dan is de lokale optie een batchtool en beperkt de vergelijking zich tot de prijs. Hoe dan ook, het antwoord is één publicatie verwijderd, en dat is het ding om naar te zoeken voordat je een deployment rond dit model plant.

Vergelijkingen zoals deze zijn ook waar de faalmodi naar voren komen: de gedocumenteerde AI-incidenten en agent-fouten achter modellen in deze klasse zijn verzameld in het OrcaRouter AI Incident Archive, waar elke vermelding zijn eigen bronnen, ernst, betrouwbaarheidsgraad en betwistingsmarkering bevat.