Nemotron 3.5 Bolt 74B vs Kimi K3: Een 24GB-bestand tegen een vlaggenschip met 2,8 biljoen parameters

De twee modellen in deze vergelijking concurreren niet om dezelfde plek, en de cijfers maken dat duidelijk nog voordat een van beide leveranciers een woord zegt. N​VIDIA N​emotron 3.5 Bolt 74B-A9B 24GB is een vision-languagemodel met 74 miljard parameters dat N​VIDIA heeft gecomprimeerd tot een 2-bits checkpoint dat klein genoeg is om samen met het besturingssysteem in 24 gigabyte geheugen te passen. Kimi K3 is het vlaggenschip van M​oonshot AI met 2,8 biljoen parameters, een open-weights-model waarvan de kleinste levensvatbare deployment een rack is. De eerste is een bestand dat je op een laptop kunt kopiëren en dat N​VIDIA op 15 oktober 2026 begon te leveren. De tweede is een workload die je per token huurt. Hun scores naast elkaar lezen is juist nuttig omdat het verschil zo groot is dat niemand kan doen alsof het kleinere model een vervanging is.

Wat op deze pagina echt de moeite waard is, is uitzoeken waar de 22 Intelligence Index-punten naartoe gaan, en of een van die punten terechtkomt bij de taken die een lokale agent daadwerkelijk uitvoert.

Wat is er uitgebracht, en wanneer

De Bolt-repository verscheen op 7 oktober 2026 op Hugging Face; de eigen aankondigingspost van N​VIDIA waarin deze wordt genoemd, "Open van datacenter tot desktop: N​VIDIA breidt de N​emotron-familie uit met de meest efficiënte Super VL- en Bolt-modellen", is gedateerd op 15 oktober. De modelkaart zelf vermeldt een releasedatum van 15-10-2026. Die volgorde — eerst de gewichten, acht dagen later de aankondiging — is van belang voor iedereen die berichtgeving over dit model leest, omdat een week van de publieke verslaglegging bestaat uit een te downloaden checkpoint en een modelkaart waaraan geen persbericht is gekoppeld.

Overigens worden de twee modellen door alles van elkaar gescheiden. Kimi K3 werd op 16 juli 2026 onthuld, met de gewichten die op 27 juli volgden, waardoor het ongeveer drie maanden ouder is en aanzienlijk beter gedocumenteerd door derden.

• Architectuur — N​VIDIA N​emotron 3.5 Bolt 74B-A9B 24GB is een Mamba-2–Transformer-hybride LatentMoE met een C-RADIO v4-H-beeldencoder. Kimi K3 is een sparse mixture-of-experts met 2,8 biljoen parameters, waarbij 104B parameters per token worden geactiveerd over 16 van de 896 experts, en is gebouwd op M​oonshot's K​imi Delta Attention.

• Parameters — 74B totaal, 9B actief voor het N​VIDIA-model; 2,8T totaal, 104B actief voor Kimi K3. Het kleinere model activeert minder dan een tiende van de per-token rekenkracht van het grotere model.

• Geheugengebruik — 24GB bij 2-bits kwantisatie (IQ2-XXS bij 2,0625 bits per element voor de expertgewichten, NVFP4 voor Mamba-lagen, Q8_0 voor embeddings en output) tegenover wat een deployment met 2,8 biljoen parameters kost, wat geen getal is dat deze pagina in gigabytes kan vermelden.

• Context — 262.144 tokens voor het N​VIDIA-model; 1.048.576 voor Kimi K3, met een vast tarief ongeacht de lengte.

• Invoer — tekst, afbeeldingen en video in, tekst uit voor beide.

• Licentie — OpenMDW-1.1 voor de NVIDIA-checkpoint; de Kimi K3-licentie voor Moonshot's gewichten, permissief voor de meeste toepassingen, met een aparte overeenkomst vereist boven $20 miljoen aan jaarlijkse omzet.

De onafhankelijke getallen, en het getal dat niet bestaat

Artificial Analysis heeft beide modellen getest, en dat is wat deze vergelijking überhaupt beantwoordbaar maakt. Niet alles op het scorebord is voor beide modellen gemeten, en de hiaten zijn even informatief als de scores.

• Intelligence Index — N​VIDIA N​emotron 3.5 Bolt 74B-A9B 24GB scoort 21,4, vierde van de 67 modellen in zijn grootteklasse op de eigen vergelijkingsset van het panel. Kimi K3 scoort 43,6 in zijn maximale redeneermodus en 30,1 in zijn lage modus. Beide cijfers zijn onafhankelijk gemeten, niet door de leverancier gerapporteerd.

• Kosten per Intelligence Index-taak — het N​VIDIA-model heeft geen cijfer omdat het geen tarief per gebruik heeft: Artificial Analysis vermeldt er helemaal geen input- of outputtarief voor. Kimi K3 kost $2.00 aan API-uitgaven per indextaak bij $3.00 per miljoen inputtokens en $15.00 per miljoen output, tegenover $0.30 voor gecachte input.

• Uitvoersnelheid — Kimi K3 genereert 43,8 tokens per seconde met 3,6 seconden tot het eerste token op de testopstelling van het panel. Er bestaat geen onafhankelijk doorvoercijfer voor het NVIDIA-model; NVIDIA's eigen onderzoekspagina publiceert 83,99 tokens per seconde op AIPerf SPEED-Bench-Coding met de LiLiCorr-drafter ingeschakeld, wat een leveranciersmeting op een andere benchmark en een andere machine is.

• Terminal-Bench 2.1 — 85,0 voor Kimi K3, onafhankelijk uitgevoerd, tegenover M​oonshots eigen claim van 88,3. N​VIDIA rapporteert 50,98 voor het Bolt-model op zijn modelkaart, dus de twee staan niet op gelijke voet: het ene cijfer is buiten het lab gereproduceerd en het andere niet.

• GPQA Diamond — 93,5 voor Kimi K3, onafhankelijk; 86,43 voor het NVIDIA-model zoals gepubliceerd door NVIDIA, zonder onafhankelijk cijfer in het panel.

• Retrieval met lange context (AA-LCR) — 88,7 voor Kimi K3 tegenover 69,7 voor het N​VIDIA-model, beide gemeten.

• Wetenschappelijk programmeren (SciCode) — 59,5 voor Kimi K3 tegenover 39,7 voor het N​VIDIA-model, beide gemeten.

• Kennisnauwkeurigheid en hallucinatie — op AA-Omniscience komt Kimi K3 uit op 47,6 procent nauwkeurigheid met 46,8 procent niet-hallucinatie; het N​VIDIA-model komt uit op 17,1 procent nauwkeurigheid met 56,3 procent niet-hallucinatie. Die combinatie is de interessantste rij op het bord en het minst flatteus voor een simpele lezing van de index: het gecomprimeerde model weet minder en geeft het vaker toe.

De ontbrekende meting is precies degene waar een koper het meest op zit te wachten. Niemand buiten NVIDIA heeft een doorvoer- of latentietest op de 24GB-checkpoint gepubliceerd, wat precies het hele punt is van het uitbrengen van een 24GB-checkpoint.

Waar de 22 punten daadwerkelijk naartoe gaan

Een indexverschil van 22 punten klinkt als een categorieverschil, en bij sommige taken is dat ook zo. Kimi K3 is twintig punten beter in wetenschappelijk programmeren, negentien punten beter in retrieval met een lange context, en meer dan zeven punten beter in wetenschapsvragen op masterniveau. Dat zijn geen afrondingsfouten en het zijn geen artefacten van de vergelijkingsset.

Maar het compressieverhaal achter het NVIDIA-model is specifiek genoeg om de vorm van het tekort te verklaren. Het checkpoint werd geproduceerd door Star Elastic, de router-gestuurde architectuurzoektocht van NVIDIA, die het 120B-A12B Super VL-parentmodel nam en zocht naar het aantal experts en de MoE-breedte per laag die onder 24GB zouden passen bij batchgrootte één en 128K-context, waarbij de expert-top-K van 22 naar 9 werd teruggebracht en de experts vervolgens werden gekwantiseerd naar 2,0625 bits per element met kwantisatiebewuste distillatie om de nauwkeurigheid te herstellen. Dat is een bewuste ruil van opgeslagen kennis voor voetafdruk. Een model dat in 2 bits per expertgewicht is samengeperst, behoudt zijn procedure en verliest zijn feiten, waardoor de hallucinatierij verbetert terwijl de nauwkeurigheidsrij instort.

De eigen benchmarktabel van NVIDIA maakt hetzelfde argument in de tegenovergestelde richting. Het bedrijf publiceert dat het Bolt-model Qwen3.6-35B-A3B, Gemma4 26B-A4B en zijn eigen Nemotron 3.5 Lightning 30B-A3B verslaat op Terminal-Bench 2.1, GPQA Diamond, BrowseComp en WebArena vision — dat wil zeggen op agentische taken en taken met toolgebruik — terwijl het verliest van Gemma4 op nauwkeurigheid op AA-Omniscience en van Qwen3.6 op PinchBench. Agentische uitvoering is wat de compressie heeft behouden.

Beide zijn open gewichten, waardoor de keuze om elektriciteit draait.

Dit is het punt dat deze confrontatie onderscheidt van een vergelijking met een gesloten API. De gewichten van Kimi K3 zijn downloadbaar. Als je de hardware hebt, kun je het 2,8T-model zelf draaien en niets per token betalen — hetzelfde voorstel als het 24GB-bestand, maar op een compleet andere schaal. Geen van beide modellen hier zit achter een leverancier die van gedachten kan veranderen over toegang.

De praktische scheidslijn is uitrolgeografie. Een IQ2-checkpoint van 24 GB draait onder vLLM op één enkele A100-, H100- of Blackwell-chip, en NVIDIA's eigen referentierecept noemt ook llama.cpp en een GGUF-conversie, waardoor het in lokale agent-harnesses op RTX- en DGX Spark-machines terechtkomt. Het aanbevolen serveercommando is geen eenregelige toggle: het zet een vLLM nightly-build vast, vereist een gedownloade reasoning-parser-plug-in, heeft de b12x-kernels nodig voor de lineaire en MoE-backends, stelt expliciete Mamba- en attention-backends in en schakelt speculatieve decoding in met zeven LiLiCorr-drafttokens. Dat is een recept voor iemand die de machine wil bezitten, niet voor iemand die een transcript wil.

Kimi K3 gaat de andere kant op. De hele opzet ervan gaat ervan uit dat je inference huurt, en de prijs is daarop afgestemd — $3,00 in en $15,00 uit per miljoen tokens is een bewuste positie aan de top van de open-weightsmarkt.

De vergelijking uitvoeren in plaats van deze te lezen

Als je wilt weten of een indexverschil van 22 punten iets uitmaakt voor jouw workload, is het goedkope experiment om de dure helft aan te roepen. Kimi K3 staat in de catalogus van OrcaRouter als kimi/kimi-k3, op dezelfde sleutel als de rest van de ruim 200 modellen die wij routeren, gefactureerd tegen de listprijs die M​oonshot als provider hanteert, zonder enige opslag — een prijswijziging van M​oonshot is bij ons dus dezelfde dag live in plaats van pas in de volgende factureringscyclus. Richt een promptset die op je echte verkeer lijkt erop af en meet het verschil met wat je lokaal draait. OrcaRouter host geen enkel N​VIDIA-model en heeft geen Bolt-endpoint te bieden; de N​emotron-familie staat niet in onze catalogus, en de lokale helft van deze vergelijking blijft sowieso een hardwarekwestie.

Waar routing hier wel zijn plek verdient, is het fallbackpad. Kimi K3 is een keuze voor één model tegen een hoge prijs, en de faalmodus van een productie-agent die aan één zeer capabel model is gekoppeld, is dat een capaciteitsprobleem upstream een incident wordt. Automatische failover tussen providers achter één endpoint maakt daar een retry van.

Hoe te beslissen

De regel is korter dan de kloof doet vermoeden.

Als je eisenpakket de woorden offline, privé, on-device of geen kosten per token bevat, is Kimi K3 geen kandidaat en is de vergelijking voorbij — een model met 2,8 biljoen parameters gaat niet draaien op de machine waarop je dit leest, en de 24GB-checkpoint wel. Koop de laptop, accepteer 21,4 op de index en richt hem op toolgebruik in plaats van op vragen over biochemie.

Als je behoefte bestaat uit correctheid bij moeilijke redeneertaken, werk met een lange context over honderdduizenden tokens, of coderen op repo-schaal, dan is het 24GB-model het verkeerde gereedschap en vertelt de indexkloof je de waarheid. Betaal voor Kimi K3.

Wat geen van beide leveranciers heeft beslecht, is het tussenliggende geval, want dat hangt af van een getal dat niemand heeft gepubliceerd: hoe snel de 2-bit-checkpoint daadwerkelijk draait op hardware die je kunt kopen. Zolang er geen onafhankelijke throughputmeting bestaat, is het eerlijke antwoord op "kan een bestand van 24GB een 2,8T-flagship vervangen voor mijn agent-loop" dat de intelligentiekloof meetbaar is en de latencykwestie nog niet.

Voor een model waarvan de faalmodi nog niet gedocumenteerd zijn, vormt het verslag van wat elders al is misgegaan de nuttige tegenhanger: de gedocumenteerde AI-incidenten en agentstoringen rond modellen in deze klasse zijn verzameld in the OrcaRouter AI Incident Archive, waarbij elke vermelding zijn eigen bronnen, ernstgraad, betrouwbaarheidsgraad en betwist-markering bevat.