Nemotron 3.5 Bolt vs Kimi K3: en nedladdning på 24 GB mot en läsare med 2,8 biljoner parametrar

Det ärliga korta svaret är att dessa två modeller inte tävlar om samma uppgift, och anledningen går att mäta i en enda siffra. Kimi K3 har 1 048 576 tokens i kontext. NVIDIA Nemotron 3.5 Bolt 74B-A9B 24GB har 262 144. Om din uppgift är att ”läsa hela denna korpus och svara i ett svep”, är 24GB-checkpointen diskvalificerad innan något annat om den spelar någon roll – och om din uppgift är att ”köra på en arbetsstation utan nätverk, utan mätare och utan leverantör inblandad”, är Kimi K3 inte heller med i diskussionen. Kimi K3 är en mixture-of-experts-modell med 2,8 biljoner parametrar som publicerades av Moonshot AI den 15 juli 2026 under ett proprietärt hostat API. Nemotron 3.5 Bolt 74B-A9B 24GB är en fil med öppna vikter som använder 9 miljarder av sina 74 miljarder parametrar för varje given token och får plats i 24GB minne.

Bolt-checkpointen lades upp på Hugging Face den 7 oktober 2026 utan något tillhörande tillkännagivande. NVIDIAs eget inlägg som namngav modellen – och dess 4 GB-stora syskon, Nemotron 3.5 Bolt E4B – kom den 15 oktober, åtta dagar senare. Den ordningen är värd att känna till eftersom den avgör vad som går att kontrollera: åtta dagar av det offentliga materialet består av en nedladdningsbar fil och ett modellkort, och prosan som förklarar det kom efteråt.

Vad varje modell är byggd för att göra

Kimi K3 är Moonshots flaggskepp och bolagets hittills mest kapabla lansering: en gles mixture-of-experts-modell med 2,8 biljoner parametrar, varav omkring 104 miljarder parametrar är aktiva per token, byggd för kodning över långa horisonter och end-to-end-kunskapsarbete, som tar emot text och bilder och returnerar text. Den tillhandahålls som tjänst, inte som nedladdning. Det finns ingen nedladdning, ingen kvantiserad version att köra lokalt och ingen version av den som är tillräckligt liten för en laptop.

Nemotron 3.5 Bolt är den motsatta konstruktionen. NVIDIA tog sin 120B-A12B Nemotron 3.5 Super VL-modell, tillämpade en routerstyrd kompression som den kallar Star Elastic för att nå 74B-A9B, och kvantiserade sedan resultatet till 2,0625 bitar per expertelement – ett IQ2_XXS-format – med kvantiseringsmedveten destillation för att återställa den noggrannhet som prissättningen kostar. Stommen är en hybrid av Mamba-2 och Transformer som leverantören kallar LatentMoE, med en C-RADIO v4-H visionskodare för bild- och videoindata. Den körs under vLLM på Ampere-, Hopper- och Blackwell-delar, och på RTX Spark- och DGX Spark-hårdvara via llama.cpp, under OpenMDW-1.1-licensen som tillåter kommersiell användning.

Att läsa en lång korpus, prissatt

Det är här jämförelsen blir aritmetik snarare än preferens. Kimi K3 routas på OrcaRouter till Moonshots listpris utan något påslag: 3,00 USD per miljon indatatoken, 15,00 USD per miljon utdatatoken och cachade läsningar för 0,30 USD. Dess p50-tid till första token i vår katalog är 7,02 sekunder med en p95 på 10,00 sekunder, och den hanterade 990,6 miljoner tokens routad trafik över vår katalog under de senaste sju dagarna – långkontextläsning i stor skala är en verklig arbetsbelastning snarare än ett tankeexperiment.

Nemotron 3.5 Bolt har inget pris, eftersom det inte finns något att prissätta. Det finns ingen hostad endpoint för den, inget leverantörs-API, ingen prislista, och Artificial Analysis listar både dess hastighet och dess kostnad per Intelligence Index-uppgift som N/A av just den anledningen. Vad den i stället har är ett minnestak som man köper en gång, och en marginalkostnad som avrundas till elräkningen. För en pipeline som läser en fast korpus varje natt är skillnaden mellan 3 USD per miljon indatatokens och noll inte en rabatt — det är en annan redovisningsmodell, och brytpunkten är en fråga om kapitalutgifter som din ekonomiavdelning svarar på, inte den här artikeln.

Vision är inte den avgörande faktorn som folk antar

Båda modellerna tar emot bilder. Det är där likheten slutar.

• Indata — Kimi K3 tar emot text och bilder; Nemotron 3.5 Bolt tar emot text, bilder och video. För en agent som tittar på en skärminspelning eller samplar bildrutor från en kameraström kan endast en av dessa ges filen direkt.

• Precisionen i visionsvägen — Bolt har en specialbyggd C-RADIO v4-H-visionencoder och ärver sitt multimodala beteende från Super VL-klienten som den komprimerades från; Kimi K3:s visuella förståelse dokumenteras som inbyggd men är inte den del av modellen som Moonshot framhåller. NVIDIA:s egen tabell listar en WebArena-visionpoäng på 50,86 för Bolt; behandla den som leverantörsrapporterad.

• Reasoningskontroll — Kimi K3 exponerar ingen temperature, ingen top_p och ingen seed, där resonemangsdjupet enbart styrs av en reasoning-effort-parameter; Bolts reasoning-läge är en chat-template-omkopplare, enable_thinking true eller false, ärvd från samma Super VL-klient.

• Spekulation — Bolt levereras med en LiLiCorr-drafter som drivs via DFlash och föreslår sju token i förväg per steg, vilket är mekanismen bakom NVIDIAs påstående om 84 token per sekund på AIPerf SPEED-Bench. Det finns ingen motsvarande hävstång på en hostad slutpunkt; du får vad operatören tillhandahåller.

Det uppmätta gapet, och vad det består av

Artificial Analysis placerar Kimi K3 på 43,6 i sitt Intelligence Index och Nemotron 3.5 Bolt på 21. Det går inte att tolka det som att de ligger nära. Kimi K3:s stödjande rader är starka på de ställen där en långkontextläsare behöver dem – ett AA Coding Index på 76,2 på nionde plats av 138 uppmätta modeller, en GPQA Diamond-poäng på 93,5 och en siffra för långkontextsåterkallelse på 88,7, vilket är siffran som säger att fönstret på en miljon token är användbart snarare än bara deklarerat.

Bolt's 21 är ett annat slags resultat. Det är den fjärde högsta poängen bland 67 modeller i dess footprint-filtrerade klass, mot en klassmedian på 8, och Artificial Analysis beskriver den som en av de ledande modellerna med öppna vikter av liknande storlek. Det rätta sättet att förhålla sig till båda siffrorna är att den ena mäter vad ett frontlinjelabb kan göra utan minnesbegränsning och den andra mäter vad 24GB kan rymma. Tjugotvå indexpoäng är priset för begränsningen, inte ett bevis på att den mindre modellen byggdes dåligt.

Det som saknas på Bolts sida är någon oberoende mätning av hur snabb den är. NVIDIA uppger minst 80 tokens per sekund för avkodning som designmål och 84 i sin egen bänk, med 83,99 tokens per sekund i en llama.cpp-körning på en Surface Laptop Ultra med 128 GB. Vid skrivandet har ingen tredje part publicerat någon genomströmnings- eller latenssiffra för 24 GB-vikterna. Kimi K3:s latens är däremot uppmätt och offentlig — 7,02 sekunder p50 till första token, 10,00 sekunder p95 — och det är de siffrorna man bör planera efter, inte leverantörens.

Där ett routinglager ändrar svaret

Kimi K3 finns i vår katalog som kimi/kimi-k3 till Moonshots listpris med 0 % påslag, bakom samma nyckel som över 200 andra modeller, med automatisk redundansväxling mellan uppströmsleverantörer när en försämras. Nemotron 3.5 Bolt finns inte i vår katalog – vi är inte värd för någon NVIDIA-checkpoint och det finns ingen Bolt-endpoint att anropa – så routingfrågan här är inte vilken av de två vi tillhandahåller. Det är hur de två halvorna av en verklig pipeline kommunicerar med varandra.

Mönstret som fungerar är en lokal läsare och en hostad resonerare. Bolt finns på din hårdvara och hanterar de högfrekventa körningar där data inte får lämna byggnaden och volymen skulle göra fakturering per token smärtsam. Kimi K3 hanterar de förfrågningar som behöver ett fönster på en miljon token eller resonemang i frontmodellsklass, till $3 och $15 per miljon token. Sätt en routningsregel framför båda, så blir uppdelningen en rad konfiguration i stället för en refaktorering: en förfrågan som överskrider den lokala kontextbudgeten går till Kimi K3, allt annat stannar på arbetsstationen. Modellfusion är varianten som är värd att känna till om de dyra anropen är de viktiga – flera modeller svarar på samma prompt tillsammans och du använder samstämmigheten.

Vad du ska titta på

Den specifika bevisning som skulle avgöra denna parvisa jämförelse är begränsad och nära förestående. En första oberoende mätkörning för genomströmning och latens på 24GB Bolt-vikterna skulle antingen bekräfta NVIDIAs 84 tokens per sekund eller minska den siffran; ett publicerat pris för hostad Bolt skulle göra kostnadsdelen av denna jämförelse till ren aritmetik; och en andra mätning av återkallning över lång kontext för Kimi K3 skulle bekräfta att dess 88,7 är en egenskap hos modellen snarare än en egenskap hos ett enskilt utvärderingsramverk.

Fram till dess är sammanfattningen snävare än endera leverantörens inramning. Kimi K3 är den bättre modellen på varje axel som ett benchmark kan mäta, och det är den enda av de två som du kan anropa i eftermiddag. Nemotron 3.5 Bolt är den enda av de två som fortsätter att fungera när nätverket inte gör det, och den enda vars marginalkostnad per token är noll. Välj den andra för arbete som aldrig borde ha skickats någonstans, och den första för arbete som behöver räckvidd.