Nemotron 3.5 Bolt 74B vs Kimi K3: En fil på 24 GB mot ett flaggskepp med 2,8 biljoner parametrar

De två modellerna i den här jämförelsen konkurrerar inte om samma plats, och siffrorna gör det uppenbart innan någon av leverantörerna har sagt ett ord. N​VIDIA N​emotron 3.5 Bolt 74B-A9B 24GB är en vision- och språkmodell med 74 miljarder parametrar som N​VIDIA komprimerade till en 2-bitars checkpoint som är tillräckligt liten för att rymmas i 24 gigabyte minne tillsammans med operativsystemet. Kimi K3 är M​oonshot AI:s flaggskepp med 2,8 biljoner parametrar, en modell med öppna vikter vars minsta gångbara driftsättning är ett rack. Den första är en fil som du kan kopiera till en bärbar dator och som N​VIDIA började leverera den 15 oktober 2026. Den andra är en arbetsbelastning som du hyr per token. Att läsa deras poäng sida vid sida är användbart just för att gapet är så stort att ingen kan låtsas att den mindre är en ersättare.

Det som verkligen är värt att göra på den här sidan är att ta reda på vart de 22 Intelligence Index-poängen tar vägen, och om några av dem landar på de uppgifter som en lokal agent faktiskt utför.

Vad som släpptes, och när

Bolt-repositoriet dök upp på Hugging Face den 7 oktober 2026; N​VIDIAs eget lanseringsinlägg som namnger det, ”Öppet från datacenter till skrivbord: N​VIDIA utökar N​emotron-familjen med Super VL- och Bolt-modeller med högsta effektivitet”, är daterat den 15 oktober. Själva modellkortet anger ett releasedatum på 15/10/2026. Den ordningen – vikter först, tillkännagivande åtta dagar senare – är viktig för alla som läser bevakningen av den här modellen, eftersom en veckas offentligt material består av en nedladdningsbar checkpoint och ett modellkort utan något pressmeddelande kopplat till sig.

I övrigt skiljer allt de två modellerna åt. Kimi K3 presenterades den 16 juli 2026 och vikterna följde den 27 juli, vilket gör den ungefär tre månader äldre och betydligt bättre dokumenterad av tredje parter.

• Arkitektur — N​VIDIA N​emotron 3.5 Bolt 74B-A9B 24GB är en Mamba-2–Transformer-hybrid LatentMoE med en C-RADIO v4-H visionskodare. Kimi K3 är en gles mixture-of-experts med 2,8 biljoner parametrar som aktiverar 104B parametrar per token över 16 av 896 experter, byggd på M​oonshot's K​imi Delta Attention.

• Parametrar — 74B totalt, 9B aktiva för NVIDIA-modellen; 2,8T totalt, 104B aktiva för Kimi K3. Den mindre modellen aktiverar mindre än en tiondel av den större modellens beräkning per token.

• Minnesavtryck — 24 GB vid 2-bitars kvantisering (IQ2-XXS vid 2,0625 bitar per element för expertvikterna, NVFP4 för Mamba-lager, Q8_0 för inbäddningar och utdata) mot vad en driftsättning med 2,8T parametrar än kostar, vilket inte är ett tal som den här sidan kan ange i gigabyte.

• Kontext — 262 144 tokens för N​VIDIA-modellen; 1 048 576 för Kimi K3, med fast prissättning oavsett längd.

• Indata – text, bilder och video in, text ut för båda.

• Licens — OpenMDW-1.1 för NVIDIA-checkpointen; Kimi K3-licensen för Moonshots vikter, tillåtande för de flesta användningsområden, med ett separat avtal som krävs vid årliga intäkter över 20 miljoner USD.

De oberoende talen, och det som inte finns

Artificial Analysis har kört båda modellerna, vilket är det som gör att den här jämförelsen överhuvudtaget går att besvara. Allt på tavlan mättes inte för båda, och luckorna är lika informativa som poängen.

• Intelligence Index — N​VIDIA N​emotron 3.5 Bolt 74B-A9B 24GB uppnår 21,4 och är fjärde av 67 modeller i sin storleksklass på panelens egen jämförelseuppsättning. Kimi K3 uppnår 43,6 i sitt maximala resonemangsläge och 30,1 i sitt låga läge. Båda siffrorna är oberoende uppmätta, inte leverantörsrapporterade.

• Kostnad per uppgift i Intelligence Index – NVIDIA-modellen har ingen siffra eftersom den inte har något avgiftsbelagt pris: Artificial Analysis anger överhuvudtaget ingen in- eller utpris för den. Kimi K3 kostar 2,00 USD i API-utgifter per indexuppgift vid 3,00 USD per miljon indatatoken och 15,00 USD per miljon utdata, mot 0,30 USD för cachad indata.

• Utdatningshastighet — Kimi K3 genererar 43,8 tokens per sekund med 3,6 sekunder till första token på panelens rigg. Det finns ingen oberoende genomströmningssiffra för NVIDIA-modellen; NVIDIA:s egen forskningssida publicerar 83,99 tokens per sekund på AIPerf SPEED-Bench-Coding med LiLiCorr-draftaren aktiverad, vilket är en leverantörsmätning på ett annat benchmark och en annan maskin.

• Terminal-Bench 2.1 – 85,0 för Kimi K3, i oberoende regi, mot Moonshots eget påstående om 88,3. NVIDIA rapporterar 50,98 för Bolt-modellen på sitt modellkort, så de två är inte på samma villkor: det ena talet har reproducerats utanför labbet och det andra inte.

• GPQA Diamond — 93,5 för Kimi K3 oberoende; 86,43 för NVIDIA-modellen enligt NVIDIAs publicering, utan någon oberoende siffra i panelen.

• Långkontextsåtervinning (AA-LCR) — 88,7 för Kimi K3 mot 69,7 för NVIDA-modellen, båda uppmätta.

• Vetenskaplig kodning (SciCode) — 59,5 för Kimi K3 mot 39,7 för N​VIDIA-modellen, båda uppmätta.

• Kunskapsnoggrannhet och hallucination — på AA-Omniscience landar Kimi K3 på 47,6 procents noggrannhet med 46,8 procents icke-hallucination; N​VIDIA-modellen landar på 17,1 procents noggrannhet med 56,3 procents icke-hallucination. Den kombinationen är den mest intressanta raden på resultattavlan och den minst smickrande för en enkel läsning av indexet: den komprimerade modellen vet mindre och erkänner det oftare.

Den mätning som saknas är den en köpare helst skulle vilja se. Ingen utanför NVIDIA har publicerat en testkörning av genomströmning eller latens på 24GB-checkpointen, vilket är hela poängen med att släppa en 24GB-checkpoint.

Vart de 22 poängen faktiskt tar vägen

Ett indexgap på 22 punkter låter som en kategorisk skillnad, och på vissa uppgifter är det det. Kimi K3 är bättre på vetenskaplig kodning med tjugo punkter, bättre på hämtning i långa kontexter med nitton och bättre på naturvetenskapliga frågor på avancerad nivå med mer än sju. Det är inte avrundningsfel och inte heller artefakter från jämförelseurvalet.

Men komprimeringshistorien bakom N​VIDIA-modellen är tillräckligt specifik för att förklara underskottets form. Checkpointen togs fram av Star Elastic, N​VIDIA:s routerstyrda arkitektursökning, som utgick från föräldramodellen 120B-A12B Super VL och sökte efter antalet experter och MoE-bredden per lager som skulle rymmas under 24GB vid batchstorlek ett och 128K-kontext, drog ned experternas top-K från 22 till 9 och kvantiserade sedan experterna till 2,0625 bitar per element med kvantiseringsmedveten destillation för att återställa noggrannheten. Det är ett medvetet utbyte av lagrad kunskap mot utrymme. En modell som har pressats ned till 2 bitar per expertvikt behåller sitt förfarande och förlorar sina fakta, vilket är varför hallucinationsraden förbättras medan noggrannhetsraden kollapsar.

NVIDIAs egen benchmarktabell för fram samma argument i motsatt riktning. Företaget publicerar Bolt-modellen som slår Qwen3.6-35B-A3B, Gemma4 26B-A4B och sin egen Nemotron 3.5 Lightning 30B-A3B på Terminal-Bench 2.1, GPQA Diamond, BrowseComp och WebArena vision — det vill säga på agentiska uppgifter och verktygsanvändningsuppgifter — samtidigt som den förlorar mot Gemma4 i AA-Omniscience-noggrannhet och mot Qwen3.6 på PinchBench. Agentisk exekvering är vad komprimeringen bevarade.

Båda är öppna vikter, vilket gör valet till en fråga om el

Det här är delen som skiljer matchningen från en jämförelse mot ett stängt API. Kimi K3:s vikter går att ladda ner. Om du har hårdvaran kan du köra 2,8T-modellen själv och inte betala något per token – samma erbjudande som 24GB-filen, i en helt annan skala. Ingen av modellerna här är låst bakom en leverantör som kan ändra sig om åtkomst.

Den praktiska uppdelningen är driftsättningsgeografi. En IQ2-checkpoint på 24 GB körs under vLLM på en enda A100-, H100- eller Blackwell-enhet, och NVIDIAs eget referensrecept nämner även llama.cpp och en GGUF-konvertering, vilket är hur den hamnar i lokala agentramverk på RTX- och DGX Spark-maskiner. Det rekommenderade serveringskommandot är inte en enradig växling: det låser en vLLM-nightly-build, kräver ett nedladdat reasoning-parser-plugin, behöver b12x-kärnorna för linear- och MoE-backendarna, ställer in explicita Mamba- och attention-backends och aktiverar spekulativ avkodning med sju LiLiCorr-utkasttoken. Det är ett recept för någon som tänker äga maskinen, inte för någon som vill ha en transkription.

Kimi K3 går i motsatt riktning. Hela dess design förutsätter att du hyr inferens, och priset är satt därefter – $3,00 in och $15,00 ut per miljon tokens är en medveten positionering i toppen av marknaden för öppna vikter.

Att köra jämförelsen i stället för att läsa den

Om du vill veta om en indexskillnad på 22 punkter spelar någon roll för din arbetsbelastning är det billiga experimentet att anropa den dyra halvan. Kimi K3 finns i OrcaRouters katalog som kimi/kimi-k3, på samma nyckel som resten av de över 200 modeller vi routar, faktureras till Moonshots provider-listpris utan påslag — så en prisändring från Moonshot slår igenom hos oss samma dag i stället för vid nästa faktureringscykel. Rikta en promptuppsättning som liknar din verkliga trafik mot den och mät skillnaden mot det du kör lokalt. OrcaRouter hostar ingen NVIDIA-modell och har ingen Bolt-endpoint att erbjuda; Nemotron-familjen finns inte i vår katalog, och den lokala halvan av den här jämförelsen förblir en hårdvarufråga oavsett.

Där routning faktiskt förtjänar sin plats här är i reservvägen. Kimi K3 är ett åtagande för en enda modell till en hög prisnivå, och felscenariot för en produktionsagent kopplad till en enda högkapabel modell är att ett kapacitetsproblem uppströms blir en incident. Automatisk redundansväxling mellan leverantörer bakom en enda slutpunkt gör det till ett nytt försök.

Hur man bestämmer

Regeln är kortare än vad gapet antyder.

Om ditt krav innehåller orden offline, privat, på enheten eller ingen kostnad per token, är Kimi K3 inte en kandidat och jämförelsen är över – en modell med 2,8 biljoner parametrar kommer inte att köras på maskinen du läser detta på, medan checkpointen på 24 GB kommer att göra det. Köp den bärbara datorn, acceptera 21,4 på indexet och rikta in den mot verktygsanvändning i stället för mot frågor om biokemi.

Om ditt krav är korrekthet vid svåra resonemang, arbete med lång kontext över hundratusentals tokens eller kodning i reposkala, är 24GB-modellen fel verktyg och indexgapet talar sanning för dig. Betala för Kimi K3.

Det som ingen av leverantörerna har avgjort är mellanfallet, eftersom det beror på en siffra som ingen har publicerat: hur snabbt 2-bitarscheckpointen faktiskt körs på hårdvara du kan köpa. Tills en oberoende genomströmningsmätning finns är det ärliga svaret på ”kan en 24 GB-fil ersätta en 2,8T flaggskeppsmodell för min agentloop” att intelligensklyftan är mätbar medan latensfrågan ännu inte är det.

För en modell vars fellägen fortfarande är odokumenterade är den användbara motsvarigheten registret över vad som redan har gått fel på andra håll: de dokumenterade AI-incidenterna och agentfelen kring modeller i den här klassen samlas i OrcaRouter AI Incident Archive, där varje post har sina egna källor, allvarlighetsgrad, konfidensgrad och flagga för omstridd status.