Nemotron 3.5 Bolt 74B vs Kimi K3: un file da 24 GB contro un modello di punta da 2,8 trilioni di parametri

I due modelli in questo confronto non competono per lo stesso posto, e i numeri lo rendono chiaro prima ancora che l'uno o l'altro fornitore dica una parola. N​VIDIA N​emotron 3.5 Bolt 74B-A9B 24GB è un modello visione-linguaggio da 74 miliardi di parametri che N​VIDIA ha compresso in un checkpoint a 2 bit, abbastanza piccolo da stare in 24 gigabyte di memoria insieme al sistema operativo. Kimi K3 è il modello di punta di M​oonshot AI da 2,8 trilioni di parametri, un modello a pesi aperti la cui più piccola implementazione praticabile è un rack. Il primo è un file che puoi copiare su un laptop che N​VIDIA ha iniziato a distribuire il 15 ottobre 2026. Il secondo è un carico di lavoro che noleggi a token. Leggere i loro punteggi fianco a fianco è utile proprio perché il divario è così ampio che nessuno può fingere che quello più piccolo sia un sostituto.

Ciò che vale davvero la pena fare in questa pagina è capire dove finiscono i 22 punti dell'Intelligence Index, e se qualcuno di essi ricade sulle attività che un agente locale svolge effettivamente.

Cosa è stato spedito, e quando

Il repository Bolt è apparso su Hugging Face il 7 ottobre 2026; il post di lancio di N​VIDIA stessa che lo nomina, "Open From Data Center to Desktop: N​VIDIA Expands N​emotron Family With Highest Efficiency Super VL and Bolt Models," è datato 15 ottobre. La scheda del modello stessa riporta una data di rilascio del 15/10/2026. Questo ordine — prima i pesi, annuncio otto giorni dopo — è importante per chiunque legga la copertura di questo modello, perché una settimana della documentazione pubblica è composta da un checkpoint scaricabile e da una scheda del modello senza alcun comunicato stampa ad essa allegato.

Per il resto, i due modelli sono separati da tutto. Kimi K3 è stato presentato il 16 luglio 2026, con i pesi pubblicati il 27 luglio, il che lo rende più vecchio di circa tre mesi e notevolmente meglio documentato da terzi.

Architettura — NVIDIA Nemotron 3.5 Bolt 74B-A9B 24GB è un LatentMoE ibrido Mamba-2–Transformer con un encoder visivo C-RADIO v4-H. Kimi K3 è un mixture-of-experts sparso da 2,8 trilioni di parametri che attiva 104B parametri per token su 16 di 896 esperti, basato sulla Kimi Delta Attention di Moonshot.

• Parametri — 74B totali, 9B attivi per il modello N​VIDIA; 2,8T totali, 104B attivi per Kimi K3. Il modello più piccolo attiva meno di un decimo del calcolo per token del modello più grande.

• Occupazione di memoria — 24GB con quantizzazione a 2 bit (IQ2-XXS a 2,0625 bit per elemento per i pesi degli esperti, NVFP4 per i livelli Mamba, Q8_0 per embedding e output) rispetto a quanto possa costare un deployment da 2,8 T di parametri, che non è un numero che questa pagina possa esprimere in gigabyte.

• Contesto — 262.144 token per il modello NVIDIA; 1.048.576 per Kimi K3, con tariffa fissa indipendentemente dalla lunghezza.

• Input — testo, immagini e video in ingresso, testo in uscita per entrambi.

• Licenza — OpenMDW-1.1 per il checkpoint NVIDIA; la Kimi K3 License per i pesi di Moonshot, permissiva per la maggior parte degli usi, con un accordo separato richiesto oltre i 20 milioni di dollari di fatturato annuo.

I numeri indipendenti, e quello che non esiste

Artificial Analysis ha eseguito entrambi i modelli, ed è proprio questo che rende possibile rispondere a questo confronto. Non tutto ciò che compare nella tabella è stato misurato per entrambi, e le lacune sono informative quanto i punteggi.

• Intelligence Index — NVIDIA Nemotron 3.5 Bolt 74B-A9B 24GB ottiene 21,4, quarto su 67 modelli della sua classe di dimensioni sul set di confronto proprio del panel. Kimi K3 ottiene 43,6 nella sua modalità di ragionamento massima e 30,1 nella modalità bassa. Entrambi i valori sono misurati in modo indipendente, non riportati dal fornitore.

• Costo per attività dell'Intelligence Index — il modello N​VIDIA non ha un valore perché non ha un prezzo a consumo: Artificial Analysis non elenca alcuna tariffa di input o output per esso. Kimi K3 costa 2,00 $ di spesa API per attività dell'indice a 3,00 $ per milione di token di input e 15,00 $ per milione di output, contro 0,30 $ per l'input in cache.

• Velocità di output — Kimi K3 genera 43,8 token al secondo con 3,6 secondi al primo token sulla configurazione del panel. Non esiste alcun dato indipendente di throughput per il modello NVIDIA; la pagina di ricerca di NVIDIA stessa pubblica 83,99 token al secondo su AIPerf SPEED-Bench-Coding con il drafter LiLiCorr abilitato, che è una misurazione del fornitore su un benchmark diverso e una macchina diversa.

• Terminal-Bench 2.1 — 85,0 per Kimi K3, eseguito in modo indipendente, contro la dichiarazione di 88,3 di M​oonshot stessa. N​VIDIA riporta 50,98 per il modello Bolt sulla sua model card, quindi i due non sono sullo stesso piano: un numero è stato riprodotto fuori dal laboratorio e l'altro no.

• GPQA Diamond — 93,5 per Kimi K3 in modo indipendente; 86,43 per il modello NVIDIA come pubblicato da NVIDIA, senza alcun dato indipendente nel panel.

• Recupero di contesto lungo (AA-LCR) — 88,7 per Kimi K3 contro 69,7 per il modello NVIDIA, entrambi misurati.

• Programmazione scientifica (SciCode) — 59,5 per Kimi K3 contro 39,7 per il modello NVIDIA, entrambi misurati.

• Accuratezza delle conoscenze e allucinazione — su AA-Omniscience, Kimi K3 si attesta a un'accuratezza del 47,6 per cento con una non-allucinazione del 46,8 per cento; il modello N​VIDIA si attesta a un'accuratezza del 17,1 per cento con una non-allucinazione del 56,3 per cento. Questa combinazione è la riga più interessante della tabella e la meno lusinghiera per una lettura semplice dell'indice: il modello compresso sa meno e lo ammette più spesso.

La misurazione mancante è quella che un acquirente vorrebbe di più. Nessuno al di fuori di N​VIDIA ha pubblicato una prova di throughput o latenza sul checkpoint da 24GB, che è esattamente il punto di rilasciare un checkpoint da 24GB.

Dove vanno effettivamente i 22 punti

Un divario di 22 punti nell'indice sembra una differenza di categoria, e in alcuni compiti lo è. Kimi K3 è migliore nella programmazione scientifica di venti punti, migliore nel recupero a contesto lungo di diciannove e migliore nelle domande scientifiche di livello post-laurea di oltre sette. Non sono errori di arrotondamento e non sono artefatti del set di confronto.

Ma la storia della compressione dietro il modello NVIDIA è abbastanza specifica da spiegare la forma del deficit. Il checkpoint è stato prodotto da Star Elastic, la ricerca architetturale guidata dal router di NVIDIA, che ha preso il modello padre 120B-A12B Super VL e ha cercato il numero di esperti e la larghezza MoE per strato che potessero rientrare sotto i 24 GB con batch size pari a uno e contesto di 128K, riducendo il top-K degli esperti da 22 a 9 e poi quantizzando gli esperti a 2,0625 bit per elemento con distillazione consapevole della quantizzazione per recuperare accuratezza. Si tratta di uno scambio deliberato di conoscenza memorizzata in cambio di occupazione. Un modello compresso a 2 bit per peso dell'esperto conserva la sua procedura e perde i suoi fatti, ed è per questo che la riga delle allucinazioni migliora mentre quella dell'accuratezza crolla.

La tabella di benchmark della stessa N​VIDIA porta la stessa tesi nella direzione opposta. L'azienda pubblica il modello Bolt che batte Qwen3.6-35B-A3B, Gemma4 26B-A4B e il suo stesso N​emotron 3.5 Lightning 30B-A3B su Terminal-Bench 2.1, GPQA Diamond, BrowseComp e WebArena vision — cioè su compiti agentici e di uso di strumenti — mentre perde contro Gemma4 sull'accuratezza di AA-Omniscience e contro Qwen3.6 su PinchBench. Ciò che la compressione ha preservato è l'esecuzione agentica.

Entrambi sono pesi aperti, il che rende la scelta una questione di elettricità

Questa è la parte che distingue il testa a testa da un confronto con un'API chiusa. I pesi di Kimi K3 sono scaricabili. Se disponi dell'hardware, puoi eseguire tu stesso il modello da 2,8T e non pagare nulla per token — la stessa proposta del file da 24 GB, su una scala completamente diversa. Nessuno dei due modelli qui è vincolato a un fornitore che può cambiare idea sull'accesso.

Il confine pratico è la geografia del deployment. Un checkpoint IQ2 da 24 GB gira sotto vLLM su un singolo componente A100, H100 o Blackwell, e la stessa ricetta di riferimento di N​VIDIA cita anche llama.cpp e una conversione GGUF, ed è così che finisce dentro gli harness per agenti locali su macchine RTX e DGX Spark. Il comando di serving consigliato non è un semplice interruttore: fissa una build nightly di vLLM, richiede un plugin reasoning-parser da scaricare, necessita dei kernel b12x per i backend linear e MoE, imposta backend Mamba e attention espliciti e abilita il decoding speculativo con sette token draft LiLiCorr. Questa è una ricetta per chi intende possedere la macchina, non per chi vuole una trascrizione.

Kimi K3 va nella direzione opposta. L'intero suo design presuppone che tu stia affittando l'inferenza, e il suo prezzo è impostato di conseguenza: $3.00 per l'input e $15.00 per l'output per milione di token rappresentano una posizione deliberata al vertice del mercato open-weights.

Eseguire il confronto invece di leggerlo

Se vuoi sapere se un divario di 22 punti nell'indice conta per il tuo carico di lavoro, l'esperimento economico è chiamare la metà costosa. Kimi K3 è nel catalogo di OrcaRouter come kimi/kimi-k3, sulla stessa chiave del resto degli oltre 200 modelli che instradiamo, fatturato al prezzo di listino del provider M​oonshot senza alcun ricarico aggiunto — così una variazione di prezzo di M​oonshot è attiva dalla nostra parte lo stesso giorno, anziché al ciclo di fatturazione successivo. Punta su di esso un set di prompt che assomigli al tuo traffico reale e misura la differenza rispetto a qualunque cosa tu stia eseguendo in locale. OrcaRouter non ospita alcun modello N​VIDIA e non ha alcun endpoint Bolt da offrire; la famiglia N​emotron non è nel nostro catalogo, e la metà locale di questo confronto resta comunque una questione di hardware.

Dove il routing merita davvero il suo posto, qui, è nel percorso di fallback. Kimi K3 è un impegno su un singolo modello a un prezzo elevato, e la modalità di guasto di un agente di produzione collegato a un unico modello ad alte capacità è che un problema di capacità a monte si trasformi in un incidente. Il failover automatico tra provider dietro un unico endpoint trasforma tutto ciò in un nuovo tentativo.

Come decidere

La regola è più breve di quanto il divario suggerisca.

Se il tuo requisito include le parole offline, privato, on-device o nessun costo per token, Kimi K3 non è un candidato e il confronto è finito — un modello da 2,8 trilioni di parametri non girerà sulla macchina su cui stai leggendo questo, mentre il checkpoint da 24 GB sì. Compra il portatile, accetta 21,4 sull'indice e puntalo all'uso di strumenti invece che a domande di biochimica.

Se la tua esigenza è l'accuratezza su ragionamenti complessi, il lavoro su contesti lunghi attraverso centinaia di migliaia di token o il coding su scala di repository, il modello da 24GB è lo strumento sbagliato e il gap dell'indice ti sta dicendo la verità. Paga per Kimi K3.

Ciò che nessuno dei due fornitori ha risolto è il caso intermedio, perché dipende da un numero che nessuno ha pubblicato: quanto velocemente il checkpoint a 2 bit viene effettivamente eseguito su hardware acquistabile. Finché non esiste un test indipendente di throughput, la risposta onesta a "un file da 24 GB può sostituire un'ammiraglia da 2,8T per il mio ciclo dell'agente?" è che il divario di intelligenza è misurabile e il caso della latenza non ancora.

Per un modello le cui modalità di guasto non sono ancora documentate, il contraltare utile è il registro di ciò che è già andato storto altrove: gli incidenti AI documentati e i fallimenti degli agenti relativi ai modelli di questa classe sono raccolti in OrcaRouter AI Incident Archive, dove ogni voce riporta le proprie fonti, il livello di gravità, il grado di confidenza e il flag di contestazione.