Nemotron 3.5 Bolt 74B vs Gemma 4 26B A4B: otto punti di indice e un disallineamento di larghezza di bit

Esiste già un confronto diretto tra NVIDIA Nemotron 3.5 Bolt 74B-A9B 24GB e Google Gemma 4 26B A4B, e NVIDIA lo ha pubblicato. Compare nella tabella di benchmark sulla model card di Bolt, dove la colonna di Gemma è una baseline scelta dall'azienda. Leggere con attenzione quella tabella è il modo più rapido per capire cosa sono realmente questi due modelli, perché i due checkpoint non competono per lo stesso compito, e la stessa presentazione del fornitore lo dice apertamente: i modelli di confronto sono stati scelti per la loro capacità di rientrare in 24GB di memoria con quantizzazione a 4 bit. Bolt rientra in 24GB attraverso una via diversa — 2,0625 bit per peso sui suoi layer di esperti — e il divario tra queste due strategie è l'intera storia.

Entrambi i numeri nel titolo sono reali. Artificial Analysis ha misurato Bolt a 21 sul suo Intelligence Index e Gemma 4 26B A4B, nella sua configurazione di ragionamento, a 17. Nessuno dei due valori proviene da un fornitore, ed entrambi erano visibili sulle pagine dei modelli del pannello quando questo è stato scritto.

Il confronto che N​VIDIA ha eseguito e la colonna che ha scelto

La tabella di N​VIDIA per Bolt ha quattro colonne: Qwen3.6-35B-A3B in BF16, G​emma 4 26B-A4B in BF16, N​emotron 3.5 Lightning 30B-A3B in BF16 e Bolt in IQ2. Ogni numero al suo interno è dichiarato dal fornitore e non è stato riprodotto da nessun indipendente. Ecco la colonna di G​emma rispetto a quella di Bolt, benchmark per benchmark.

• GDPVal-AA-V2 — Gemma 15.33, Bolt 28.47

• Terminal-Bench 2.1 — Gemma 37,22, Bolt 50,98

• Tau3 Banking — G​emma 14.02, Bolt 17.01

• HLE senza strumenti — G​emma 17.42, Bolt 25.30

• SciCode — G​emma 40.28, Bolt 41.02

• GPQA Diamond — G​emma 79,61, Bolt 86,43

• AA-LCR recupero su contesto lungo — Gemma 57.56, Bolt 64.06

• PinchBench — G​emma 74.70, Bolt 87.82

• visione WebArena — G​emma 38.2, Bolt 50.86

• Accuratezza AA-Omniscience — Gemma 22,17, Bolt 16,90. Gemma vince in questa riga, ed è l'unica nella tabella in cui ciò accade.

• AA-Omniscience non-allucinazione — G​emma 14.22, Bolt 61.27. Questa è una perdita grande e specifica per la linea di modelli di G​emma, e vale la pena soffermarsi su questo: la metrica di non-allucinazione di Omniscience penalizza un modello che risponde con sicurezza quando non sa qualcosa, e la build di G​emma registrata qui ottiene circa un quarto del valore di Bolt.

Un avvertimento vale per l'intero blocco. N​VIDIA ha eseguito tutto quanto, inclusa la colonna G​emma, su una build BF16 di G​emma rispetto a una build a 2 bit del proprio modello, e ha poi riportato il risultato sulla propria scheda del modello.

Due checkpoint, due regimi di compressione

Gemma 4 26B A4B è un prodotto già rilasciato, con un anno di utilizzo alle spalle. È approdato su Hugging Face l'11 marzo 2026 con licenza Apache 2.0, con 25,2 miliardi di parametri totali e 3,8 miliardi attivi per token, con uno stack di attenzione ibrido che alterna livelli locali a finestra scorrevole a quelli globali, 256K di contesto, supporto nativo ai prompt di sistema e capacità di visione su ogni dimensione della famiglia. È un modello che puoi prendere, quantizzare tu stesso a 4 bit ed eseguire, ed esiste già un ampio ecosistema di quantizzazioni pronte all'uso.

Bolt è un risultato di compressione che indossa una model card. NVIDIA ha preso Nemotron 3.5 Super VL 120B-A12B — un checkpoint multimodale della stessa generazione — e vi ha applicato Star Elastic, una ricerca architetturale guidata da router che deve soddisfare un rigido budget di deployment, in questo caso sotto i 24 GB con batch size 1 e contesto 128K. Il top-K degli esperti è sceso da 22 nel modello padre a 9. I pesi degli esperti sono stati poi quantizzati a IQ2-XXS a 2,0625 bit per elemento con distillazione quantisation-aware per recuperare accuratezza, i layer Mamba sono stati lasciati a NVFP4, gli embedding e i layer di output a Q8_0, e la torre di visione è stata ricollegata in seguito.

Il risultato è 74 miliardi di parametri in un file da 24 GB. Non è una quantizzazione di un modello rilasciato; è una rete di forma diversa, cercata sotto un vincolo di memoria e poi addestrata a recuperare.

Perché l'ampiezza di bit conta più dei parametri

Mettili fianco a fianco e la lettura intuitiva è che un modello da 74B batte un modello da 26B. Questa lettura è probabilmente corretta in questo caso, e non è nemmeno la parte interessante, perché ai due modelli viene chiesto di fare cose diverse con gli stessi 24GB.

• Parametri — Bolt 74B in totale, 9B attivi per token. Gemma 4 26B A4B: 25,2B in totale, 3,8B attivi per token.

• Architettura — Bolt: LatentMoE ibrido Mamba-2–Transformer con un encoder visivo C-RADIO v4-H. G​emma: MoE con attenzione ibrida locale/globale con una torre di visione e, su altre dimensioni della famiglia, audio.

• Precisione di archiviazione — Bolt viene distribuito nativamente a 2,0625 bit per peso dell'esperto. Il repository di Gemma è a 16 bit, con build a 4 bit e build con addestramento consapevole della quantizzazione pubblicate separatamente.

• Contesto — Bolt fino a 256.000 token. Gemma 4 26B A4B: 256.000 token. Questa riga è un pareggio, cosa che sorprende chi presume che il modello a 2 bit abbia rinunciato a qualcosa qui. Invece no.

• Input — Bolt accetta testo, immagini e video. Gemma 4 26B A4B accetta testo e immagini; il video arriva come fotogrammi, mentre l'audio è limitato ai membri più piccoli della famiglia.

• Licenza — Bolt: OpenMDW-1.1. Gemma 4 26B A4B: Apache 2.0, con la politica sull'uso proibito di Google che le si affianca.

• Decodifica speculativa — Bolt include un drafter LiLiCorr, integrato tramite DFlash con sette token speculativi nella ricetta di riferimento di NVIDIA. Gemma 4 26B A4B non ha un drafter fornito dal produttore; la previsione multi-token compare nei fine-tuning della community anziché nella versione di base.

La conseguenza pratica della riga di precisione è che il download di Bolt è già quello piccolo. Non c'è nessun'altra build a 2 bit da trovare, perché la build a 2 bit è il modello. Il 26B di G​emma è un checkpoint a 16 bit che ci si aspetta venga compresso, e la versione a 4 bit che la maggior parte delle persone servirà effettivamente è la conversione che qualcun altro ne ha fatto.

Dove il modello più piccolo è l'acquisto migliore

La tabella di NVIDIA stessa offre a Gemma due elementi che meritano di essere presi sul serio. L'accuratezza di AA-Omniscience favorisce Gemma, con 22,17 contro 16,90, e la lettura onesta di questo dato è che la compressione a 2 bit ha avuto un costo misurabile sul richiamo fattuale anche dopo la distillazione. Chi ha un carico di lavoro enciclopedico anziché agentico dovrebbe dare molto peso a quella riga.

Il licensing è il secondo. Apache 2.0 è l'opzione meno gravata da vincoli disponibile per l'impiego commerciale, mentre OpenMDW-1.1, pur essendo stata scritta per essere permissiva e autorizzata esplicitamente da N​VIDIA per l'uso commerciale, è uno strumento più recente, con meno letteratura al riguardo e nessuna decisione giudiziaria che lo interpreti. I team legali hanno già visto uno di questi in passato, ma non l'altro.

Terzo: la maturità. Gemma 4 26B A4B è scaricabile da marzo ed è chiamabile da un endpoint ospitato dalla primavera. Build quantizzate, fine-tune, ricette di serving e riproduzioni di benchmark esistono già tutte. Il repository di Bolt è stato pubblicato a ottobre. Non è stato pubblicato nulla di indipendente sulla sua latenza, e non ci sono quantizzazioni della community su cui fare affidamento perché non c'è nulla da quantizzare.

Quarto, ed è facile trascurarlo: i fratelli di G​emma con 21B o meno supportano l'audio in modo nativo. Se la pipeline coinvolge il parlato, il 26B A4B è il membro sbagliato della sua stessa famiglia, e nessun modello N​emotron è quello giusto.

Quanto costa effettivamente detenere ciascuno

Bolt non ha un prezzo, e questa non è una svista nei dati. Non esiste alcun endpoint ospitato per Bolt da nessuna parte, né una tariffa a consumo nella pagina del modello di Artificial Analysis a esso dedicata, né un provider che lo serva. Eseguirlo significa possedere la macchina, e la ricetta di riferimento di NVIDIA è un weekend anziché un pomeriggio: un'immagine nightly di vLLM con versione bloccata, il pacchetto kernel b12x, un plugin di parsing del reasoning scaricato come file separato, poi impostazioni esplicite per il model runner v2, i backend lineari e MoE, i backend attention e Mamba, i dtype della cache Mamba, il prefill a chunk e una configurazione di speculative decoding che punta al drafter LiLiCorr.

Gemma 4 26B A4B ha un prezzo in due posti. Nel catalogo che instradiamo, google/gemma-4-26b-a4b-it è listato a 0,06 $ per milione di token in input e 0,33 $ per milione in output, con una finestra di contesto di 262.144 token e un tempo p50 al primo token di circa 2,8 secondi — questa è una nostra misurazione degli ultimi sette giorni, non una dichiarazione del fornitore. Artificial Analysis monitora una diversa combinazione di provider per lo stesso modello e indica 0,10 $ in input e 0,40 $ in output, ed è il tipo di divario che ti dice che il prezzo è una proprietà dell'endpoint e non dei pesi. Entrambi i numeri sono onesti; sono i prezzi di cose diverse.

OrcaRouter mette i modelli che instradiamo dietro un'unica chiave al prezzo di listino del provider, con 0 percento di ricarico aggiunto, così un taglio di prezzo del fornitore su un modello instradato è attivo dalla nostra parte lo stesso giorno, e il failover automatico tra provider significa che un problema di capacità a monte viene ritentato invece di essere mostrato ai tuoi utenti. Non ospitiamo alcun checkpoint N​emotron — il catalogo è stato verificato, non dato per scontato, e la famiglia non vi compare — quindi in questa pagina tali garanzie coprono la metà G​emma del confronto e nient'altro. Il loro valore concreto è un modo per provare il modello più piccolo su traffico reale senza un secondo contratto, mentre decidi se quello più grande valga l'hardware.

Scegliere tra un file e un servizio

Questo confronto non è ravvicinato in termini di capacità, e non è pensato per esserlo. Bolt è un modello più grande e più capace che è stato compresso duramente e non può essere noleggiato. Gemma 4 26B A4B è un modello leggermente più debole che puoi noleggiare oggi, e i cui punti deboli sono documentati da persone che non hanno alcun interesse in gioco.

Scegli Bolt se il carico di lavoro comprende screenshot, PDF, fotogrammi video o un browser, se deve funzionare senza rete e se nella stanza c'è già una macchina con un acceleratore di classe Blackwell. Accetta il fatto che sarai tu a scoprirne il throughput, perché nessuno l'ha pubblicato. Scegli Gemma 4 26B A4B se vuoi un modello testo e immagini che puoi pagare al milione di token oggi pomeriggio, se ti serve Apache 2.0, o se la capacità di richiamare fatti su un ampio insieme di domande conta più del completamento di attività agentiche.

La misurazione che risolverebbe la questione è quella che nessuno ha effettuato: un test indipendente di throughput e latenza sul checkpoint da 24GB, e una ripetizione indipendente della tabella di NVIDIA con Gemma quantizzata agli stessi 4 bit che il fornitore afferma di aver selezionato. Finché non esistono, la tesi a favore di Bolt si basa su una tabella del fornitore e su un conteggio dei parametri, e la tesi a favore di Gemma si basa su un anno di risultati altrui.

Anche confronti come questo sono il punto in cui emergono le modalità di guasto: gli incidenti AI documentati e i fallimenti degli agenti dietro i modelli di questa classe sono raccolti in l'OrcaRouter AI Incident Archive, dove ogni voce riporta le proprie fonti, la gravità, il grado di confidenza e il flag di contestazione.