Nemotron 3.5 Bolt 24GB vs Nemotron 3.5 Bolt 74B: Un modello, due artefatti

This is a comparison between a model and itself. N​VIDIA N​emotron 3.5 Bolt 74B-A9B 24GB and N​VIDIA N​emotron 3.5 Bolt 74B-A9B BF16 are the same architecture at the same parameter count, produced in the same week, from the same parent — and N​VIDIA's own documentation says plainly that one is for running and the other is for changing. Treating them as rivals is a category error; treating them as interchangeable is an expensive one. Here is the difference, measured in bytes and in benchmark points.

Cosa sono in realtà i due artefatti

The names describe the pipeline, not two designs. N​VIDIA took N​emotron 3.5 Super VL 120B-A12B, ran a router-guided architecture search called Star Elastic against a memory budget, and produced a 74-billion-parameter model with 9 billion active parameters. That result exists in two published forms: the BF16 weights as they came out of post-training, and the same weights with the expert layers quantised to 2.0625 bits per element and repaired with quantisation-aware distillation.

Entrambi sono datati 15 ottobre 2026 sulle rispettive model card. Entrambi riportano la stessa licenza OpenMDW-1.1, la stessa finestra di contesto di 256.000 token, lo stesso backbone ibrido Mamba-2 LatentMoE e lo stesso encoder visivo C-RADIO v4-H. I metadati del repository rendono esplicita la relazione in un unico campo: la card del checkpoint da 24GB elenca base_model_relation: quantized rispetto alla release BF16.

La differenza sta a cosa serve ciascuna. La scheda da 24GB dichiara come caso d'uso gli harness per agenti locali — tool calling, browsing, lavoro da terminale — e come deployment vLLM su Ampere, Hopper o Blackwell. La scheda BF16 dichiara come caso d'uso il post-training con NeMo RL e NeMo Gym, l'adattamento al dominio, la distillazione e la produzione delle proprie varianti quantizzate, e avverte nello stesso paragrafo che per un'inferenza ottimizzata per latenza e throughput conviene usare invece la versione da 24GB. Un fornitore che ti dice di non eseguire un checkpoint appena scaricato merita di essere letto alla lettera.

La differenza di dimensioni, letta dagli elenchi dei file

• BF16 — 149,8 GB in totale su 63 shard safetensors, shard più grande da 3,71 GB, più una torre visiva da 228 MB.

• 24GB safetensors — 24,12GB distribuiti su 90 shard nella build pronta per vLLM, valore marginalmente superiore al numero nel nome del modello.

• 24GB GGUF — 22,02GB in un unico file, più un proiettore visivo separato da 1,73GB, per un totale di 23,75GB.

• Rapporto — circa sei a uno in byte, da esperti a 16 bit a esperti a 2 bit più trattamento a precisione mista di tutto il resto.

Sessantatré shard contro novanta è anche una differenza di forma, non solo di dimensione. La release BF16 è pensata per essere caricata da un framework di training su qualunque layout parallelo tu abbia; la release da 24GB è pensata per essere caricata da una singola GPU, o da llama.cpp su una sola macchina, e il numero di shard riflette il diverso compito.

Tre gigabyte dei 24 GB distribuiti vale la pena capirli prima di pianificare l'archiviazione. Il proiettore di visione è un file separato nella build GGUF perché è così che llama.cpp gestisce l'input multimodale, e chiunque scarichi solo i pesi e poi si chieda perché le immagini non funzionino lo ha saltato. Nella build safetensors la torre di visione è all'interno degli shard e il totale supera la soglia dei 24 GB.

What the quantisation cost, on N​VIDIA's own numbers

La scheda BF16 pubblica entrambe le colonne affiancate, cosa insolitamente trasparente: la stessa tabella di benchmark riporta i valori IQ2 24GB e i valori BF16 per le stesse tredici valutazioni. Riferiti dal fornitore, non riprodotti, e ancora la prova più diretta disponibile su quanto costino due bit per esperto.

• Terminal-Bench 2.1 — 50,98 con IQ2 contro 53,93 con BF16, una perdita di 2,95 punti.

• BrowseComp — 66,75 rispetto a 70,00, una perdita di 3,25.

• GPQA Diamond — 86,43 contro 88,83, una perdita di 2,40.

• AA-LCR ragionamento a contesto lungo — 64,06 rispetto a 67,38, una perdita di 3,32.

• HLE senza strumenti — 25,30 contro 28,73, una perdita di 3,43.

• Accuratezza AA-Omniscience — 16,90 contro 21,80, una perdita di 4,90, la più grande della tabella.

• PinchBench — 87,82 contro 90,35, una perdita di 2,53.

• GDPVal-AA-V2 — 28,47 contro 31,13, una perdita di 2,66.

Due righe rompono lo schema, e sono quelle interessanti. Su AA-Omniscience non-allucinazione il modello quantizzato ottiene un punteggio più alto, 61,27 contro 56,14: comprimere gli esperti ha reso il modello meno propenso a rispondere con sicurezza quando non sa, ed è il tipo di risultato che rende una tabella degna di essere pubblicata per intero. Su WebArena vision i due sono alla pari, 50,86 contro 50,25, il che suggerisce che il percorso di visione ha superato la compressione più o meno intatto, e il riaddestramento dell'adattatore di visione descritto nella model card è presumibilmente il motivo.

Letti insieme: una tassa da due a cinque punti sulla maggior parte delle righe di capacità, quasi zero sul visual grounding, e un miglioramento su una metrica di calibrazione. È un esito favorevole per una compressione sei a uno, e resta comunque una tassa che dovresti mettere in conto invece di liquidarla con un gesto.

Quale puoi effettivamente servire

L'artefatto da 24GB ha una storia di runtime e quello BF16 ha una storia di training, e non sono la stessa storia con un flag diverso.

The 24GB GGUF is listed for llama.cpp, and N​VIDIA points the same model at Ollama, LM Studio and Unsloth. The vLLM path is stricter than it sounds: the reference recipe pins a nightly container by commit hash, requires a separate kernel package fetched at runtime, sets the v2 model runner explicitly, names b12x for the linear and MoE backends with FlashInfer for attention and Mamba, pins the KV cache to fp8, and sets max-num-seqs 1. That last flag is the one to notice — the published serving configuration is a single concurrent sequence, which is a laptop-shaped configuration, not a serving-shaped one.

The drafter is a third download. LiLiCorr is a 1.13B companion checkpoint whose card states in as many words that it is not a standalone language model, that it proposes draft tokens and the 24GB target verifies them, and that the target produces the visible text. N​VIDIA's reported 83.99 tokens per second on AIPerf SPEED-Bench-Coding assumes it is attached, with seven drafted tokens per step and mean acceptance lengths of 4.68 under greedy decoding and 4.25 with sampling at concurrency 64.

La questione del serving del checkpoint BF16 è un problema che devi risolvere. Richiede circa sei volte la memoria della build quantizzata prima di qualsiasi KV cache, il che mette fuori portata un singolo acceleratore da 80GB e rende il multi-GPU o multi-nodo l'assunzione predefinita. È il compromesso giusto per il post-training e quello sbagliato per l'inferenza, che è esattamente ciò che dice la scheda.

La decisione, esposta chiaramente

Se oggi vuoi eseguire un agente su hardware di tua proprietà, scarica la build da 24GB, accetta la tassa di due-cinque punti e prevedi nel budget anche il drafter e il projector, oltre ai pesi.

If you want to change the model — fine-tune on your own data, distil it into something smaller, or compress it differently for hardware N​VIDIA did not optimise for — download the BF16 build and treat the 24GB release as documentation of one possible outcome.

The interesting middle case is the one the BF16 card invites explicitly: producing your own quantised variant. Someone with a different accelerator, or an appetite for four-bit weights, or a workload that needs more concurrency than the reference recipe allows, can take the full-precision weights and build the artifact N​VIDIA did not. The quantisation tax above is then the number to beat, and it is now a published target rather than a mystery.

Dove si inserisce un gateway in uno stack locale

Neither of these checkpoints is hosted anywhere, including by us — the OrcaRouter catalogue carries no N​emotron model, so there is no endpoint and no price to quote for either. Local inference is also only ever half of an agent architecture: the machine that runs Bolt still needs to reach models it cannot download, whether that is a frontier model for the hard cases, a vision model for something Bolt handles badly, or a second opinion on a decision that matters.

Questo è il livello che gestiamo. Una chiave unica su oltre 200 modelli ospitati al prezzo di listino del provider, senza alcun ricarico; failover automatico quando un provider si degrada a metà richiesta; un DSL di routing che trasforma "prova Bolt in locale, passa a un modello ospitato quando il compito lo supera" in configurazione anziché codice. La metà da 24GB dello stack è decisa dal tuo hardware e dalla tua tolleranza per un container notturno. La metà dall'altra parte dell'escalation è decisa da chi detiene la chiave.

Cosa cambierebbe questo quadro?

Due cose, ed entrambe prevedibili.

The first is a four-bit or FP4 build of Bolt from N​VIDIA or from the community, given that the parent family already ships NVFP4 checkpoints and the BF16 release exists precisely so that such variants can be made. A four-bit Bolt that recovered half the gap above while still fitting in a 24GB envelope would make the quantisation tax argument considerably less interesting.

Il secondo è una qualsiasi valutazione indipendente di uno dei due artefatti. Il panel di Artificial Analysis ha misurato il modello da 24 GB a 21 sul suo Intelligence Index, senza pubblicare né velocità né costo, perché non c'è nulla rispetto a cui misurare un prezzo. Nessuno ha pubblicato alcuna esecuzione riproducibile del checkpoint BF16, il che non sorprende per un download da 150 GB destinato all'addestramento. Finché qualcuno non lo farà, il divario tra le due colonne sopra è il resoconto di un fornitore della propria compressione, e il modo onesto di leggerlo è come un'affermazione che, per la forma delle prove, risulta insolitamente ben supportata.

Un risultato come questo è anche un promemoria del fatto che gli errori dei modelli sono già documentati: gli incidenti AI e i fallimenti degli agenti dietro i modelli di questa classe sono raccolti in l'OrcaRouter AI Incident Archive, dove ogni voce riporta le proprie fonti, la gravità, il grado di confidenza e il flag di contestazione.