Nemotron 3.5 Bolt E4B 4GB: cosa è stato effettivamente rilasciato e perché il nome trae in inganno

NVIDIA-Nemotron-3.5-Bolt-E4B-4GB è approdato su Hugging Face il 23 ottobre 2026, e la prima cosa che vale la pena dire al riguardo è un fatto aritmetico: il file pesa 6,18GB. Il nome dice 4GB. Entrambi i numeri sono reali, misurano cose diverse, e lo scarto tra loro è il dato più utile del rilascio.

Il blog tecnico di NVIDIA definisce 4GB come l'inviluppo di memoria previsto per i carichi di lavoro target del modello, ovvero un budget per lo spazio che il modello dovrebbe occupare mentre un'applicazione viene eseguita accanto ad esso. Non è un conteggio dei parametri né una dimensione di download. Il checkpoint stesso è da 8B totali con 4B parametri effettivi, post-addestrato a partire da Gemma-4-E4B-it e pubblicato in esattamente due precisioni: una build BF16 da 15,88GB e un GGUF Q4_K_M da 6,18GB. Se sei arrivato cercando un file da quattro gigabyte da caricare su un dispositivo, non ce n'è nessuno nel repository.

Vale la pena dirlo chiaramente perché il resto del rilascio è insolitamente leggibile. La model card è dettagliata, il rapporto tecnico è pubblico e la tabella delle latenze misurate copre quattro dispositivi. Ciò che manca è la verifica indipendente, e la card stessa lo dichiara.

La release, ricostruita da ciò che è pubblico

Questa non ha avuto un lancio. Ha avuto una nota a piè di pagina e poi un post sul blog.

• 5 ottobre 2026 — i repository Hugging Face per le build Q4_K_M e BF16 sono stati creati. Nessuno dei due è stato popolato con i pesi.

• 15 ottobre 2026 — NVIDIA annuncia la famiglia Nemotron 3.5: Super VL 120B-A12B e Bolt 74B-A9B 24GB, entrambi disponibili quel giorno. All'E4B sono dedicate due frasi e una data: in arrivo il 23 ottobre.

• 23 ottobre 2026 — vengono pubblicati i pesi Q4_K_M e BF16, sale online la scheda del modello e il laboratorio di ricerca di NVIDIA pubblica un blog tecnico e un rapporto tecnico. Non c'è alcun comunicato stampa aziendale, e la copertura del lancio che aveva seguito l'annuncio del 15 ottobre non si ripete per questo.

Quindi "rilasciato in sordina" è accurato, ma "segreto" non lo sarebbe. NVIDIA ha dato un nome al modello, lo ha datato e poi lo ha documentato adeguatamente quel giorno. Ciò che non ha fatto è stato mettere l'E4B davanti agli stessi giornalisti che avevano seguito i suoi fratelli. La conseguenza pratica per chiunque legga questo nelle prime settimane è che quasi ogni affermazione di seguito risale a un'unica fonte: NVIDIA.

Quattro gigabyte sono un budget, non un download

Le dimensioni dei file pubblicati sono inequivocabili una volta che si guarda al repository anziché al nome.

• Q4_K_M GGUF — 6.180.446.208 byte, ovvero 6,18 GB in termini decimali, in un unico file denominato Nemotron-3.5-Bolt-E4B-Q4_K_M.gguf.

• BF16 safetensors — 15.882.494.698 byte, ovvero 15,88 GB, in un unico shard, più un file shared-KV congelato da 110 MB.

• Nessun artefatto da 4 GB: nel repository non esiste una quantizzazione più ridotta e la scheda non pubblica un file che raggiunga il numero indicato nel nome.

Quello che NVIDIA pubblica effettivamente è una misurazione di llama.cpp con batch-1 su quattro dispositivi, ed è in quella tabella che l'affermazione dei 4GB diventa concreta:

• RTX 5070 12GB — da 3,5 a 4,3 GB di VRAM, da 548 a 1.238 ms di tempo al primo token, da 106,2 a 133,4 token al secondo.

• RTX Spark 32GB — da 3,1 a 4,2 GB di VRAM, da 930 a 1.988 ms al primo token, da 52,0 a 67,0 token al secondo.

• Jetson Orin Nano 8GB — da 4,2 a 4,9 GB di VRAM, da 5.785 a 6.259 ms al primo token, da 13,0 a 15,5 token al secondo.

• Jetson AGX Orin 32GB: da 4,2 a 5,0 GB di VRAM, da 3.687 a 4.091 ms al primo token, da 20,3 a 24,0 token al secondo.

I valori VRAM sono inferiori alla dimensione del file di 6,18 GB, il che significa che in quelle esecuzioni il runtime non mantiene l'intero file residente sulla GPU. La scheda non spiega il meccanismo, ed è qui che è bene resistere alla tentazione di inventarne uno: pesi mappati in memoria, offload parziale e dimensionamento della KV-cache interagiscono tutti, e NVIDIA non ha pubblicato la ripartizione. Ciò che si può affermare è che il limite di 4 GB è un risultato misurato su hardware specifico con uno specifico runtime, non una proprietà del download.

La riga Orin Nano è quella da leggere due volte se il discorso è l'assistenza vocale. Da tredici a quindici token al secondo con quasi sei secondi al primo token: un agente embedded utilizzabile, ma un pessimo partner per conversazioni in tempo reale. La riga RTX 5070 è l'opposto: abbastanza veloce per l'uso interattivo, su una GPU desktop.

Cosa ha effettivamente cambiato NVIDIA in Gemma 4 E4B

L'architettura è ereditata in blocco. Si tratta di Gemma-4-E4B, una mixture da 8B totali con 4B parametri effettivi, e il contributo di NVIDIA è il post-training anziché un nuovo backbone. La scheda elenca il lavoro come apprendimento per rinforzo da ricompense verificabili e feedback umano tramite NeMo-RL e NeMo-Gym, su chiamata degli strumenti e schemi, seguimento delle istruzioni e gerarchia, output strutturati, formattazione libera e modellazione generativa delle ricompense. I batch di addestramento contenevano un rapporto 2:1 tra campioni non di ragionamento e campioni di ragionamento, e NVIDIA ha aumentato le penalità sulla lunghezza per controllare la verbosità — un dettaglio che compare più avanti nella tabella dei benchmark.

La build Q4_K_M è stata realizzata con llama.cpp usando la calibrazione imatrix su circa un milione di token di rollout RL. C'è anche un drafter DFlash per la decodifica speculativa, che secondo NVIDIA ha garantito fino al 21% di throughput in più rispetto al drafter originale con previsione multi-token di Gemma-4-E4B. Il drafter è un repository separato e, al momento della verifica, restituiva HTTP 401 alle richieste anonime, quindi va considerato un passaggio di accesso aggiuntivo anziché un download nello stesso giorno.

Due interruttori del template di chat svolgono gran parte del lavoro comportamentale. enable_thinking attiva o disattiva il ragionamento e accetta un budget di pensiero a runtime; conversational_mode aggiunge un'istruzione di sistema per la conversazione parlata per risposte brevi e con formattazione minima. Quel secondo interruttore è il segnale rivelatore. Questo modello è fatto per parlare, non per riempire una finestra di contesto con l'analisi.

Il contesto è di 64K in input e 64K in output. La copertura linguistica è di 34 lingue nei metadati di Hugging Face e di 35 nel blog tecnico — una piccola incoerenza, non sostanziale, e la scheda di post-training indica inglese, francese, tedesco, italiano, giapponese, spagnolo e cinese come lingue principali.

La licenza è un insieme di documenti anziché un singolo documento: OpenMDW-1.1 per il contributo di NVIDIA, Apache 2.0 per il componente Gemma 4. La scheda indica che il modello è pronto per uso commerciale o non commerciale. OpenMDW è permissiva ma non approvata dall'OSI, il che conta più per i team legali che per gli sviluppatori.

La tabella dei benchmark, letta in relazione ai modelli che cita

NVIDIA ha valutato il modello rispetto a Gemma4 E4B-it, Qwen3.5 4B e al proprio Nemotron 3 Nano-4B, nell'ambito di un harness NeMo-Gym coerente. Ogni cifra riportata di seguito è dichiarata dal fornitore e non riprodotta. La scheda afferma che i numeri «possono differire dai numeri auto-dichiarati dai fornitori», il che è un'onesta avvertenza e anche un promemoria del fatto che l'insieme di confronti è una scelta di NVIDIA.

Le vittorie sono concentrate nella conversazione e nel controllo:

• RoleBench Custom — 67.05 per Bolt E4B contro 53.66 per Qwen3.5 4B, 49.95 per Gemma4 E4B-it e 12.02 per Nano-4B. Questo è il benchmark delle persona, e il margine è il più ampio della tabella.

• IHEval, gerarchia delle istruzioni — 84,79 contro 60,57, 67,04 e 51,31. Un vantaggio di 17 punti sul concorrente più vicino è insolito per questa dimensione.

• When2Call Multi-Turn — 63,36 rispetto a 37,85 per Qwen3.5 4B, 62,90 per Gemma4 e 27,70 per Nano-4B. Sapere quando non chiamare uno strumento è una capacità conversazionale tanto quanto agentica.

• RelyToolBench — 63,16 rispetto a 43,35, 61,60 e 41,20. Ancoraggio all'output dello strumento, ancora una competenza contigua alla conversazione.

• MultiChallenge — 53.10 contro 51.76, 42.08 e 35.30. Una vittoria di stretta misura nella gestione delle sfide multi-turno.

Le perdite sono altrettanto chiare, e sono quelle che contano se vuoi un agente anziché un personaggio:

• Tau2-Bench — 55,10 contro 75,06 di Qwen3.5 4B. Si tratta di un deficit di 20 punti nel completamento di attività agentiche multi-turno, e nessuna qualità della persona può colmarlo.

• RULER a 64K — 86,99 contro 95,15 di Qwen3.5 4B e 91,51 di Nano-4B. Il modello accetta 64K di contesto; non riesce a recuperare le informazioni lungo tutto il contesto con la stessa affidabilità dei suoi pari.

• LongBench v2 a 48K — 50,50 contro 59,93 di Qwen3.5 4B. Stesso discorso per il ragionamento su documenti lunghi.

• BFCL-v3 — 68,51 contro 70,95 di Qwen3.5 4B. Un piccolo deficit nel function calling, ma una vittoria sul 66,39 di Gemma4.

• EQ-Bench v3 — 39.40 contro 41.17 di Gemma4 E4B-it. L'unica riga di intelligenza emotiva in cui il genitore batte il figlio.

La colonna Q4_K_M è più interessante di quanto lo sia di solito una tabella di quantizzazione. La compressione non è costata accuratezza in modo uniforme: MultiChallenge sale da 53,10 a 55,60, RoleBench da 67,05 a 71,21, ToolSandbox da 68,77 a 74,13 e RelyToolBench da 63,16 a 69,29. Scende su Tau2 da 55,10 a 52,32, su LongMemEval da 72,10 a 69,92 e su RULER da 86,99 a 85,76. Una build a quattro bit che migliora diversi punteggi conversazionali è plausibile quando i dati di calibrazione provengono dai rollout RL del modello stesso, ma resta comunque una misurazione del fornitore, e il rumore a livello di benchmark in un modello da 4B è abbastanza grande da far sì che questi delta non vadano letti come una scala di precisione.

Due righe meritano una segnalazione a parte. Brevity Bench e When2Call Multi-Turn sono valutazioni che NVIDIA descrive come volte a colmare lacune nei benchmark esistenti, e il blog afferma che saranno rilasciate in una data successiva. Oggi non sono riproducibili in modo indipendente — il che conta soprattutto per Brevity, perché è la riga che porta la storia del minor numero di token di output.

L'affermazione principale di NVIDIA è che il modello sia in media circa il 40% migliore di Nemotron 3 Nano-4B e all'incirca il 10% migliore dei modelli concorrenti, con fino all'80% in meno di token di output nei confronti con il ragionamento abilitato. Il dato dell'80% è un'affermazione sulla verbosità, non sull'accuratezza, ed è coerente con il punteggio di 82,52 del Brevity Benchmark, che NVIDIA ha integrato nella propria suite. Prendi sul serio la direzione e con leggerezza la percentuale esatta.

Quello che il repository non ti dirà

La scheda è schietta riguardo ai propri limiti, e vale la pena elencarli perché definiscono quanta fiducia può offrire il rilascio.

• Nessuna valutazione indipendente. Artificial Analysis non ha una pagina dedicata al modello E4B al momento della stesura, e nessuna terza parte ha pubblicato una riproduzione della tabella di benchmark a 21 righe.

• Nessun prezzo per l'hosting. La scheda data una presenza su Build.NVIDIA.com al 23 ottobre, ma nessun prezzo per token è pubblicato lì né nella scheda. Se vuoi un'API, stai negoziando o usando un piano gratuito, non leggendo un tariffario.

• Il deployment è contrassegnato come "llama.cpp (recipe pending)" anche se la guida rapida contiene comandi llama.cpp funzionanti. Si tratta di una contraddizione a livello di documentazione, non tecnica, ma è il genere di cosa che manda in tilt una pipeline di deployment automatizzata.

• L'obiettivo di 4GB non è dimostrato come file. L'inviluppo VRAM misurato è la prova; il download è di 6.18GB.

• Le sottoschede Sicurezza, bias, spiegabilità e privacy esistono come file separati. Questo articolo non le sottopone ad audit, e nemmeno alcun organismo indipendente lo fa ancora.

Niente di tutto ciò rende il rilascio inaffidabile. Lo rende prematuro. Una scheda modello scritta dal team che ha addestrato il modello è la migliore descrizione disponibile di a cosa serve il modello; non è prova che il modello lo faccia.

Dove si ferma un modello locale 4B, e cosa mettergli dietro

L'architettura onesta per questa classe di modelli è di tipo scisso. Un checkpoint conversazionale da 4B su una Jetson o su una scheda RTX è eccellente nel livello riflesso: risposte al wake word, dialogo di persona, brevi chiamate a strumenti, grounding sull'input, tutte quelle parti di un'interfaccia che non possono permettersi un round trip di rete. Non è ciò che vuoi che risponda a una domanda che richiede 200K di contesto o un piano agentico in dieci passaggi, e la sua stessa tabella di benchmark lo dice.

Questo lascia ogni distribuzione con una seconda domanda: cosa gestisce le richieste che il modello locale non dovrebbe. Mettere un modello ospitato dietro la stessa applicazione tramite OrcaRouter significa una sola API per oltre 200 modelli, 0% di ricarico sul prezzo di listino del provider, e failover automatico quando un provider peggiora — quindi il percorso di escalation è una decisione di routing anziché un secondo SDK, una seconda chiave e un secondo rapporto di fatturazione. Il modello locale resta il percorso rapido; il modello ospitato è il fallback per i casi per cui l'E4B non è mai stato addestrato.

Cosa cambierebbe questo quadro?

Tre cose, in ordine di utilità. Un'esecuzione indipendente di benchmark sullo stesso harness chiarirebbe se il profilo ad alta densità conversazionale sopravvive al di fuori della valutazione di NVIDIA. Un artefatto pubblicato da 4 GB o meno renderebbe il nome letterale. E un prezzo sull'endpoint Build trasformerebbe il modello da un download in un servizio che puoi confrontare.

Fino a quel momento, la lettura corretta è ristretta e utile: NVIDIA ha eseguito il post-training di Gemma 4 E4B trasformandolo in un piccolo modello conversazionale dimostrabilmente migliore, ha pubblicato le prove e le lacune nello stesso documento e lo ha distribuito una settimana dopo il lancio della famiglia, con quasi nessuna risonanza. Il 4GB nel nome è un obiettivo che il runtime misurato raggiunge e che il download non raggiunge. Pianifica lo spazio di archiviazione intorno a 6,18 GB e le tue aspettative intorno a 13-133 token al secondo, a seconda del dispositivo che possiedi davvero.