Nemotron 3.5 Super su Ollama: un modello vision da 120B che potevi già eseguire prima che NVIDIA lo annunciasse

Per circa venti ore, il percorso locale verso NVIDIA Nemotron 3.5 Super è esistito prima dell'annuncio della sua esistenza. Ollama ha pubblicato il checkpoint nella propria libreria il 14 ottobre 2026 nella release v0.40.5, includendo un aggiornamento di llama.cpp che aggiungeva il supporto a Nemotron 3.5 e pubblicando nove tag di un modello visione-linguaggio da 120 miliardi di parametri — ollama run nemotron-3.5-super e lo stai eseguendo. Il post della newsroom di NVIDIA per gli stessi pesi, pubblicato con il nome più completo NVIDIA Nemotron 3.5 Super VL, è andato online il pomeriggio successivo, il 15 ottobre, alle 15:00 UTC. I pesi stessi erano presenti su Hugging Face dal 12 ottobre, in un repository chiamato NVIDIA-Nemotron-3.5-Super-VL-120B-A12B-BF16, dove il campo della data di rilascio della model card stessa riportava già 10/15/2026.

Niente di tutto ciò è uno scandalo. È la forma normale di un rilascio open-weight ormai: l'artefatto arriva, i framework corrono a supportarlo e il marketing si adegua. Ma cambia il motivo per cui vale la pena leggere la scheda di Ollama. Quello che è arrivato il 14 ottobre non è un annuncio di prodotto con un runtime allegato — è un runtime con un prodotto allegato, e i due documenti non concordano su diverse cose che contano se stai per spendere 90 GB di disco per scaricarlo.

Cosa è stato effettivamente rilasciato con la v0.40.5

La nota di rilascio di Ollama è insolitamente specifica, il che è comodo. Descrive Nemotron 3.5 Super come un modello visione-linguaggio per la programmazione, il ragionamento, l'uso di strumenti e la comprensione dei documenti, costruito su una backbone ibrida Mamba-2/Transformer mixture-of-experts con 12B parametri attivi per token su 120B totali, abbinata a un encoder visivo C-RADIO. Pubblicizza il tool calling, una modalità di pensiero on/off e un contesto fino a 1M di token. Le due righe che contano di più per chiunque stia già eseguendo Ollama sono sepolte più in basso: llama.cpp aggiornato (con supporto a Nemotron 3.5) e MLX.

Quella singola riga è l'intera ragione per cui il pull funziona. Ollama instrada questo checkpoint attraverso il suo llamacpp runner in formato GGUF — il manifest del registry lo dice esplicitamente — quindi "Ollama supporta Nemotron 3.5 Super" e "llama.cpp supporta Nemotron 3.5 Super" sono la stessa frase. Se usi una versione di Ollama precedente alla 0.40.5, non lo sei. Il blob di configurazione del modello contiene "requires":"0.40.5", quindi il vincolo di versione è imposto anziché semplicemente consigliato.

La stessa nota di rilascio cita anche un fratello, Nemotron 3.5 Bolt, che distilla Super fino a 74B parametri con 9B attivi e, secondo la nota, è ottimizzato per entrare in una GPU NVIDIA da 24 GB con decodifica speculativa tramite un drafter incluso. Quello è un'altra pull e un altro livello di hardware; tienilo separato nella tua testa, perché la denominazione si presta a confusione.

I nove artefatti, e quanto pesa realmente ciascuno

La pagina della libreria mostra una scala di dimensioni. Il manifest del registry dietro di essa mostra conteggi reali in byte, e i due non arrotondano allo stesso modo, quindi ecco i numeri dai manifest stessi anziché dai badge arrotondati:

• q4_K_M — 88.419.818.592 byte, ovvero 82,3 GiB (la pagina della libreria indica 80GB–90GB). I nomi dei tag :latest, :120b, :120b-a12b e :120b-a12b-q4_K_M rimandano tutti a questo stesso layer, quindi quattro delle nove voci sono un unico artefatto che porta quattro nomi.

• q8_0 — 131.601.243.232 byte, 122,6 GiB, stampato come 133GB.

• bf16 — 247.403.355.232 byte, 230,4 GiB, visualizzati come 249GB. Questo è il checkpoint a piena precisione in veste GGUF, ed è l'unico tag qui che non si avvicina neanche lontanamente all'hardware di consumo.

• MLX nvfp4 — 79,56 GB in totale, il più piccolo del set, e NVFP4 è il formato con cui la scheda di NVIDIA stessa viene distribuita come checkpoint di prima classe anziché come quantizzazione aftermarket.

• MLX mxfp8 — 129,60 GB in totale, la controparte MLX all'incirca con l'ingombro di q8_0.

• MLX bf16 — 248,92 GB in totale, marginalmente più grande del GGUF bf16 perché MLX memorizza i tensori in modo diverso.

• Il proiettore — ogni tag, senza eccezioni, include un file da 1.733.696.896 byte, mmproj-bf16.gguf come strato media. Si tratta di 1,61 GiB di encoder visivo che viaggia insieme a ogni download, incluso il più piccolo. Il percorso delle immagini non è opzionale e non è un pull separato.

Tre delle nove voci — quelle MLX — sono taggate per Apple silicon anziché per CUDA, e ciascuna è etichettata semplicemente come "MLX" nella pagina della libreria.nvfp4 a 79,56 GB è quello che entra in una macchina con memoria unificata da 96 GB o 128 GB con spazio in abbondanza, e mxfp8 a 129,60 GB non entra affatto in una macchina da 128 GB una volta tenuto conto della cache KV.

La pagina della libreria e il manifest non concordano sulla lunghezza del contesto

I tag GGUF pubblicizzano una finestra di contesto di 1M di token. I tre tag MLX non ne pubblicizzano nessuna — la colonna riporta "- context window" dove le altre riportano "1M". O il percorso MLX non è stato predisposto per la configurazione a contesto lungo, oppure la pagina semplicemente non è stata compilata, ma dall'esterno questi casi sono indistinguibili, e la posizione onesta è che l'affermazione sul contesto lungo è verificata per i tag GGUF e non verificata per quelli MLX.

C'è un secondo divario nella stessa direzione. Il blob di configurazione per il tag predefinito dichiara "model_type":"123.6B" mentre ogni elemento della denominazione rivolta all'utente dice 120B. Non è una discrepanza nei pesi; è una discrepanza nel modo in cui il conteggio dei parametri viene arrotondato tra i due sistemi, e vale la pena sapere quale numero ti sta riportando un determinato strumento.

E un terzo, quello che ha più probabilità di mordere: il blob dei parametri arriva con {"draft_num_predict":3,"temperature":1,"top_p":0.95}. Quei valori di campionamento sono le impostazioni consigliate dalla scheda del modello — per testo. La scheda consiglia una coppia diversa per il lavoro di visione, temperature 0.6 contro top_p 0.95. Quindi l'impostazione predefinita di Ollama è ottimizzata per la metà testuale di un modello che Ollama pubblicizza come modello di visione. Se la tua prima esperienza con esso su grafici o pagine scansionate è deludente, quella è la prima manopola da girare, prima di concludere qualsiasi cosa sul checkpoint.

Il draft_num_predict: 3 campo vale una riga a sé. È un parametro di decodifica speculativa, e il manifest non contiene alcun layer separato di draft-model — solo il GGUF del modello e il proiettore. Quindi qualunque speculazione stia facendo il runtime si basa sulla testa di predizione multi-token integrata nel modello piuttosto che sul drafter LiLiCorr autonomo che la scheda NVIDIA menziona come fornito insieme ai checkpoint BF16 e NVFP4. Questa è una scelta ingegneristica ragionevole e significa anche che il percorso Ollama non è la configurazione esatta descritta dai numeri di throughput del fornitore.

Cosa ti dice in silenzio il blob di configurazione

Quattro campi nella configurazione del manifest sono più informativi di quanto la loro dimensione suggerisca.

• model_family: nemotron_h_moe — la stringa della famiglia non è semplicemente nemotron. Qualsiasi cosa nel tuo stack che esegue uno switch sulla famiglia di modelli per scegliere un template di chat o un tokenizer non corrisponderà su un prefisso ingenuo.

• renderer: nemotron-3.5-super — un renderer dedicato, quindi il template della chat è davvero di questo modello e non un default ereditato.

• parser: nemotron-3-nano — e qui il parser è preso in prestito dal fratello minore Nano. Il formato di output della modalità di pensiero e delle chiamate agli strumenti era evidentemente abbastanza stabile in tutta la famiglia da non richiedere un nuovo parser. Significa anche che, se hai già implementato la gestione delle chiamate agli strumenti per Nemotron 3 Nano, probabilmente funzionerà qui senza modifiche.

• file_type: Q4_K_M — il tag predefinito è una quantizzazione a 4 bit, e questa è la configurazione in base alla quale la maggior parte delle persone giudicherà questo modello.

Il layer della licenza è un blob di 2.618 byte che contiene l'OpenMDW License Agreement versione 1.1, la stessa licenza che la card di Hugging Face indica come openmdw-1.1. Permissiva, l'uso commerciale è consentito, e vale la pena leggerla prima di dare per scontato che sia Apache-2.0, perché la maggior parte dell'ecosistema Ollama circostante lo è.

Benchmark: un set è del fornitore, l'altro no

La tabella pubblicata da NVIDIA stessa è ampia e interamente auto-dichiarata. Su di essa, il modello registra 89.52 su GPQA-Diamond, 31.79 su Humanity's Last Exam text-only, 76.91 su MMLU-ProX, 88.22 su LiveCodeBench v6, 71.10 su SWE-bench Verified, 67.72 su SWE-bench Multilingual, 51.78 su SWE-bench Pro, 66.70 su Terminal-Bench 2.1, 70.86 su IFBench, 62.82 su MMLongBench-Doc, 78.16 su MathVision e 68.12 su OCRBench v2 English contro 59.15 Chinese. Le righe agentiche sono forti: 69.24 retail, 76.50 airline e 73.19 telecom su tau2-bench. L'azienda sostiene inoltre che sulla classifica Artificial Analysis Intelligence Index il modello raggiunga una velocità di elaborazione fino a 5 volte superiore rispetto ad altri della sua classe, e che eseguirlo su NVIDIA Dynamo consenta alle organizzazioni di servire fino a 8 volte più utenti con una latenza inferiore dell'85%. Quelli sono dati del fornitore, prodotti dal fornitore, sull'infrastruttura del fornitore — considerali come una specifica, non come un audit.

Il quadro indipendente è più scarno ma più utile, proprio perché è più scarno. Artificial Analysis attualmente colloca questo checkpoint a un Intelligence Index di 26, che descrive come ben al di sopra della mediana di 8 per i modelli open-weight di dimensioni simili — un divario reale, e significativo se hai dato per scontato che un modello aperto da 120B di un fornitore hardware si collochi più o meno a metà del campo. La stessa pagina registra 170M token di output consumati eseguendo l’Index rispetto a una mediana di 100M, che interpreta come "alquanto prolisso": questo è un modello di ragionamento con una modalità di pensiero estesa, e la verbosità è una voce di costo, non una nota a piè di pagina. Conferma il contesto da 1,0M, i 120B totali con 12B attivi, input immagini con output testuale e la licenza OpenMDW-1.1.

L'unica cosa che quella pagina non può dirti è quanto costa per token, perché non c'è un prezzo di hosting da citare. La risposta di Artificial Analysis stessa alla domanda se il modello sia disponibile tramite API è che si tratta di un modello a pesi aperti che può essere auto-ospitato. Questa è tutta la storia economica in una frase: il tuo costo marginale è l'elettricità e un'ora di GPU, e il tuo costo fisso è il download.

Cosa serve per eseguirlo davvero

La scheda del modello consiglia quattro H100 o due GB200 per il checkpoint rilasciato, con una ricetta vLLM che specifica un parallelismo tensoriale pari a 4 e una configurazione speculativa del metodo mtp. Questa è la risposta per i data center ed è pensata per BF16. La domanda interessante per chiunque legga un annuncio Ollama è l'altro estremo della scala.

Con q4_K_M, 82,3 GiB di pesi più 1,61 GiB di proiettore collocano il modello dentro una singola scheda da 96 GB o un Mac con memoria unificata da 128 GB, con un margine per la KV cache che si riduce rapidamente man mano che si alza il contesto. Con il milione di token pubblicizzato, la cache non starà accanto ai pesi su quella classe di hardware, qualunque cosa dica l'etichetta — il contesto lungo su una singola macchina significa sacrificare la concorrenza, non sbloccarla gratis. Pianificate un contesto operativo ben al di sotto del tetto massimo e considerate la cifra di 1M come il limite dell'architettura, non del vostro deployment.

MLX nvfp4 tag a 79,56 GB è la scelta pragmatica per i chip Apple, ed è anche il formato che il produttore distribuisce nativamente, il che lo rende quello che, tra i tag di piccole dimensioni, ha meno probabilità di riservarti sorprese sulla qualità.

Dove si inserisce questo se fai routing anziché self-hosting

NVIDIA Nemotron 3.5 Super è disponibile tramite i canali di build e distribuzione del vendor stesso e tramite il pull Ollama descritto sopra. Non è su OrcaRouter — instradiamo poco più di 200 modelli e questo non è uno di essi — quindi se hai specificamente bisogno di questo checkpoint, il pull locale è la tua strada e nulla in questo articolo suggerisce che tu possa chiamarlo sulla nostra chiave.

Ciò per cui la piattaforma è davvero pensata, qui, è la decisione che la circonda. Valutare un modello come questo ha un costo fisso che nessuna tabella di benchmark elimina: un download da 90 GB, una serata di configurazione e una serie di tuoi prompt prima di sapere qualsiasi cosa. La prima mossa più economica è eseguire il tuo carico di lavoro reale sui modelli ospitati che riesci già a raggiungere — una sola API su oltre 200 modelli, con il prezzo di listino del provider passato senza alcun ricarico per token, così se un fornitore taglia i prezzi, da noi è attivo lo stesso giorno — e lasciare che sia questo a dirti se il carico di lavoro è qualcosa in cui un modello di ragionamento da 120B apporta un miglioramento. Poi spendi il download sui casi che sono sopravvissuti.

E se metti un modello aperto appena rilasciato in un percorso di produzione prima di fidarti di esso, il failover automatico conta più del prezzo. Un modello rilasciato il 14 ottobre ha avuto due giorni di attenzione da parte del mondo; instradarlo dietro un fallback è il modo per ottenere i suoi vantaggi senza scommettere su di esso il percorso delle richieste.

Il riepilogo onesto di ciò che è confermato e di ciò che non lo è

Confermato, direttamente dal registry e dalle note di rilascio: i tag, i loro digest, i conteggi di byte, la versione minima 0.40.5, il formato GGUF tramite il runner llamacpp, il vision projector condiviso, la stringa della famiglia di modelli, il renderer, il parser Nano ereditato e la licenza OpenMDW-1.1. Confermato dalla newsroom e dalla model card di NVIDIA stessa: l'architettura, la suddivisione dei parametri, la licenza, le impostazioni di campionamento consigliate, la scala di addestramento — circa 26 trilioni di token tra pretraining e pretraining continuato, poi post-training su circa 3,8 milioni di campioni con reinforcement learning in decine di ambienti — e la copertura linguistica di inglese, spagnolo, francese, tedesco, italiano e giapponese.

Non confermato: ogni numero di benchmark, che è riportato dal fornitore, con l'Index di Artificial Analysis pari a 26 e la verbosità di 170M token a costituire le uniche misurazioni indipendenti in questo articolo. Non confermato: che i tag MLX supportino la lunghezza di contesto pubblicizzata, poiché la pagina della libreria non lo dichiara per loro. Non confermato: che il percorso di visione sia ottimizzato fin dall'inizio, perché le impostazioni di campionamento predefinite fornite sono quelle del testo. E non confermato: come la quantizzazione a 4 bit faccia variare i punteggi pubblicati, che è il numero a cui la maggior parte dei lettori di una scheda Ollama tiene davvero e quello che nessuno ha pubblicato.

Se hai una scheda da 96 GB, un motivo per volere un modello vision-linguaggio aperto con un vero backbone da 120B e nessuna obiezione a una dipendenza di prima settimana, questa è la cosa più forte della sua categoria di peso comparsa questo mese e il pull è banale. Se ti serve l'esatta configurazione su cui NVIDIA ha eseguito i benchmark, o ti serve che la visione funzioni al primo tentativo, o non puoi permetterti di passare una serata a scoprire quale di quei due documenti faccia testo — aspetta le valutazioni di quantizzazione e i report della community. I pesi hanno quattro giorni e il supporto runtime ne ha due.