Nemotron 3.5 Super op Ollama: een 120B-visiemodel dat je al kon draaien voordat NVIDIA het aankondigde

Ongeveer twintig uur lang bestond het lokale pad naar NVIDIA Nemotron 3.5 Super al voordat de aankondiging dat het bestond verscheen. Ollama publiceerde het checkpoint in zijn bibliotheek op 14 oktober 2026 in release v0.40.5, nam een llama.cpp-update mee die Nemotron 3.5-ondersteuning toevoegde, en pushte negen tags van een vision-languagemodel met 120 miljard parameters — ollama run nemotron-3.5-super en je draait het. NVIDIA's eigen nieuwsbericht voor dezelfde gewichten, gepubliceerd onder de uitgebreidere naam NVIDIA Nemotron 3.5 Super VL, ging de volgende middag live, op 15 oktober om 15:00 UTC. De gewichten zelf stonden al sinds 12 oktober op Hugging Face, in een repository genaamd NVIDIA-Nemotron-3.5-Super-VL-120B-A12B-BF16, waar het releasedatumveld van de modelkaart zelf al 10/15/2026 aangaf.

Niets daarvan is een schandaal. Het is tegenwoordig de normale vorm van een open-weight release: het artefact landt, de frameworks racen om het te ondersteunen, en de marketing haalt de achterstand in. Maar het verandert waarom de Ollama-vermelding het lezen waard is. Wat op 14 oktober verscheen, is geen productaankondiging met een runtime eraan vast — het is een runtime met een product eraan vast, en de twee documenten spreken elkaar tegen over meerdere zaken die ertoe doen als je op het punt staat er 90 GB schijfruimte aan te besteden.

Wat v0.40.5 daadwerkelijk heeft uitgebracht

De Ollama-releaseopmerking is ongewoon specifiek, wat handig uitkomt. Er staat in dat Nemotron 3.5 Super een visie-taalmodel is voor coderen, redeneren, toolgebruik en het begrijpen van documenten, gebouwd op een hybride Mamba-2/Transformer mixture-of-experts-backbone met 12B actieve parameters per token van de in totaal 120B, in combinatie met een C-RADIO-visie-encoder. Er wordt tool calling, een aan/uit-denkmodus en een context van maximaal 1M tokens beloofd. De twee regels die het belangrijkst zijn voor iedereen die Ollama al draait, staan dieper weggestopt: Bijgewerkte llama.cpp (met ondersteuning voor Nemotron 3.5) en MLX.

Die ene regel is de hele reden dat de pull werkt. Ollama leidt dit checkpoint via zijn llamacpp-runner in GGUF-formaat — het registermanifest zegt dat expliciet — dus "Ollama ondersteunt Nemotron 3.5 Super" en "llama.cpp ondersteunt Nemotron 3.5 Super" zijn dezelfde zin. Als je een Ollama-versie gebruikt die ouder is dan 0.40.5, dan is dat niet zo. De config-blob van het model bevat "requires":"0.40.5", dus de versiepoort wordt afgedwongen in plaats van alleen maar aangeraden.

Dezelfde releaseopmerking noemt ook een zustermodel, Nemotron 3.5 Bolt, dat Super destilleert naar 74B parameters, waarvan 9B actief, en volgens de opmerking is afgestemd om te passen op een NVIDIA GPU van 24 GB met speculatieve decoding via een meegeleverde drafter. Die is een andere pull en een ander hardwareniveau; houd het apart in je hoofd, want de naamgeving wekt verwarring.

De negen artefacten, en hoeveel elk ervan daadwerkelijk weegt

De bibliotheekpagina toont een grootteladder. Het registry-manifest erachter toont werkelijke byteaantallen, en die twee worden niet op dezelfde manier afgerond, dus hier zijn de cijfers uit de manifests zelf in plaats van de afgeronde badges:

• q4_K_M — 88.419.818.592 bytes, of 82,3 GiB (de bibliotheekpagina vermeldt 80GB–90GB). Tagnamen :latest, :120b, :120b-a12b en :120b-a12b-q4_K_M verwijzen allemaal naar dezelfde laag, dus vier van de negen vermeldingen zijn één artefact met vier namen.

• q8_0 — 131.601.243.232 bytes, 122,6 GiB, weergegeven als 133GB.

• bf16 — 247.403.355.232 bytes, 230,4 GiB, weergegeven als 249GB. Dit is het checkpoint met volledige precisie in GGUF-jasje, en het is de enige tag hier die nergens in de buurt van consumentenhardware komt.

• MLX nvfp4 — 79,56 GB in totaal, de kleinste van de set, en NVFP4 is het formaat dat de eigen kaart van NVIDIA als een eersteklas checkpoint meelevert in plaats van een aftermarket-kwantisatie.

• MLX mxfp8 — 129,60 GB in totaal, de MLX-tegenhanger met ongeveer dezelfde voetafdruk als q8_0.

• MLX bf16 — 248,92 GB in totaal, iets groter dan de GGUF bf16 omdat MLX tensors anders opslaat.

• De projector — elke tag, zonder uitzondering, bevat een 1.733.696.896-byte mmproj-bf16.gguf medialaag. Dat is 1,61 GiB aan vision-encoder die bij elke download meegaat, ook bij de kleinste. Het afbeeldingspad is niet optioneel en geen afzonderlijke pull.

Drie van de negen items — de MLX-items — zijn getagd voor Apple silicon in plaats van CUDA, en elk is op de bibliotheekpagina eenvoudigweg gelabeld als "MLX". Als je op een Mac een tag kiest, nvfp4 met 79,56 GB is degene die op een machine met 96 GB of 128 GB unified memory past, met ruimte over, en mxfp8 met 129,60 GB past helemaal niet op een machine met 128 GB als je rekening houdt met de KV-cache.

De bibliotheekpagina en het manifest verschillen van mening over de contextlengte.

De GGUF-tags adverteren een contextvenster van 1M tokens. De drie MLX-tags adverteren er geen — de kolom leest "- contextvenster" waar de andere "1M" lezen. Of het MLX-pad niet is ingericht voor de long-contextconfiguratie, of de pagina is simpelweg niet ingevuld, maar van buitenaf zijn die niet van elkaar te onderscheiden, en het eerlijke standpunt is dat de long-contextclaim geverifieerd is voor de GGUF-tags en niet geverifieerd voor de MLX-tags.

Er is een tweede gat in dezelfde richting. De config-blob voor de standaardtag declareert "model_type":"123.6B" terwijl elke vorm van mensgerichte naamgeving 120B zegt. Dat is geen discrepantie in de gewichten; het is een discrepantie in hoe het aantal parameters tussen de twee systemen wordt afgerond, en het is de moeite waard om te weten welk getal een bepaald hulpmiddel je voorhoudt.

En een derde, en dat is degene die het vaakst zal bijten: de params-blob wordt meegeleverd {"draft_num_predict":3,"temperature":1,"top_p":0.95}. Die samplingwaarden zijn de aanbevolen instellingen van de modelkaart — voor tekst. De kaart beveelt een ander paar aan voor visiewerk, temperature 0,6 tegen top_p 0,95. De Ollama-standaard is dus afgestemd op de teksthelft van een model dat Ollama als visionmodel adverteert. Als je eerste ervaring ermee met grafieken of gescande pagina's tegenvalt, is dat de eerste knop om aan te draaien, voordat je conclusies trekt over de checkpoint.

Het draft_num_predict: 3 veld is een eigen regel waard. Het is een parameter voor speculatieve decoding, en het manifest bevat geen aparte draft-model-laag — alleen het model-GGUF en de projector. Dus welke speculatie de runtime ook doet, die lift mee op de ingebouwde multi-token-prediction-kop van het model in plaats van op de zelfstandige LiLiCorr-drafter die NVIDIA's kaart noemt als meegeleverd naast de BF16- en NVFP4-checkpoints. Dat is een redelijke technische keuze en het betekent ook dat het Ollama-pad niet de exacte configuratie is die de doorvoercijfers van de leverancier beschrijven.

Wat de config-blob je stilletjes vertelt

Vier velden in de manifestconfiguratie zijn informatiever dan hun grootte doet vermoeden.

• model_family: nemotron_h_moe — de family-string is niet simpelweg nemotron. Alles in je stack dat op model family schakelt om een chat-template of een tokenizer te kiezen, zal niet matchen op een naïeve prefix.

• renderer: nemotron-3.5-super — een eigen renderer, dus het chatsjabloon is daadwerkelijk van dit model en niet een geërfde standaard.

• parser: nemotron-3-nano — en hier is de parser overgenomen van het kleinere Nano-broertje. Het uitvoerformaat voor denkmodus en tool-aanroepen was blijkbaar stabiel genoeg binnen de familie dat er geen nieuwe parser nodig was. Het betekent ook dat als je al de afhandeling van tool-aanroepen voor Nemotron 3 Nano hebt gebouwd, deze hier waarschijnlijk ongewijzigd zal werken.

• file_type: Q4_K_M — de standaardtag is een 4-bitkwantisatie, en dat is de configuratie op basis waarvan de meeste mensen dit model zullen beoordelen.

De licentielaag is een blob van 2.618 bytes met de OpenMDW License Agreement versie 1.1, dezelfde licentie die de Hugging Face-kaart vermeldt als openmdw-1.1. Permissief, commercieel gebruik toegestaan, en de moeite waard om te lezen voordat je aanneemt dat het Apache-2.0 is omdat het omringende Ollama-ecosysteem dat grotendeels is.

Benchmarks: de ene set is van de leverancier, de andere niet.

De eigen gepubliceerde tabel van NVIDIA is uitgebreid en volledig gebaseerd op zelfrapportage. Daarin scoort het model 89,52 op GPQA-Diamond, 31,79 op Humanity's Last Exam tekst-only, 76,91 op MMLU-ProX, 88,22 op LiveCodeBench v6, 71,10 op SWE-bench Verified, 67,72 op SWE-bench Multilingual, 51,78 op SWE-bench Pro, 66,70 op Terminal-Bench 2.1, 70,86 op IFBench, 62,82 op MMLongBench-Doc, 78,16 op MathVision en 68,12 op OCRBench v2 Engels tegenover 59,15 Chinees. De agentic-rijen zijn sterk: 69,24 retail, 76,50 airline en 73,19 telecom op tau2-bench. Het bedrijf beweert ook dat het model op het Artificial Analysis Intelligence Index-leaderboard tot 5x snellere doorvoer haalt dan anderen in zijn klasse, en dat organisaties het op NVIDIA Dynamo kunnen draaien om tot 8x meer gebruikers te bedienen met 85% lagere latentie. Dat zijn cijfers van de leverancier, geproduceerd door de leverancier, op de infrastructuur van de leverancier — beschouw ze als een specificatie, niet als een audit.

Het onafhankelijke beeld is dunner maar nuttiger, juist omdat het dunner is. Artificial Analysis plaatst dit checkpoint momenteel op een Intelligence Index van 26, wat volgens hen ruim boven de mediaan van 8 ligt voor open-weight modellen van vergelijkbare grootte — een echte kloof, en een betekenisvolle als je ervan uitging dat een 120B open model van een hardwareleverancier ergens in de middenmoot van het veld uitkomt. Dezelfde pagina vermeldt 170M verbruikte outputtokens bij het draaien van de Index tegen een mediaan van 100M, wat zij interpreteren als "enigszins verbose": dit is een reasoning-model met een uitgebreide denkmodus, en verboseheid is een kostenpost, geen voetnoot. Het bevestigt de 1.0M context, de 120B totaal met 12B actief, beeldinvoer met tekstuitvoer, en de OpenMDW-1.1-licentie.

Het enige wat die pagina je niet kan vertellen, is wat het per token kost, omdat er geen gehoste prijs is om te noemen. Het eigen antwoord van Artificial Analysis op de vraag of het model via API beschikbaar is, is dat het een open-weightsmodel is dat zelf gehost kan worden. Dat is het hele economische verhaal in één zin: je marginale kosten zijn elektriciteit en een GPU-uur, en je vaste kosten zijn de download.

Wat er nodig is om het daadwerkelijk te laten draaien

De modelkaart raadt vier H100's of twee GB200's aan voor het vrijgegeven checkpoint, met een vLLM-recept dat tensor-parallellisme van 4 voorschrijft en een speculatieve configuratie met methode mtp. Dat is het datacenterantwoord en het is gericht op BF16. De interessante vraag voor iedereen die een Ollama-vermelding leest, is het andere uiteinde van de ladder.

Bij q4_K_M brengt 82,3 GiB aan gewichten plus 1,61 GiB aan projector het model binnen één enkele kaart van 96 GB of een Mac met 128 GB unified memory, met een KV-cache-marge die snel krimpt naarmate je de context verhoogt. Bij de geadverteerde 1M tokens gaat de cache niet naast de gewichten passen op dat soort hardware, wat het etiket ook zegt — een lange context op één machine betekent inleveren op gelijktijdigheid, niet gratis ontgrendelen. Reken op een werkcontext ruim onder het plafond en beschouw het 1M-getal als de limiet van de architectuur, niet van jouw deployment.

De MLX nvfp4-tag van 79,56 GB is de pragmatische keuze voor Apple-silicon, en het is ook het formaat dat de leverancier native meelevert, wat hem van de kleine tags het minst waarschijnlijk maakt om je qua kwaliteit te verrassen.

Waar dit past als je routeert in plaats van zelf te hosten

NVIDIA Nemotron 3.5 Super is beschikbaar via de eigen build- en distributiekanalen van de leverancier en via de hierboven beschreven Ollama-pull. Het staat niet op OrcaRouter — we routeren iets meer dan 200 modellen en dit is er niet een van — dus als je specifiek dit checkpoint nodig hebt, is de lokale pull je route, en niets in dit artikel is een suggestie dat je het op onze key kunt aanroepen.

Waar het platform hier echt voor dient, is de beslissing eromheen. Het evalueren van een model zoals dit heeft een vaste kostenpost die geen enkele benchmarktabel wegneemt: een download van 90 GB, een avond configureren, en een set eigen prompts voordat je iets weet. De goedkopere eerste zet is je werkelijke workload draaien tegen de gehoste modellen die je al kunt bereiken — één API voor meer dan 200 modellen, met de lijstprijs van de provider doorgegeven zonder markup per token, zodat een leverancier die de prijzen verlaagt dezelfde dag nog aan onze kant live is — en laat dat je vertellen of de workload er een is waar een redeneermodel van 120B überhaupt beter op presteert. Besteed de download dan aan de gevallen die het hebben overleefd.

En als je een nieuw uitgebracht open model toch in een productiepad opneemt voordat je het vertrouwt, dan is de automatische failover belangrijker dan de prijs. Een model dat op 14 oktober is uitgekomen, heeft twee dagen de aandacht van de wereld gehad; het achter een fallback routeren is hoe je het voordeel ervan benut zonder het verzoekpad eraan op te hangen.

De eerlijke samenvatting van wat wel en niet bevestigd is

Bevestigd, rechtstreeks uit het register en de releaseopmerkingen: de tags, hun digests, hun byte-aantallen, de minimumversie 0.40.5, het GGUF-formaat via de llamacpprunner, de gedeelde vision-projector, de tekenreeks van de modelfamilie, de renderer, de overgenomen Nano-parser en de OpenMDW-1.1-licentie. Bevestigd via NVIDIA's eigen nieuwsruimte en modelkaart: de architectuur, de parameterverdeling, de licentie, de aanbevolen sampling-instellingen, de trainingsschaal — ongeveer 26 biljoen tokens over pretraining en vervolgpretraining, daarna post-training op ongeveer 3,8 miljoen samples met reinforcement learning in tientallen omgevingen — en de taaldekking van Engels, Spaans, Frans, Duits, Italiaans en Japans.

Niet bevestigd: elk benchmarkgetal, dat door de leverancier wordt gerapporteerd, waarbij Artificial Analysis' Index van 26 en de 170M-token-verboseheid de enige onafhankelijke metingen in dit stuk zijn. Niet bevestigd: dat de MLX-tags de geadverteerde contextlengte ondersteunen, aangezien de bibliotheekpagina dat niet voor ze claimt. Niet bevestigd: dat het vision-pad out of the box is afgestemd, omdat de meegeleverde sampling-standaardwaarden die van de tekst zijn. En niet bevestigd: hoe de 4-bit-kwantisatie de gepubliceerde scores beïnvloedt, het getal waar de meeste lezers van een Ollama-vermelding echt om geven en het getal dat niemand heeft gepubliceerd.

Als je een 96GB-kaart hebt, een reden om een open visie-taalmodel met een echte 120B-backbone te willen, en geen bezwaar hebt tegen een afhankelijkheid in de eerste week, dan is dit het sterkste ding in zijn gewichtsklasse dat deze maand is verschenen, en het ophalen is triviaal. Als je de exacte configuratie nodig hebt die NVIDIA heeft gebenchmarkt, of als je wilt dat het visiegedeelte in één keer werkt, of als je het je niet kunt veroorloven een avond te besteden aan het uitzoeken welk van die twee documenten gezaghebbend is — wacht dan op de kwantisatie-evals en de communityrapporten. De gewichten zijn vier dagen oud en de runtime-ondersteuning is twee.