Nemotron 3.5 Super på Ollama: en 120B visionsmodell du kunde köra innan NVIDIA annonserade den

I ungefär tjugo timmar fanns den lokala vägen till NVIDIA Nemotron 3.5 Super innan tillkännagivandet att den fanns. Ollama publicerade checkpointen i sitt bibliotek den 14 oktober 2026 i version v0.40.5, drog in en llama.cpp-uppdatering som lade till stöd för Nemotron 3.5 och skickade ut nio taggar av en vision-språkmodell med 120 miljarder parametrar – ollama run nemotron-3.5-super och du kör den. NVIDIAs eget inlägg i nyhetsrummet om samma vikter, publicerat under det fullständigare namnet NVIDIA Nemotron 3.5 Super VL, gick live följande eftermiddag, den 15 oktober, kl. 15:00 UTC. Själva vikterna hade legat på Hugging Face sedan den 12 oktober, i ett repository med namnet NVIDIA-Nemotron-3.5-Super-VL-120B-A12B-BF16, där modellkortets eget utgivningsdatumfält redan angav 10/15/2026.

Inget av det är en skandal. Det är den normala formen för ett släpp med öppna vikter nu: artefakten landar, ramverken tävlar om att stödja den, och marknadsföringen kommer ikapp. Men det förändrar vad det är värt att läsa Ollama-listningen för. Det som kom den 14 oktober är inte ett produkttillkännagivande med en körmiljö bifogad — det är en körmiljö med en produkt bifogad, och de två dokumenten är oense om flera saker som spelar roll om du står i begrepp att lägga 90 GB diskutrymme på det.

Vad v0.40.5 faktiskt släppte

Ollamas releaseanteckning är ovanligt specifik, vilket är bekvämt. Den beskriver Nemotron 3.5 Super som en visuell-språklig modell för kodning, resonemang, verktygsanvändning och dokumentförståelse, byggd på en hybrid Mamba-2/Transformer-mixture-of-experts-stomme med 12B aktiva parametrar per token av totalt 120B, parad med en C-RADIO-visionencoder. Den utlovar verktygsanrop, ett på/av-tänkläge och kontext upp till 1M tokens. De två rader som betyder mest för alla som redan kör Ollama ligger längre ner: Uppdaterad llama.cpp (lägger till stöd för Nemotron 3.5) och MLX.

Den där enda raden är hela anledningen till att pull fungerar. Ollama dirigerar denna checkpoint genom sin llamacpp-runner i GGUF-format – registry-manifestet säger det uttryckligen – så "Ollama stöder Nemotron 3.5 Super" och "llama.cpp stöder Nemotron 3.5 Super" är samma mening. Om du kör någon Ollama som är äldre än 0.40.5, är du inte det. Modellens konfigurationsblob innehåller "requires":"0.40.5", så versionsspärren upprätthålls i stället för att bara rekommenderas.

Samma versionsinformation nämner också en syskonmodell, Nemotron 3.5 Bolt, som destillerar Super ned till 74B parametrar med 9B aktiva och, enligt informationen, är trimmad för att rymmas på en 24 GB NVIDIA-GPU med spekulativ avkodning via en medföljande drafter. Den är en annan pull och en annan hårdvaruklass; håll den åtskild i huvudet, eftersom namngivningen inbjuder till förvirring.

De nio artefakterna, och vad var och en faktiskt väger

Bibliotekssidan visar en storlekstrappa. Registermanifestet bakom den visar faktiska byteantal, och de två avrundas inte på samma sätt, så här är siffrorna från själva manifesten i stället för de avrundade brickorna:

• q4_K_M — 88 419 818 592 byte, eller 82,3 GiB (bibliotekssidan visar 80GB–90GB). Taggnamn :latest, :120b, :120b-a12b och :120b-a12b-q4_K_M pekar alla på samma lager, så fyra av de nio posterna är en artefakt som bär fyra namn.

• q8_0 — 131 601 243 232 byte, 122,6 GiB, visas som 133 GB.

• bf16 — 247 403 355 232 byte, 230,4 GiB, visas som 249GB. Detta är fullprecisionscheckpointen i GGUF-kläder, och det är den enda taggen här som ligger långt ifrån konsumenthårdvara.

• MLX nvfp4 — 79,56 GB totalt, den minsta i uppsättningen, och NVFP4 är det format som NVIDIA:s eget kort levereras med som en förstklassig checkpoint snarare än en eftermarknadskvantisering.

• MLX mxfp8 — 129,60 GB totalt, MLX-motsvarigheten med ungefär samma utrymme som q8_0.

• MLX bf16 — 248,92 GB totalt, marginellt större än GGUF bf16 eftersom MLX lagrar tensorer på ett annat sätt.

• Projektorn — varje tagg, utan undantag, bär ett 1 733 696 896 byte stort mmproj-bf16.gguf-medialager. Det är 1,61 GiB av visionskodare som följer med vid varje nedladdning, inklusive den minsta. Bildvägen är inte valfri och inte en separat hämtning.

Tre av de nio posterna – de som är MLX – är taggade för Apple silicon i stället för CUDA, och var och en är helt enkelt märkt "MLX" på bibliotekssidan. Om du väljer en tagg på en Mac är nvfp4 på 79,56 GB den som får plats på en maskin med 96 GB eller 128 GB enhetligt minne med plats över, och mxfp8 på 129,60 GB får inte plats på en 128 GB-maskin alls när man räknar in KV-cachen.

Bibliotekssidan och manifestet stämmer inte överens om kontextlängden.

GGUF-taggarna utlovar ett kontextfönster på 1M token. De tre MLX-taggarna utlovar inget — kolumnen visar "- kontextfönster" där de andra visar "1M". Antingen har MLX-vägen inte kopplats upp för långkontextkonfigurationen, eller så har sidan helt enkelt inte fyllts i, men från utsidan går de inte att skilja på, och den ärliga hållningen är att långkontextpåståendet är verifierat för GGUF-taggarna och overifierat för MLX-taggarna.

Det finns en andra lucka i samma riktning. Konfigurationsblobben för standardtaggen deklarerar "model_type":"123.6B" medan all användarvänd namngivning säger 120B. Det är inte en avvikelse i vikterna; det är en avvikelse i hur parameterantalet avrundas mellan de två systemen, och det är värt att veta vilket nummer ett givet verktyg uppger för dig.

Och en tredje, den som med störst sannolikhet ställer till problem: params-blobben levereras med {"draft_num_predict":3,"temperature":1,"top_p":0.95}. De samplingsvärdena är modellkortets rekommenderade inställningar – för text. Kortet rekommenderar ett annat par för visionsarbete, temperature 0.6 mot top_p 0.95. Så Ollama-standarden är inställd för textdelen av en modell som Ollama marknadsför som en visionsmodell. Om din första upplevelse av den på diagram eller skannade sidor är nedslående, är det första ratten att vrida på, innan du drar några slutsatser om checkpointen.

Fältet draft_num_predict: 3 förtjänar en egen rad. Det är en parameter för spekulativ avkodning, och manifestet innehåller inget separat draft-modellager – bara modellens GGUF och projektorn. Så vilken spekulation körtiden än ägnar sig åt rider den på modellens inbyggda multi-token-prediction-huvud i stället för den fristående LiLiCorr-draftaren som NVIDIAs produktblad nämner levereras tillsammans med BF16- och NVFP4-checkpointarna. Det är ett rimligt ingenjörsmässigt val, och det innebär också att Ollama-vägen inte är den exakta konfiguration som leverantörens genomströmningssiffror beskriver.

Vad konfigurationsblobben i tysthet berättar för dig

Fyra fält i manifestkonfigurationen är mer informativa än vad deras storlek antyder.

• model_family: nemotron_h_moe — familjesträngen är inte bara nemotron. Allt i din stack som växlar på modellfamilj för att välja en chattmall eller en tokenizer kommer inte att matcha på ett naivt prefix.

• renderer: nemotron-3.5-super — en dedikerad rendererare, så chattmallen är verkligen den här modellens egen och inte en ärvd standard.

• parser: nemotron-3-nano — och här är parsern lånad från det mindre Nano-syskonet. Utdataformatet för thinking-läget och verktygsanrop var uppenbarligen tillräckligt stabilt i hela familjen för att det inte behövde en ny parser. Det innebär också att om du redan har byggt hantering av verktygsanrop för Nemotron 3 Nano, kommer den troligen att fungera oförändrat här.

• file_type: Q4_K_M — standardtaggen är en 4-bitars kvantisering, och det är den konfiguration som de flesta kommer att bedöma den här modellen utifrån.

Licenslagret är en blob på 2 618 byte som innehåller OpenMDW License Agreement version 1.1, vilket är samma licens som Hugging Face-kortet anger som openmdw-1.1. Tillåtande, kommersiell användning är tillåten, och värd att läsa innan du antar att den är Apache-2.0, eftersom det omgivande Ollama-ekosystemet mestadels är det.

Prestandamätningar: en uppsättning är leverantörens, den andra är inte.

NVIDIA:s egen publicerade tabell är omfattande och bygger helt och hållet på egen rapportering. På den redovisar modellen 89,52 på GPQA-Diamond, 31,79 på Humanity's Last Exam (endast text), 76,91 på MMLU-ProX, 88,22 på LiveCodeBench v6, 71,10 på SWE-bench Verified, 67,72 på SWE-bench Multilingual, 51,78 på SWE-bench Pro, 66,70 på Terminal-Bench 2.1, 70,86 på IFBench, 62,82 på MMLongBench-Doc, 78,16 på MathVision och 68,12 på OCRBench v2 engelska mot 59,15 för kinesiska. De agentiska raderna är starka: 69,24 detaljhandel, 76,50 flygbolag och 73,19 telekom på tau2-bench. Företaget hävdar också att modellen på topplistan Artificial Analysis Intelligence Index uppnår upp till 5x snabbare genomströmning än andra i sin klass, och att köra den på NVIDIA Dynamo gör att organisationer kan betjäna upp till 8x fler användare med 85 % lägre latens. Det är leverantörssiffror, framtagna av leverantören, på leverantörens infrastruktur – behandla dem som en specifikation, inte en granskning.

Den oberoende bilden är tunnare men mer användbar, just för att den är tunnare. Artificial Analysis placerar för närvarande denna checkpoint på ett Intelligence Index på 26, vilket de beskriver som väl över medianen på 8 för modeller med öppna vikter av liknande storlek – en verklig skillnad, och en betydelsefull sådan om du har antagit att en öppen 120B-modell från en hårdvarutillverkare hamnar någonstans nära mitten av fältet. Samma sida noterar 170M förbrukade utdatatokens när man körde Index mot en median på 100M, vilket den tolkar som "något mångordig": detta är en resonemangsmodell med ett utökat tänkandeläge, och mångordighet är en kostnadspost, inte en fotnot. Den bekräftar kontextfönstret på 1,0M, totalen på 120B med 12B aktiva, bildinmatning med textutmatning och licensen OpenMDW-1.1.

Det enda den sidan inte kan tala om för dig är vad den kostar per token, eftersom det inte finns något pris för hosting att uppge. Artificial Analysis eget svar på om modellen är tillgänglig via API är att det är en modell med öppna vikter som kan självhostas. Det är hela den ekonomiska historien i en mening: din marginalkostnad är el och en GPU-timme, och din fasta kostnad är nedladdningen.

Vad som krävs för att faktiskt köra det.

Modellkortet rekommenderar fyra H100 eller två GB200 för den släppta checkpointen, med ett vLLM-recept som anger tensor-parallellism på 4 och en spekulativ konfiguration med metoden mtp. Det är datacenter-svaret och det är inriktat på BF16. Den intressanta frågan för den som läser en Ollama-listning är den andra änden av stegen.

Vid q4_K_M ryms modellen med 82,3 GiB vikter plus 1,61 GiB projektor inom ett enda 96 GB-kort eller en Mac med 128 GB enhetligt minne, med ett KV-cacheutrymme som krymper snabbt när du ökar kontexten. Vid de annonserade 1M tokens kommer cachen inte att rymmas tillsammans med vikterna på den klassen av hårdvara, vad etiketten än säger – lång kontext på en enda maskin innebär att man byter bort samtidighet, inte att man låser upp den gratis. Planera för en fungerande kontext väl under taket och behandla 1M-siffran som arkitekturens gräns snarare än som din driftsättnings gräns.

MLX nvfp4-taggen på 79,56 GB är det pragmatiska valet för Apple-silicon, och det är också formatet som leverantören levererar nativt, vilket gör den till den av de små taggarna som är minst benägen att överraska dig kvalitetsmässigt.

Var detta passar in om du routar i stället för att självhosta

NVIDIA Nemotron 3.5 Super är tillgänglig via leverantörens egna bygg- och distributionskanaler och via den Ollama-pull som beskrivs ovan. Den finns inte på OrcaRouter — vi dirigerar drygt 200 modeller och den här är inte en av dem — så om du specifikt behöver denna checkpoint är den lokala pullen din väg, och inget i den här artikeln antyder att du kan anropa den med vår nyckel.

Vad plattformen egentligen är till för här är beslutet kring den. Att utvärdera en modell som den här har en fast kostnad som ingen benchmarktabell tar bort: en nedladdning på 90 GB, en kväll av konfiguration och en uppsättning egna prompter innan du vet något. Det billigare första draget är att köra din faktiska arbetsbelastning mot de hostade modeller du redan kan nå — ett API över 200+ modeller, med leverantörernas listpris vidarebefordrat utan påslag per token, så att en leverantör som sänker priserna är live hos oss samma dag — och låt det avgöra om arbetsbelastningen är något som en 120B-resonemangsmodell överhuvudtaget förbättrar. Lägg sedan nedladdningen på de fall som klarade sig.

Och om du faktiskt sätter en nyligen släppt öppen modell i en produktionsväg innan du litar på den,automatisk failover spelar större roll än priset. En modell som släpptes den 14 oktober har haft världens uppmärksamhet i två dagar; att routa den bakom en reservlösning är hur du får dess fördelar utan att satsa förfrågningsvägen på den.

Den ärliga sammanfattningen av vad som är bekräftat och vad som inte är det.

Bekräftat, direkt från registret och versionsinformationen: taggarna, deras digest-värden, deras byteantal, minimiversionen 0.40.5, GGUF-formatet via llamacpp-köraren, den delade visionsprojektorn, modellfamiljens sträng, renderaren, den ärvda Nano-tolkaren och OpenMDW-1.1-licensen. Bekräftat från NVIDIAs eget nyhetsrum och modellkort: arkitekturen, parameterfördelningen, licensen, de rekommenderade samplingsinställningarna, träningsskalan – omkring 26 biljoner tokens under förträning och fortsatt förträning, därefter efterträning på omkring 3,8 miljoner sampel med förstärkningsinlärning i dussintals miljöer – och språktäckningen för engelska, spanska, franska, tyska, italienska och japanska.

Inte bekräftat: varje benchmark-siffra, som rapporteras av leverantören, där Artificial Analysis index på 26 och 170M-token verbosity betraktas som de enda oberoende mätningarna i den här artikeln. Inte bekräftat: att MLX-taggarna stöder den annonserade kontextlängden, eftersom bibliotekssidan inte hävdar det för dem. Inte bekräftat: att visionsvägen är inställd direkt ur lådan, eftersom de medföljande samplingsstandardvärdena är textens. Och inte bekräftat: hur 4-bitarskvantiseringen påverkar de publicerade poängen, vilket är den siffra som de flesta läsare av en Ollama-listning faktiskt bryr sig om och den som ingen har publicerat.

Om du har ett 96 GB-kort, en anledning att vilja ha en öppen vision-language-modell med en äkta 120B-stomme, och inte har något emot ett beroende som är i sin första vecka, är detta det starkaste som har dykt upp i sin viktklass den här månaden, och hämtningen är trivial. Om du behöver den exakta konfigurationen som NVIDIA benchmarkade, eller om du behöver att vision fungerar på första försöket, eller om du inte har råd att lägga en kväll på att lista ut vilket av de två dokumenten som är det auktoritativa – vänta på kvantiseringsutvärderingarna och community-rapporterna. Vikterna är fyra dagar gamla och runtime-stödet är två dagar gammalt.