Nemotron 3.5 Super auf Ollama: ein 120B-Vision-Modell, das du schon laufen lassen konntest, bevor NVIDIA es angekündigt hat

Etwa zwanzig Stunden lang existierte der lokale Pfad zu NVIDIA Nemotron 3.5 Super, bevor die Ankündigung, dass er existierte, erfolgte. Ollama veröffentlichte den Checkpoint in seiner Bibliothek am 14. Oktober 2026 in Release v0.40.5, zog ein llama.cpp-Update ein, das Nemotron 3.5-Unterstützung hinzufügte, und pushte neun Tags eines 120 Milliarden Parameter großen Vision-Sprachmodells — ollama run nemotron-3.5-super und Sie führen es aus. NVIDIAs eigener Newsroom-Beitrag für dieselben Gewichte, veröffentlicht unter dem volleren Namen NVIDIA Nemotron 3.5 Super VL, ging am folgenden Nachmittag, dem 15. Oktober, um 15:00 UTC live. Die Gewichte selbst lagen seit dem 12. Oktober auf Hugging Face, in einem Repository namens NVIDIA-Nemotron-3.5-Super-VL-120B-A12B-BF16, wo das eigene Veröffentlichungsdatum-Feld der Modellkarte bereits 10/15/2026 anzeigte.

Nichts davon ist ein Skandal. Es ist inzwischen die normale Form einer Open-Weight-Veröffentlichung: Das Artefakt erscheint, die Frameworks wetteifern darum, es zu unterstützen, und das Marketing zieht nach. Doch es ändert, wofür sich der Ollama-Eintrag zu lesen lohnt. Was am 14. Oktober erschien, ist keine Produktankündigung mit angehängter Laufzeitumgebung – es ist eine Laufzeitumgebung mit angehängtem Produkt, und die beiden Dokumente widersprechen sich in mehreren Punkten, die wichtig sind, wenn man kurz davor steht, 90 GB Festplattenspeicher dafür auszugeben.

Was v0.40.5 tatsächlich ausgeliefert hat

Der Ollama-Versionshinweis ist ungewöhnlich konkret, was praktisch ist. Darin wird Nemotron 3.5 Super als ein Vision-Sprachmodell für Coding, Reasoning, Tool-Nutzung und Dokumentenverständnis beschrieben, aufgebaut auf einem hybriden Mamba-2/Transformer-Mixture-of-Experts-Backbone mit 12B aktiven Parametern pro Token bei insgesamt 120B, kombiniert mit einem C-RADIO-Vision-Encoder. Es wirbt mit Tool-Aufrufen, einem ein-/ausschaltbaren Denkmodus und einem Kontext von bis zu 1M Tokens. Die beiden Zeilen, die für alle, die Ollama bereits nutzen, am wichtigsten sind, verstecken sich weiter unten: Aktualisiertes llama.cpp (Nemotron-3.5-Unterstützung hinzugefügt) und MLX.

Diese eine Zeile ist der ganze Grund, warum der Pull funktioniert. Ollama leitet diesen Checkpoint durch seinen llamacpp-Runner im GGUF-Format — das Registry-Manifest sagt es ausdrücklich — also sind "Ollama supports Nemotron 3.5 Super" und "llama.cpp supports Nemotron 3.5 Super" derselbe Satz. Wenn du irgendein Ollama älter als 0.40.5 verwendest, bist du es nicht. Der Config-Blob des Modells enthält "requires":"0.40.5", daher wird das Versions-Gate erzwungen statt nur empfohlen.

Derselbe Versionshinweis nennt auch ein Geschwistermodell, Nemotron 3.5 Bolt, das Super auf 74B Parameter mit 9B aktiven Parametern herunterdestilliert und laut dem Hinweis darauf abgestimmt ist, mit spekulativem Decoding über einen mitgelieferten Drafter auf eine 24-GB-NVIDIA-GPU zu passen. Das ist ein anderer Pull und eine andere Hardware-Klasse; behalte es gedanklich getrennt, denn die Benennung lädt zu Verwechslungen ein.

Die neun Artefakte und was jedes einzelne tatsächlich wiegt

Die Bibliotheksseite zeigt eine Größenstaffel. Das dahinterliegende Registry-Manifest zeigt die tatsächlichen Bytezahlen, und die beiden werden nicht auf dieselbe Weise gerundet. Deshalb hier die Zahlen aus den Manifesten selbst statt der gerundeten Badges:

• q4_K_M — 88.419.818.592 Bytes oder 82,3 GiB (die Bibliotheksseite gibt 80GB–90GB an). Tag-Namen :latest, :120b, :120b-a12b und :120b-a12b-q4_K_M verweisen alle auf denselben Layer, sodass es sich bei vier der neun Einträge um ein Artefakt handelt, das vier Namen trägt.

• q8_0 — 131.601.243.232 Bytes, 122,6 GiB, ausgegeben als 133 GB.

• bf16 — 247.403.355.232 Bytes, 230,4 GiB, ausgegeben als 249 GB. Dies ist der Vollpräzisions-Checkpoint im GGUF-Gewand, und es ist der einzige Tag hier, der nirgendwo in die Nähe von Consumer-Hardware kommt.

• MLX nvfp4 — 79,56 GB insgesamt, der kleinste des Sets, und NVFP4 ist das Format, in dem NVIDIAs eigene Karte als vollwertiger Checkpoint statt als nachträgliche Quantisierung ausgeliefert wird.

• MLX mxfp8 — 129,60 GB insgesamt, das MLX-Pendant mit ungefähr dem Speicherbedarf von q8_0.

• MLX bf16 — insgesamt 248,92 GB, geringfügig größer als das GGUF-bf16, weil MLX Tensoren anders speichert.

• Der Projektor — jeder Tag, ohne Ausnahme, trägt eine 1.733.696.896 Byte große mmproj-bf16.gguf Medienebene. Das sind 1,61 GiB Vision-Encoder, die bei jedem Download mitgeschleppt werden, auch beim kleinsten. Der Bildpfad ist nicht optional und kein separater Pull.

Drei der neun Einträge – die MLX-Varianten – sind für Apple Silicon statt für CUDA gekennzeichnet, und jeder ist auf der Bibliotheksseite schlicht mit "MLX" beschriftet. Wenn Sie auf einem Mac ein Tag auswählen, nvfp4 mit 79,56 GB derjenige, der auf eine Maschine mit 96 GB oder 128 GB Unified Memory mit reichlich Reserve passt, und mxfp8 mit 129,60 GB passt überhaupt nicht auf einen 128-GB-Rechner, sobald man den KV-Cache einrechnet.

Die Bibliotheksseite und das Manifest stimmen bei der Kontextlänge nicht überein

Die GGUF-Tags werben mit einem 1M-Token-Kontextfenster. Die drei MLX-Tags geben keines an – in der Spalte steht „- context window“, wo bei den anderen „1M“ steht. Entweder wurde der MLX-Pfad nicht für die Long-Context-Konfiguration verdrahtet, oder die Seite wurde schlicht nicht ausgefüllt, doch von außen sind diese beiden Fälle nicht zu unterscheiden, und die ehrliche Position ist, dass die Long-Context-Angabe für die GGUF-Tags verifiziert und für die MLX-Tags unverifiziert ist.

Es gibt eine zweite Lücke in derselben Richtung. Der Konfigurations-Blob für den Standard-Tag deklariert "model_type":"123.6B", während jede auf Menschen ausgerichtete Benennung 120B lautet. Das ist keine Abweichung bei den Gewichten; es ist eine Abweichung darin, wie die Parameteranzahl zwischen den beiden Systemen gerundet wird, und es lohnt sich zu wissen, welche Zahl ein bestimmtes Tool dir gerade nennt.

Und ein dritter, der am ehesten zum Verhängnis werden dürfte: Das params-Blob wird standardmäßig mitgeliefert: {"draft_num_predict":3,"temperature":1,"top_p":0.95}. Diese Sampling-Werte sind die von der Model Card empfohlenen Einstellungen – für Text. Die Model Card empfiehlt für Vision-Aufgaben ein anderes Paar: temperature 0.6 gegenüber top_p 0.95. Der Ollama-Standard ist also auf die Text-Hälfte eines Modells abgestimmt, das Ollama als Vision-Modell bewirbt. Wenn Ihre erste Erfahrung damit bei Diagrammen oder gescannten Seiten enttäuschend ausfällt, ist das der erste Regler, an dem Sie drehen sollten, bevor Sie Schlüsse über den Checkpoint ziehen.

Das draft_num_predict: 3 Feld verdient eine eigene Zeile. Es ist ein Parameter für spekulatives Dekodieren, und das Manifest enthält keine separate Draft-Model-Ebene – nur das Modell-GGUF und den Projektor. Was auch immer die Laufzeitumgebung an Spekulation betreibt, läuft also über den integrierten Multi-Token-Prediction-Kopf des Modells und nicht über den eigenständigen LiLiCorr-Drafter, den NVIDIAs Datenblatt als zusammen mit den BF16- und NVFP4-Checkpoints ausgeliefert erwähnt. Das ist eine sinnvolle technische Entscheidung, und sie bedeutet außerdem, dass der Ollama-Pfad nicht exakt der Konfiguration entspricht, die die Durchsatzzahlen des Herstellers beschreiben.

Was der Konfigurations-Blob Ihnen still und leise verrät

Vier Felder in der Manifest-Konfiguration sind informativer, als ihre Größe vermuten lässt.

• model_family: nemotron_h_moe — der Family-String ist nicht einfach nur nemotron. Alles in Ihrem Stack, das anhand der Modellfamilie umschaltet, um eine Chat-Vorlage oder einen Tokenizer auszuwählen, wird bei einem naiven Präfix nicht übereinstimmen.

• Renderer: nemotron-3.5-super — ein dedizierter Renderer, sodass die Chat-Vorlage tatsächlich zu diesem Modell gehört und kein übernommener Standard ist.

• Parser: nemotron-3-nano — und hier ist der Parser vom kleineren Nano-Geschwistermodell übernommen. Das Ausgabeformat für den Thinking-Modus und Tool-Aufrufe war offenbar über die Modellfamilie hinweg stabil genug, dass kein neuer Parser nötig war. Es bedeutet außerdem: Wenn Sie bereits Tool-Call-Handling für Nemotron 3 Nano implementiert haben, wird es hier wahrscheinlich unverändert funktionieren.

• file_type: Q4_K_M – Das Standard-Tag ist eine 4-Bit-Quantisierung, und genau an dieser Konfiguration werden die meisten Leute dieses Modell beurteilen.

Die Lizenzschicht ist ein 2.618-Byte-Blob, der die OpenMDW License Agreement Version 1.1 enthält. Die Hugging Face-Karte bezeichnet dieselbe Lizenz als openmdw-1.1. Permissiv, kommerzielle Nutzung erlaubt, und es lohnt sich, sie zu lesen, bevor man annimmt, dass sie Apache-2.0 ist, weil das umgebende Ollama-Ökosystem es größtenteils ist.

Benchmarks: Ein Satz stammt vom Anbieter, der andere nicht.

Die von NVIDIA selbst veröffentlichte Tabelle ist umfangreich und stützt sich vollständig auf eigene Angaben. Darin erzielt das Modell 89,52 bei GPQA-Diamond, 31,79 bei Humanity's Last Exam (Nur-Text), 76,91 bei MMLU-ProX, 88,22 bei LiveCodeBench v6, 71,10 bei SWE-bench Verified, 67,72 bei SWE-bench Multilingual, 51,78 bei SWE-bench Pro, 66,70 bei Terminal-Bench 2.1, 70,86 bei IFBench, 62,82 bei MMLongBench-Doc, 78,16 bei MathVision und 68,12 bei OCRBench v2 English gegenüber 59,15 bei Chinesisch. Die agentischen Zeilen sind stark: 69,24 im Einzelhandel, 76,50 bei Fluggesellschaften und 73,19 bei Telekommunikation auf tau2-bench. Das Unternehmen behauptet außerdem, dass das Modell auf der Bestenliste des Artificial Analysis Intelligence Index einen bis zu 5-mal höheren Durchsatz als andere seiner Klasse erreicht und dass der Betrieb auf NVIDIA Dynamo es Organisationen ermöglicht, bis zu 8-mal mehr Nutzer bei 85 % geringerer Latenz zu bedienen. Bei diesen Zahlen handelt es sich um Herstellerangaben, die vom Hersteller auf der Infrastruktur des Herstellers erstellt wurden – behandeln Sie sie als Spezifikation, nicht als Audit.

Das unabhängige Bild ist dünner, aber nützlicher – gerade weil es dünner ist. Artificial Analysis ordnet diesen Checkpoint derzeit bei einem Intelligence Index von 26 ein, den sie als deutlich über dem Median von 8 für Open-Weight-Modelle ähnlicher Größe beschreibt – eine echte Lücke und eine bedeutsame, wenn Sie bisher angenommen haben, dass ein offenes 120B-Modell von einem Hardware-Anbieter irgendwo nahe der Mitte des Feldes landet. Dieselbe Seite verzeichnet 170M verbrauchte Output-Tokens beim Lauf des Index gegenüber einem Median von 100M, was sie als „etwas wortreich“ deutet: Dies ist ein Reasoning-Modell mit einem erweiterten Thinking-Modus, und Wortreichtum ist eine Kostenposition, keine Fußnote. Es bestätigt den 1,0M-Kontext, die 120B Gesamtgröße mit 12B aktiv, Bildeingabe mit Textausgabe und die OpenMDW-1.1-Lizenz.

Das Einzige, was diese Seite Ihnen nicht sagen kann, sind die Kosten pro Token, denn es gibt keinen gehosteten Preis, den man nennen könnte. Artificial Analysis’ eigene Antwort auf die Frage, ob das Modell über eine API verfügbar ist, lautet, dass es sich um ein Open-Weights-Modell handelt, das selbst gehostet werden kann. Das ist die ganze wirtschaftliche Geschichte in einem Satz: Ihre Grenzkosten sind Strom und eine GPU-Stunde, und Ihre Fixkosten sind der Download.

Was es tatsächlich braucht, um es zu betreiben.

Die Modellkarte empfiehlt für den veröffentlichten Checkpoint vier H100 oder zwei GB200, mit einem vLLM-Rezept, das Tensor-Parallelität von 4 und eine spekulative Konfiguration der Methode angibt: mtp. Das ist die Antwort für das Rechenzentrum und sie ist auf BF16 ausgelegt. Die interessante Frage für alle, die ein Ollama-Listing lesen, ist das andere Ende der Leiter.

Bei q4_K_M bringen 82,3 GiB Gewichte plus 1,61 GiB Projektor das Modell in einer einzelnen 96-GB-Karte oder einem Mac mit 128 GB Unified Memory unter, wobei die KV-Cache-Reserve schnell schrumpft, wenn man den Kontext erhöht. Bei den beworbenen 1M Token wird der Cache auf dieser Hardwareklasse nicht neben die Gewichte passen, egal, was auf dem Etikett steht – langer Kontext auf einer einzelnen Maschine bedeutet, Parallelität zu opfern, nicht, ihn kostenlos freizuschalten. Plane mit einem Arbeitskontext deutlich unter der Obergrenze und behandle die 1M-Angabe als Grenze der Architektur, nicht als die deines Deployments.

Der MLX-nvfp4-Tag mit 79,56 GB ist die pragmatische Wahl für Apple Silicon und außerdem das Format, das der Anbieter nativ ausliefert, wodurch er unter den kleinen Tags am wenigsten dazu neigen dürfte, Sie bei der Qualität zu überraschen.

Wo das einzuordnen ist, wenn Sie Routing statt Self-Hosting betreiben

NVIDIA Nemotron 3.5 Super ist über die eigenen Build- und Distributionskanäle des Anbieters sowie über den oben beschriebenen Ollama-Pull verfügbar. Es ist nicht auf OrcaRouter — wir routen etwas mehr als 200 Modelle, und dies ist keines davon —, wenn Sie also speziell diesen Checkpoint benötigen, ist der lokale Pull Ihr Weg, und nichts in diesem Artikel ist ein Hinweis darauf, dass Sie ihn mit unserem Schlüssel aufrufen können.

Worum es bei dieser Plattform hier wirklich geht, ist die Entscheidung drumherum. Ein Modell wie dieses zu bewerten, hat feste Kosten, die keine Benchmark-Tabelle aufhebt: ein 90-GB-Download, ein Abend mit Konfiguration und eine Reihe eigener Prompts, bevor man überhaupt irgendetwas weiß. Der günstigere erste Schritt ist, die eigene tatsächliche Arbeitslast gegen die gehosteten Modelle laufen zu lassen, die man bereits erreichen kann – eine API über 200+ Modelle hinweg, mit dem Listenpreis der Anbieter, durchgereicht ohne Aufschlag pro Token, sodass eine Preissenkung eines Anbieters bei uns am selben Tag live ist – und sich davon sagen zu lassen, ob die Arbeitslast überhaupt eine ist, die ein 120B-Reasoning-Modell verbessert. Den Download investiert man dann in die Fälle, die übrig geblieben sind.

Und wenn Sie ein neu veröffentlichtes offenes Modell tatsächlich in einen Produktionspfad einbringen, bevor Sie ihm vertrauen, ist das automatische Failover wichtiger als der Preis. Ein Modell, das am 14. Oktober erschienen ist, hatte zwei Tage lang die Aufmerksamkeit der Welt; es hinter einen Fallback zu routen, ist der Weg, sein Potenzial zu nutzen, ohne den Anfragepfad darauf zu verwetten.

Die ehrliche Zusammenfassung dessen, was bestätigt und was nicht bestätigt ist.

Direkt aus der Registry und den Versionshinweisen bestätigt: die Tags, ihre Digests, ihre Byte-Anzahlen, die Mindestversion 0.40.5, das GGUF-Format über den llamacpp-Runner, den gemeinsamen Vision-Projektor, den Modellfamilien-String, den Renderer, den geerbten Nano-Parser und die OpenMDW-1.1-Lizenz. Bestätigt aus NVIDIAs eigenem Newsroom und der Modellkarte: die Architektur, die Parameteraufteilung, die Lizenz, die empfohlenen Sampling-Einstellungen, den Trainingsumfang — ungefähr 26 Billionen Tokens über Pretraining und fortgesetztes Pretraining hinweg, danach Post-Training auf etwa 3,8 Millionen Samples mit Reinforcement Learning über Dutzende Umgebungen hinweg — und die Sprachabdeckung von Englisch, Spanisch, Französisch, Deutsch, Italienisch und Japanisch.

Nicht bestätigt: jede einzelne Benchmark-Zahl, die vom Anbieter stammt, wobei Artificial Analysis' Index von 26 und die 170M-Token-Verbosity als die einzigen unabhängigen Messungen in diesem Beitrag gelten. Nicht bestätigt: dass die MLX-Tags die beworbene Kontextlänge unterstützen, da die Bibliotheksseite dies für sie nicht behauptet. Nicht bestätigt: dass der Vision-Pfad out of the box abgestimmt ist, weil die mitgelieferten Sampling-Standardwerte die für Text sind. Und nicht bestätigt: wie die 4-Bit-Quantisierung die veröffentlichten Scores verändert, also die Zahl, die die meisten Leser eines Ollama-Listings tatsächlich interessiert und die noch niemand veröffentlicht hat.

Wenn Sie eine 96-GB-Karte haben, einen Grund, sich ein offenes Vision-Language-Modell mit einem echten 120B-Backbone zu wünschen, und nichts gegen eine Abhängigkeit in der ersten Woche einzuwenden haben, dann ist dies das Stärkste, was in seiner Gewichtsklasse diesen Monat erscheint, und der Pull ist trivial. Wenn Sie die exakte Konfiguration benötigen, die NVIDIA gebenchmarkt hat, oder wenn Vision auf Anhieb funktionieren muss, oder wenn Sie es sich nicht leisten können, einen Abend damit zu verbringen, herauszufinden, welches dieser beiden Dokumente maßgeblich ist — warten Sie auf die Quantisierungs-Evals und die Community-Berichte. Die Gewichte sind vier Tage alt und die Laufzeitunterstützung ist zwei Tage alt.