NVIDIA Nemotron 3.5 Super VL Base BF16: der 249 GB große Checkpoint, den NVIDIA aufgeführt, aber nie verlinkt hat

nvidia/N​VIDIA-N​emotron-3.5-Super-VL-120B-A12B-Base-BF16 ist das Artefakt in der N​VIDIA N​emotron 3.5 Super VL-Veröffentlichung, die N​VIDIA nie verlinkt hat. Der Ankündigungsbeitrag des Unternehmens vom 15. Oktober sagt in einem einzigen Satz, dass „die Veröffentlichung Basis-, post-trainierte und NVFP4-quantisierte Checkpoints mit Trainingsrezepten, Daten und Reinforcement-Learning-Umgebungen enthält.“ Jeder Repository-Link auf dieser Seite zeigt auf nvidia/N​VIDIA-N​emotron-3.5-Super-VL-120B-A12B-NVFP4. Die Zeichenkette „Base-BF16“ kommt in dem Beitrag überhaupt nicht vor.

Das Repository ist echt und öffentlich. Hugging Face verzeichnet seinen ersten Commit am 2026-10-12T15:31:49Z, seine Gewichts-Shards hochgeladen am 2026-10-13T04:55Z und das Release-Datum-Feld seiner eigenen Model Card mit dem Eintrag „Hugging Face - 10/15/2026“. Es ist nicht gated, es benötigt keinen Token zum Herunterladen, und es wiegt genau so viel wie der post-trainierte nvidia/N​VIDIA-N​emotron-3.5-Super-VL-120B-A12B-BF16-Build wiegt: 248,9 GB verteilt auf 63 BF16-Shards gegenüber 248,9 GB des post-trainierten Builds verteilt auf 64, wobei die beiden Indexdateien 16 Bytes auseinanderliegen. Drei Tage, nachdem die Gewichte eingetroffen waren, war es 4-mal heruntergeladen worden, gegenüber 142 für das post-trainierte Full-Precision-Repo und 81 für das NVFP4-Schwester-Repo. Dabei handelt es sich um Hugging Faces eigene Zählerstände, abgelesen am 16. Oktober.

Das ist also weder ein Leak noch ein Gerücht. Die Gewichte sind nicht der Punkt, bei dem man sich irren sollte – sie sind einfach das am wenigsten publik gemachte Artefakt in einem ansonsten lauten Release, und die Modellkarte dahinter widerspricht sich auf eine Weise, die zählt, wenn Sie die Art von Person sind, die einen 249 GB großen Pre-Post-Training-Checkpoint herunterladen würde. Dieser Widerspruch steht unten.

Was gelandet ist, und der Satz, der es erwähnt

Drei Haupt-Repositories und ein Drafter wurden im selben Zeitfenster veröffentlicht, alle von N​VIDIA selbst, alle unter der OpenMDW-1.1-Lizenz, keines zugangsbeschränkt:

• Base BF16 — nvidia/N​VIDIA-N​emotron-3.5-Super-VL-120B-A12B-Base-BF16, Repository erstellt am 2026-10-12T15:31:49Z, Gewichte am 2026-10-13T04:55Z, README zuletzt geändert am 2026-10-15T15:22:08Z.

• Post-trained BF16 — nvidia/N​VIDIA-N​emotron-3.5-Super-VL-120B-A12B-BF16, erstellt am 2026-10-12T15:32:06Z, siebzehn Sekunden nach dem Basis-Repository.

• Nachtrainiertes NVFP4 — nvidia/N​VIDIA-N​emotron-3.5-Super-VL-120B-A12B-NVFP4, erstellt am 2026-10-12T15:32:30Z, und insgesamt 75,1 GB statt 248,9 GB.

• Ein NVFP4-Drafter — nvidia/N​VIDIA-N​emotron-3.5-Super-VL-120B-A12B-NVFP4-LiLiCorr, noch einen Tag früher erstellt, am 2026-10-11T20:20:59Z.

Die Zuordnung zwischen diesen Repositories und NVIDIAs Ausführungen ist der Punkt, an dem es uneinheitlich wird, und es lohnt sich, sie zu prüfen, statt sie einfach anzunehmen. Die Deployment-Anker der Ankündigung verweisen alle auf den NVFP4-Build. Die einleitende Notiz der Base-Karte selbst verweist nach außen auf die beiden anderen – „Suchen Sie ein nachtrainiertes Modell? Siehe BF16-Release zur Anpassung oder NVFP4-Release für optimiertes Deployment“ –, sodass Ihnen das Basis-Repository in seiner ersten Zeile sagt, wohin Sie stattdessen gehen sollen. Die Umkehrung gilt nicht. Die BF16-Karte des nachtrainierten Modells enthält nirgends einen Link zum Basis-Repository, und die NVFP4-Karte ebenso wenig. Der Basis-Checkpoint ist das einzige Artefakt im Release, zu dem NVIDIAs eigene Dokumentation Sie nie führt; Sie finden ihn, indem Sie den neun Wörter umfassenden Satzteil der Ankündigung lesen und dann die Dateiauflistung der Organisation durchsehen – so wurde er hier gefunden. Nichts in NVIDIAs Text erklärt, warum ein Basis-Checkpoint mit denselben 249 GB veröffentlicht wird wie das Modell, das tatsächlich nachtrainiert ist, oder was man damit anfangen soll, was das nachtrainierte nicht kann.

Diese Abwesenheit ist die Geschichte. Eine Open-Weights-Veröffentlichung, bei der der Anbieter zwei von drei Checkpoints verlinkt und den dritten in neun Wörtern beschreibt, verbirgt nichts – die Gewichte sind direkt da –, bedeutet aber, dass die Dokumentation, die man braucht, nicht in der Ankündigung steht. Sie steht im Repository.

Was „base“ in dieser Version bedeutet

Die beiden Model Cards beantworten dies, und der Unterschied zwischen ihnen gibt klaren Aufschluss darüber, was das Post-Training hier gebracht hat.

Die Basiskarte dokumentiert drei Trainingsphasen. Phase 1 baut das Sprach-Backbone auf N​emotron 3 Super Base auf und trainiert einen gemeinsamen MTP-Kopf für 100B Token gegen ein eingefrorenes Backbone, dann destilliert sie für 1T Token aus N​emotron 3 Ultra Base. Phase 2 besteht aus 100B Token kontinuierlichem Indic-Pre-Training, einer 35B-Token-Erweiterung auf 1M Kontext, 67B Token Software-Engineering-Mid-Training bei 256K Kontext und einer 9B-Token-Langkontext-Wiederherstellungsphase. Phase 3 ergänzt den C-RADIO-Vision-Encoder und den Vision-Language-Connector.

Die Post-Trained-Karte dokumentiert sechs, und die drei, die der Basis-Karte fehlen, sind genau die drei, die ein Modell nutzbar machen: Stage 4, überwachtes Feintuning auf Vision-, Reasoning-, Code-, Tool-, Chat-, Sicherheits- und Long-Context-Daten, mit gepackten Sequenzen von bis zu 524.288 Tokens; Stage 5, Reinforcement Learning mit verifizierbaren Belohnungen plus RLHF plus Multi-Teacher-On-Policy-Distillation; und Stage 6, Boosting des MTP-Head gegen das eingefrorene post-trainierte Backbone, damit sich spekulatives Decoding tatsächlich auszahlt.

Die Base-Modellkarte sagt es selbst, im Abschnitt „Inferenz“: „Das Basismodell ist als Ausgangspunkt für weiteres Training gedacht. Für Chat-, Reasoning- und Tool-Calling-Anwendungen verwenden Sie die nachtrainierte BF16- oder NVFP4-Version und ihre Bereitstellungsanweisungen.“ Als angegebener Anwendungsfall gilt: „Entwickler und Forscher, die eigene Vision-Language-Modelle durch fortgesetztes Pre-Training, überwachtes Fine-Tuning, Reinforcement Learning und Destillation erstellen.“

Das ist ein ungewöhnlich direkter Haftungsausschluss, und es ist die richtige Lesart des Artefakts. Was hier als „base“ ausgeliefert wird, ist kein schwächeres Chat-Modell. Es ist das Substrat, gegen das Stage 4 bis Stage 6 ausgeführt wurden, zusammen mit ihnen veröffentlicht, damit jemand anderes ein anderes Stage 4 bis 6 ausführen kann – auf eigenen Daten, unter eigenen Lizenzbedingungen, ohne ein Pre-Training mit 20 Billionen Token erneut durchzuführen.

Die 1M-Token-Behauptung, die die Konfiguration nicht enthält

Das ist die Diskrepanz, die 249 GB Ihrer Aufmerksamkeit wert ist.

Die Basismodellkarte gibt in ihrer Beschreibung an, dass das Modell „Kontextlängen von bis zu 1 Mio. Token unterstützt“ und wiederholt dies im Abschnitt „Model Design“: „Das Modell unterstützt einen Kontext von bis zu 1 Mio. Token.“ Die Trainingsmethodik untermauert die Absicht – Stufe 2 enthält ausdrücklich „eine Erweiterung um 35 Mrd. Token auf einen 1-Mio.-Token-Kontext, gefolgt von einer 9-Mrd.-Token-Phase zur Wiederherstellung langen Kontexts.“

Die ausgelieferte config.json sagt etwas anderes. Ihre max_position_embeddings beträgt 262.144 — 256K, nicht 1M. Es gibt keinen rope_scaling-Block und kein original_max_position_embeddings-Feld, also deklariert das Positionsschema auch keine Erweiterung. Die Konfiguration des nachtrainierten Repositorys deklariert dagegen max_position_embeddings von 1.048.576. Zwei Geschwister-Checkpoints, derselbe Architektur-String, dasselbe Layer-Layout und ein Unterschied um den Faktor vier beim Positionslimit, den der Fließtext der Basis-Karte nicht erwähnt.

Liest man die drei Fakten zusammen, ist die am besten vertretbare Schlussfolgerung nicht, dass das Basismodell nur einen kurzen Kontext hat. Sie lautet vielmehr, dass das Basis-Repository ein konservatives deklariertes Limit ausliefert und erwartet, dass du es änderst. Die 1M-Erweiterung wurde trainiert. Die veröffentlichte Konfiguration macht sie nicht verfügbar. Wenn dein Plan für kontinuierliches Pretraining eine Sequenzlänge von 1M Tokens direkt out of the box annimmt, stammt diese Annahme aus der Model Card, nicht aus der Datei, die die Laufzeitumgebung tatsächlich lesen wird – und die Lösung ist eine Konfigurationsänderung, von der du wissen musst, dass du sie vornehmen musst.

Aus demselben Grund erwähnenswert: Die Tabelle „Model Summary“ der Basis-Karte existiert schlicht nicht. Die nachtrainierte Karte enthält eine – Gesamtparameter, Architektur, Präzision, Kontextlänge, Deployment-Ziel, spekulative Dekodierung, Reasoning-Modus, empfohlenes Sampling, am besten geeignet für, Lizenz. Die Basis-Karte geht direkt von der Beschreibung zur Lizenz und dann zu einer Benchmark-Tabelle. Es gibt nirgends eine Zeile für empfohlenes Sampling, und es gibt keine Deployment-Zeile, also verrät nichts auf der Basis-Karte, welche Hardware sie möchte.

Die Architektur, abgelesen aus der mitgelieferten Konfiguration

Da die Beschreibung der Basisarchitektur durch den Anbieter nur ein Absatz ist und die tatsächliche Form in der Datei steht, hier ist, was die Datei sagt. Alles davon stammt aus erster Hand aus config.json im Basis-Repository, nicht aus irgendeiner Zusammenfassung.

• Tiefe und Zusammensetzung — 88 Blöcke im Sprach-Backbone. 40 sind Mamba-2-Schichten, 40 sind Mixture-of-Experts-Schichten und 8 sind Full-Attention-Schichten, an den Indizes 7, 16, 25, 36, 47, 58, 69 und 78. Ein Attention-Block etwa alle neun Schichten ist der gesamte Long-Context-Mechanismus.

• MoE — 512 geroutete Experten pro MoE-Schicht, 22 pro Token ausgewählt, ein gemeinsam genutzter Experte, eine latente Größe von 1024 und eine Zwischengröße des gemeinsam genutzten Experten von 5376 gegenüber 2688 bei den gerouteten Experten. Das ist die Rechnung hinter der Schlagzeile „120B gesamt, 12B aktiv“.

• Attention — 32 Query-Heads gegenüber 2 Key-Value-Heads bei einer Head-Dimension von 128, also Grouped-Query-Attention mit einem Verhältnis von 16:1. Hidden Size 4096.

• MTP — eine Next-Token-Vorhersageschicht, selbst zusammengesetzt aus einem Attention-Block und einem MoE-Block, im Stil von DeepSeeks Multi-Token-Vorhersagekopf. Ein Vorhersageschritt, nicht mehrere.

• Vision — ein C-RADIO ViT-H-Tower: 32 Layer, Hidden-Size 1280, 16 Heads, Patch-Größe 16, 7 Register-Tokens, 3 Class-Tokens, eine maximale Bildgröße von 2048 und ein Patch-Budget zwischen 1024 und 13312. Der Connector projiziert auf 20.480, dann holen ein Downsampling-Verhältnis von 0,5 und eine erzwungene Bildgröße von 512 die Token-Anzahl wieder zurück.

• Video — eine zeitliche Patch-Größe von 2 und eine angegebene Pruning-Rate von 0,7.

• Zwei Merkwürdigkeiten — die Konfiguration deklariert ein <audio>-Kontext-Token, während ihr sound_config null ist; die Infrastruktur für Audio ist in dieser Architektur also vorhanden, und dieser Checkpoint bringt nichts davon mit. Und tie_word_embeddings ist false, was für ein Modell dieser Größe Standard ist und es wert ist, zu wissen, wenn Sie die Größe eines Vokabulars ändern möchten.

Zur Einordnung: Die eigenen safetensors-Metadaten des Repositorys summieren sich auf 124.453.395.974 Parameter, wobei jedes Tensor-Byte einzeln gezählt wurde, gegenüber N​VIDIAs Schlagzeile von 120B gesamt / 12B aktiv. Die beiden Zahlen werden auf unterschiedlichen Grundlagen angegeben — die Herstellerangabe ist die Arithmetik des Sprachmodells aus gerouteten plus geteilten Parametern, die Dateiangabe umfasst alles, was im Repository gespeichert ist, einschließlich Vision-Tower und MTP-Head. Behandeln Sie die Lücke nicht als Diskrepanz; kalkulieren Sie die Datei aber ein.

Was die Benchmark-Tabelle tatsächlich misst

Die Basiskarte veröffentlicht 24 Benchmark-Zeilen und, das muss man NVIDIA lassen, eine Spalte, die angibt, was jede einzelne ist:

• MMLU 84,14 exakte Übereinstimmung · MMLU-Pro 76,25 · AGIEval-En 75,65 CoT · SuperGPQA 47,65 CoT · GPQA Diamond 66,16 bei 5-Shot-CoT exakte Übereinstimmung

• GSM8K 91,74 bei 8-Shot-CoT · Minerva MATH 87,66 · MATH-500 81,56 gesampelt pass@1 n=32 · HumanEval 81,31 EvalPlus bereinigt · MBPP-Sanitized 79,06 · LiveCodeBench CodeGen 47,61 · BigCodeBench 48,42 complete und 49,39 instruct

• ARC-Challenge 95,99 · HellaSwag 88,96 · TruthfulQA MC2 71,18 · WinoGrande 79,08 · PIQA 85,09 · CommonsenseQA 85,26 · OpenBookQA 48,80 · SocialIQA 49,03 · RACE 91,39

• Global MMLU 86,56 gemittelt über 8 Sprachen · MGSM 87,53 bei 8-Shot native CoT über 6 Sprachen

Zwei Dinge an dieser Tabelle sind leicht zu übersehen, und beide sind wichtig.

Zunächst heißt es im einleitenden Satz der Karte selbst, die Ergebnisse „bewerten das text-only-Basis-Backbone von N​emotron 3.5 Super, vor dem Vision-Language-Training“. Was auch immer das sonst bedeuten mag, es bedeutet, dass diese Zahlen keine multimodale Scorecard sind – es gibt keinen OCR-Benchmark, keine Zeile zum Dokumentenverständnis, keine Videozeile irgendwo auf der Basiskarte, obwohl Video- und Dokumenteingaben zwei Abschnitte früher beschrieben werden. Wenn Ihr Grund, den Basis-Checkpoint zu wollen, dessen Vision-Tower ist, gibt Ihnen die Karte nichts Empirisches, woran Sie sich planerisch orientieren können.

Zweitens hat die Tabelle keine Baseline-Spalten. Die Tabelle der post-trainierten Karte erstreckt sich über sieben Spalten — N​emotron 3.5 Super GA gegen Qwen3.5-122B-A10B, Qwen3.8-Flash-Next, DeepSeek-V4-Flash0731, N​emotron 3 Ultra, Inkling-Small und GLM-5.3-Flash. Die Base-Karte hat genau eine Spalte. Und die Mischung dessen, was ausgeführt wurde, ist bezeichnend: Die post-trainierte Karte lässt MMLU vollständig zugunsten von MMLU-ProX fallen, während die Base-Karte sowohl MMLU als auch MMLU-Pro ausführt und weder MMLU-ProX noch die agentischen und Harness-Level-Suites ausführt, auf die sich die post-trainierte Karte stützt. Aus der Karte lässt sich nicht beantworten: „Ist diese Base besser als jene Base?“ Man müsste beide laufen lassen.

Jede oben stehende Zahl stammt von NVIDIA und wurde mit NVIDIAs eigenem NeMo Gym Harness erzeugt – die Karte des nachtrainierten Modells sagt dies ausdrücklich, und die Basiskarte veröffentlicht überhaupt keine Harness-Notiz. Nichts in einer der beiden Tabellen wurde unabhängig reproduziert.

Basis- versus post-trainiert, im einzigen Benchmark, den sie gemeinsam haben

Die beiden Karten haben keine gemeinsame Benchmark-Tabelle, aber sie haben genau eine Zeile, die man nebeneinanderstellen kann, und es ist die, auf die es am meisten ankommt.

• GPQA Diamond — 66,16 auf der Basiskarte, bei 5-Shot-Chain-of-Thought mit exakter Übereinstimmung. 89,52 auf der nachtrainierten Karte. Eine Lücke von 23,36 Punkten, aus NVIDIAs eigenen zwei Dokumenten, wobei der Basiswert ausdrücklich als das Text-only-Backbone gekennzeichnet ist.

Das ist die ehrliche Schlagzeile dafür, was die Phasen 4 bis 6 beim wissenschaftlichen Schlussfolgern auf Graduierten-Niveau wert sind: Post-Training ist bei diesem Modell kein Feinschliff, es bringt noch einmal ungefähr die Hälfte der Fähigkeit obendrauf. Es verrät Ihnen außerdem die Richtung des Trades. Wenn Sie vorhaben, den Basis-Checkpoint selbst nachzutrainieren, starten Sie 23 Punkte hinter dem Modell, das NVIDIA verkauft, und wetten darauf, dass Ihre Daten und Ihr Reward-Signal diese Lücke in Ihrer Domäne schließen — und genau diese Wette beschreiben NVIDIAs eigene Kundenzahlen: Scale AI meldet eine 40-fache Senkung der Inferenzkosten für die Verarbeitung von Lieferantengutschriften, Ramp erwartet bis zu 50 % höheren Durchsatz und 10-mal niedrigere Latenz bei der Beleg-zu-JSON-Extraktion. Das sind anbieter- und kundenseitig angegebene Ergebnisse ohne unabhängige Messung, und sie sind der einzige veröffentlichte Beleg dafür, dass das Schließen der Lücke erreichbar ist.

Beachten Sie die Falle, wenn man die beiden Karten zusammen liest. Die „MMLU-Pro“ der Basiskarte mit 76,25 und die „MMLU-ProX“ der Post-Training-Karte mit 76,91 wirken wie eine Lücke von 0,66 Punkten und sind nicht vergleichbar – unterschiedliche Benchmarks, eine davon mit einer angegebenen TigerLab-Extraktionsmethode. Die „MMLU“ der Basiskarte mit 84,14 hat überhaupt kein Gegenstück auf der Post-Training-Karte. Wenn Sie ein Delta für denselben Benchmark möchten, ist GPQA Diamond derjenige, den Sie bekommen, und LiveCodeBench derjenige, den Sie nicht bekommen: Die Basiskarte gibt CodeGen mit 47,61 an, während die Post-Training-Karte LiveCodeBench v6 mit 88,22 angibt, was eine andere Version derselben Benchmark-Familie und kein Delta ist.

Was 249 GB bieten, und was nicht

Der Download selbst ist ein einziger Befehl, und er ist der einzige Befehl in der gesamten Karte des Basismodells:

• hf download nvidia/N​VIDIA-N​emotron-3.5-Super-VL-120B-A12B-Base-BF16 --local-dir ./models/super-vl-base-bf16

Das ist der gesamte Quick Start. Die Basis-Karte enthält einen Codeblock; die nachtrainierte Karte enthält zweiundzwanzig. Es gibt keine vllm serve-Zeile, keinen SGLang-Start, keine Tensor-Parallel-Anleitung, kein --max-num-seqs, kein Reasoning-Parser-Flag, keine MTP-Konfiguration für spekulative Dekodierung und kein API-Client-Beispiel. Die nachtrainierte Karte enthält all das, einschließlich eines 4×H100-Rezepts mit --enable-mamba-shared-prefix-checkpoint und eines 2×GB200-Rezepts mit TP2.

• Laufzeit-Engines — die Basiskarte nennt PyTorch, Megatron-LM und NeMo, und ihr Abschnitt Inference nennt allein PyTorch. Die Karte zum nachtrainierten Modell nennt vLLM und SGLang. Das sind auf der einen Seite Namen von Trainings-Frameworks und auf der anderen Namen von Serving-Runtimes, und diese Aufteilung ist bewusst und nicht zufällig.

• Testhardware — Hopper H100 und H200, Grace Blackwell GB200 und GB300, Blackwell B200 und B300. Die nachtrainierte Karte verengt sich für den Einsatz auf 4×H100 oder 2×GB200.

• Festplatte — 248,9 GB auf 63 Shards verteilt, genauso viel wie der nachtrainierte Vollpräzisions-Build. Das NVFP4-Schwestermodell ist 75,1 GB groß. Wenn du die Basis herunterlädst, um sie zu untersuchen oder anzupassen, statt sie auszuführen, zahlst du das 3,3-Fache des NVFP4-Downloads für das Privileg, kein Serving-Rezept zu bekommen.

Was Sie tatsächlich bekommen, das wirklich brauchbar ist: Das Repository enthält eine vollständige chat_template.jinja mit 12.513 Bytes, und sie enthält den enable_thinking-Schalter, einschließlich der Variante für mittleren Aufwand. Es liefert außerdem eine generation_config.json mit temperature 1.0, top_p 0.95 und do_sample true. Ein Vergleich dieses Templates mit dem nachtrainierten ergibt einen Unterschied von 414 Bytes, wobei es sich ausschließlich um die Whitespace-Behandlung rund um die Bild- und Video-Platzhalter handelt — ansonsten sind die beiden Templates dieselbe Datei.

Die Infrastruktur, um den Basis-Checkpoint als Chat-Modell anzusprechen, ist vorhanden und nahezu identisch mit dem ausgelieferten Chat-Modell. Was fehlt, ist jede Aussage, dass man das tun sollte. Es gibt keine Zeile für empfohlenes Sampling auf der Basiskarte, keine Zeile für den Reasoning-Modus und keinen Benchmark dafür in der Chat-Konfiguration. Man kann ihn in etwa zehn Minuten als Chat-Modell bereitstellen. Ob die Ausgabe es verdient, eine Testumgebung zu verlassen, ist eine andere Frage, und die Antwort der Karte lautet, dass dem nicht so ist.

Die Korpus-Offenlegung, über die niemand spricht

Hier ist der Teil der Basisversion, der wohl nützlicher ist als die Gewichte, und er hat fast keine Beachtung gefunden, weil er in Tabellen in einem Repository liegt, das nie verlinkt wurde.

Die Basiskarte veröffentlicht den Trainingskorpus im Detail, den die nachtrainierte Karte nicht enthält: einen Grundlagenkorpus von mehr als 20 Billionen Token, der zwischen 2013 und Dezember 2025 gesammelt wurde, aufgeschlüsselt nach Quellen — N​emotron-CC-v2 und v2.1 mit 9,1T, N​emotron-CC-Code-v1 mit 427,9B, die N​emotron-Pretraining-Code-Sets zusammen mit 1,7T, N​emotron-CC-Math-v1 mit 133,3B, die spezialisierten und SFT-Synthetiksets mit 660B und ein juristisches Set mit 4,3B. Englisch, 19 weitere gesprochene Sprachen, 43 Programmiersprachen.

Dann zwei Tabellen, die die meisten Open-Weights-Veröffentlichungen schlicht nicht publizieren. Eine listet private, nicht öffentlich zugängliche Datensätze im Besitz Dritter auf und nennt die Modelle, die ihre Labels erzeugt haben — Qwen3.5-122B-A10B bei einer breiten Palette von OCR- und Visual-Question-Answering-Relabelling-Jobs, DeepSeek-OCR auf einer gefilterten chinesischen OCR-Teilmenge, Qwen3.5 auf einer verifiziert korrekten Teilmenge, Gemini 3 und GPT-5 auf RL-Daten für die Suche. Die andere listet NVIDIAs eigene private Datensätze auf und nennt wiederum die Generatoren: Kimi K3 für mathematische Chain-of-Thought-SFT-Daten, DeepSeek-V4-Pro für Competitive-Coding-OCR, gpt-oss-120b für Structured-Output-RL, GLM-5.2 für die Verfeinerung, MiniMax-M2 für Search-Graph-Walks und einen langen Schwanz weiterer.

Dann zwei Tabellen, die die meisten Open-Weights-Veröffentlichungen schlicht nicht publizieren. Eine listet private, nicht öffentlich zugängliche Datensätze im Besitz Dritter und nennt die Modelle, die ihre Labels erzeugt haben — Qwen3.5-122B-A10B bei einer breiten Palette von OCR- und Visual-Question-Answering-Rekennzeichnungsjobs, DeepSeek-OCR bei einer gefilterten chinesischen OCR-Teilmenge, Qwen3.5 bei einer verifiziert korrekten Teilmenge, Gemini 3 und GPT-5 bei RL-Daten für die Suche. Die andere listet NVIDIAs eigene private Datensätze und nennt wiederum die Generatoren: Kimi K3 für Mathe-Chain-of-Thought-SFT-Daten, DeepSeek-V4-Pro für Competitive-Coding-OCR, gpt-oss-120b für Structured-Output-RL, GLM-5.2 für die Verfeinerung, MiniMax-M2 für Search-Graph-Walks und einen Long Tail weiterer. Die gepaarten Tabellen erinnern daran, wie die Branche tatsächlich funktioniert — das Trainingssignal eines Frontier-Modells enthält routinemäßig Ausgaben der Modelle von Wettbewerbern, und NVIDIA ist eines der sehr wenigen Labore, die sagen, welche und wofür.

Das Repository enthält außerdem eine Nemotron_3.5_Super_VL_EU_Training_Content_Summary.pdf, hinzugefügt am 15. Oktober, bei der es sich um die EU-orientierte Offenlegung der Trainingsinhalte handelt. Der Mid-Training-Mix wird mit derselben Granularität offengelegt, und eine Zeile daraus ist unmittelbar relevant, wenn Sie für Softwarearbeit feinabstimmen möchten: Die 67B-Token-Software-Engineering-Phase besteht zu 20 % aus vollständigen Repositories, zu 41 % aus Issue-und-Pull-Request-Paaren, zu 3 % aus Commit-Diffs, zu 1 % aus Build- und CI-Logs, zu 10 % aus Agent-Traces, zu 20 % aus Pre-Training-Replay und zu 5 % aus Long-Context-Daten, und ihre Quellen sind gegen SWE-bench- und Terminal-Bench-Repositories dekontaminiert. Diese Dekontaminationsaussage ist die eine Zeile in der Karte, die Ihnen sagt, was eine Punktzahl bei einem der beiden Benchmarks wert ist.

Die Lizenz und für wen der Basis-Checkpoint gedacht ist

OpenMDW-1.1, dieselbe Lizenz wie bei den nachtrainierten Builds, wobei die Modellkarte klar angibt: „Dieses Modell ist für die kommerzielle oder nichtkommerzielle Nutzung bereit.“ Das Repository ist nicht zugangsbeschränkt, und für den Download ist kein Hugging-Face-Token erforderlich, obwohl N​VIDIAs eigene Container-Rezepte an anderer Stelle in der Familie einen solchen voraussetzen.

Setzt man die Lizenz neben den Anwendungsfall, ist die Zielgruppe eindeutig. Niemand lädt einen 249 GB großen Checkpoint vor dem Post-Training herunter, um bei der Inferenz Geld zu sparen — der NVFP4-Build ist 3,3-mal kleiner, schneller und bei GPQA Diamond 23 Punkte besser. Der Basis-Checkpoint ist für ein Team gedacht, das die Post-Training-Phase selbst verantworten will: eine andere Domäne, ein anderes Reward-Signal oder eine andere Datenrichtlinie als die, die N​VIDIA verwendet hat. Unter OpenMDW-1.1, mit erlaubter kommerzieller Nutzung und Gewichten ohne Zugangsbeschränkung, ist das eine legitime Grundlage, auf der man ein Produkt aufbauen kann, und genau deshalb hat die fehlende Dokumentation einen Preis.

Und es lohnt sich, hier zwischen den beiden Arten von Lesern zu unterscheiden. Wenn Ihre Frage lautet: „Was sollte ich diese Woche für Dokumentenparsing oder Videoverständnis aufrufen?“, dann ist der Basis-Checkpoint nicht Ihre Antwort und war es nie; das nachtrainierte Modell ist es, und die offene Frage ist dort eher die Benchmark-Verifizierung als die Verfügbarkeit. Wenn Ihre Frage lautet: „Kann ich ein hybrides Mamba-MoE-Vision-Language-Backbone der 120B-Klasse mit einer permissiven Lizenz als Ausgangspunkt für meinen eigenen Trainingslauf bekommen?“, dann ist dieses Repository die Antwort, und es liegt seit dem 12. Oktober unverlinkt herum.

Wenn Sie es bewerten würden

Der teure Fehler bei einem Checkpoint wie diesem besteht darin, den Download als den Test zu behandeln. Das ist er nicht: 249 GB, 63 Shards und eine Config-Änderung vor dem ersten Forward Pass sagen dir nichts darüber, ob der Vision Tower auf deine Dokumentklasse übertragbar ist.

Der kostengünstige Test besteht darin, die Frage nach den Fähigkeiten zuerst an einem bereitgestellten Modell zu klären und erst danach in Speicherplatz zu investieren. Ein Routing-Gateway ist dafür nützlich und für nichts anderes in dieser Entscheidung — ein Schlüssel und ein Endpunkt über ein paar hundert Modelle hinweg zum Anbieter-Listenpreis mit 0 % durchgereichtem Aufschlag bedeutet, dass Sie das nachtrainierte Nemotron 3.5 Super VL-Build an einem Nachmittag und für die Kosten der Tokens auf Ihren eigenen Bildern gegen welches Vision-Modell Sie auch immer bereits verwenden, antreten lassen können. Automatisches Failover über Anbieter hinweg ist hier aus einem eng begrenzten Grund wichtig: Ein Evaluierungslauf, der bei Anfrage 4.000 von 5.000 abbricht, kostet Sie den gesamten Lauf, und ein Gateway, das bei einem Anbieterfehler andernorts einen erneuten Versuch startet, ist der Unterschied zwischen einem Nachmittag und zwei Nachmittagen.

Um bei der einen Sache direkt zu sein, die sonst mehrdeutig wäre: NVIDIA Nemotron 3.5 Super VL ist nicht in unserem Katalog. Wir bieten dieses Modell heute nicht an, und gerade der Base-Checkpoint ist etwas, das ein gehosteter Endpoint wahrscheinlich überhaupt nicht führen wird, denn Base-Checkpoints sind keine Inferenzprodukte. Was ein Gateway dir liefert, ist die billige Hälfte des Experiments — der Vergleich, der dir sagt, ob es sich lohnt, die 249 GB zu zahlen.

Was ist noch ungeklärt?

Vier Punkte, als Lücken statt als Risiken formuliert.

• Welches Kontextlimit ist real. Die Modellkarte sagt 1M, die ausgelieferte Konfiguration deklariert 262,144, und die Trainingsbeschreibung besagt, dass eine 1M-Erweiterung durchgeführt wurde. Es gibt keine veröffentlichte Aussage, die diese drei Werte klärt. Wer ein Continued-Pretraining mit langem Kontext plant, sollte den Konfigurationswert als Standard betrachten und ihn anhand der eigenen Laufzeitumgebung statt anhand der Modellkarte überprüfen.

• Was der Vision Tower leisten kann. Die Basiskarte veröffentlicht keinerlei multimodale Evaluation. Keine OCR, kein Dokument, kein Diagramm, keine Videozeile – für den einen Checkpoint in der Familie, dessen ganzer Zweck darin besteht, auf genau diese Modalitäten feinabgestimmt zu werden. Das ist die größte Lücke in der veröffentlichten Evidenz.

• Wie die Basis im Vergleich zu irgendetwas abschneidet. Einspaltige Benchmark-Tabelle, keine Baselines, kein Hinweis zum Harness. Der GPQA-Diamond-Wert von 66,16 ist prinzipiell über NeMo Gym reproduzierbar und wurde von niemandem außerhalb von NVIDIA reproduziert.

• Ob das Base-Modell die 1M-Deployment-Rezepte irgendwo mitliefert. Die post-trainierte Karte enthält 4×H100- und 2×GB200-Startbefehle für das volle Fenster. Die Base-Karte enthält ein hf download. Es ist nicht klar, ob das eine Dokumentationslücke ist oder eine Aussage darüber, dass das Serving des Base-Modells bei 1M nicht etwas ist, das N​VIDIA unterstützen will.

Nichts davon macht das Release weniger interessant. Es macht den Basis-Checkpoint zum am wenigsten dokumentierten Artefakt der Familie und für eine eng definierte, spezielle Art von Team zu ihrem nützlichsten – wobei der Unterschied darin liegt, ob Ihr nächster Schritt ein API-Aufruf oder ein Trainingslauf ist.

Für ein Modell, dessen Fehlermodi noch nicht dokumentiert sind, ist das nützliche Gegenstück die Aufzeichnung dessen, was andernorts bereits schiefgegangen ist: Die dokumentierten KI-Vorfälle und Agentenfehler rund um Modelle dieser Klasse sind im OrcaRouter AI Incident Archive, wobei jeder Eintrag eigene Quellen, Schweregrad, Konfidenzstufe und Kennzeichnung als umstritten führt.