Nemotron-3-Labs-Ultra-Math-RL: NVIDIA hat das RL-Checkpoint hinter seinem IMO-2026-Lauf leise als Open Source veröffentlicht.

NVIDIA veröffentlichte Nemotron-3-Labs-Ultra-Math-RL auf Hugging Face am 2. und 3. September 2026, ohne Blogbeitrag, ohne X-Ankündigung und ohne Pressemitteilung – die Model-Karte taucht einfach auf, datiert auf den 3. September, und erklärt sich in einer Zeile: Es ist der Reinforcement-Learning-Checkpoint, der in NVIDIAs begleitendem technischem Bericht als „Nemotron-3-Ultra-RL“ bezeichnet wird und der „als Teil eines Ensemble-Systems eingesetzt wurde, das bei der Internationalen Mathematik-Olympiade 2026 eine Goldmedaillen-Punktzahl erreichte“. Die offizielle Punktzahl dieses Systems – 30 von 42 Punkten, über der Gold-Schwelle von 29 Punkten – wurde Ende Juli weithin berichtet, als die Basismodellgewichte bereits seit Juni öffentlich waren. Was damals nicht herunterladbar war, war das Paar nachtrainierter Spezialisten, das der Wettbewerbslauf tatsächlich verwendete. Einer davon liegt nun in einem öffentlichen Hugging-Face-Repository mit null Likes und einer Download-Zahl nahe null.

Dies ist eine Geschichte eines stillen Releases, daher lohnt es sich, genau zu unterscheiden, was bekannt ist und was nicht. Aus dem Repository und dem Bericht bekannt: die Architektur des Checkpoints, sein Trainingsansatz, die Rolle, die er bei der IMO-2026-Einreichung spielte, sowie die Datensätze und Benchmarks, die NVIDIA zusammen mit ihm veröffentlichte. Noch nicht bestätigt: jegliche Herstellerankündigung, jeglicher unabhängiger Benchmark des Checkpoints durch Dritte und jegliche gehostete API – es handelt sich um eine Veröffentlichung von Gewichten zum Selbsthosten unter der OpenMDW-1.1-Lizenz, und das Ausführen bedeutet, etwa 1,5 TB HBM der Blackwell-Klasse bereitzustellen.

Was diese Woche tatsächlich veröffentlicht wurde

Das Repository nvidia/Nemotron-3-Labs-Ultra-Math-RL wurde am 2. September 2026 (19:11 UTC) auf Hugging Face erstellt und zuletzt am 8. September geändert. Es ist ein Element einer koordinierten Veröffentlichung, die unter nvidia/nemotron-labs-imo-2026 zusammengefasst ist, und umfasst:

• Die beiden post-trainierten Wettbewerbs-Checkpoints — Nemotron-3-Labs-Ultra-Math-RL (dieses Thema) und sein überwacht feinabgestimmtes Geschwistermodell Nemotron-3-Labs-Ultra-Math-SFT, beide unter OpenMDW-1.1.

Die beiden Trainingskorpora dahinter — Nemotron-Math-Proofs-v3-SFT und Nemotron-Math-Proofs-v3-RL, beide CC-BY-4.0.

• Nemotron-IMO-Bench, ein neuer Evaluations-Benchmark mit 200 unveröffentlichten Problemen auf Olympiadeniveau (50 Algebra, 50 Kombinatorik, 50 Geometrie, 50 Zahlentheorie), jeweils versehen mit einem von Menschen kuratierten Referenzbeweis, erstellt mit dem Mathematiker Titu Andreescu, speziell damit die Probleme in keinem Trainingsdatensatz auftauchen können.

• Der Basischeckpoint NVIDIA-Nemotron-3-Ultra-550B-A55B-BF16, von dem alle feinabgestimmt wurden.

Die Sammlungsbeschreibung verweist auf den technischen Bericht, der alles zusammenhält: „An Open Recipe for IMO Gold: Training Nemotron for Olympiad Mathematics“ (das PDF im NeMo-Skills-Repository von NVIDIA ist auf den 8. September 2026 datiert). Neben den Checkpoints hat NVIDIA auch die Inferenz-Pipeline, die eingereichten Beweise, das RL-Trainingsrezept und eine vollständige Aufstellung der Rechenressourcen für den Wettbewerbslauf veröffentlicht. Die Rahmung ist ausdrücklich die der reproduzierbaren Wissenschaft: NVIDIA sagt damit: Hier ist alles, was nötig ist, um das System neu aufzubauen.

Was Nemotron-3-Labs-Ultra-Math-RL ist

Architektonisch ist dies kein neues Basismodell — es ist ein Feintuning des allgemein verfügbaren NVIDIA-Nemotron-3-Ultra-550B-A55B-BF16, des Mamba2–Transformer-Hybrid-Checkpoints mit Latent-Mixture-of-Experts, den NVIDIA erstmals am 4. Juni 2026 ausgeliefert hat. Der Math-RL-Checkpoint behält diese Architektur und diesen Umfang bei: 550B Gesamtparameter mit 55B aktiven Parametern, Multi-Token-Vorhersage und Unterstützung für Kontextfenster bis zu 1M Tokens. Was das RL-Training verändert, ist die Spezialisierung, und diese ist bewusst eng gefasst:

• Zweck — schwierige Mathematikwettbewerbsaufgaben lösen und als Beweisprüfer fungieren: Das Modell wird darauf trainiert, eine lückenlose Lösung zu erstellen, sie anhand einer 0/0,5/1-Rubrik selbst zu bewerten und Fehler in Beweisen zu identifizieren.

• Es ist kein allgemeiner Chatbot – die Karte und der Bericht beschreiben einen spezialisierten Arbeiter für eine Beweissuch-Pipeline, keinen Anweisungen befolgenden Assistenten.

• Lizenz — OpenMDW-1.1, NVIDIAs freizügige Open-Model-Lizenz, die kommerzielle und nicht-kommerzielle Nutzung erlaubt — dieselbe wie bei der Basis und den früheren Nemotron-Labs-Teacher-Releases.

• Bereitstellung – es gibt keinen Listenpreis für eine gehostete Version; man lädt die Safetensors herunter und hostet selbst. Die Referenzkonfiguration von NVIDIA ist ein einzelner Knoten mit 8× B200 (~1,5 TB aggregierter HBM), mit Multi-Node-Optionen für H100/H200/GB200/GB300. vLLM ist die empfohlene Laufzeitumgebung, mit einem Reasoning-Parser, dem Qwen3-Coder-Tool-Call-Parser, Mamba-SSM-Cache-Einstellungen und MTP-Speculative-Decoding auf 5 Token, die alle in der Karte aufgeführt sind.

Warum dieser Checkpoint wichtig ist: Er befand sich im IMO-2026-System.

Das Ergebnis der IMO 2026 ist der Grund, warum überhaupt jemand auf dieses Modell schaut; die entscheidende Unterscheidung ist also: die 30/42 ist ein Systemergebnis, kein Ergebnis eines einzelnen Modells. NVIDIAs Einreichung war eine zweistufige Pipeline mit mehreren Checkpoints, und Nemotron-3-Labs-Ultra-Math-RL war eine Komponente mit zwei Aufgaben.

Laut dem Bericht durchlief die erste Stufe eine iterative Suchstrategie aus Generieren–Verifizieren–Verfeinern, mit bis zu acht Runden pro Problem. In Runde eins wurden 384 Beweisversuche abgetastet — 16 von jeweils acht verschiedenen Prompts mit Lösungsstrategien, von jedem der drei Checkpoints: dem allgemein verfügbaren Modell, dem SFT-Spezialisten und dem RL-Spezialisten. Die Verifizierung während der Suche nutzte die RL- und SFT-Checkpoints als ein Zwei-Modell-Gremium: acht unabhängige Bewertungen von jedem, und ein Beweis wurde nur akzeptiert, wenn alle 16 Bewertungen ihn mit 1 bewerteten. Eine spätere Stufe mit hohem Rechenaufwand bewertete jeden Finalisten erneut mit allen drei Checkpoints (16 IMO-artige Bewertungen jeweils, auf einer Skala von 0–7) und wählte die einzelne Einreichung pro Problem aus.

Das offizielle Ergebnis, wie in dem Papier berichtet und passend zur Berichterstattung von Ende Juli: 30 von 42 Punkten auf der IMO-2026-Prüfungsarbeit, über dem Goldmedaillen-Cutoff von 29 Punkten, mit vollen Punktzahlen bei den Aufgaben 1, 2, 4 und 5 sowie jeweils einem Punkt bei den Aufgaben 3 und 6, bewertet durch offizielle IMO-Bewerter. NVIDIAs eigene Ressourcenabrechnung besagt, dass alle sechs eingereichten Beweise innerhalb von rund 707 Millionen generierten Tokens und 1.464 GB200-GPU-Stunden gefunden wurden; die Fertigstellung der laufenden Runden brachte den gesamten Durchlauf auf etwa 2,31 Milliarden Tokens und 4.800 GB200-GPU-Stunden.

Zwei interne Zahlen aus dem Bericht verdeutlichen, warum der RL-Checkpoint seinen Platz im Ensemble verdient hat. Auf dem NVIDIA-Entwicklungsdatensatz mit 30 Problemen, bewertet von einer unabhängigen Jury aus GPT-5.5, Gemini 3.1 Pro und Claude Opus 4.8 nach einem Verfahren im MathArena-Stil, war der RL-Spezialist in der End-to-End-Bewertung die beste Einzel-Checkpoint-Pipeline (180 von 210 möglichen Jury-Punkten, gegenüber 165 für den SFT-Spezialisten und 162 für das Basismodell), obwohl der SFT-Checkpoint in Runde eins mehr Probleme löste. Und auf einem Audit-Datensatz mit 300 Beweisen senkte das eingesetzte RL+SFT-Verifikationspanel die Falschakzeptanzrate – den Fehler, der die Suche bei einem ungültigen Beweis beendet – auf etwa 1,1 %, gegenüber 12,4 % für den allein urteilenden RL-Checkpoint und 31,6 % für das Basismodell. Die Kernaussage des Berichts ist, dass die beiden selektiven Spezialisten unter einer Einstimmigkeitsregel die Fehler des jeweils anderen abfangen.

Dies sind NVIDIAs eigene Ablationen an NVIDIAs eigenem Entwicklungsdatensatz, die in NVIDIAs Paper berichtet werden — sie sind als vom Anbieter berichtete Belege dafür zu werten, warum das Design funktioniert, nicht als unabhängige Bewertungen. Der Entwicklungsdatensatz selbst umfasst nur 30 Aufgaben, und bisher hat kein externes Labor diesen Checkpoint ausgeführt.

Das RL-Rezept, kurz

Die Trainingsdaten und die Methode sind vollständig offen – das ist die eigentliche Neuigkeit für alle, die im Bereich Mathematik-Reasoning-RL forschen. Die wichtigsten Punkte aus dem Bericht:

• Daten — die Aufgaben stammen aus der AoPS-Teilmenge von Nemotron-Math-Proofs-v1, gefiltert auf solche, die das Basis-Ultra-Modell in ein bis drei von vier Versuchen löst (bewertet von DeepSeek-V3.2-Speciale) — schwierige, aber machbare Lehrplanaufgaben. Dieser Filter liefert 9.597 Aufforderungen zur Beweiserstellung, veröffentlicht als Nemotron-Math-Proofs-v3-RL.

• Belohnung — folgt dem DeepSeekMath-V2-Design, verzichtet jedoch auf den Selbstanalyse-Belohnungsterm; das Bewertersignal stammt während des Trainings von einem Proof-Judge-Dienst.

• Algorithmus — asynchrones Reinforcement Learning auf Basis von NeMo-RL, vom Grundgedanken her PipelineRL ähnlich: Ein fester Pool von Prompts bleibt durchgehend in Bearbeitung; abgeschlossene Sequenzen werden dem Trainer zugeführt, sobald sich Batches füllen; abgeschnittenes Importance Sampling; Tokens mit niedriger Wahrscheinlichkeit werden bei positiven Stichproben maskiert, wenn die Entropie steigt. Die Konfiguration nutzte einen Kontext von 131.072 Tokens sowie rund 128 Trainerknoten, 128 Inferenzknoten und 16 Judge-Knoten mit jeweils 4× GB200.

Das verwandte SFT-Checkpoint hingegen war ein langkontextiges Supervised-Fine-Tuning auf Grundlage desselben Basismodells über einen qualitätsgefilterten Korpus von 414.890 Beweis-, Verfeinerungs-, Verifikations- und Meta-Verifikations-Traces, die 15.818 Probleme abdecken, ausgeführt auf 512 GB200-GPUs.

Was noch nicht bekannt ist

Ehrliche Quellenarbeit wirkt hier in beide Richtungen, und ein Leser, der entscheidet, ob diese Veröffentlichung für ihn relevant ist, sollte vier Vorbehalte im Hinterkopf behalten:

• Keine Ankündigung. Zum Zeitpunkt des Schreibens hat NVIDIA die Sammlung nicht offiziell angekündigt; sie erschien auf Hugging Face. Das PDF des technischen Berichts ist auf den 8. September datiert, sodass das schriftliche Rezept effektiv ebenfalls in dieser Woche veröffentlicht wird.

• Keine unabhängigen Benchmarks. Jede diesem Checkpoint zugeschriebene Leistungskennzahl — die Dev-Set-Ablationen, das Verifier-Audit, der IMO-2026-Systemscore — stammt aus NVIDIAs eigenem Bericht. Der IMO-Score selbst hat unter diesen Werten die stärkste Provenienz, da er unter offiziellen Wettbewerbsbedingungen bewertet wurde. Er ist jedoch ein Ergebnis auf Systemebene, und der Beitrag des Checkpoints dazu ist von keinem externen Labor reproduziert worden.

• Kein gehosteter API-Zugang, kein Listenpreis. Dies ist ein Self-Host-Release. Wer es nutzen möchte, braucht die entsprechende Hardware. Die Berichterstattung vom Juli darüber, dass „NVIDIA Nemotron 3 Ultra bei der IMO 2026 Gold erreicht hat“, kann leicht falsch verstanden werden als „Laden Sie dies herunter, und es löst Olympia-Aufgaben“ – die ehrliche Version lautet: „Laden Sie die Komponenten des Systems herunter, das dies geschafft hat.“

• Das Gold-Framing.NVIDIA selbst wählt die Formulierung „das Erreichen der Goldmedaillen-Schwelle“, und in dem Paper wird vorsichtig darauf hingewiesen, dass das Modell Teil eines Ensembles war. Behandeln Sie jede Behauptung, dass dieser einzelne Checkpoint allein „Goldmedaillen-Niveau“ habe, als unbelegt.

Für wen das gedacht ist

Diese Veröffentlichung richtet sich an eine bestimmte Leserschaft: ein Labor oder einen Forscher, der an mathematischem Denken, Beweiserzeugung oder Reinforcement Learning mit verifizierbaren Belohnungen arbeitet und eine Referenzimplementierung eines Systems haben möchte, das in natürlicher Sprache eine Gold-Schwelle bei Olympiaden überschritten hat – ohne formalen Beweiser, ohne Werkzeuge, ohne Internet. Für diese Leserschaft liegt der Wert im Gesamtpaket: Gewichte, SFT- und RL-Korpora, die NeMo-Gym-formatierten Prompts, die Inferenz-Pipeline, die eingereichten Beweise und die Rechenabrechnung, die angibt, was ein Wettbewerbslauf tatsächlich an GPU-Stunden kostet.

Für alle anderen ist der praktische Hinweis, dass eine Beweissuche auf Olympiaden-Niveau für die meisten realen mathematischen Arbeitslasten übertrieben ist. Probleme auf AIME- und Wettbewerbsniveau sowie im Wesentlichen alle angewandten mathematischen Code-Arbeiten werden von weitaus kleineren Modellen bequem bewältigt – was wichtig ist, denn ein 550B-Checkpoint ist nicht etwas, das man für einen Stapelverarbeitungsjob hochfährt. Die kleineren offenen Mathe-Modelle und die Frontier-API-Modelle sind über eine einzige API auf OrcaRouter zu den Listenpreisen der Anbieter erreichbar (kein Aufschlag auf unserer Seite, sodass eine Preissenkung des Anbieters am selben Tag live ist), mit automatischem Failover, falls Sie ein unerprobtes Modell ausprobieren möchten, ohne einen Produktionspfad darauf zu wetten. Beginnen Sie dort; gehen Sie erst dann dazu über, ein 550B selbst zu hosten, wenn die Arbeitslast wirklich eine Beweissuche auf Frontier-Niveau erfordert.

Die offene Frage, die man im Auge behalten sollte, ist, ob dieser stille Drop eine offizielle Ankündigung und einen formellen Release-Notice erhält, und ob jemand außerhalb von NVIDIA das Rezept Ende-zu-Ende ausführt und einen unabhängigen IMO-Bench-Wert meldet. Dieser Benchmark – 200 frische, unveröffentlichte Olympiade-Aufgaben – ist wohl das nützlichste Artefakt in der Sammlung: Er ist genau die Art von kontaminationsresistentem Evaluierungswerkzeug, das dem Feld gefehlt hat. Wenn sich das Rezept reproduzieren lässt, wird sich dieser stille Hugging-Face-Upload in dieser Woche als eine der folgenreichsten Open-Model-Veröffentlichungen des Jahres erweisen. Falls nicht, bleibt die Sammlung immer noch ein detaillierter, ehrlicher Bericht darüber, was ein einzigartiger Lauf im Frontier-Maßstab von Generieren–Verifizieren–Verfeinern tatsächlich erforderte.