NVIDIA Nemotron Labs Dory 1.0 4B ist mit vier Checkpoints und ohne Ankündigung auf Hugging Face gelandet

N​VIDIA N​emotron Labs Dory 1.0 4B ist genau jetzt auf Hugging Face, in vier Quantisierungen, und N​VIDIA hat kein Wort darüber verlauten lassen. Der Checkpoint nvidia/N​VIDIA-N​emotron-Labs-Dory1.0-4B-MXFP8 wurde mit einer Modellkarte veröffentlicht, die den Build als „GA (10/16/2026)“ ausweist; seine drei Geschwister — N​VIDIA-N​emotron-Labs-Dory1.0-4B-BF16, N​VIDIA-N​emotron-Labs-Dory1.0-4B-NVFP4 und N​VIDIA-N​emotron-Labs-Dory1.0-4B-GGUF — wurden innerhalb desselben 36-Minuten-Fensters diesseits und jenseits von Mitternacht UTC am 16.–17. Oktober 2026 hochgeladen. Es gibt keinen entsprechenden Beitrag in N​VIDIAs Entwickler-Blog, keinen Eintrag auf der N​emotron-Forschungsseite und keinen Hinweis auf ein Modell namens Dory an keiner der beiden Stellen. Die Karte selbst ist ungewöhnlich vollständig — eine vollständige Benchmark-Tabelle, Serving-Anweisungen für zwei Engines, eine Prüfsumme —, doch das Marketing-Gerüst drumherum, das, was einem normalerweise sagt, dass ein Modell existiert, fehlt vollständig.

Es lohnt sich also, präzise zu sein in Bezug darauf, was Ihnen das zu sagen erlaubt und was nicht. Was sich wissen lässt: Die Gewichte existieren, sie sind herunterladbar, die Lizenz ist angegeben, die Architektur ist detailliert genug beschrieben, um sie zu reproduzieren, und der Anbieter hat seine eigenen Zahlen zusammen mit einem Hinweis veröffentlicht, dass er sie selbst gemessen hat. Was noch nicht bestätigt ist: ob dies der Beginn einer N​emotron-Labs-Familie oder ein einmaliges Experiment ist, ob ein Paper oder ein Blogbeitrag erscheinen wird und ob die Zahlen in der Testumgebung eines anderen Bestand haben. N​VIDIA hat dies nicht als Launch dargestellt, und dieser Beitrag ebenso wenig. Es ist eine Interpretation eines Repositorys, das über Nacht aufgetaucht ist.

Was ist eigentlich im Repository?

Die Artefakte sind vier Checkpoints und eine Modellkarte. Die Modellkarte ist das inhaltliche Dokument, und aus ihr stammt fast alles, was unten folgt.

• Formate — BF16 (W16A16), MXFP8 (W8A16), NVFP4 (W4A16) und ein Q5_K_M-GGUF-Export für llama.cpp. Der MXFP8-Checkpoint ist nur deshalb Gegenstand dieses Beitrags, weil er derjenige ist, der die kanonische Repository-ID trägt; die Benchmarks in der Model Card wurden mit BF16 gemessen.

• Größe und Form — 4B Parameter insgesamt, ein dichter Stack statt einer Mixture-of-Experts-Architektur, aufgeteilt in einen 8-schichtigen Eingabe-Block, einen 20-schichtigen rekurrenten Block und einen 8-schichtigen Ausgabe-Block.

• Kontext — bis zu 256K Token, mit 262.144 in vLLM validierten Positionen unter dem Startbefehl, den N​VIDIA mit der Karte ausliefert.

• Lizenz — OpenMDW 1.1, eine permissive, weiterverbreitbare Modelllizenz, deren Text von der Karte aus verlinkt ist. Die Karte stellt unmissverständlich fest, dass das Modell „für kommerzielle oder nicht kommerzielle Nutzung bereit“ ist.

• Sprache — nur Englisch, obwohl die Trainingsvorlaufdaten 43 Programmiersprachen abdecken.

• Trainingsbudget — 6 Billionen Pre-Training-Tokens, von denen ungefähr die ersten 4,5 Billionen nativ in NVFP4 liefen, bevor der Rest auf BF16 umstieg, gefolgt von einer Phase zur Kontexterweiterung mit 300 Milliarden Tokens. Die Daten reichen von 2013 bis Dezember 2025. Das Post-Training ist ein überwachtes Fine-Tuning auf einem von N​VIDIA kuratierten Datensatz, anschließend Multi-Environment-Reinforcement-Learning mit GRPO.

• Repository-Aktivität – acht Commits auf `main` und zwei Mitwirkende zum Zeitpunkt des Verfassens, wobei der neueste davon eine README-Bearbeitung ist. Der erste, „Dory 4B MXFP8-Checkpoint und Tokenizer hochladen“, ist erst ein paar Stunden alt. Dies ist kein Repository, das monatelang still in der Öffentlichkeit lag und gerade erst bemerkt wurde; es ist eines, das heute befüllt wurde.

Ein Detail, das die Modellkarte richtig macht und die meisten Modellkarten nicht: Sie gibt die exakte Byte-Größe und den SHA-256 des GGUF-Exports an, sodass du überprüfen kannst, was du heruntergeladen hast. 3.673.288.864 Bytes, wobei der Hash in den Startanweisungen angegeben ist.

Die Architektur ist der einzige Grund, sich dafür zu interessieren.

Blendet man die Benchmark-Tabelle aus, ist die interessante Tatsache an N​VIDIA N​emotron Labs Dory 1.0 4B, dass es sich nicht um ein einziges festes Modell handelt. Es ist ein gelooptes bzw. latent-rekurrentes Netzwerk: Der rekurrente Block mit 20 Schichten wird zwischen den Eingabe- und Ausgabeblöcken wiederholt angewendet, und die Eingabe wird bei jeder Schleife erneut eingespeist. Derselbe Checkpoint verhält sich daher unterschiedlich, je nachdem, wie viele Schleifen man anfordert, und das wählt man zur Serving-Zeit statt zur Trainingszeit.

Daraus ergeben sich drei Konsequenzen, die alle aus der Modellkarte stammen und nicht aus Tests von irgendjemandem:

• Elastische Inferenz-Compute — eine Gewichtsdatei bedient mehrere Compute-Budgets. Schleifenanzahl 1 für Latenz, 2 als empfohlener Standard, 4, wenn Genauigkeit bei agentischen Aufgaben wichtiger ist als Tokens pro Sekunde. Kein Neutraining, kein zweiter Checkpoint zum Herunterladen und Synchronhalten.

• Token-Effizienz — N​VIDIA behauptet, dass die zusätzliche Rechenleistung pro Token in latentes Reasoning fließt und nicht in eine längere sichtbare Gedankenkette, sodass höhere Loop-Anzahlen für dieselbe Aufgabe weniger Ausgabe-Tokens erzeugen können. Die Karte enthält ein Diagramm zum Ausgabe-Token-Faktor, um genau das zu belegen. Diese Behauptung hat unmittelbare Kostenfolgen, weshalb es sich lohnt, sie zu erwähnen, statt sie abzutun.

• Speichereffizientes Looping – das ist der Punkt, der den naheliegenden Einwand entkräftet. Standard-Looping hält einen separaten KV-Cache pro Schleife vor, sodass der Speicher mit jedem zusätzlichen Durchlauf wächst. Dory unterstützt einen Last-Loop-KV-Caching-Modus, der einen einzigen Cache pro rekurrenter Attention-Schicht beibehält und ihn bei jedem Durchlauf überschreibt, wodurch der Speicherbedarf ungefähr auf der Größe eines einzelnen Loops bleibt, egal wie viele Schleifen ausgeführt werden. NVIDIA zufolge bleibt die Genauigkeit mit Last-Loop-Caching nahe an der von Per-Loop-Caching bei nahezu unveränderten Ausgabelängen, und das Unternehmen beschreibt dies als eigenes experimentelles Ergebnis.

Der Attention-Stack ist hybrid: verschachtelte Sliding-Window- und Full-Attention-Schichten – dasselbe breite Muster, auf das sich die 2026er Generation kleiner Long-Context-Modelle eingependelt hat. Nichts davon ist für sich genommen exotisch. Weniger verbreitet ist es, die Loop-Anzahl als Deployment-Stellschraube bei einem 4B-Modell mit 256K-Fenster auszuliefern.

Die Benchmark-Tabelle, als Anbietertabelle gelesen

Jede hier gezeigte Zahl wurde von NVIDIA mit dem erstellt, was die Karte als „einen konsistenten Testrahmen (NeMo Gym / Nemo Evaluator SDK)“ bezeichnet. Keine außenstehende Stelle hat irgendetwas davon reproduziert, das Modell ist ungefähr einen Tag alt, und die Download-Zähler aller vier Repositories stehen auf null. Betrachten Sie die Zahlen als eine Aussage über die Richtung, nicht als eine Rangliste.

Die Vergleichsgruppe, die NVIDIA gewählt hat, ist an sich schon aufschlussreich: Qwen3.5-4B, Qwen3.5-9B, Gemma 4 26B A4B und Qwen3.6-35B-A3B. Bemerkenswert ist, dass die beiden Vergleichsmodelle der 4B-Klasse aus der vorherigen Qwen-Generation stammen und jedes andere Vergleichsmodell deutlich größer ist. Vergleicht man die drei Loop-Einstellungen:

• SWE-bench Verified — 50,3 bei einer Schleife, 59,5 bei zwei, 61,8 bei vier, gegenüber 54,7 für Qwen3.5-4B, 61,0 für Qwen3.5-9B, 57,40 für Gemma 4 26B A4B und 73,4 für Qwen3.6-35B-A3B.

• Terminal-Bench 2.1 — 12.5 / 18.1 / 22.2 gegen 15, 24, 35 und 43. Dies ist die Zeile, in der das Looping am meisten bringt und in der Dory noch am weitesten hinter dem Feld zurückliegt.

• τ³-bench (Banking) — 11.6 / 12.89 / 14.69 gegenüber 5.03 für Qwen3.5-4B, 7.22 für Qwen3.5-9B, 13.66 für Gemma 4 26B A4B und 9.54 für Qwen3.6-35B-A3B. Dory führt hier die 4B- und 9B-Qwen-Modelle mit großem Abstand an.

• GDPval-AA-V2 (Elo) — 815 / 946 / 967 gegenüber 424, 546, 751,6 und 987. Der Sprung von einer Schleife auf zwei beträgt 131 Elo-Punkte — die größte Bewegung von Schleife zu Schleife in der gesamten Tabelle.

• GPQA Diamond, ohne Tools — 69.19 / 72.41 / 72.16 gegen 77.71, 80.93, 80.43 und 85.35. Dory verliert hier gegen jedes Vergleichsmodell, einschließlich des 4B Q​wen.

• HLE, nur Text, ohne Tools — 8,25 / 10,89 / 10,43 gegen 11,31, 15,43, 17,79 und 19,18. Dasselbe Bild.

• IFBench — 74,29 / 77,94 / 79 gegenüber 53,83, 59, 77,89 und 57,44. Die Anweisungsbefolgung ist Dorys stärkstes relatives Ergebnis; bei vier Schleifen übertrifft es das 26B Gemma 4 knapp.

• AA-LCR — 63 / 71 / 73 gegenüber 64,7, 68,4, 64,6 und 68,5. Das Retrieval über lange Kontexte verbessert sich deutlich mit Loops und liegt am Ende vor allen vier Vergleichswerten.

• AA-Omniscience (Genauigkeit) — 10,03 / 10,08 / 10,03 gegenüber 15,02, 18,05, 21,13 und 19,95. Looping bewirkt im Wesentlichen nichts für gespeichertes Wissen, was das erwartete Ergebnis und eine nützliche Plausibilitätsprüfung für den Rest der Tabelle ist.

Die Form des Musters ist entscheidend. Schleifen bringen am meisten bei agentischen und Tool-Use-Aufgaben, am wenigsten beim enzyklopädischen Abrufen, und die zweite Schleife ist überall weit mehr wert als die dritte und vierte. Das deckt sich mit der Empfehlung der Karte selbst, standardmäßig zwei Schleifen zu verwenden.

Vier Vorbehalte, die in den eigenen Fußnoten von N​VIDIA stehen

Dies ist die Stelle, an der die Karte ehrlicher ist als die meisten, und an der ein Leser, der die Tabelle überfliegt, in die Irre geführt würde.

• Die AA-Zahlen sind keine Artificial-Analysis-Zahlen. NVIDIAs Vergleich mit einem AA-Score-Index ist ausdrücklich als „interne Schätzungen, berechnet unter einem konsistenten Evaluierungs-Harness“ gekennzeichnet, die „von offiziellen Artificial Analysis (AA)-Scores abweichen können“. Sie sind eine interne Vergleichsmessung unter gleichen Bedingungen, kein externes Ranking.

• Die Long-Context-Spalte verwendet ein hybrides Setup. Für AA-LCR gibt die Karte an, dass korrigierte Antwortschlüssel aus AA-LCR v1.1 verwendet, aber ein älteres Judge-Modell statt des neueren beibehalten wurden. Das Mischen eines korrigierten Schlüsselsatzes mit einem älteren Judge-Modell macht diese Spalte mit den anderen Zeilen von N​VIDIA vergleichbar, aber nicht unbedingt mit denen von jemand anderem.

• Die Anzahl der Wiederholungen ist völlig uneinheitlich. SciCode läuft achtmal, AA-LCR sechzehnmal, AA-Omniscience zehnmal, GDP.pdf fünfmal, und HLE, Terminal-Bench 4.0 und die GDPval-AA-Varianten laufen einmal. Ein einzelner Lauf auf einem Benchmark mit aussagekräftiger Varianz ist eine Punktschätzung, kein Score.

• Eine Zeile in der Tabelle ist mit einem Dolch als gemeldeter statt gemessener Wert markiert – die 73,4 von Qwen3.6-35B-A3B auf SWE-bench Verified. Das bedeutet, dass die am größten erscheinende Zahl auf dem Board diejenige ist, die NVIDIA nicht selbst ausgeführt hat.

Nichts davon macht die Tabelle falsch. Es macht sie zu einer internen Momentaufnahme eines Labors, und die ehrliche Lesart ist, dass Dory bei agentischen Aufgaben mit 4B- und 9B-Modellen aus der vorherigen Qwen-Generation wirklich konkurrenzfähig erscheint, während sie hinter den 26B- und 35B-Modellen zurückbleibt, neben die sie gestellt wird.

Was Sie heute ausführen können und was nicht

Es gibt keinen gehosteten Endpunkt für dieses Modell, den wir verifizieren können – weder von NVIDIA noch von jemand anderem. Dory besteht nur aus Gewichten, und die beiden Serving-Pfade in der Modellkarte erfordern beide einen Build aus einem nicht zusammengeführten Pull Request:

• vLLM — der Support wird in Pull Request 60149 noch geprüft. Bis er in einem Release enthalten ist, installierst du vLLM aus diesem Branch und servierst dann mit Overrides, die die Schleifenanzahl und den KV-Cache-Modus festlegen. Die Karte merkt an, dass das Umgebungsflag für vorkompilierte Kernel einen lokalen CUDA-Build vermeidet.

• llama.cpp — Die Unterstützung befindet sich in Pull-Request 30306, und die Karte fixiert eine bestimmte Revision statt des sich bewegenden PR-Heads, was für ein Referenzsetup der richtige Instinkt ist. Die Anweisungen richten sich an natives ARM64-macOS auf Apple Silicon, und der GGUF-Pfad erwartet den Q5_K_M-Export mit der oben angegebenen Bytegröße.

Nichts auf der Karte deutet darauf hin, dass eines der beiden Projekte zusammengeführt wurde, und es gibt keinen Eintrag in den Versionshinweisen einer der beiden Engines, der etwas anderes nahelegen würde. Wenn Sie Dory diese Woche ausführen möchten, bauen Sie aus einem PR.

Hardware-Hinweise, die man sich merken sollte: NVIDIA wurde auf H100, B200, B300 und DGX Spark getestet, und die einzigen veröffentlichten Geschwindigkeitszahlen sind Quantisierungsbeschleunigungen auf dem Spark statt Durchsatzwerte. Auf diesem Gerät zeigt MXFP8 1,69× und 1,84× gegenüber BF16, je nach Mix aus Eingabe-/Ausgabelängen, und NVFP4 erreicht 2,17× und 2,44×. Empfohlenes Sampling ist Temperatur 1,0 mit Top-p 0,95, und Reasoning ist im vLLM-Pfad immer aktiv.

Warum ein leises 4B-Release immer noch Ihren Nachmittag wert ist

Das Interessante an einem Modell, das ohne Launch erscheint, ist, dass sich seine Behauptung auf eine Weise überprüfen lässt, wie es bei einer Launch-Behauptung nicht möglich ist. Es gibt keine Keynote, die einen Kategoriesieg behauptet; es gibt eine Model Card, die einen spezifischen, falsifizierbaren Mechanismus behauptet – dass ein einzelner 4B-Checkpoint seine eigene Genauigkeit zur Inferenzzeit mit Rechenleistung skaliert. Man kann das auf einer einzigen GPU mit dem Loop-Count-Flag testen, und die Antwort ist entweder in der eigenen Eval sichtbar oder nicht.

Das ist auch die Situation, für die eine Routing-Schicht gebaut ist, und es lohnt sich, präzise zu sein, was wir hier tun, statt nur darauf anzuspielen. OrcaRouter bietet N​VIDIA N​emotron Labs Dory 1.0 4B nicht an — das Modell ist nicht in unserem Katalog, und es gibt keinen gehosteten Endpunkt dafür, den wir bestätigen können. Was ein einzelner Schlüssel Ihnen jedoch gibt, ist die andere Hälfte des Vergleichs: Die gehosteten Modelle, mit denen Sie ein selbst gehostetes 4B vergleichen würden, sind erreichbar über eine API zum Listenpreis des Anbieters mit 0 % Aufschlag, sodass ein selbst gehostetes Experiment keinen zweiten Vertrag und kein zweites SDK benötigt. Automatisches Failover deckt das Zeitfenster ab, in dem Ihr eigener GPU-Pool ausgelastet ist, und die Routing-DSL lässt einen selbst gehosteten Aufruf neben gehosteten hinter einem Endpunkt stehen. Wenn Sie testen, ob elastische Tiefe den operativen Aufwand wert ist, ist zumindest die Kontrollgruppe nur einen Schlüssel entfernt.

Was würde daraus eine echte Geschichte machen?

Drei Dinge, von denen noch keines vorhanden ist.

Zunächst eine Ankündigung. Die Karte ist auf den 16. Oktober datiert, und die Repositories wurden über Nacht befüllt; NVIDIAs Entwickler-Feed brachte am 15. Oktober einen Nemotron-Beitrag, der sich mit einem völlig anderen Modell befasste. Ein Blogbeitrag, ein Paper oder eine Familienseite von Nemotron Labs könnte jederzeit erscheinen und würde wahrscheinlich die Trainingsdetails und die angedachte Rolle des Modells enthalten, die die Karte unausgesprochen lässt.

Zweitens: Engine-Unterstützung. Sowohl vLLM als auch llama.cpp sitzen auf ungemergten Pull Requests. Sobald einer davon gemergt wird, bedeutet „du kannst es ausführen“ nicht mehr „du kannst es aus einem Branch bauen“.

Drittens – und am wertvollsten – eine unabhängige Bewertung. Die Behauptungen, die am ehesten reproduziert werden sollten, sind die, die der Anbieter hervorgehoben hat: die Bewegung von SWE-bench und Terminal-Bench über Loop-Anzahlen hinweg und die Behauptung, dass KV-Caching in der letzten Schleife die Genauigkeit bewahrt. Beides ist mit veröffentlichten Tools testbar, und keines von beiden wurde von jemandem außerhalb von N​VIDIA getestet.

Die zutreffende Zusammenfassung lautet heute: echte Gewichte in vier Formaten, eine permissive Lizenz, eine wirklich ungewöhnliche Architektur, ein Serving-Pfad, der nur als zwei offene Pull Requests existiert, und eine Benchmark-Tabelle, die der eigene Testaufbau eines Labors ist, mit den Einschränkungen in den eigenen Fußnoten. Es ist das interessanteste 4B-Modell, das N​VIDIA dieses Jahr veröffentlicht hat, und das Unternehmen hat sich noch nicht entschieden, irgendjemandem davon zu erzählen.

Nichts davon ist hypothetisch: Die dokumentierten KI-Ausfälle und Agent-Vorfälle, die hinter Releases wie diesem stehen, finden sich im OrcaRouter AI Incident Archive, wo jeder Eintrag seine eigenen Quellen, seinen Schweregrad, seinen Konfidenzgrad und sein Umstritten-Flag führt.