NVIDIA Nemotron Labs Dory 1.0 4B vs. MiniCPM5 2B: Eine benutzerdefinierte Laufzeitumgebung gegen ein einfaches LlamaForCausalLM

Das Nützlichste, was man an N​VIDIA N​emotron Labs Dory 1.0 4B und MiniCPM5-2B bemerken kann, ist nicht die Benchmark-Tabelle des einen oder anderen Modells – es ist das, was in der ersten Zeile des Architektur-Abschnitts von MiniCPM5-2B steht. Seine Modellkarte sagt schlicht, die Architektur sei ein Standard-LlamaForCausalLM: 42 Schichten, Grouped-Query-Attention mit 16 Query-Heads und 2 KV-Heads, keine benutzerdefinierten Kernel, kein Fork des Modellcodes nötig. Dorys Modellkarte sagt in jeder praktischen Hinsicht das Gegenteil. Seine Architektur ist ein gelooptes latentes rekurrentes Netzwerk, dessen Schichtblock eine variable Anzahl von Malen angewendet wird, und um es heute zu betreiben, installiert man vLLM aus einem offenen Pull Request oder baut llama.cpp aus einem gepinnten Commit. Eines dieser Modelle fügt sich in den Stack ein, den man bereits hat. Das andere erfordert, dass man zuerst den Stack ändert. Dieser Unterschied wird mehr Deployments entscheiden als jede Punktzahl, die einer der Anbieter veröffentlicht hat.

Zwei kleine Modelle, zwei völlig unterschiedliche Wetten

N​VIDIA N​emotron Labs Dory 1.0 4B ist NVIDIAs dichtes 4B-Loop-Modell, das auf Hugging Face in BF16, MXFP8, NVFP4 und Q5_K_M GGUF unter der OpenMDW-1.1-Lizenz veröffentlicht wurde, wobei seine Modellkarte mit „GA (10/16/2026)“ gestempelt ist. Es ist ausschließlich textbasiert und nur auf Englisch verfügbar, unterstützt bis zu 256K Token und steckte rund 6 Billionen Pre-Training-Token in einen Stack, der für die ersten ~4,5T nativ in NVFP4 trainiert wurde, bevor auf BF16 umgestellt wurde, dann über 300B Token auf langen Kontext erweitert und mit SFT sowie GRPO-Reinforcement-Learning in mehreren Umgebungen abgeschlossen wurde. Es wurde ohne jegliche Ankündigung veröffentlicht.

MiniCPM5-2B ist OpenBMBs dichtes 2,5B-Modell – insgesamt 2.516.756.480 Parameter, davon 1.981.982.720 nicht-embedding – unter Apache 2.0, mit einem Kontextfenster von 131.072 Tokens und zweisprachiger Unterstützung für Englisch und Chinesisch. Es ist der zweite Eintrag in der MiniCPM5-Reihe nach dem 1B und wurde entwickelt, um das zu skalieren, was die Modellkarte als dasselbe Trainingsrezept bezeichnet, und es ist ausdrücklich auf den Einsatz auf Geräten, lokal und in ressourcenbeschränkten Umgebungen ausgerichtet. Beim Post-Training wurden überwachtes Feintuning, Reinforcement Learning und On-Policy-Distillation durchgeführt. Die Modellkarte beansprucht den Open-Source-Stand der Technik der 2B-Klasse mit einem Durchschnitt von 53,9 über ihr Benchmark-Set.

Beide sind klein genug, um auf einem Beschleuniger zu laufen. Beide sind heute herunterladbar. Danach gehen sie getrennte Wege.

Der Kontrast, Dimension für Dimension

• Architektur — Dory 1.0 4B ist ein geloopeter latenter rekurrenter normalisierter GPT mit verschachteltem Sliding-Window- und voller Attention, einem 8-Schichten-Eingabeblock, einem 20-schichtigen rekurrenten Block und einem 8-Schichten-Ausgabeblock. MiniCPM5-2B ist ein konventioneller dichter kausaler Transformer, 42 Schichten, GQA 16 Heads bei 2 KV-Heads, Standard-LlamaForCausalLM.

• Einstiegskosten beim Serving — das ist die Schlagzeile. MiniCPM5-2B benötigt keinen benutzerdefinierten Kernel und keine geforkte Engine; wenn dein Stack Llama-förmige Modelle ausführt, führt er auch dieses aus. Dory benötigt vLLM, das aus einem nicht gemergten Pull Request gebaut wurde, oder llama.cpp, das aus einem festgeschriebenen Commit gebaut wurde, mit Laufzeit-Overrides für Schleifenanzahl und KV-Cache-Modus.

• Parameter — 4 Mrd. dense gegen 2,516 Mrd. insgesamt (1,98 Mrd. nicht-Embedding). Dory ist etwa 60 % größer, und sein rekurrenter Block wird wiederholt angewendet, sodass sein effektiver Rechenaufwand pro Token bei vier Schleifen das übersteigt, was die Parameteranzahl impliziert.

• Kontext — Dory erreicht 256K Token mit 262.144 in vLLM validierten Positionen. MiniCPM5-2B unterstützt 131.072. Dorys Fenster ist doppelt so groß; ob du dafür bezahlen möchtest, ist die unten behandelte KV-Cache-Frage.

• Sprachen — Dory ist ausschließlich englischsprachig, mit 43 Programmiersprachen in seinem Pre-Training-Mix. MiniCPM5-2B ist zweisprachig Englisch und Chinesisch. Für eine chinesischsprachige Arbeitslast entscheidet diese Dimension den Vergleich, ohne Bezug auf eine andere Zeile.

• Lizenz — OpenMDW 1.1 für Dory, Apache 2.0 für MiniCPM5-2B. Beide erlauben kommerzielle Nutzung; Apache 2.0 ist diejenige, die die meisten rechtlichen Prüfungen bereits genehmigt haben.

• Rechenflexibilität — Dorys Tiefe ist ein Laufzeitparameter: eine Schleife für niedrige Latenz, zwei als empfohlener Standard, vier, wenn agentische Genauigkeit wichtiger ist – alles aus einem einzigen Checkpoint. MiniCPM5-2B hat eine feste Tiefe, und sein Leistungshebel ist die Quantisierung — die Familie bietet GGUF-, MLX-, GPTQ- und LiteRT-Builds sowie ein DSpark-Draft-Modell für spekulative Dekodierung.

• Ökosystem — MiniCPM5-2B ist seit Anfang September 2026 öffentlich und hat über eine Million Downloads sowie eine Reihe quantisierter und abgeleiteter Builds. Dorys vier Repositories wurden über Nacht befüllt, und ihre Download-Zähler standen bei null, als dies geschrieben wurde.

Die Zahlen, und warum du sie nicht subtrahieren solltest

Beide Karten veröffentlichen Benchmark-Tabellen, und die Tabellen überschneiden sich bei genügend Aufgaben, um einen direkten Vergleich zu ermöglichen. Es lohnt sich, dabei sorgfältig vorzugehen, denn eine naive Subtraktion wäre auf eine ganz bestimmte und vorhersehbare Weise irreführend.

Lies Dory mit seinen drei Loop-Einstellungen im Vergleich zum einzelnen berichteten Wert von MiniCPM5-2B:

• SciCode — 27,3 / 34,94 / 35,11 gegenüber 26,3. Ab zwei Loops und darüber liegt Dory vorn.

• SWE-bench Verified — 50,3 / 59,5 / 61,8 gegenüber 46,4.

• Terminal-Bench 2.1 — 12,5 / 18,1 / 22,2 gegen 8,6.

• GPQA Diamond — 69,19 / 72,41 / 72,16 gegenüber 70,2. Selbst bei einer Schleife liegt Dory nominell zurück; bei drei oder mehr Schleifen liegt sie knapp vorn.

• HLE, nur Text — 8,25 / 10,89 / 10,43 gegenüber 8,9.

• IFBench — 74,29 / 77,94 / 79 gegenüber 66,3.

• AA-LCR — 63 / 71 / 73 gegenüber 59,0.

Dory wirkt bei den meisten davon stärker, manchmal um einiges. Nun der Grund, warum man der Rechnung nicht trauen sollte:Dies sind zwei verschiedene Testumgebungen, die zwei verschiedene Prompt-Sets messen, und kein Anbieter hat das Modell des anderen laufen lassen. NVIDIA hat Dory auf NeMo Gym und dem Nemo Evaluator SDK gemessen, mit Wiederholungszahlen pro Benchmark, die die Modellkarte offenlegt – SciCode achtmal, AA-LCR sechzehnmal, mehrere Benchmarks genau einmal. OpenBMB hat MiniCPM5-2B in seinem eigenen Setup gemessen und einen einzigen Durchschnitt von 53,9 über seine Suite berichtet. Ein Unterschied von zwei oder drei Punkten zwischen diesen beiden Setups ist Rauschen, kein Urteil. Nichts in einer der beiden Karten ist eine unabhängige Reproduktion, und kein Dritter hat einen direkten Vergleich dieser beiden Modelle veröffentlicht.

Es gibt einen strukturellen Grund zu erwarten, dass Dorys scheinbarer Vorsprung bei agentischen Aufgaben real ist und sich anderswo verflüchtigt. Dorys Karte zeigt, dass Looping auf SWE-bench und Terminal-Bench am meisten einbringt, beim Wissensabruf am wenigsten – AA-Omniscience ändert sich über die Anzahl der Loops hinweg kaum. Die eigene Stärke von MiniCPM5-2B ist anders verteilt: Sie meldet 97,1 bei τ²-Bench Telecom und 88,7 bei GAIA Text-103, agentische Ergebnisse, die NVIDIAs Karte nicht in vergleichbarer Form misst. Wenn Ihre Aufgabe die Nutzung von Tools in einer eng gefassten Domäne ist, sind die Zahlen auf der MiniCPM-Karte diejenigen, die zuerst getestet werden sollten, und keine davon taucht auf Dorys Datenblatt auf.

Beachten Sie auch, was die beiden Karten nicht vergleichen. MiniCPM5-2B vergleicht sich auf Basis seines eigenen Durchschnitts mit Qwen3.5-4B bei 51,1, granite-4.2-3B bei 42,7 und LFM2.5-2.6B bei 33,2. Dory vergleicht sich mit Qwen3.5-4B, Qwen3.5-9B, Gemma 4 26B A4B und Qwen3.6-35B-A3B. Das einzige Modell, für das beide Karten eine Zahl angeben, ist Qwen3.5-4B, und sie bewerten es unterschiedlich – was mehr über die Testumgebungen aussagt als über Qwen.

Was es Sie kostet, jedes Einzelne zu betreiben

Die Betriebsgeschichte von MiniCPM5-2B ist die langweilige, und langweilig ist hier das Kompliment. Standardarchitektur, keine eigenen Kernel, eine Bandbreite fertiger Quantisierungen und eine Familie, die bereits MLX-Builds für Apple Silicon, GPTQ für die GPU-Inferenz, LiteRT für Mobilgeräte und ein Draft-Modell für spekulatives Decoding umfasst. Ein LLaMA-förmiges Modell mit 2,5 Mrd. Parametern und 128K Kontext passt in bescheidenen Speicher und läuft auf den Engines, die Sie bereits betreiben. OpenBMB positioniert die gesamte Reihe als von Grund auf für den Geräteeinsatz und begrenzte Ressourcen ausgelegt, und nichts in der Modellkarte verlangt von Ihnen, irgendetwas Neues einzuführen.

Dorys Betriebsgeschichte ist die interessante und sie ist noch nicht abgeschlossen. Die vLLM-Unterstützung befindet sich in Pull Request 60149 im Review; bis sie zusammengeführt wird, weist dich die Karte an, vLLM aus diesem Branch mit gesetztem precompiled-kernel-Flag zu installieren und dann mit Overrides zu starten, die die Anzahl der rekurrenten Schleifendurchläufe und den KV-Cache-Modus konfigurieren. Die llama.cpp-Unterstützung ist in Pull Request 30306, mit einer gepinnten Revision statt des beweglichen Heads und Build-Anweisungen, die auf natives ARM64-macOS auf Apple Silicon abzielen. Die einzigen von NVIDIA veröffentlichten Dory-Geschwindigkeitszahlen sind Quantisierungs-Geschwindigkeitssteigerungen auf einem DGX Spark – 1,69× und 1,84× für MXFP8 gegenüber BF16, abhängig vom Eingabe-/Ausgabemix, 2,17× und 2,44× für NVFP4 – keine Durchsatzwerte. Es gibt nirgendwo einen gehosteten Endpunkt für Dory, den wir verifizieren können.

Das einzige wirklich neuartige Stück Engineering auf der Dory-Seite ist das Speicherdesign, und es ist die Behauptung, die es am meisten verdient, getestet zu werden, bevor Sie sich festlegen. Standardmäßiges rekurrentes Looping hält einen separaten KV-Cache pro Loop vor, sodass der Speicher mit jedem zusätzlichen Durchlauf steigt. Dory unterstützt einen Last-Loop-KV-Caching-Modus, der einen einzigen Cache pro rekurrenter Attention-Schicht hält und ihn bei jedem Durchlauf überschreibt, wodurch der Speicherbedarf ungefähr auf der Größe eines einzelnen Loops bleibt, egal, wie viele Loops Sie ausführen. N​VIDIA sagt, die Genauigkeit bleibe nahe am Pro-Loop-Modus, bei nahezu unveränderten Ausgabelängen. Wenn das zutrifft, ist elastische Tiefe eine echte Fähigkeit; wenn die Genauigkeit abdriftet, kostet die Funktion mehr, als die Karte nahelegt. Niemand außerhalb von N​VIDIA hat das überprüft.

Wo ein Router seinen Wert beweist – und wo nicht

MiniCPM5-2B ist nicht im OrcaRouter-Katalog, und N​VIDIA N​emotron Labs Dory 1.0 4B ebenso wenig. Dory hat nirgendwo einen gehosteten Endpunkt, den wir bestätigen können; MiniCPM5-2B ist ein On-Device-Modell, dessen Model Card für den lokalen Einsatz geschrieben ist, nicht für eine Inferenzplattform. Das klar zu sagen, ist wichtiger, als einen Dreh zu finden, denn der praktische Effekt ist, dass beide Seiten dieses Vergleichs auf eigener Hardware laufen.

Dann wird die gehostete Baseline zum unangenehmen Teil des Experiments. Die meisten Teams, die ein 2B- oder 4B-Modell evaluieren, evaluieren es nicht im luftleeren Raum – sie fragen, ob es einen gehosteten Aufruf zu einem Bruchteil der Kosten und einem Bruchteil der Leistungsfähigkeit ersetzen kann, und diese Frage zu beantworten bedeutet, das gehostete Modell auf demselben Aufgabensatz laufen zu lassen. Ein OrcaRouter-Schlüssel erreicht diese gehosteten Modelle zum Listenpreis des Anbieters mit 0 % Aufschlag, ohne zweiten Vertrag und ohne zweites SDK, sodass der Vergleich keine eigene Beschaffung benötigt. Automatisches Failover ist hier aus einem anderen Grund wichtig: Eine lange lokale Evaluierung auf einer einzelnen GPU wird unterbrochen werden, und wenn der Ausweichpfad bereits hinter demselben Endpunkt verdrahtet ist, bleibt der Lauf am Leben. Die Routing-DSL lässt einen lokalen Endpunkt und einen gehosteten Endpunkt eine einzige Aufrufstelle teilen, sodass die beiden Hälften einer hybriden Bereitstellung nicht in zwei Codebasen auseinanderlaufen. Nichts davon kürt einen Sieger zwischen Dory und MiniCPM5-2B. Es macht das Ausschließen des Verlierers günstig.

Das Urteil

Wählen Sie MiniCPM5-2B, wenn Reibung beim Deployment wichtiger ist als Spitzenwerte bei agentischen Scores. Es ist Apache 2.0, halb so groß, bilingual, Standardarchitektur und von Quantisierungen umgeben, darunter mobile Laufzeitumgebungen. Wenn Ihr Team diesen Monat ausliefern muss und die Alternative darin besteht, gegen einen Kernel-Build anzukämpfen, gewinnt das 2.5B allein schon aus logistischen Gründen — und seine gemeldeten Ergebnisse bei τ²-Bench und GAIA legen nahe, dass es bei den Tool-Use-Aufgaben, für die kleine Modelle tatsächlich eingesetzt werden, nicht viel einbüßt.

Wählen Sie N​VIDIA N​emotron Labs Dory 1.0 4B, wenn das, was Sie wollen, kein Modell, sondern ein Experiment ist: ein einzelner Checkpoint, der seine eigene Genauigkeit mit der Inferenz-Rechenleistung skaliert, ein 256K-Fenster mit einem Caching-Design, das dies erschwinglich machen soll, und eine Lizenz, die kommerziellen Einsatz gestattet. Gehen Sie mit dem Wissen hinein, dass Sie Ihre Serving-Engine aus einem Branch bauen werden, dass jede veröffentlichte Zahl vom Anbieter selbst stammt, auf dem Harness des Anbieters, wobei die Wiederholungszahlen in einer Fußnote offengelegt sind, und dass die Download-Zähler noch bei null stehen. Der Vorteil ist, dass Sie zu den ersten Leuten außerhalb von N​VIDIA gehören würden, die eine wirklich andere Art testen, Rechenleistung für ein kleines Modell einzusetzen. Der Preis dafür ist, dass Sie N​VIDIAs Verifizierungsarbeit dafür übernehmen würden.

Was diesen Vergleich am schnellsten verändern würde, ist kein Benchmark. Es ist, dass vLLM und llama.cpp ihre Dory-Pull-Requests zusammenführen. Sobald Dory aus einer veröffentlichten Binärdatei lädt, verschwindet das Reibungsargument, das derzeit MiniCPM5-2B begünstigt, größtenteils, und die beiden Modelle konkurrieren endlich zu den Bedingungen, die die Benchmark-Tabellen nahelegen, statt zu den Bedingungen, die Ihr Build-System auferlegt.

Nichts davon ist hypothetisch: Die dokumentierten KI-Ausfälle und Agent-Vorfälle, die hinter Releases wie diesem stehen, finden sich im OrcaRouter AI Incident Archive, wo jeder Eintrag seine eigenen Quellen, seinen Schweregrad, seinen Konfidenzgrad und sein Umstritten-Flag führt.