NVIDIA Nemotron Labs Dory 1.0 4B vs MiniCPM5 2B: Een aangepaste runtime tegenover een gewone LlamaForCausalLM

Het nuttigste ding om op te merken over NVIDIA Nemotron Labs Dory 1.0 4B en MiniCPM5-2B is niet de benchmarktabel van een van beide modellen — het is wat er in de eerste regel van de architectuursectie van MiniCPM5-2B staat. Op de kaart staat ronduit dat de architectuur een standaard LlamaForCausalLM: 42 lagen, grouped-query attention met 16 query-heads en 2 KV-heads, geen aangepaste kernels, geen model-code-fork nodig. Dory's kaart zegt het tegenovergestelde in elk praktisch opzicht. De architectuur is een looped latent-recurrent netwerk waarvan het layer-blok een variabel aantal keren wordt toegepast, en om het vandaag te serveren installeer je vLLM vanuit een open pull request of bouw je llama.cpp vanuit een vastgezette commit. Een van deze modellen past in de stack die je al hebt. Het andere vereist dat je eerst de stack wijzigt. Dat verschil zal meer deployments bepalen dan welke score dan ook die een van beide leveranciers heeft gepubliceerd.

Twee kleine modellen, twee totaal verschillende weddenschappen

NVIDIA Nemotron Labs Dory 1.0 4B is NVIDIA's 4B dense looped model, gepubliceerd op Hugging Face in BF16, MXFP8, NVFP4 en Q5_K_M GGUF onder de OpenMDW 1.1-licentie, met de kaart voorzien van de stempel "GA (10/16/2026)". Het is alleen tekst en alleen Engels, ondersteunt tot 256K tokens, en stopte ongeveer 6 biljoen pre-training tokens in een stack die native in NVFP4 werd getraind voor de eerste ~4,5T voordat werd overgeschakeld naar BF16, vervolgens uitgebreid naar lange context over 300B tokens en afgerond met SFT plus multi-environment GRPO reinforcement learning. Het werd gepubliceerd zonder enige aankondiging.

MiniCPM5-2B is het 2,5B dense model van OpenBMB — in totaal 2.516.756.480 parameters, waarvan 1.981.982.720 niet-embedding — onder Apache 2.0, met een contextvenster van 131.072 tokens en tweetalige ondersteuning voor Engels en Chinees. Het is het tweede item in de MiniCPM5-reeks na de 1B, gebouwd om op te schalen wat de modelkaart hetzelfde trainingsrecept noemt, en het is expliciet bedoeld voor deployment op het apparaat, lokaal en met beperkte resources. De post-training omvatte supervised fine-tuning, reinforcement learning en on-policy distillatie. De modelkaart claimt state of the art in de open-source 2B-klasse met een gemiddelde van 53,9 over de benchmarkset.

Beide zijn klein genoeg om op één accelerator te draaien. Beide zijn vandaag te downloaden. Alles daarna loopt uiteen.

Het contrast, dimensie voor dimensie

• Architectuur — Dory 1.0 4B is een geluste latente-recurrente genormaliseerde GPT met afwisselend sliding-window- en volledige aandacht, een invoerblok van 8 lagen, een recurrent blok van 20 lagen en een uitvoerblok van 8 lagen. MiniCPM5-2B is een conventionele dense causale transformer, 42 lagen, GQA 16 heads bij 2 KV-heads, standaard LlamaForCausalLM.

• Instapkosten voor serving — dit is het belangrijkste. MiniCPM5-2B heeft geen aangepaste kernel en geen geforkte engine nodig; als je stack L​lama-vormige modellen draait, draait die dit. Dory vereist vLLM gebouwd vanaf een niet-samengevoegde pull request of llama.cpp gebouwd vanaf een vastgezette commit, met runtime-overschrijvingen voor het aantal loops en de KV-cachemodus.

• Parameters — 4B dense tegenover 2,516B totaal (1,98B niet-embedding). Dory is ongeveer 60% groter, en het recurrente blok wordt herhaaldelijk toegepast, dus de effectieve rekenkracht per token bij vier lussen overtreft wat het aantal parameters impliceert.

• Context — Dory bereikt 256K tokens met 262.144 posities gevalideerd in vLLM. MiniCPM5-2B ondersteunt 131.072. Dory's venster is twee keer zo groot; of je ervoor wilt betalen, is de KV-cachekwestie die hieronder wordt behandeld.

• Talen — Dory is alleen Engels, met 43 programmeertalen in de pre-trainingsmix. MiniCPM5-2B is tweetalig Engels en Chinees. Voor een Chineestalige workload beslecht deze dimensie de vergelijking zonder verwijzing naar enige andere rij.

• Licentie — OpenMDW 1.1 voor Dory, Apache 2.0 voor MiniCPM5-2B. Beide staan commercieel gebruik toe; Apache 2.0 is de licentie die de meeste juridische beoordelingen al hebben goedgekeurd.

• Rekenflexibiliteit — de diepte van Dory is een runtimeparameter: één lus voor latentie, twee als aanbevolen standaard, vier wanneer agentische nauwkeurigheid zwaarder weegt, allemaal vanuit één checkpoint. MiniCPM5-2B heeft een vaste diepte, en de hefboom voor de prestaties is kwantisatie — de familie levert GGUF-, MLX-, GPTQ- en LiteRT-builds plus een DSpark-conceptmodel voor speculatieve decoding.

• Ecosysteem — MiniCPM5-2B is sinds begin september 2026 openbaar en heeft meer dan een miljoen downloads en een reeks gekwantiseerde en afgeleide builds. De vier repositories van Dory werden in één nacht gevuld en hun downloadtellers stonden op nul toen dit werd geschreven.

De getallen, en waarom je ze niet moet aftrekken

Beide kaarten publiceren benchmarktabellen, en de tabellen overlappen op genoeg taken om een vergelijking naast elkaar mogelijk te maken. Het is de moeite waard om dat zorgvuldig te doen, want een naïeve aftrekking zou op een specifieke en voorspelbare manier misleidend zijn.

Lees Dory bij zijn drie lusinstellingen af tegen de enkele gerapporteerde waarde van MiniCPM5-2B:

• SciCode — 27,3 / 34,94 / 35,11 tegen 26,3. Vanaf twee loops leidt Dory.

• SWE-bench Verified — 50,3 / 59,5 / 61,8 tegen 46,4.

• Terminal-Bench 2.1 — 12,5 / 18,1 / 22,2 tegen 8,6.

• GPQA Diamond — 69,19 / 72,41 / 72,16 tegenover 70,2. Zelfs bij één loop staat Dory nominaal achter; bij drie of meer loops gaat hij net voorop.

• HLE, alleen tekst — 8,25 / 10,89 / 10,43 tegen 8,9.

• IFBench — 74.29 / 77.94 / 79 tegen 66.3.

• AA-LCR — 63 / 71 / 73 tegen 59,0.

Dory lijkt op de meeste van deze sterker, soms zelfs met een flinke marge. Nu de reden om de rekensom niet te geloven: dit zijn twee verschillende testomgevingen die twee verschillende promptsets meten, en geen van beide leveranciers heeft het model van de ander gedraaid. N​VIDIA mat Dory op NeMo Gym en de Nemo Evaluator SDK, met herhalingsaantallen per benchmark die de modelkaart vermeldt — SciCode acht keer, AA-LCR zestien, verschillende benchmarks precies één keer. OpenBMB mat MiniCPM5-2B op zijn eigen opstelling en rapporteerde één gemiddelde van 53,9 over zijn suite. Een verschil van twee of drie punten tussen die twee opstellingen is ruis, geen eindoordeel. In geen van beide modelkaarten staat een onafhankelijke reproductie, en geen enkele derde partij heeft een rechtstreekse vergelijking van deze twee modellen gepubliceerd.

Er is één structurele reden om te verwachten dat Dory's ogenschijnlijke voorsprong echt is bij agentische taken en elders vervliegt. Op de kaart staat dat looping het meest oplevert op SWE-bench en Terminal-Bench, en het minst bij kennisrecall — AA-Omniscience verandert nauwelijks met het aantal loops. De eigen sterkte van MiniCPM5-2B is anders verdeeld: het rapporteert een 97,1 op τ²-Bench Telecom en 88,7 op GAIA Text-103, agentische resultaten die NVIDIA's kaart niet in een vergelijkbare vorm meet. Als je taak toolgebruik in een nauw domein is, zijn de cijfers op de MiniCPM-kaart de eerste die je moet testen, en geen ervan staat op Dory's sheet.

Let ook op wat de twee kaarten nalaten te vergelijken. MiniCPM5-2B vergelijkt zichzelf in benchmarks met Qwen3.5-4B op 51,1, granite-4.2-3B op 42,7 en LFM2.5-2.6B op 33,2 op zijn eigen gemiddelde. Dory vergelijkt zichzelf in benchmarks met Qwen3.5-4B, Qwen3.5-9B, Gemma 4 26B A4B en Qwen3.6-35B-A3B. Het enige model waar beide kaarten een cijfer aan hangen is Qwen3.5-4B, en ze geven het een verschillende score — wat je meer vertelt over de testharnassen dan over Qwen.

Wat het u kost om elk ervan te bedienen

Het operationele verhaal van MiniCPM5-2B is het saaie verhaal, en saai is hier een compliment. Standaardarchitectuur, geen aangepaste kernels, een reeks kant-en-klare kwantisaties, en een familie die al MLX-builds voor Apple Silicon, GPTQ voor GPU-inference, LiteRT voor mobiel en een draftmodel voor speculatieve decoding bevat. Een LLaMA-vormig model van 2,5B met 128K context past in bescheiden geheugen en draait op de engines die je al gebruikt. OpenBMB positioneert de hele lijn als on-device en by design resourcebeperkt, en niets in de modelkaart vereist dat je iets nieuws adopteert.

Het operationele verhaal van Dory is het interessante en het is nog niet af. vLLM-ondersteuning staat in review in pull request 60149; totdat deze wordt samengevoegd, vertelt de kaart je om vLLM vanaf die branch te installeren met de precompiled-kernel-vlag ingesteld, en dan te starten met overrides die het aantal recurrent-lussen en de KV-cachemodus configureren. llama.cpp-ondersteuning staat in pull request 30306, met een vastgezette revisie in plaats van de bewegende head, en buildinstructies die gericht zijn op native ARM64 macOS op Apple Silicon. De enige door NVIDIA gepubliceerde Dory-snelheidscijfers zijn snelheidswinsten door kwantisatie op een DGX Spark — 1,69× en 1,84× voor MXFP8 ten opzichte van BF16, afhankelijk van de input/output-mix, 2,17× en 2,44× voor NVFP4 — geen doorvoercijfers. Er is nergens een gehost endpoint voor Dory dat we kunnen verifiëren.

Het enige werkelijk nieuwe stuk engineering aan de Dory-kant is het geheugenontwerp, en het is de claim die het meest het testen waard is voordat je je vastlegt. Standaard recurrent looping houdt per lus een aparte KV-cache bij, dus het geheugengebruik loopt op met elke extra pass. Dory ondersteunt een last-loop-KV-cachingmodus die één enkele cache per recurrente attentionlaag vasthoudt en deze bij elke pass overschrijft, waardoor de geheugenvoetafdruk ongeveer op de grootte van één lus blijft, ongeacht hoeveel lussen je draait. N​VIDIA zegt dat de nauwkeurigheid dicht bij die van de per-lusmodus blijft, met vrijwel ongewijzigde outputlengtes. Als dat standhoudt, is elastische diepte een echte mogelijkheid; als de nauwkeurigheid verschuift, kost de functie meer dan de kaart doet vermoeden. Niemand buiten N​VIDIA heeft dit gecontroleerd.

Waar een router zijn waarde bewijst — en waar niet

MiniCPM5-2B staat niet in de OrcaRouter-catalogus, en N​VIDIA N​emotron Labs Dory 1.0 4B ook niet. Dory heeft nergens een gehost endpoint dat we kunnen bevestigen; MiniCPM5-2B is een on-device model waarvan de modelkaart is geschreven voor lokale deployment, niet voor een inferenceplatform. Dat ronduit zeggen is belangrijker dan een invalshoek zoeken, want het praktische gevolg is dat beide kanten van deze vergelijking draaien op hardware die je zelf bezit.

Dat is het moment waarop de gehoste baseline het lastige onderdeel van het experiment wordt. De meeste teams die een 2B- of 4B-model evalueren, evalueren het niet in een vacuüm — ze vragen zich af of het een gehoste aanroep kan vervangen tegen een fractie van de kosten en een fractie van de capaciteit, en om die vraag te beantwoorden moet het gehoste model op dezelfde set taken worden uitgevoerd. Eén OrcaRouter-sleutel bereikt die gehoste modellen tegen de lijstprijs van de provider met 0% opslag, zonder tweede contract en zonder tweede SDK, dus de vergelijking heeft geen eigen inkooptraject nodig. Automatische failover is hier om een andere reden van belang: een lange lokale evaluatie op één enkele GPU zal worden onderbroken, en doordat het fallbackpad al achter hetzelfde endpoint is aangesloten, blijft de run in leven. De routing-DSL laat een lokaal endpoint en een gehost endpoint één enkele aanroepplaats delen, zodat de twee helften van een hybride implementatie niet uiteenlopen in twee codebases. Niets hiervan kiest een winnaar tussen Dory en MiniCPM5-2B. Het maakt het goedkoop om de verliezer uit te sluiten.

Het vonnis

Kies MiniCPM5-2B als uitrolfrictie zwaarder weegt dan de hoogste agentische scores. Het is Apache 2.0, half zo groot, tweetalig, standaardarchitectuur en omringd door kwantisaties, waaronder mobiele runtimes. Als je team deze maand moet opleveren en het alternatief vechten met een kernelbuild is, wint de 2.5B al op logistiek — en de gerapporteerde resultaten op τ²-Bench en GAIA suggereren dat hij niet veel inlevert op de tool-use-taken waarvoor kleine modellen daadwerkelijk worden ingezet.

Kies N​VIDIA N​emotron Labs Dory 1.0 4B als wat je wilt geen model is maar een experiment: één checkpoint dat zijn eigen nauwkeurigheid opschaalt met rekenkracht voor inferentie, een 256K-venster met een cache-ontwerp dat bedoeld is om dat betaalbaar te maken, en een licentie die commerciële deployment toestaat. Ga er met de wetenschap in dat je jouw serveerengine vanaf een branch zult bouwen, dat elk gepubliceerd cijfer van de leverancier zelf is, gemeten op de harness van de leverancier, met het aantal herhalingen vermeld in een voetnoot, en dat de downloadtellers nog steeds op nul staan. Het voordeel is dat je tot de eersten buiten N​VIDIA zou behoren die een werkelijk andere manier testen om rekenkracht aan een klein model te besteden. De keerzijde is dat je het verificatiewerk van N​VIDIA ervoor zou doen.

Het ding dat deze vergelijking het snelst zou veranderen, is geen benchmark. Het zijn vLLM en llama.cpp die hun Dory-pullrequests samenvoegen. Op het moment dat Dory vanuit een vrijgegeven binary laadt, verdwijnt het frictieargument dat momenteel in het voordeel van MiniCPM5-2B pleit grotendeels, en concurreren de twee modellen eindelijk op de voorwaarden die de benchmarktabellen impliceren in plaats van op de voorwaarden die jouw buildsysteem oplegt.

Niets daarvan is hypothetisch: de gedocumenteerde AI-fouten en agent-incidenten achter releases zoals deze zijn verzameld in the OrcaRouter AI Incident Archive, waar elke vermelding zijn eigen bronnen, ernst, betrouwbaarheidsgraad en markering voor betwisting bevat.