NVIDIA Nemotron Labs Dory 1.0 4B vs MiniCPM5 2B: En anpassad runtime mot en vanlig LlamaForCausalLM

Det mest användbara att lägga märke till hos NVIDIA Nemotron Labs Dory 1.0 4B och MiniCPM5-2B är inte någon av modellernas benchmarktabell – det är vad som står på första raden i MiniCPM5-2B:s arkitekturavsnitt. Dess modellkort säger rakt ut att arkitekturen är en standard LlamaForCausalLM: 42 lager, grouped-query attention med 16 query-heads och 2 KV-heads, inga anpassade kernels, ingen fork av modellkod behövs. Dorys kort säger motsatsen i praktiskt taget alla avseenden. Dess arkitektur är ett loopat latent-recurrent nätverk vars lagerblock tillämpas ett varierande antal gånger, och för att serva den idag installerar du vLLM från en öppen pull request eller bygger llama.cpp från en pinnad commit. En av dessa modeller faller rakt in i stacken du redan har. Den andra kräver att du ändrar stacken först. Den skillnaden kommer att avgöra fler driftsättningar än någon poäng någon av leverantörerna publicerat.

Två små modeller, två helt olika satsningar

NVIDIA Nemotron Labs Dory 1.0 4B är NVIDIAs 4B täta loopade modell, publicerad på Hugging Face i BF16, MXFP8, NVFP4 och Q5_K_M GGUF under OpenMDW 1.1-licensen, med sitt modellkort stämplat "GA (10/16/2026)". Den är enbart textbaserad och enbart på engelska, klarar upp till 256K tokens och matade in ungefär 6 biljoner förträningstokens i en stack som tränades nativt i NVFP4 under de första ~4,5T innan den bytte till BF16, utökades sedan till lång kontext med 300B tokens och avslutades med SFT plus GRPO-förstärkningsinlärning i flera miljöer. Den publicerades utan någon som helst annonsering.

MiniCPM5-2B är OpenBMB:s 2,5B täta modell — totalt 2 516 756 480 parametrar, varav 1 981 982 720 är icke-inbäddade — under Apache 2.0, med ett kontextfönster på 131 072 tokens och tvåspråkigt stöd för engelska och kinesiska. Det är den andra modellen i MiniCPM5-serien efter 1B, byggd för att skala upp det som modellkortet kallar samma träningsrecept, och den är uttryckligen inriktad på driftsättning på enheter, lokalt och i resursbegränsade miljöer. Efterträningen omfattade övervakad finjustering, förstärkningsinlärning och on-policy-distillation. Modellkortet hävdar state of the art för öppen källkod i 2B-klassen, med ett genomsnitt på 53,9 över dess benchmarkuppsättning.

Båda är tillräckligt små för att köras på en accelerator. Båda går att ladda ner redan idag. Allt därefter går isär.

Kontrasten, dimension för dimension

• Arkitektur — Dory 1.0 4B är en loopad latent-rekurrent normaliserad GPT med interfolierad glidfönster- och full uppmärksamhet, ett 8-lagers indatablock, ett 20-lagers rekurrentblock och ett 8-lagers utdatablock. MiniCPM5-2B är en konventionell tät kausal transformer, 42 lager, GQA med 16 huvuden och 2 KV-huvuden, standard LlamaForCausalLM.

• Kostnaden för att komma igång med servering — det här är huvudnyheten. MiniCPM5-2B kräver ingen anpassad kernel och ingen forkad motor; om din stack kör Llama-formade modeller, kör den även den här. Dory kräver vLLM byggt från en icke mergad pull request eller llama.cpp byggt från en fastnålad commit, med åsidosättningar vid körning för loopantal och KV-cache-läge.

• Parametrar — 4B dense mot 2,516B totalt (1,98B exklusive inbäddning). Dory är ungefär 60 % större, och dess rekurrenta block tillämpas upprepade gånger, så dess effektiva beräkningsmängd per token vid fyra loopar överstiger vad parameterantalet antyder.

• Kontext — Dory når 256K tokens med 262 144 positioner validerade i vLLM. MiniCPM5-2B stöder 131 072. Dorys fönster är dubbelt så stort; huruvida du vill betala för det är KV-cache-frågan som behandlas nedan.

• Språk — Dory är endast engelskspråkig, med 43 programmeringsspråk i sin förträningsmix. MiniCPM5-2B är tvåspråkig: engelska och kinesiska. För en arbetsbelastning på kinesiska avgör denna dimension jämförelsen utan hänvisning till någon annan rad.

• Licens — OpenMDW 1.1 för Dory, Apache 2.0 för MiniCPM5-2B. Båda tillåter kommersiell användning; Apache 2.0 är den som de flesta juridiska granskningar redan har godkänt.

• Beräkningsflexibilitet — Dorys djup är en körtidsparameter: en loop för latens, två som rekommenderad standard, fyra när agentisk noggrannhet är viktigare, allt från en enda checkpoint. MiniCPM5-2B har fast djup, och dess prestandahävstång är kvantisering — familjen levererar GGUF-, MLX-, GPTQ- och LiteRT-byggen plus en DSpark-draftmodell för spekulativ avkodning.

• Ekosystem — MiniCPM5-2B har varit offentligt sedan början av september 2026 och har över en miljon nedladdningar och en spridning av kvantiserade och derivatbyggen. Dorys fyra repositorier fylldes över en natt och deras nedladdningsräknare stod på noll när detta skrevs.

Siffrorna, och varför du inte bör subtrahera dem

Båda korten publicerar benchmarktabeller, och tabellerna överlappar på tillräckligt många uppgifter för att en jämförelse sida vid sida ska vara möjlig. Det är värt att göra det noggrant, för en naiv subtraktion skulle vara vilseledande på ett specifikt och förutsägbart sätt.

Läs av Dory vid dess tre loopinställningar mot MiniCPM5-2B:s enda rapporterade siffra:

• SciCode — 27,3 / 34,94 / 35,11 mot 26,3. Vid två loopar och uppåt leder Dory.

• SWE-bench Verified — 50,3 / 59,5 / 61,8 mot 46,4.

• Terminal-Bench 2.1 — 12,5 / 18,1 / 22,2 mot 8,6.

• GPQA Diamond — 69,19 / 72,41 / 72,16 mot 70,2. Även vid en enda loop ligger Dory nominellt sett efter; vid tre eller fler loopar tar den knappt ledningen.

• HLE, endast text — 8,25 / 10,89 / 10,43 mot 8,9.

• IFBench — 74,29 / 77,94 / 79 mot 66,3.

• AA-LCR — 63 / 71 / 73 mot 59,0.

Dory ser starkare ut på de flesta av dessa, ibland med stor marginal. Nu till anledningen att inte tro på aritmetiken: dessa är två olika testramverk som mäter två olika promptuppsättningar, och ingen av leverantörerna körde den andras modell. N​VIDIA mätte Dory på NeMo Gym och Nemo Evaluator SDK, med de upprepningsantal per benchmark som kortet anger — SciCode åtta gånger, AA-LCR sexton, flera benchmarks exakt en gång. OpenBMB mätte MiniCPM5-2B i sin egen uppsättning och rapporterade ett enda genomsnitt på 53,9 över sin svit. En differens på två eller tre punkter mellan dessa två uppsättningar är brus, inte ett utslag. Inget i något av korten är en oberoende reproduktion, och ingen tredje part har publicerat en direkt jämförelse av dessa två modeller.

Det finns en strukturell anledning att vänta sig att Dorys uppenbara fördel är verklig på agentiska uppgifter och försvinner någon annanstans. Dorys kort visar att loopning ger mest på SWE-bench och Terminal-Bench, minst vid kunskapsåterkallning – AA-Omniscience rör sig knappt mellan olika antal loopar. MiniCPM5-2B:s egen styrka är fördelad på ett annat sätt: den rapporterar 97,1 på τ²-Bench Telecom och 88,7 på GAIA Text-103, agentiska resultat som N​VIDIAs kort inte mäter i jämförbar form. Om din uppgift är verktygsanvändning inom en snäv domän är det MiniCPM-kortets siffror som bör testas först, och ingen av dem finns på Dorys blad.

Notera också vad de två korten avstår från att jämföra. MiniCPM5-2B benchmarkar sig mot Qwen3.5-4B på 51,1, granite-4.2-3B på 42,7 och LFM2.5-2.6B på 33,2 i sitt eget genomsnitt. Dory benchmarkar sig mot Qwen3.5-4B, Qwen3.5-9B, Gemma 4 26B A4B och Qwen3.6-35B-A3B. Den enda modell som båda korten sätter en siffra på är Qwen3.5-4B, och de poängsätter den olika – vilket säger mer om testramverken än om Qwen.

Vad var och en kostar dig att driva

MiniCPM5-2B:s driftberättelse är den tråkiga, och tråkigt är en komplimang här. Standardarkitektur, inga anpassade kärnor, ett utbud av färdiga kvantiseringar och en familj som redan inkluderar MLX-byggen för Apple Silicon, GPTQ för GPU-inferens, LiteRT för mobil och en utkastmodell för spekulativ avkodning. En LLaMA-formad modell på 2,5B med 128K kontext ryms i blygsamt minne och körs på de motorer du redan använder. OpenBMB beskriver hela serien som avsedd för enheten och avsiktligt resursbegränsad, och inget i kortet kräver att du inför något nytt.

Dorys driftsberättelse är den intressanta och den är inte färdig. vLLM-stödet ligger under granskning i pull request 60149; tills den sammanfogas säger kortet att du ska installera vLLM från den grenen med flaggan för förkompilerad kärna aktiverad, och sedan starta med överstyrningar som konfigurerar antalet återkommande loopar och KV-cache-läget. llama.cpp-stödet finns i pull request 30306, med en fastnålad revision i stället för den rörliga headen, och bygginstruktioner som riktar sig mot inbyggt ARM64 macOS på Apple Silicon. NVIDIAs enda publicerade Dory-hastighetssiffror är kvantiseringsaccelerationer på en DGX Spark – 1,69× och 1,84× för MXFP8 över BF16 beroende på in-/utdatamixen, 2,17× och 2,44× för NVFP4 – inte genomströmningssiffror. Det finns ingen hostad slutpunkt för Dory någonstans som vi kan verifiera.

Det enda genuint nyskapande ingenjörsarbetet på Dory-sidan är minnesdesignen, och det är det påstående som är mest värt att testa innan du satsar. Standardmässig återkommande loopning har en separat KV-cache per loop, så minnet växer med varje tillagd genomgång. Dory stöder ett KV-cacheläge för sista loopen som håller en enda cache per återkommande attention-lager och skriver över den vid varje genomgång, vilket håller minnesavtrycket på ungefär samma storlek som vid en loop oavsett hur många loopar du kör. NVIDIA säger att noggrannheten ligger nära per-loop-läget med nästan oförändrade utdatalängder. Om det håller är elastiskt djup en verklig förmåga; om noggrannheten avviker kostar funktionen mer än kortet antyder. Ingen utanför NVIDIA har kontrollerat det.

Där en router förtjänar sin plats – och där den inte gör det

MiniCPM5-2B finns inte med i OrcaRouters katalog, och inte heller N​VIDIA N​emotron Labs Dory 1.0 4B. Dory har ingen hostad slutpunkt någonstans som vi kan bekräfta; MiniCPM5-2B är en modell som körs på enheten och vars modellkort är skrivet för lokal driftsättning, inte för en inferensplattform. Att säga det rakt ut är viktigare än att hitta en vinkel, eftersom den praktiska effekten är att båda sidorna i den här jämförelsen körs på hårdvara du äger.

Det är då den hostade baslinjen blir den besvärliga delen av experimentet. De flesta team som utvärderar en 2B- eller 4B-modell utvärderar den inte i ett vakuum – de frågar sig om den kan ersätta ett hostat anrop till en bråkdel av kostnaden och en bråkdel av förmågan, och att svara på den frågan innebär att köra den hostade modellen på samma uppsättning uppgifter. En OrcaRouter-nyckel når dessa hostade modeller till leverantörens listpris med 0 % påslag, inget andra avtal och ingen andra SDK, så jämförelsen behöver ingen egen upphandling. Automatisk failover är viktigt av en annan anledning här: en lång lokal utvärdering på en enda GPU kommer att avbrytas, och att ha reservvägen redan kopplad bakom samma slutpunkt håller körningen vid liv. Routing-DSL:en låter en lokal slutpunkt och en hostad sådan dela en enda anropsplats, så att de två halvorna av en hybriddriftsättning inte divergerar till två kodbaser. Inget av detta utser en vinnare mellan Dory och MiniCPM5-2B. Det gör det billigt att utesluta förloraren.

Domen

Välj MiniCPM5-2B om friktion vid driftsättning betyder mer än högsta agentiska poäng. Den är Apache 2.0, hälften så stor, tvåspråkig, standardarkitektur och omges av kvantiseringar, inklusive mobila körtidsmiljöer. Om ditt team måste leverera den här månaden och alternativet är att kämpa med ett kernelbygge, vinner 2,5B enbart på logistik – och dess rapporterade resultat för τ²-Bench och GAIA tyder på att den inte ger upp mycket på de verktygsanvändningsuppgifter som små modeller faktiskt driftsätts för.

Välj NVIDIA Nemotron Labs Dory 1.0 4B om det du vill ha inte är en modell utan ett experiment: en enda checkpoint som skalar sin egen noggrannhet med beräkningskraften vid inferens, ett 256K-fönster med en cache-design avsedd att göra det överkomligt, och en licens som tillåter kommersiell driftsättning. Gå in i det med vetskapen att du kommer att bygga din serveringsmotor från en branch, att varje publicerad siffra är leverantörens egen på leverantörens testramverk med antalet upprepningar redovisat i en fotnot, och att nedladdningsräknarna fortfarande står på noll. Fördelen är att du skulle vara bland de första utanför NVIDIA att testa ett genuint annorlunda sätt att spendera beräkningskraft på en liten modell. Kostnaden är att du skulle utföra NVIDIAs verifieringsarbete åt dem.

Det som snabbast skulle förändra den här jämförelsen är inte ett benchmark. Det är att vLLM och llama.cpp slår samman sina Dory-pullförfrågningar. I samma stund som Dory kan laddas från en släppt binärfil försvinner till största delen friktionsargumentet som för närvarande talar för MiniCPM5-2B, och de två modellerna konkurrerar äntligen på de villkor som benchmarktabellerna antyder snarare än på de villkor som ditt byggsystem påtvingar.

Inget av detta är hypotetiskt: de dokumenterade AI-felen och agentincidenterna bakom släpp som detta samlas i OrcaRouter AI Incident Archive, där varje post har sina egna källor, allvarlighetsgrad, tillförlitlighetsgrad och omtvistad flagga.