NVIDIA Nemotron Labs Dory 1.0 4B vs Qwen 3.8: De open-weight 4B tegen Alibaba's productlijn met drie niveaus

Het vergelijken van NVIDIA Nemotron Labs Dory 1.0 4B met "Qwen 3.8" is geen wedstrijd — het is een mismatch op een specifieke en leerzame manier. Qwen 3.8 is niet één model; aan de open-weight-kant is het Qwen3.8-27B, een dense multimodaal model van 27B onder Apache 2.0 met een contextvenster van 256K, en daarboven staat het Qwen3.8-Flash en Qwen3.8-Max, beide groter, beide alleen aangeboden via de API van Alibaba. Dory is een enkel 4B-checkpoint, alleen tekst, alleen Engels, van NVIDIA, gepubliceerd op Hugging Face in vier kwantisaties onder de OpenMDW 1.1-licentie, met de stempel "GA (10/16/2026)" op de modelkaart en zonder aankondiging erachter. De echte vraag is dus niet of een 4B een 27B kan verslaan. Het is de vraag of een 4B met elastische diepte die je zelf host een goedkopere manier is om het taakniveau te bereiken dat je anders van de Qwen3.8-lijn zou afnemen — en de twee feiten die het meest relevant zijn voor de beslissing zijn dat Qwen3.8-27B open-weights is, zodat beide modellen op je eigen hardware draaien, en dat de eigen modelkaart van Dory helemaal geen benchmarks tegen welk Qwen3.8-model dan ook bevat.

Wat wordt er eigenlijk vergeleken?

Begin met de Qwen-kant, want "Qwen 3.8" laat drie verschillende proposities samenvallen.

Qwen3.8-27B is Alibaba's open-weight dense visie-taalmodel, Apache 2.0, 27B parameters, 64 lagen, 5.120 verborgen dimensie, met een native context van 262.144 tokens waarvan de kaart zegt dat die uitbreidbaar is tot een miljoen. Het accepteert tekst, afbeeldingen en video en retourneert tekst, gebruikt een hybride lay-out met Gated DeltaNet en Gated Attention over 16 herhaalde blokken, en wordt geleverd in Transformers-formaat met ondersteuning voor vLLM, SGLang en TokenSpeed. Het rapporteert 90,3 op LiveCodeBench v6, 89,2 op GPQA Diamond, 79,5 op IFBench en 73,0 op Terminal-Bench 2.1, te midden van een lange lijst met agentische en visieresultaten. Het is openbaar sinds medio augustus 2026 en is al meerdere miljoenen keren gedownload.

Qwen3.8-Flash en Qwen3.8-Max zijn de gehoste tiers. Flash is het kostenoptimale multimodale model met een context van een miljoen tokens; Max is Alibaba's vlaggenschip, eveneens een miljoen tokens, gepositioneerd tegenover de sterkste propriëtaire modellen. Geen van beide heeft open gewichten. Je bereikt ze via een API.

NVIDIA Nemotron Labs Dory 1.0 4B is de 4B. Dense, gelust, latent-recurrent — een 8-laags invoerblok, een 20-laags recurrent blok dat een variabel aantal keren wordt toegepast, een 8-laags uitvoerblok — met hybride, afwisselende sliding-window- en volledige attention. Tekst in, tekst uit, alleen Engels, 256K context. Voorgetraind op 6 biljoen tokens, waarvan de eerste ~4,5 biljoen native in NVFP4, plus een contextuitbreiding van 300 miljard tokens, daarna SFT en multi-omgeving GRPO. Er bestaat geen gehost endpoint voor dat we kunnen verifiëren.

Eén punt dat je goed moet hebben, want daar struikelen mensen over: NVIDIA levert Dory in BF16, MXFP8, NVFP4 en Q5_K_M GGUF. Het canonieke repository-id is dat van MXFP8, maar de benchmarks op de kaart zijn gemeten op BF16. MXFP8 is een quantisatie van dezelfde gewichten, niet een ander model.

Het specificatiecontrast

• Parameters — Dory 1.0 4B is 4B dense, met een recurrent blok dat herhaaldelijk wordt toegepast, zodat de effectieve rekenkracht per token bij vier loops groter is dan het aantal parameters. Qwen3.8-27B is 27B dense met een vision-toren. Ze zitten niet in dezelfde gewichtsklasse en slechts één van hen past in een implementatie met weinig geheugen.

• Modaliteit — Qwen3.8-27B ondersteunt afbeeldingen en video, evenals tekst. Dory ondersteunt alleen tekst. Elke workload met een afbeelding erin eindigt hier.

• Context — beide adverteren 256K. De kaart van Qwen3.8-27B zegt native 262.144 posities, uitbreidbaar tot ongeveer een miljoen; die van Dory zegt tot 256K, met 262.144 gevalideerd in vLLM onder het meegeleverde lanceercommando. Qwen3.8-Flash en Max bereiken beide zonder meer een miljoen tokens.

• Licentie — Apache 2.0 voor Qwen3.8-27B, OpenMDW 1.1 voor Dory. Beide zijn commercievriendelijk; Apache 2.0 is de bekendere tekst.

• Talen — Qwen3.8-27B is van oorsprong meertalig; Dory is alleen Engels, met 43 programmeertalen in de pre-trainingmix.

• Berekeningsgedrag — dit is de enige rij waarin Dory iets heeft dat Qwen3.8-27B structureel niet kan bieden. De diepte van Dory is een parameter tijdens het serveren: één lus voor latentie, twee als N​VIDIA's aanbevolen standaard, vier wanneer agentische nauwkeurigheid belangrijker is, allemaal vanuit één checkpoint, met een KV-cachingmodus voor de laatste lus die bedoeld is om het cachegeheugen ongeveer op de omvang van één lus te houden, ongeacht het aantal lussen. Qwen3.8-27B heeft een vaste diepte; de knoppen waaraan het kan draaien zijn kwantisatie en hardware.

• Formaten — Dory levert vier kwantisaties, waaronder een GGUF voor llama.cpp. Qwen3.8-27B heeft een aparte FP8-repo en een enorm groot afgeleid ecosysteem van kwantisaties en finetunes, en dat is wat enkele miljoenen downloads je opleveren.

De benchmarkvraag die NVIDIA's eigen tabel ontwijkt

Hier is het ongemakkelijke detail. De benchmarktabel van NVIDIA voor Dory vergelijkt het met Qwen3.5-4B, Qwen3.5-9B, Gemma 4 26B A4B en Qwen3.6-35B-A3B. De tabel gebruikt de twee vorige Qwen-generaties en betrekt Qwen3.8 er nooit bij. Dat is een verdedigbare keuze voor een 4B — Qwen3.8-27B is bijna zeven keer zo groot — maar het betekent dat de fabrikant in geen van beide richtingen een gepubliceerde rechtstreekse vergelijking met de huidige Qwen-generatie heeft. De Qwen3.8-27B-modelkaart van Alibaba benchmarkt van zijn kant tegen de propriëtaire frontier, niet tegen een 4B.

Wat Dory's kaart wél publiceert, tegenover de oudere vergelijkingsmodellen ervan, is eerlijk over waar looping loont. Lees de drie loopinstellingen af tegen Qwen3.5-4B en Qwen3.5-9B:

• SWE-bench Verified — 50,3 / 59,5 / 61,8 tegen 54,7 en 61,0. Bij vier loops verslaat Dory nominaal de 9B Qwen op deze rij.

• Terminal-Bench 2.1 — 12,5 / 18,1 / 22,2 tegen 15 en 24. Het verliest van beide, inclusief de 4B.

• τ³-bench (Bankieren) — 11,6 / 12,89 / 14,69 tegen 5,03 en 7,22. Dory verdubbelt de 4B Q​wen ruimschoots en de 9B ongeveer.

• GPQA Diamond, zonder tools — 69.19 / 72.41 / 72.16 tegenover 77.71 en 80.93. Het verliest van beide.

• IFBench — 74,29 / 77,94 / 79 tegenover 53,83 en 59. Een grote winst op het gebied van het volgen van instructies.

• AA-LCR — 63 / 71 / 73 tegenover 64,7 en 68,4. Langcontext-retrieval verbetert sterk met loops en eindigt voorop.

• AA-Omniscience — 10.03 / 10.08 / 10.03 tegenover 15.02 en 18.05. Opgeslagen kennis verandert nauwelijks met het aantal lussen, wat de sanitycheck is die de rest van de tabel doorstaat.

Elk van die cijfers is van N​VIDIA, gemeten op N​VIDIA's eigen testomgeving, met bekendgemaakte herhalingsaantallen — SciCode acht runs, AA-LCR zestien, sommige benchmarks precies één keer — en de kaart bestempelt de scores die er als die van Artificial Analysis uitzien als "interne schattingen" die van de officiële kunnen afwijken. Niets ervan is gereproduceerd.

Zet nu de modelkaart van Qwen3.8-27B ernaast. De gerapporteerde 89,2 op GPQA Diamond, 79,5 op IFBench en 73,0 op Terminal-Bench 2.1 liggen allemaal boven de beste cijfers van Dory op dezelfde benchmarks, precies wat je zou verwachten van een model dat zeven keer zo groot is, met een trainingspijplijn die twee generaties nieuwer is. Er is geen scenario waarin een 4B een goed uitgevoerde 27B verslaat op een kennis- of redeneerbenchmark, en Dory beweert dat ook niet. Wat Dory wel beweert, is iets anders: dat het op 4B ruwweg agentisch gedrag van 9B-klasse bereikt, en dat je zelf kunt kiezen hoeveel rekenkracht je op die schaal besteedt.

Deployment: de kloof is niet klein, en het gaat niet om kwaliteit

Qwen3.8-27B is een normale open-weightrelease. Transformers-formaat, vermelde ondersteuning voor vLLM, SGLang en TokenSpeed, een FP8-broertje, en een ecosysteem dat sinds augustus ruim meer dan duizend kwantisaties en honderden finetunes heeft voortgebracht. Als je stack moderne open-weightmodellen draait, draait die ook dit model, en de enige echte beperking is geheugen — 27B dense op BF16 is geen model voor kleine machines, maar de gekwantiseerde varianten bestaan precies daarvoor.

Dory is het tegenovergestelde. Ondersteuning voor vLLM wordt beoordeeld in een open pull request; totdat die wordt samengevoegd, zegt NVIDIA dat je vLLM vanaf die branch moet installeren met de precompiled-kernel flag en dan moet starten met overrides die het aantal iteraties van de recurrent-lus en de KV-cache-modus configureren. Ondersteuning voor llama.cpp zit in een tweede open pull request met een gepinde commit en buildinstructies voor ARM64 macOS. Er is voor Dory nergens een gehost endpoint dat we kunnen verifiëren, en de downloadtellers op alle vier de repositories stonden op nul toen dit werd geschreven. Gepubliceerde snelheidscijfers zijn beperkt tot quantisatieversnellingen op een DGX Spark — 1,69× en 1,84× voor MXFP8 ten opzichte van BF16, 2,17× en 2,44× voor NVFP4, afhankelijk van de input/output-lengtemix — niet doorvoer.

Daar staat tegenover dat de geheugenclaim in Dory's kaart het enige stukje engineering is dat het ongemak zou kunnen rechtvaardigen. Standaard recurrent looping slaat per lus een aparte KV-cache op, zodat het geheugen bij elke doorgang groeit. Dory's last-loop-KV-cachingmodus houdt één cache per recurrente attentionlaag aan en overschrijft die bij elke doorgang, waardoor de voetafdruk bij elk aantal lussen ongeveer op de grootte van één lus blijft, met een nauwkeurigheid die volgens NVIDIA dicht bij die van de per-lusmodus blijft. Als dat standhoudt bij metingen van iemand anders, wordt een 4B met een venster van 256K en vier lussen praktisch op hardware die dit anders niet zou aankunnen. Niemand buiten NVIDIA heeft dit gecontroleerd.

Waar OrcaRouter eigenlijk staat in deze vergelijking

Dit is de zeldzame vergelijking waarin we specifiek kunnen zijn, omdat de twee kanten hier op verschillende voet staan. De Qwen-kant staat in onze catalogus: qwen/qwen3.8-27b is zelf gehost op de eigen infrastructuur van OrcaRouter, en qwen/qwen3.8-flash en qwen/qwen3.8-max zijn bereikbaar als gehoste endpoints, allemaal via één API-sleutel tegen de lijstprijs van de provider met 0% opslag. De NVIDIA-kant is dat niet — NVIDIA Nemotron Labs Dory 1.0 4B staat niet in de catalogus en heeft nergens een gehost endpoint voor zover wij kunnen bevestigen.

Die asymmetrie is echt nuttig in plaats van onhandig. Het argument voor een klein zelfgehost model is een kostenargument, en een kostenargument heeft de huurprijs nodig waartegen het pleit. De drie Qwen3.8-tiers hebben heel verschillende prijzen — 27B voor $0,33 per miljoen inputtokens en $2,40 per miljoen output, Flash voor $0,15 en $0,47, Max voor $2,00 en $6,00 — dus de eerlijke versie van "kan een 4B dit vervangen" heeft drie verschillende antwoorden, afhankelijk van welke tier je vandaag daadwerkelijk gebruikt. Eén enkele OrcaRouter-sleutel bereikt alle drie, dus die vraag beprijzen vereist geen drie accounts. Omdat we de lijstprijs van de provider zonder opslag doorgeven, komt een prijswijziging van Qwen hier dezelfde dag door. En wanneer je eenmaal een tier kiest, betekenen automatische failover tussen providers en de routing-DSL — waarmee je modellen achter één aanroep kunt samenstellen — dat de overstap van een gehoste Qwen naar een zelfgehoste Dory, of terug, een configuratiewijziging op één aanroeppunt is in plaats van een refactor. Wij serveren Dory niet; wij zijn de goedkope manier om te meten wat het zou vervangen.

Het vonnis

Als je workload multimodaal, meertalig of kennisintensief is — alles waarbij het model dingen moet weten in plaats van doen — dan is Qwen3.8-27B het open-weight antwoord en is de vergelijking niet competitief. Het is zeven keer zo groot, twee generaties nieuwer, wordt ondersteund door een groot ecosysteem van afgeleide modellen, draait op engines die het al ondersteunen, en de eigen modelkaart claimt cijfers die Dory niet benadert op GPQA of instructiebenchmarks. Huur in plaats daarvan Flash of Max als je liever helemaal geen 27B wilt hosten.

Dory 1.0 4B is een weddenschap op een andere as. Het is de frictie van het bouwen vanaf een branch alleen waard als drie dingen voor jou waar zijn: de taak is alleen tekst en alleen Engels, hij is agentisch in plaats van kennisgedreven, en je zou echt een compute-dial gebruiken — één loop draaien onder belasting en vier wanneer nauwkeurigheid belangrijk is, vanaf één checkpoint, zonder een tweede download. De kaart beweert dat die weddenschap loont op τ³-Bench en instructieopvolging bij 4B, en onthult genoeg over hoe die cijfers tot stand zijn gekomen om ze op passende wijze te kunnen relativeren.

Wat uitsluitsel zou geven, is de test die niemand heeft uitgevoerd: Dory 1.0 4B tegen Q​wen3.8-27B op een gedeelde harness, met dezelfde quantisatie, op een agentische taakset. De tabel van N​VIDIA slaat de huidige Q​wen-generatie volledig over en de tabel van A​libaba kijkt niet naar een lagere gewichtsklasse. Totdat iemand die vergelijking publiceert, is de juiste positie dat een van deze modellen een bewezen, ondersteund, breed ingezet 27B-model is en het andere een 4B-repository die van de ene op de andere dag verscheen met een interessant idee erin — en de enige persoon die kan zeggen of het idee het bouwen waard is, bent u, op uw taakset.

Niets daarvan is hypothetisch: de gedocumenteerde AI-fouten en agent-incidenten achter releases zoals deze zijn verzameld in the OrcaRouter AI Incident Archive, waar elke vermelding zijn eigen bronnen, ernst, betrouwbaarheidsgraad en markering voor betwisting bevat.