NVIDIA Nemotron Labs Dory 1.0 4B is op Hugging Face verschenen met vier checkpoints en zonder aankondiging.

N​VIDIA N​emotron Labs Dory 1.0 4B staat op dit moment op Hugging Face, in vier kwantisaties, en N​VIDIA heeft er geen woord over gezegd. De checkpoint nvidia/N​VIDIA-N​emotron-Labs-Dory1.0-4B-MXFP8 verscheen met een modelkaart die de build als "GA (10/16/2026)" bestempelt; zijn drie zustermodellen — N​VIDIA-N​emotron-Labs-Dory1.0-4B-BF16, N​VIDIA-N​emotron-Labs-Dory1.0-4B-NVFP4 en N​VIDIA-N​emotron-Labs-Dory1.0-4B-GGUF — werden binnen hetzelfde venster van 36 minuten aan weerszijden van middernacht UTC op 16–17 oktober 2026 gepubliceerd. Er is geen overeenkomstige post op de ontwikkelaarsblog van N​VIDIA, geen vermelding op de onderzoekslandingspagina van N​emotron, en op geen van beide is ergens een verwijzing naar een model dat Dory heet te vinden. De modelkaart zelf is ongewoon compleet — een volledige benchmarktabel, serveerinstructies voor twee engines, een checksum — maar de marketingomkadering eromheen, datgene wat normaal gesproken aangeeft dat een model bestaat, is volledig afwezig.

Dus het is de moeite waard om precies te zijn over wat dat je wel en niet toestaat om te zeggen. Wat kenbaar is: de gewichten bestaan, ze zijn downloadbaar, de licentie wordt vermeld, de architectuur is in voldoende detail beschreven om te reproduceren, en de leverancier publiceerde zijn eigen cijfers samen met een opmerking dat hij ze zelf heeft gemeten. Wat nog niet bevestigd is: of dit het begin is van een Nemotron Labs-familie of een eenmalig experiment, of er een paper of blogpost aankomt, en of de cijfers standhouden onder de testomgeving van iemand anders. NVIDIA heeft dit niet als een lancering gepresenteerd, dus dit stuk doet dat ook niet. Het is een interpretatie van een repository die plotseling verscheen.

Wat zit er eigenlijk in de repository?

De artefacten zijn vier checkpoints en één modelkaart. De modelkaart is het inhoudelijke document, en daar komt bijna alles hieronder vandaan.

• Formaten — BF16 (W16A16), MXFP8 (W8A16), NVFP4 (W4A16) en een Q5_K_M GGUF-export voor llama.cpp. Het MXFP8-checkpoint is alleen het onderwerp van dit stuk omdat het de versie is die de canonieke repository-id draagt; de benchmarks in de kaart zijn op BF16 gemeten.

• Grootte en vorm — 4B totale parameters, een dense stack in plaats van een mixture of experts, opgesplitst in een 8-laags invoerblok, een 20-laags recurrent blok en een 8-laags uitvoerblok.

• Context — tot 256K tokens, met 262.144 posities gevalideerd in vLLM onder het opstartcommando dat N​VIDIA op de kaart meelevert.

• Licentie — OpenMDW 1.1, een permissieve, herdistribueerbare modellicentie, met de tekst waarnaar vanaf de kaart wordt gelinkt. Op de kaart staat duidelijk dat het model "klaar is voor commercieel of niet-commercieel gebruik".

• Taal — alleen Engels, hoewel de pretrainingsdata 43 programmeertalen omvat.

• Trainingsbudget — 6 biljoen pre-trainingtokens, waarvan ruwweg de eerste 4,5 biljoen native in NVFP4 werden gedraaid voordat de rest overschakelde op BF16, gevolgd door een contextuitbreidingsfase van 300 miljard tokens. De data beslaan de periode van 2013 tot december 2025. Post-training is een supervised fine-tune op een door NVIDIA samengestelde set, gevolgd door reinforcement learning in meerdere omgevingen met GRPO.

• Repositoryactiviteit — acht commits op `main` en twee bijdragers op het moment van schrijven, de nieuwste daarvan een README-bewerking. De eerste, "Upload Dory 4B MXFP8 checkpoint and tokenizer", is een paar uur oud. Dit is geen repository die maandenlang rustig openbaar heeft gestaan en net is opgemerkt; het is er een die vandaag is gevuld.

Eén detail dat de kaart goed doet en de meeste kaarten niet: hij vermeldt de exacte bytegrootte en SHA-256 van de GGUF-export, zodat je kunt verifiëren wat je hebt gedownload. 3.673.288.864 bytes, met de hash afgedrukt in de opstartinstructies.

De architectuur is de hele reden om erom te geven.

Zet de benchmarktabel opzij, en het interessante feit over N​VIDIA N​emotron Labs Dory 1.0 4B is dat het niet één vast model is. Het is een gelust, of latent-recurrent, netwerk: het 20-laagse recurrente blok wordt herhaaldelijk toegepast tussen de invoer- en uitvoerblokken, en de invoer wordt bij elke lus opnieuw geïnjecteerd. Hetzelfde checkpoint gedraagt zich daarom anders afhankelijk van het aantal lussen dat je opvraagt, en dat kies je op het moment van serveren in plaats van op het moment van trainen.

Hieruit volgen drie gevolgen, allemaal uit de modelkaart en niet uit tests door wie dan ook:

• Elastische inferentiecompute — één gewichtsbestand bedient meerdere computebudgetten. Loopaantal 1 voor latentie, 2 als aanbevolen standaard, 4 wanneer nauwkeurigheid bij agentische taken belangrijker is dan tokens per seconde. Geen hertraining, geen tweede checkpoint om te downloaden en gesynchroniseerd te houden.

• Token-efficiëntie — N​VIDIA beweert dat de extra rekenkracht per token naar latente redenering gaat in plaats van naar een langere zichtbare gedachteketen, zodat hogere loopaantallen minder outputtokens kunnen opleveren voor dezelfde taak. De kaart levert een output-token-factor-grafiek mee om dat te onderbouwen. Die bewering heeft directe gevolgen voor de kosten, en dat is de reden dat het de moeite waard is om erop te wijzen in plaats van haar weg te wuiven.

• Geheugenefficiënt loopen — dit is degene die de voor de hand liggende tegenwerping weerlegt. Standaard loopen houdt een aparte KV-cache per loop bij, dus het geheugen groeit met elke toegevoegde doorgang. Dory ondersteunt een last-loop-KV-cachingmodus die één enkele cache per recurrente attention-laag bijhoudt en deze bij elke doorgang overschrijft, waardoor de voetafdruk ongeveer gelijk blijft aan de grootte van één loop, ongeacht hoeveel loops je uitvoert. NVIDIA zegt dat de nauwkeurigheid met last-loop-caching dicht bij die van per-loop-caching blijft, met vrijwel ongewijzigde outputlengtes, en beschrijft dat als een eigen experimenteel resultaat.

De attention-stack is hybride: afwisselend sliding-window- en full-attention-lagen, hetzelfde brede patroon waarop de lichting kleine long-contextmodellen van 2026 is uitgekomen. Niets hiervan is op zichzelf exotisch. Wat minder gebruikelijk is, is het meeleveren van het aantal loops als deployment-knop op een 4B-model met een 256K-venster.

De benchmarktabel, gelezen als een leverancierstabel

Elk cijfer hier is geproduceerd door N​VIDIA onder wat de kaart "een consistente harness (NeMo Gym / Nemo Evaluator SDK)" noemt. Geen enkele buitenstaander heeft er ook maar iets van gereproduceerd, het model is ongeveer een dag oud, en de downloadtellers op alle vier de repositories staan op nul. Behandel de cijfers als een claim over richting, niet als een scorebord.

De vergelijkingsset die N​VIDIA koos, is op zichzelf veelzeggend: Qwen3.5-4B, Qwen3.5-9B, Gemma 4 26B A4B en Qwen3.6-35B-A3B. Opvallend is dat de twee vergelijkingsmodellen in de 4B-klasse uit de vorige Q​wen-generatie komen, en dat elk ander vergelijkingsmodel aanzienlijk groter is. Lees de drie loopinstellingen in samenhang:

• SWE-bench Verified — 50,3 bij één lus, 59,5 bij twee, 61,8 bij vier, tegenover 54,7 voor Qwen3.5-4B, 61,0 voor Qwen3.5-9B, 57,40 voor Gemma 4 26B A4B en 73,4 voor Qwen3.6-35B-A3B.

• Terminal-Bench 2.1 — 12,5 / 18,1 / 22,2 tegen 15, 24, 35 en 43. Dit is de rij waar looping het meeste oplevert en waar Dory nog het verst achter het veld ligt.

• τ³-bench (Banking) — 11,6 / 12,89 / 14,69 tegenover 5,03 voor Qwen3.5-4B, 7,22 voor Qwen3.5-9B, 13,66 voor Gemma 4 26B A4B en 9,54 voor Qwen3.6-35B-A3B. Dory ligt hier met een ruime marge voor op de 4B- en 9B-Qwen-modellen.

• GDPval-AA-V2 (Elo) — 815 / 946 / 967 tegen 424, 546, 751,6 en 987. De sprong van één lus naar twee is 131 Elo-punten, wat de grootste beweging van lus naar lus in de hele tabel is.

• GPQA Diamond, geen tools — 69,19 / 72,41 / 72,16 tegen 77,71, 80,93, 80,43 en 85,35. Dory verliest deze van elke comparator, waaronder de 4B Q​wen.

• HLE, alleen tekst, geen tools — 8.25 / 10.89 / 10.43 tegen 11.31, 15.43, 17.79 en 19.18. Hetzelfde verhaal.

• IFBench — 74,29 / 77,94 / 79 tegen 53,83, 59, 77,89 en 57,44. Instructieopvolging is Dory's sterkste relatieve resultaat; bij vier loops doet het net iets beter dan de 26B G​emma 4.

• AA-LCR — 63 / 71 / 73 tegen 64,7, 68,4, 64,6 en 68,5. Lang-context-retrieval verbetert aanzienlijk met loops en komt uiteindelijk boven alle vier de comparatoren uit.

• AA-Omniscience (nauwkeurigheid) — 10.03 / 10.08 / 10.03 tegen 15.02, 18.05, 21.13 en 19.95. Herhalen doet vrijwel niets voor opgeslagen kennis, wat het verwachte resultaat is en een nuttige sanitycheck op de rest van de tabel.

De vorm van het patroon is wat telt. Loopen levert het meeste op bij agentische en tool-gebruikstaken, het minste bij encyclopedische recall, en de tweede loop is overal veel meer waard dan de derde en vierde. Dat komt overeen met de eigen aanbeveling van de kaart om standaard twee loops te gebruiken.

Vier kanttekeningen die in N​VIDIA's eigen voetnoten staan

Dit is waar de kaart eerlijker is dan de meeste, en waar een lezer die de tabel vluchtig doorneemt, misleid zou worden.

• De AA-cijfers zijn geen cijfers van Artificial Analysis. De vergelijking van NVIDIA met een AA-score-index is expliciet aangeduid als "interne schattingen, berekend volgens een consistent evaluatieraamwerk", die "kunnen afwijken van officiële Artificial Analysis (AA)-scores". Het gaat om een interne meting volgens dezelfde maatstaf, geen externe ranglijst.

• De long-contextkolom gebruikt een hybride opzet. Voor AA-LCR zegt de kaart dat er gecorrigeerde antwoordsleutels uit AA-LCR v1.1 zijn gebruikt, maar dat er een ouder beoordelaarsmodel is aangehouden in plaats van het nieuwere. Het combineren van een gecorrigeerde sleutelset met een ouder beoordelaarsmodel maakt die kolom vergelijkbaar met de andere rijen van N​VIDIA en niet noodzakelijkerwijs vergelijkbaar met die van anderen.

• Het aantal herhalingen loopt sterk uiteen. SciCode wordt acht keer uitgevoerd, AA-LCR zestien keer, AA-Omniscience tien keer, GDP.pdf vijf keer, en HLE, Terminal-Bench 4.0 en de GDPval-AA-varianten worden één keer uitgevoerd. Een enkele run op een benchmark met betekenisvolle variantie is een puntschatting, geen score.

• Eén rij in de tabel is gemarkeerd met een dolk als een gerapporteerd in plaats van gemeten cijfer — de 73,4 van Qwen3.6-35B-A3B op SWE-bench Verified. Wat betekent dat het getal dat er op het scorebord het grootst uitziet, het getal is dat NVIDIA niet zelf heeft uitgevoerd.

Niets hiervan maakt de tabel onjuist. Het maakt het tot een interne momentopname van één lab, en de eerlijke interpretatie is dat Dory op agentische taken oprecht concurrerend lijkt met de 4B- en 9B-modellen uit de vorige Qwen-generatie, terwijl het achterblijft bij de 26B- en 35B-modellen waarnaast het is geplaatst.

Wat je vandaag kunt uitvoeren, en wat niet

Er is geen gehost endpoint voor dit model dat wij kunnen verifiëren, van NVIDIA of wie dan ook. Dory bestaat alleen uit gewichten, en de twee servingpaden in de kaart vereisen beide dat je bouwt vanaf een niet-gemergde pull request:

• vLLM — ondersteuning is "in afwachting van beoordeling" in pull request 60149. Totdat dit in een release belandt, installeer je vLLM vanaf die branch en serveer je met overrides die het aantal loops en de KV-cachemodus instellen. De kaart vermeldt dat de omgevingsflag voor precompiled kernels een lokale CUDA-build voorkomt.

• llama.cpp — de ondersteuning zit in pull request 30306, en de kaart zet een specifieke revisie vast in plaats van de steeds veranderende PR-head, wat de juiste intuïtie is voor een referentieopstelling. De instructies zijn gericht op native ARM64-macOS op Apple Silicon, en het GGUF-pad verwacht de Q5_K_M-export met de hierboven vermelde bytegrootte.

Niets in de kaart wijst erop dat een van beide projecten is samengevoegd, en in de release notes van geen van beide engines staat iets dat het tegendeel suggereert. Als je Dory deze week wilt draaien, bouw je vanaf een PR.

Hardwarenotities die het bewaren waard zijn: NVIDIA heeft getest op H100, B200, B300 en DGX Spark, en de enige gepubliceerde snelheidscijfers zijn kwantisatieversnellingen op de Spark, niet doorvoercijfers. Op dat apparaat laat MXFP8 1,69× en 1,84× ten opzichte van BF16 zien, afhankelijk van de mix van invoer-/uitvoerlengtes, en NVFP4 bereikt 2,17× en 2,44×. Aanbevolen sampling is temperatuur 1.0 met top-p 0.95, en reasoning staat altijd aan in het vLLM-pad.

Waarom een stille 4B-release nog steeds je middag waard is

Het interessante aan een model dat zonder lancering verschijnt, is dat de bewering ervan controleerbaar is op een manier waarop een bewering bij een lancering dat niet is. Er is geen keynote die een categorieoverwinning beweert; er is een kaart die een specifiek, falsifieerbaar mechanisme beweert — dat één 4B-checkpoint zijn eigen nauwkeurigheid laat meeschalen met rekenkracht tijdens inferentie. Je kunt dat op één GPU testen met de loop-count-flag, en het antwoord is ofwel zichtbaar in je eigen evaluatie, ofwel niet.

Dat is ook de situatie waarvoor een routeringslaag is gebouwd, en het is de moeite waard om precies te zijn over wat we hier doen in plaats van er slechts vaag naar te verwijzen. OrcaRouter serveert NVIDIA Nemotron Labs Dory 1.0 4B niet — het model staat niet in onze catalogus en er is nergens een gehost eindpunt voor te vinden dat wij kunnen bevestigen. Wat één sleutel je wel geeft, is de andere helft van de vergelijking: de gehoste modellen waarmee je een zelfgehoste 4B zou benchmarken, zijn bereikbaar via één API tegen de lijstprijs van de provider met 0% opslag, dus een zelfgehost experiment heeft geen tweede contract of tweede SDK nodig. Automatische failover dekt het venster waarin je eigen GPU-pool verzadigd is, en de routing-DSL laat een zelfgehoste aanroep naast gehoste aanroepen achter één eindpunt staan. Als je test of elastische diepte de operationele complexiteit waard is, is de controlegroep in ieder geval binnen één sleutel bereik.

Wat zou hier een echt verhaal van maken?

Drie dingen, geen ervan al aanwezig.

Eerst een aankondiging. De kaart is gedateerd op 16 oktober en de repositories werden 's nachts gevuld; de developerfeed van N​VIDIA plaatste op 15 oktober een N​emotron-post die over een heel ander model ging. Een blogpost, een paper of een familiepagina van N​emotron Labs kan op elk moment opduiken, en zou waarschijnlijk de trainingsdetails en de beoogde rol van het model bevatten die de kaart impliciet laat.

Ten tweede: ondersteuning voor engines. Zowel vLLM als llama.cpp hebben nog niet-samengevoegde pull requests openstaan. Op de dag dat een van beide wordt samengevoegd, betekent "je kunt het draaien" niet langer "je kunt het vanaf een branch bouwen".

Ten derde, en het meest waardevol, een onafhankelijke evaluatie. De beweringen die het meest de moeite waard zijn om te reproduceren, zijn de beweringen die de leverancier heeft benadrukt: de veranderingen in SWE-bench en Terminal-Bench bij verschillende aantallen loops, en de bewering dat KV-caching tijdens de laatste loop de nauwkeurigheid behoudt. Beide zijn testbaar met gepubliceerde tooling, en geen van beide is getest door iemand buiten N​VIDIA.

De accurate samenvatting van vandaag is dit: echte gewichten in vier formaten, een permissieve licentie, een werkelijk ongebruikelijke architectuur, een servingpad dat alleen bestaat als twee open pull requests, en een benchmarkblad dat de eigen harness van één lab is, met de kanttekeningen in de eigen voetnoten gedrukt. Het is het meest interessante 4B-model dat N​VIDIA dit jaar heeft gepubliceerd, en het bedrijf heeft nog niet besloten er iemand over te vertellen.

Niets daarvan is hypothetisch: de gedocumenteerde AI-fouten en agent-incidenten achter releases zoals deze zijn verzameld in the OrcaRouter AI Incident Archive, waar elke vermelding zijn eigen bronnen, ernst, betrouwbaarheidsgraad en markering voor betwisting bevat.