NVIDIA Nemotron Labs Dory 1.0 4B har landat på Hugging Face med fyra checkpoints och utan tillkännagivande

NVIDIA Nemotron Labs Dory 1.0 4B finns på Hugging Face just nu, i fyra kvantiseringar, och NVIDIA har inte sagt ett ord om det. Checkpointen nvidia/NVIDIA-Nemotron-Labs-Dory1.0-4B-MXFP8 lades upp med ett modellkort som stämplar bygget "GA (10/16/2026)"; dess tre syskon — NVIDIA-Nemotron-Labs-Dory1.0-4B-BF16, NVIDIA-Nemotron-Labs-Dory1.0-4B-NVFP4 och NVIDIA-Nemotron-Labs-Dory1.0-4B-GGUF — publicerades inom samma 36-minutersfönster på ömse sidor om midnatt UTC den 16–17 oktober 2026. Det finns inget motsvarande inlägg på NVIDIAs utvecklarblogg, ingen post på Nemotrons forskningslandningssida, och ingen hänvisning till en modell som heter Dory någonstans på någon av dem. Själva kortet är ovanligt komplett — en fullständig benchmarktabell, serveringsinstruktioner för två motorer, en kontrollsumma — men marknadsföringsställningen runt det, det som normalt säger till dig att en modell finns, saknas helt.

Så det är värt att vara exakt om vad det ger och inte ger dig rätt att säga. Vad som går att veta: vikterna finns, de går att ladda ner, licensen anges, arkitekturen beskrivs i tillräcklig detalj för att kunna reproduceras, och leverantören publicerade sina egna siffror tillsammans med en not om att den själv mätte dem. Vad som ännu inte är bekräftat: huruvida detta är början på en Nemotron Labs-familj eller ett engångsexperiment, huruvida en artikel eller ett blogginlägg är på väg, och huruvida siffrorna håller under någon annans testramverk. NVIDIA har inte ramat in detta som en lansering, och det gör inte den här artikeln heller. Det är en läsning av ett kodförråd som dök upp över en natt.

Vad finns egentligen i arkivet?

Artefakterna är fyra checkpoints och ett modellkort. Kortet är det egentliga dokumentet, och det är därifrån nästan allt nedan kommer.

• Format – BF16 (W16A16), MXFP8 (W8A16), NVFP4 (W4A16) och en Q5_K_M GGUF-export för llama.cpp. MXFP8-checkpointen är ämnet för den här artikeln endast därför att den är den som bär det kanoniska repository-id:t; benchmarkarna i kortet mättes på BF16.

• Storlek och form — 4 miljarder totala parametrar, en tät stack snarare än en blandning av experter, uppdelad i ett indatablock med 8 lager, ett återkommande block med 20 lager och ett utdatablock med 8 lager.

• Kontext — upp till 256K tokens, med 262 144 positioner validerade i vLLM under det startkommando som NVIDIA levererar på kortet.

• Licens — OpenMDW 1.1, en tillåtande, vidaredistribuerbar modellicens med texten länkad från kortet. Kortet anger tydligt att modellen är "redo för kommersiell eller icke-kommersiell användning".

• Språk — endast engelska, även om förträningsdata omfattar 43 programmeringsspråk.

• Träningsbudget — 6 biljoner förträningstokens, varav ungefär de första 4,5 biljonerna kördes nativt i NVFP4 innan resten bytte till BF16, följt av en fas för kontextutökning på 300 miljarder tokens. Datan sträcker sig från 2013 till december 2025. Efterträning är en övervakad finjustering på en NVIDIA-kuraterad uppsättning, sedan förstärkningsinlärning i flera miljöer med GRPO.

• Repositoryaktivitet – åtta commits på `main` och två bidragsgivare vid skrivandet, den nyaste av dem en README-redigering. Den första, "Ladda upp Dory 4B MXFP8-checkpoint och tokenizer", är några timmar gammal. Det här är inte ett repository som har legat tyst offentligt i månader och precis upptäckts; det är ett som fylldes i dag.

En detalj som kortet har rätt i och som de flesta kort inte har: det listar den exakta bytestorleken och SHA-256 för GGUF-exporten så att du kan verifiera vad du laddade ner. 3 673 288 864 byte, med hashen utskriven i startinstruktionerna.

Arkitekturen är hela anledningen till att bry sig

Om man bortser från benchmarktabellen är det intressanta med NVIDIA Nemotron Labs Dory 1.0 4B att det inte är en enda fast modell. Det är ett loopat, eller latent-rekurrent, nätverk: det 20-lagriga rekurrenta blocket appliceras upprepade gånger mellan indata- och utdatablocken, och indata återinjiceras vid varje loop. Samma checkpoint beter sig därför olika beroende på hur många loopar man begär, och man väljer det vid serving-tillfället snarare än vid träningstillfället.

Tre konsekvenser följer, alla från modellkortet snarare än från någons testning:

• Elastisk inferensberäkning — en viktfil kan användas för flera beräkningsbudgetar. Loopantal 1 för latens, 2 som rekommenderad standard, 4 när noggrannhet på agentiska uppgifter är viktigare än tokens per sekund. Ingen omträning, ingen andra kontrollpunkt att ladda ner och hålla synkroniserad.

• Tokeneffektivitet — NVIDIA hävdar att den extra beräkningskraften per token går till latent resonemang snarare än till en längre synlig tankekedja, så högre loopantal kan producera färre utdatatokens för samma uppgift. Kortet levereras med ett diagram över utdatatokenfaktor för att underbygga detta. Det påståendet har en direkt kostnadskonsekvens, vilket är anledningen till att det är värt att uppmärksamma snarare än att avfärda.

• Minnesbesparande loopning — det här är den som besvarar den uppenbara invändningen. Standardloopning behåller en separat KV-cache per loop, så minnet växer med varje tillagd genomgång. Dory stöder ett KV-cachelagringsläge för sista loopen som behåller en enda cache per återkommande attention-lager och skriver över den varje genomgång, vilket håller minnesavtrycket kvar på ungefär samma storlek som för en loop oavsett hur många loopar du kör. N​VIDIA säger att noggrannheten med cachelagring för sista loopen ligger nära cachelagring per loop med nästan oförändrade utdatalängder, och beskriver det som sitt eget experimentella resultat.

Attention-stacken är hybrid: interfolierade sliding-window- och full-attention-lager, samma övergripande mönster som 2026 års uppsättning av små långkontextmodeller har konvergerat kring. Inget av detta är exotiskt i sig. Det som är mindre vanligt är att leverera loopantalet som en driftsättningsratt på en 4B-modell med ett 256K-fönster.

Benchmark-tabellen, läst som en leverantörstabell

Varje siffra här producerades av N​VIDIA under vad kortet kallar "en konsekvent testrigg (NeMo Gym / Nemo Evaluator SDK)". Ingen utomstående part har reproducerat något av det, modellen är ungefär en dag gammal, och nedladdningsräknarna för alla fyra repon visar noll. Behandla siffrorna som ett påstående om riktning, inte som en resultattavla.

Jämförelseuppsättningen NVIDIA valde är avslöjande i sig: Qwen3.5-4B, Qwen3.5-9B, Gemma 4 26B A4B och Qwen3.6-35B-A3B. Noterbart är att de två jämförelsemodellerna i 4B-klassen kommer från den föregående Qwen-generationen, och varje annan jämförelsemodell är betydligt större. Läs tvärs över de tre loopinställningarna:

• SWE-bench Verified — 50,3 vid en loop, 59,5 vid två, 61,8 vid fyra, jämfört med 54,7 för Qwen3.5-4B, 61,0 för Qwen3.5-9B, 57,40 för Gemma 4 26B A4B och 73,4 för Qwen3.6-35B-A3B.

• Terminal-Bench 2.1 — 12,5 / 18,1 / 22,2 mot 15, 24, 35 och 43. Detta är raden där looping ger mest och där Dory fortfarande ligger längst efter fältet.

• τ³-bench (Banking) — 11,6 / 12,89 / 14,69 mot 5,03 för Qwen3.5-4B, 7,22 för Qwen3.5-9B, 13,66 för Gemma 4 26B A4B och 9,54 för Qwen3.6-35B-A3B. Dory leder här med bred marginal över 4B- och 9B-Qwen-modellerna.

• GDPval-AA-V2 (Elo) — 815 / 946 / 967 mot 424, 546, 751,6 och 987. Hoppet från en loop till två är 131 Elo-poäng, vilket är den enskilt största rörelsen mellan loopar någonstans i tabellen.

• GPQA Diamond, utan verktyg — 69.19 / 72.41 / 72.16 mot 77.71, 80.93, 80.43 och 85.35. Dory förlorar den här mot varje jämförelsemodell, inklusive 4B Qwen.

• HLE, endast text, inga verktyg — 8,25 / 10,89 / 10,43 mot 11,31, 15,43, 17,79 och 19,18. Samma historia.

• IFBench — 74,29 / 77,94 / 79 mot 53,83, 59, 77,89 och 57,44. Instruktionsföljning är Dorys starkaste relativa resultat; vid fyra loopar är den snäppet bättre än 26B Gemma 4.

• AA-LCR — 63 / 71 / 73 mot 64,7, 68,4, 64,6 och 68,5. Långkontextsökning förbättras markant med loopar och hamnar före alla fyra jämförelseobjekten.

• AA-Omniscience (noggrannhet) — 10,03 / 10,08 / 10,03 mot 15,02, 18,05, 21,13 och 19,95. Loopning gör i stort sett ingenting för lagrad kunskap, vilket är det förväntade resultatet och en användbar rimlighetskontroll av resten av tabellen.

Det är formen på mönstret som spelar roll. Loopning ger mest på agentiska uppgifter och verktygsanvändningsuppgifter, minst på encyklopedisk återkallning, och den andra loopen är överallt värd betydligt mer än den tredje och fjärde. Det stämmer överens med kortets egen rekommendation att som standard använda två loopar.

Fyra förbehåll som finns i N​VIDIAs egna fotnoter

Det är här kortet är mer ärligt än de flesta, och där en läsare som skummar tabellen skulle vilseledas.

• AA-siffrorna är inte siffror från Artificial Analysis. N​VIDIAs jämförelse mot ett AA-poängindex är uttryckligen märkt "interna uppskattningar beräknade under en konsekvent utvärderingsmiljö" som "kan avvika från officiella Artificial Analysis-poäng (AA)". De är en intern mätning på jämförbar grund, inte en extern rangordning.

• Kolumnen för lång kontext använder ett hybridupplägg. För AA-LCR säger kortet att den använde korrigerade svarsnycklar från AA-LCR v1.1 men behöll en äldre bedömningsmodell i stället för den nyare. Att blanda en korrigerad uppsättning svarsnycklar med en äldre bedömare gör att den kolumnen är jämförbar med NVIDIAs övriga rader och inte nödvändigtvis jämförbar med någon annans.

• Antalet upprepningar varierar väldigt mycket. SciCode körs åtta gånger, AA-LCR sexton, AA-Omniscience tio, GDP.pdf fem, och HLE, Terminal-Bench 4.0 och GDPval-AA-varianterna körs en gång. En enskild körning på ett benchmark med betydande varians är en punktuppskattning, inte en poäng.

• En rad i tabellen är markerad med en dolk för att visa att siffran är rapporterad snarare än uppmätt — Qwen3.6-35B-A3B:s 73,4 på SWE-bench Verified. Vilket innebär att den till synes största siffran på resultattavlan är den som N​VIDIA inte körde själva.

Inget av detta gör tabellen felaktig. Det gör den till ett labs interna ögonblicksbild, och den ärliga tolkningen är att Dory framstår som genuint konkurrenskraftig gentemot 4B- och 9B-modellerna från den tidigare Qwen-generationen i agentiska uppgifter, samtidigt som den ligger bakom de 26B- och 35B-modeller som den placeras bredvid.

Vad du kan köra idag, och vad du inte kan

Det finns ingen hostad slutpunkt för den här modellen som vi kan verifiera, från N​VIDIA eller någon annan. Dory är endast vikter, och de två serveringsvägarna i modellkortet kräver båda att man bygger från en pull request som inte har slagits samman:

• vLLM — stödet är "under granskning" i pull request 60149. Tills det finns i en utgåva installerar du vLLM från den grenen och serverar sedan med overrides som ställer in loopantalet och KV-cache-läget. Kortet noterar att miljöflaggan för förkompilerad kärna undviker ett lokalt CUDA-bygge.

• llama.cpp — stödet finns i pull request 30306, och kortet låser en specifik revision i stället för den rörliga PR-headen, vilket är rätt instinkt för en referensuppsättning. Instruktionerna riktar sig till nativt ARM64 macOS på Apple Silicon, och GGUF-vägen förväntar sig Q5_K_M-exporten med den bytestorlek som anges ovan.

Inget i kortet tyder på att något av projekten har slagits samman, och det finns inget i någon av motorernas versionsanteckningar som tyder på motsatsen. Om du vill köra Dory den här veckan bygger du från en PR.

Hårdvaruanteckningar värda att behålla: NVIDIA testade på H100, B200, B300 och DGX Spark, och de enda publicerade hastighetssiffrorna är snabbhetsvinster från kvantisering på Spark snarare än genomströmningssiffror. På den enheten visar MXFP8 1,69× och 1,84× jämfört med BF16 beroende på mixen av indata- och utdatalängder, och NVFP4 når 2,17× och 2,44×. Rekommenderad sampling är temperatur 1,0 med top-p 0,95, och resonemang är alltid aktiverat när man kör via vLLM.

Varför ett tyst 4B-släpp fortfarande är värt din eftermiddag

Det intressanta med en modell som kommer utan en lansering är att dess påstående är kontrollerbart på ett sätt som ett lanseringspåstående inte är. Det finns ingen keynote som hävdar en kategorivinst; det finns ett kort som hävdar en specifik, falsifierbar mekanism — att en 4B-checkpoint skalar sin egen noggrannhet med beräkningskraft vid inferenstid. Du kan testa det på en GPU med loop-count-flaggan, och svaret är antingen synligt i din egen utvärdering eller inte.

Det är också den situation som ett routinglager är byggt för, och det är värt att vara precis kring vad vi faktiskt gör här i stället för att bara antyda det. OrcaRouter tillhandahåller inte NVIDIA Nemotron Labs Dory 1.0 4B — modellen finns inte i vår katalog och det finns ingen hostad endpoint för den någonstans där vi kan bekräfta det. Vad en enda nyckel ger dig är den andra halvan av jämförelsen: de hostade modeller som du skulle benchmarka en egenhostad 4B mot går att nå genom ett enda API till leverantörens listpris med 0 % påslag, så ett egenhostat experiment behöver inte ett andra avtal eller ett andra SDK. Automatisk failover täcker fönstret där din egen GPU-pool är mättad, och routing-DSL:en gör att ett egenhostat anrop kan ligga sida vid sida med hostade bakom en enda endpoint. Om du testar huruvida elastiskt djup är värt den operativa komplexiteten är åtminstone kontrollgruppen bara en nyckel bort.

Vad skulle göra det här till en riktig berättelse?

Tre saker, ingen av dem finns ännu.

Först, ett tillkännagivande. Kortet är daterat 16 oktober och repositorierna fylldes över natten; N​VIDIAs utvecklarflöde publicerade ett N​emotron-inlägg den 15 oktober som handlade om en helt annan modell. Ett blogginlägg, en artikel eller en familjesida för N​emotron Labs kan dyka upp när som helst, och en sådan skulle sannolikt innehålla träningsdetaljerna och modellens avsedda roll som kortet lämnar implicit.

För det andra, motorstöd. Både vLLM och llama.cpp sitter på omergeade pull requests. Dagen någon av dem slås samman upphör "du kan köra det" att betyda "du kan bygga det från en branch".

För det tredje, och mest värdefullt, en oberoende utvärdering. De påståenden som är mest värda att reproducera är de som leverantören lyfte fram: SWE-bench- och Terminal-Bench-förändringen över antal loopar, och påståendet att KV-cachelagring i sista loopen bevarar noggrannheten. Båda kan testas med publicerade verktyg, och ingen av dem har testats av någon utanför N​VIDIA.

Den korrekta sammanfattningen i dag är denna: riktiga vikter i fyra format, en tillåtande licens, en genuint ovanlig arkitektur, en serving-väg som bara existerar som två öppna pull requests och ett benchmark-ark som är ett labbs egen testrigg med förbehållen tryckta i dess egna fotnoter. Det är den mest intressanta 4B-modellen N​VIDIA har publicerat i år, och företaget har ännu inte bestämt sig för att berätta om den för någon.

Inget av detta är hypotetiskt: de dokumenterade AI-felen och agentincidenterna bakom släpp som detta samlas i OrcaRouter AI Incident Archive, där varje post har sina egna källor, allvarlighetsgrad, tillförlitlighetsgrad och omtvistad flagga.