NVIDIA Nemotron Labs Dory 1.0 4B vs LFM2.5 2.6B Base: de een is af, de ander bewust niet

NVIDIA Nemotron Labs Dory 1.0 4B en LFM2.5-2.6B-Base zijn beide klein, beide alleen tekst, beide downloadbaar als GGUF, en beide modellen die je zelf draait — en ze staan aan tegenovergestelde uiteinden van de post-trainingpijplijn. Dory wordt volledig afgewerkt geleverd: supervised fine-tuning op een door NVIDIA samengestelde set, daarna reinforcement learning in meerdere omgevingen met GRPO, waarbij redeneren permanent is ingeschakeld in het servingpad. LFM2.5-2.6B-Base wordt bewust onvoltooid geleverd, op de eigen modelkaart beschreven als een vooraf getraind checkpoint "alleen aanbevolen voor taken die zware fine-tuning vereisen". Liquid AI levert de voltooide versie van dat model apart als LFM2.5-2.6B, post-trained voor agentische workloads. De eerlijke manier om het te stellen is dus niet "welk model in de 4B-klasse is beter", want een base checkpoint en een afgewerkt reasoningmodel concurreren niet om dezelfde plek in je stack. De nuttige vraag is voor welke helft van de pijplijn je kiest.

Wat elk artefact eigenlijk is

N​VIDIA N​emotron Labs Dory 1.0 4B is een 4B dense model dat door N​VIDIA op Hugging Face is gepubliceerd in vier kwantisaties — BF16, MXFP8, NVFP4 en een Q5_K_M GGUF-export — onder de OpenMDW 1.1-licentie. Op de kaart staat de build "GA (10/16/2026)" en wordt een lusgebaseerde, latent-recurrente architectuur beschreven: een invoerblok van 8 lagen, een recurrent blok van 20 lagen dat een variabel aantal keren wordt toegepast, en een uitvoerblok van 8 lagen, met hybride, afwisselend sliding-window- en volledige attention. De context loopt tot 256K tokens, de taal is uitsluitend Engels, en de hele release verscheen zonder begeleidende aankondiging van N​VIDIA. Op de kaart staat dat reasoning altijd aan staat in het vLLM-servingpad, wat net zoveel over de intentie als over de mechanica zegt: dit is geen ruwe tekstvoorspeller die je document voltooit, het is een model dat is geconfigureerd om na te denken voordat het antwoordt.

LFM2.5-2.6B-Base is een voorgetrainde checkpoint van Liquid AI met 2,69B parameters, uitgebracht onder de eigen LFM-licentie van het bedrijf (getagd lfm1.0) en medio augustus 2026 bijgewerkt. Het is de ruwe checkpoint waarvan de rest van de 2.6B-lijn is afgeleid. De architectuur is een hybride van 22 dubbelgegateerde short-convolutieblokken en 8 grouped-query-attentielagen, getraind op ongeveer 34 biljoen tokens met een contextuitbreiding tijdens de training tot 128K, over een vocabulaire van 128.000 tokens en 16 talen. De modelkaart is expliciet over de doelgroep: domeinspecifieke assistenten, taalspecifiek werk, training op propriëtaire data. Er is geen noemenswaardig chatsjabloongedrag, omdat er geen instructietuning in zit.

Beide zijn tekst-in, tekst-uit. Ongeveer daar houden de overeenkomsten op.

De specificatievergelijking, naast elkaar

• Parameters — Dory 1.0 4B is een 4B dichte stack. LFM2.5-2.6B-Base is 2,69B. Het verschil is kleiner dan de namen doen vermoeden, en beide passen comfortabel op één enkele consumentenaccelerator bij een redelijke kwantisatie.

• Post-training — Dory beschikt over SFT plus RL in meerdere omgevingen op het gebied van wiskunde, code, wetenschap, het volgen van instructies, toolgebruik en gestructureerde output. LFM2.5-2.6B-Base heeft dat allemaal niet, bewust. Als je een model nodig hebt dat direct instructies volgt, is een van deze de verkeerde keuze, en dat is niet degene met minder parameters.

• Context — Dory bereikt 256K tokens, met 262.144 posities gevalideerd in vLLM onder het door NVIDIA meegeleverde startcommando. LFM2.5-2.6B-Base ondersteunt 131.072 tokens, bereikt via een uitbreiding halverwege de training. Het venster van Dory is ongeveer twee keer zo groot; of je het kunt veroorloven om het te vullen, hangt af van het hieronder besproken KV-cachegedrag.

• Talen — Dory is alleen Engels, met pre-trainingdata voor 43 programmeertalen. LFM2.5-2.6B-Base dekt 16 natuurlijke talen, waaronder Engels, Arabisch, Chinees, Frans, Duits, Italiaans, Japans, Koreaans, Portugees, Spaans, Vietnamees, Thais, Indonesisch, Hindi, Russisch en Pools. Voor alles buiten het Engels beslist deze dimensie daar zelf over.

• Architectuur — hybride korte-convolutie-plus-aandacht aan de Liquid-kant; geluste latente-recurrente normalized-G​PT met interleaved sliding-window-aandacht aan de N​VIDIA-kant. Beide zijn afwijkingen van een gewone transformer-stack, en ze wijken in verschillende richtingen af.

• Rekengedrag — Dory's diepte is een runtimeparameter. Een lus-aantal van 1, 2 of 4 ruilt rekenkracht in voor nauwkeurigheid zonder een tweede checkpoint, en NVIDIA beveelt twee aan als standaard. LFM2.5-2.6B-Base heeft een vaste diepte; de kostenhefboom is kwantisatie en, in de bredere familie, een speculatieve drafter.

• Licentie — OpenMDW 1.1 voor Dory, de LFM-licentie voor het Liquid-checkpoint. Beide staan commercieel gebruik toe; de Liquid-licentie is de eigen licentie van het bedrijf in plaats van een standaard opensourcetekst, die het lezen waard is in plaats van er zomaar iets van aan te nemen.

• Uitgebrachte formaten — Dory: BF16, MXFP8, NVFP4, GGUF. LFM2.5-2.6B-Base: BF16-gewichten op de Hub, met GGUF-, ONNX- en MLX-builds die elders in de familie beschikbaar zijn. Het Liquid-ecosysteem is hier breder; de Dory-repositories zijn pas enkele uren oud.

Fine-tuning is de as die hen scheidt.

Als de reden dat u naar LFM2.5-2.6B-Base kijkt, is dat u van plan bent erop te trainen — een domeinassistent, een bedrijfseigen corpus, een taal die het basismodel al spreekt — dan is Dory 1.0 4B een slechte vervanging, om een reden die niets met kwaliteit te maken heeft. Het fine-tunen van een volledig post-getraind redeneermodel voor een smalle taak is meestal moeilijker dan het fine-tunen van een basis-checkpoint, omdat u vecht tegen het gedrag dat de RL-fase heeft geïnstalleerd in plaats van een blanco voorspeller vorm te geven. De Liquid-modelkaart beveelt om precies deze reden zijn basis-checkpoint aan voor domein- en taalspecifiek werk, en 34 biljoen pre-trainingstokens over 16 talen is een breder startpunt dan een Engelstalig model biedt.

Maar de Dory-kaart zwijgt over fine-tuning op een manier die op zichzelf informatief is. Hij documenteert de trainingspijplijn, publiceert de formaten en geeft serveerinstructies voor twee engines; hij zegt niets over adapters, LoRA-ondersteuning of een fine-tuningrecept. Dat is het profiel van een checkpoint dat is gepubliceerd om te worden geserveerd, niet om op te worden getraind. Het ontbreken van bewijs als bewijs lezen zou een fout zijn, maar de asymmetrie is het benoemen waard: de ene kaart richt zich op fine-tuners, de andere op deployers.

Nog een eerlijke opmerking over cijfers. Liquid publiceert een volledige evaluatietabel voor de post-getrainde LFM2.5-2.6B tegenover Gemma 4 E2B en E4B en Qwen3.5-4B en 9B, en die tabel is niet overdraagbaar naar het basis-checkpoint — een basismodel dat op benchmarks voor instructieopvolging wordt gescoord, meet iets anders dan een post-getraind model dat op dezelfde benchmarks wordt gescoord. N​VIDIA publiceert een benchmarktabel voor Dory tegenover Qwen3.5-4B, Qwen3.5-9B, Gemma 4 26B A4B en Qwen3.6-35B-A3B, gemeten op zijn eigen harness, zonder onafhankelijke reproductie. Er is geen gedeeld harnessresultaat voor Dory met een van beide LFM-checkpoints, en er is helemaal geen gepubliceerde head-to-head-vergelijking.

Ze op echte hardware draaien

Het edge-verhaal is waar de twee in de praktijk het scherpst uiteenlopen, en Liquid wint dat duidelijk. De LFM2.5-familie is gebouwd voor implementatie op het apparaat zelf — het 2,6B-instruct-broertje wordt gebenchmarkt op 220 tokens per seconde op een Apple M5 Max en 113 op een Ryzen AI Max+ 395, in minder dan 2,5 GB geheugen, met een opgegeven waarde van ongeveer 30 tokens per seconde voor telefoonklasse. Er zijn ONNX- en MLX-builds in de familie en een 328M speculatieve drafter, DSpark, waarvan het bedrijf zegt dat die ongeveer 2,6× snellere decoding oplevert met identieke outputs. Als je doel een laptop, een mini-pc of een telefoon is, staat LFM2.5-2.6B-Base aan de goede kant van die lijn en is Dory daar niet duidelijk voor ontworpen.

Het serveerpad van Dory is smaller en nieuwer. vLLM-ondersteuning wordt beoordeeld in een open pull request, en totdat die wordt samengevoegd, vertelt de kaart je om vLLM vanaf die branch te installeren met een precompiled-kernel-flag en daarna te serveren met overrides die het aantal loops en de KV-cachemodus instellen. llama.cpp-ondersteuning zit in een tweede open pull request, met een vastgezette commit en buildinstructies die zich richten op native ARM64 macOS op Apple Silicon. De door NVIDIA gepubliceerde snelheidscijfers zijn kwantisatiesnelheidswinsten op een DGX Spark, niet doorvoer: 1,69× en 1,84× voor MXFP8 ten opzichte van BF16, afhankelijk van de mix van invoer-/uitvoerlengtes, 2,17× en 2,44× voor NVFP4.

Het tegenwicht, en het is een echt tegenwicht, is het geheugenontwerp. Standaard looping houdt een aparte KV-cache per lus bij, zodat het geheugen stijgt met elke toegevoegde pass — wat de gebruikelijke reden is dat recurrente architecturen lastig te serveren zijn. Dory ondersteunt een last-loop-KV-cachingmodus die één enkele cache per recurrente attentionlaag bijhoudt en die bij elke pass overschrijft, waardoor de voetafdruk voor om het even welk aantal lussen ongeveer op de grootte van één lus blijft. N​VIDIA zegt dat de nauwkeurigheid dicht bij de per-lusmodus blijft, met vrijwel onveranderde uitvoerlengtes. Die bewering is het meest waardevolle dat in de Dory-kaart te verifiëren valt, want als ze standhoudt, is het 256K-venster betaalbaar bij meer dan één lus, en als ze dat niet doet, is de elastic-depth-functie veel minder nuttig dan ze klinkt.

Wat een router hier wel en niet doet

Geen van beide modellen staat in de OrcaRouter-catalogus. NVIDIA Nemotron Labs Dory 1.0 4B is alleen beschikbaar als gewichten, zonder een gehost endpoint dat we ergens kunnen bevestigen, en LFM2.5-2.6B-Base is een fine-tuning-checkpoint dat geen enkel platform verstandig as-is zou serveren — het post-getrainde broertje is het model dat achter een API thuishoort. Er staan ook geen gehoste LFM2.5-modellen in onze catalogus, dus de correcte bewering is de saaie: voor deze vergelijking draait alles op jouw hardware.

Wat precies het moment is waarop een routeringslaag ophoudt optionele infrastructuur te zijn en een testtool wordt. Een fine-tuningexperiment uitvoeren op een basis-checkpoint en een serving-experiment op een geloopte 4B betekent twee lokale stacks, twee sets quantisaties, twee sets serving-flags, en geen nette manier om een van beide te vergelijken met de gehoste modellen die de werkelijke baseline voor je applicatie vormen. OrcaRouter bestaat voor die tweede helft: met één API-sleutel bereik je de gehoste modellen waartegen je zou benchmarken tegen de lijstprijs van de provider met 0% markup, zodat de controlegroep geen eigen SDK of eigen contract nodig heeft. De routing-DSL laat een zelfgehost endpoint en gehoste endpoints achter één enkele aanroep zitten, en automatische failover houdt een lange evaluatierun in leven wanneer een lokale GPU-pool bezet is. Het zal je niet vertellen of het fine-tunen van Liquid's basis-checkpoint beter is dan het serveren van N​VIDIA's afgewerkte model. Het haalt de opzetkosten weg om daarachter te komen.

Kiezen tussen hen

Neem LFM2.5-2.6B-Base als je een startpunt koopt in plaats van een antwoord: je hebt trainingsdata, je hebt een taal nodig die Dory niet spreekt, je wilt draaien op Apple Silicon of een NPU, of je wilt het speculatieve-decoderingpad en de ONNX- en MLX-builds die bij de familie horen. Het is het kleinere, snellere, meertaligere, beter met het ecosysteem verbonden artefact, en het is eerlijk over het feit dat het niet af is.

Neem N​VIDIA N​emotron Labs Dory 1.0 4B als je een ingezet gedrag koopt: je wilt een afgerond redeneermodel met tool-calling en structured-output-training er al in, je bent alleen Engelstalig, je context is lang, en je bent bereid vandaag vLLM of llama.cpp vanaf een branch te bouwen in ruil voor een compute-knop die geen enkel conventioneel dense model je geeft. Accepteer dat je een van de eersten buiten N​VIDIA zult zijn die het draait, dat elk getal op zijn kaart een leveranciersgetal is, en dat de last-loop KV-cache-bewering — de enige functie die het hele ontwerp praktisch maakt — niet geverifieerd is.

De vergelijking die echt informatief zou zijn, is Dory 1.0 4B tegenover de nagetrainde LFM2.5-2.6B, en niemand heeft die gepubliceerd. Als Liquids 2,6B-instructmodel en NVIDIA's 4B-model met elastische diepte op jouw workload binnen een paar punten van elkaar uitkomen, dan wordt de beslissende factor het geheugenverschil van 2,69B tegenover 4B en de volwassenheidskloof, niet de architectuur. Dat is het experiment dat de moeite waard is om te draaien, en het is goedkoper om te draaien dan vorige week.

Niets daarvan is hypothetisch: de gedocumenteerde AI-fouten en agent-incidenten achter releases zoals deze zijn verzameld in the OrcaRouter AI Incident Archive, waar elke vermelding zijn eigen bronnen, ernst, betrouwbaarheidsgraad en markering voor betwisting bevat.