NVIDIA Nemotron Labs Dory 1.0 4B vs LFM2.5 2.6B Base: uno è finito, l'altro deliberatamente no

N​VIDIA N​emotron Labs Dory 1.0 4B e LFM2.5-2.6B-Base sono entrambi piccoli, entrambi solo testo, entrambi scaricabili come GGUF ed entrambi modelli che esegui tu stesso — e si collocano agli estremi opposti della pipeline di post-training. Dory arriva del tutto finito: supervised fine-tuning su un set curato da N​VIDIA, poi reinforcement learning multi-ambiente con GRPO, con il ragionamento permanentemente attivato nel percorso di serving. LFM2.5-2.6B-Base arriva deliberatamente non finito, descritto sulla sua stessa card come un checkpoint pre-trained «consigliato solo per attività che richiedono un fine-tuning pesante». Liquid AI distribuisce separatamente la versione finita di quel modello come LFM2.5-2.6B, post-trainata per carichi di lavoro agentici. Quindi l'inquadramento onesto non è «quale modello di classe 4B è migliore», perché un checkpoint base e un modello di ragionamento finito non competono per lo stesso posto nel tuo stack. La domanda utile è per quale metà della pipeline stai comprando.

Che cos'è in realtà ciascun artefatto

N​VIDIA N​emotron Labs Dory 1.0 4B è un modello denso da 4B pubblicato da N​VIDIA su Hugging Face in quattro quantizzazioni — BF16, MXFP8, NVFP4 e un export GGUF Q5_K_M — con licenza OpenMDW 1.1. La sua model card contrassegna la build come "GA (10/16/2026)" e descrive un'architettura looped e latent-recurrent: un blocco di input a 8 layer, un blocco ricorrente a 20 layer applicato un numero variabile di volte e un blocco di output a 8 layer, con attenzione ibrida che alterna sliding-window e full attention. Il contesto arriva fino a 256K token, la lingua è solo l'inglese, e l'intera release è stata pubblicata senza alcun annuncio di accompagnamento da parte di N​VIDIA. La card osserva che il reasoning è sempre attivo nel percorso di serving vLLM, il che è un'affermazione sulle intenzioni oltre che sulla meccanica: non è un predittore di testo grezzo che completerà il tuo documento, è un modello configurato per pensare prima di rispondere.

LFM2.5-2.6B-Base è il checkpoint pre-addestrato da 2,69B di Liquid AI, rilasciato sotto la licenza LFM della stessa azienda (con tag lfm1.0) e aggiornato a metà agosto 2026. È il checkpoint grezzo da cui deriva il resto della linea 2.6B. L'architettura è un ibrido di 22 blocchi a convoluzione breve con doppio gate e 8 livelli di attenzione con query raggruppate, addestrato su circa 34 trilioni di token con un'estensione del contesto in fase intermedia a 128K, su un vocabolario di 128.000 token e 16 lingue. La scheda è esplicita riguardo al pubblico: assistenti specifici per dominio, lavoro specifico per lingua, addestramento su dati proprietari. Non c'è alcun comportamento di template di chat di cui parlare, perché non contiene alcun instruction tuning.

Entrambi hanno input e output testuali. Ed è all'incirca qui che finiscono le somiglianze.

Il confronto delle specifiche, fianco a fianco

• Parametri — Dory 1.0 4B è uno stack denso da 4B. LFM2.5-2.6B-Base è 2,69B. Il divario è più piccolo di quanto i nomi suggeriscano, ed entrambi entrano comodamente in un singolo acceleratore consumer con una quantizzazione ragionevole.

• Post-addestramento — Dory dispone di SFT più RL multi-ambiente su matematica, codice, scienza, seguire istruzioni, uso di strumenti e output strutturato. LFM2.5-2.6B-Base non ne ha alcuno, per scelta progettuale. Se ti serve un modello che segua le istruzioni fin da subito, una di queste è la scelta sbagliata e non è quella con meno parametri.

• Contesto — Dory raggiunge 256K token, con 262.144 posizioni validate in vLLM con il comando di lancio fornito da NVIDIA. LFM2.5-2.6B-Base supporta 131.072 token, raggiunti tramite un'estensione durante il mid-training. La finestra di Dory è circa il doppio; se puoi permetterti di riempirla dipende dal comportamento della KV-cache discusso di seguito.

• Lingue — Dory è disponibile solo in inglese, con dati di pre-addestramento che coprono 43 linguaggi di programmazione. LFM2.5-2.6B-Base copre 16 lingue naturali, tra cui inglese, arabo, cinese, francese, tedesco, italiano, giapponese, coreano, portoghese, spagnolo, vietnamita, thailandese, indonesiano, hindi, russo e polacco. Per tutto ciò che è al di fuori dell'inglese, questa dimensione lo decide da sola.

• Architettura — ibrida a convoluzione breve più attenzione sul lato Liquid; G​PT normalizzato latente-ricorrente in loop con attenzione a finestra scorrevole intervallata sul lato N​VIDIA. Entrambe si discostano da un semplice stack transformer, e si discostano in direzioni diverse.

• Comportamento di calcolo — la profondità di Dory è un parametro di runtime. Un conteggio di loop di 1, 2 o 4 scambia calcolo con accuratezza senza un secondo checkpoint, e NVIDIA ne raccomanda due come valore predefinito. LFM2.5-2.6B-Base ha profondità fissa; la sua leva di costo è la quantizzazione e, nella famiglia più ampia, un drafter speculativo.

• Licenza — OpenMDW 1.1 per Dory, la licenza LFM per il checkpoint Liquid. Entrambe consentono l'uso commerciale; la licenza Liquid è propria dell'azienda anziché un testo open source standard, cosa che vale la pena leggere invece di darla per scontata.

• Formati rilasciati — Dory: BF16, MXFP8, NVFP4, GGUF. LFM2.5-2.6B-Base: pesi BF16 sull'Hub, con build GGUF, ONNX e MLX disponibili altrove nella famiglia. L'ecosistema Liquid qui è più ampio; i repository Dory hanno solo poche ore.

Il fine-tuning è l'asse che li separa

Se il motivo per cui stai considerando LFM2.5-2.6B-Base è che intendi addestrarti su di esso — un assistente di dominio, un corpus proprietario, una lingua che il modello base già parla — allora Dory 1.0 4B è un sostituto scadente per un motivo che non ha nulla a che fare con la qualità. Il fine-tuning di un modello di ragionamento completamente post-addestrato per svolgere un compito ristretto è di solito più difficile del fine-tuning di un checkpoint di base, perché stai combattendo contro il comportamento che lo stadio di RL ha installato invece di modellare un predittore vuoto. La scheda di Liquid raccomanda il suo checkpoint di base per lavori specifici di dominio e di lingua proprio per questo motivo, e 34 trilioni di token di pre-addestramento su 16 lingue rappresentano un punto di partenza più ampio di quanto offra un modello solo in inglese.

Ma la scheda di Dory tace sul fine-tuning in un modo che è di per sé informativo. Documenta la pipeline di addestramento, pubblica i formati e fornisce istruzioni di serving per due engine; non dice nulla su adapter, supporto LoRA o una ricetta di fine-tuning. Questo è il profilo di un checkpoint pubblicato per essere servito, non per essere addestrato. Leggere l'assenza di prove come prova sarebbe un errore, ma vale la pena nominare l'asimmetria: una scheda si rivolge a chi fa fine-tuning, l'altra si rivolge a chi fa deployment.

Un'ulteriore nota di onestà sui numeri. Liquid pubblica una tabella di valutazione completa per il post-addestrato LFM2.5-2.6B rispetto a Gemma 4 E2B ed E4B e Qwen3.5-4B e 9B, e quella tabella non è trasferibile al checkpoint di base — un modello di base valutato su benchmark di instruction-following misura qualcosa di diverso da un modello post-addestrato valutato sugli stessi benchmark. NVIDIA pubblica una tabella di benchmark per Dory rispetto a Qwen3.5-4B, Qwen3.5-9B, Gemma 4 26B A4B e Qwen3.6-35B-A3B, misurata sul proprio harness, senza alcuna riproduzione indipendente. Non esiste alcun risultato con harness condiviso per Dory e nessuno dei due checkpoint LFM, e nessun confronto testa a testa pubblicato.

Eseguendoli su hardware reale

Il capitolo edge è dove i due divergono più nettamente nella pratica, e Liquid lo vince chiaramente. La famiglia LFM2.5 è costruita per il deployment on-device — il fratello instruct da 2,6B è misurato a 220 token al secondo su un Apple M5 Max e 113 su un Ryzen AI Max+ 395, in meno di 2,5 GB di memoria, con un valore dichiarato di circa 30 token al secondo per la classe smartphone. Nella famiglia esistono build ONNX e MLX e un drafter speculativo da 328M, DSpark, che secondo l'azienda garantisce una decodifica circa 2,6× più veloce con output identici. Se il tuo target è un laptop, un mini-PC o uno smartphone, LFM2.5-2.6B-Base è dalla parte giusta di quella linea e Dory non è ovviamente progettato per questo.

Il percorso di serving di Dory è più ristretto e più recente. Il supporto a vLLM è in fase di revisione in una pull request aperta, e finché non viene mergiata la scheda ti dice di installare vLLM da quel branch con un flag di kernel precompilato, poi di servire con override che impostano il conteggio dei loop e la modalità della KV-cache. Il supporto a llama.cpp si trova in una seconda pull request aperta, con un commit pinnato e istruzioni di build che hanno come target macOS ARM64 nativo su Apple Silicon. I dati di velocità pubblicati da N​VIDIA sono speedup di quantizzazione su un DGX Spark anziché throughput: 1,69× e 1,84× per MXFP8 rispetto a BF16 a seconda del mix di lunghezze di input/output, 2,17× e 2,44× per NVFP4.

Il contrappeso, ed è un contrappeso autentico, è il design della memoria. Il looping standard mantiene una KV cache separata per ogni ciclo, quindi la memoria cresce a ogni passaggio aggiunto — che è la solita ragione per cui le architetture ricorrenti sono scomode da servire. Dory supporta una modalità di KV caching dell'ultimo ciclo che mantiene una singola cache per ogni layer di attenzione ricorrente e la sovrascrive a ogni passaggio, mantenendo l'occupazione più o meno alle dimensioni di un singolo ciclo per qualsiasi numero di cicli. NVIDIA afferma che l'accuratezza resta vicina a quella della modalità per-ciclo, con lunghezze di output quasi invariate. Questa affermazione è la cosa più preziosa da verificare nella scheda di Dory, perché se regge, la finestra da 256K è sostenibile con più di un ciclo, e se non regge, la funzionalità di profondità elastica è molto meno utile di quanto sembri.

Cosa fa e cosa non fa un router qui

Nessuno dei due modelli è presente nel catalogo OrcaRouter. N​VIDIA N​emotron Labs Dory 1.0 4B è disponibile solo come pesi, senza alcun endpoint ospitato di cui possiamo confermare l'esistenza, e LFM2.5-2.6B-Base è un checkpoint di fine-tuning che nessuna piattaforma servirebbe sensatamente così com'è — è il suo fratello post-addestrato quello che ha senso mettere dietro un'API. Nel nostro catalogo non ci sono nemmeno modelli LFM2.5 ospitati, quindi l'affermazione accurata è quella noiosa: per questo confronto, tutto gira sul tuo hardware.

Ed è esattamente il momento in cui un livello di routing smette di essere un'infrastruttura opzionale e inizia a essere uno strumento di test. Eseguire un esperimento di fine-tuning su un checkpoint di base e un esperimento di serving su un 4B in loop significa due stack locali, due set di quantizzazioni, due set di flag di serving e nessun modo pulito per confrontare gli uni o gli altri con i modelli ospitati che sono il baseline effettivo della tua applicazione. OrcaRouter esiste per quella seconda metà: una sola chiave API raggiunge i modelli ospitati su cui faresti il benchmark al prezzo di listino del provider con markup allo 0%, così il gruppo di controllo non ha bisogno del proprio SDK né del proprio contratto. Il DSL di routing permette a un endpoint self-hosted e a quelli ospitati di stare dietro un'unica chiamata, e il failover automatico mantiene vivo un lungo ciclo di valutazione quando un pool di GPU locale è occupato. Non ti dirà se il checkpoint di base di Liquid si presta meglio al fine-tuning o se il modello finito di NVIDIA si presta meglio al serving. Elimina il costo di configurazione necessario per scoprirlo.

Scegliere tra loro

Scegli LFM2.5-2.6B-Base se stai comprando un punto di partenza anziché una risposta: hai dati di addestramento, ti serve una lingua che Dory non parla, vuoi eseguirlo su Apple Silicon o su una NPU, oppure vuoi il percorso di speculative decoding e le build ONNX e MLX che accompagnano la famiglia. È l'artefatto più piccolo, più veloce, più multilingue e più connesso all'ecosistema, ed è onesto sul fatto di non essere finito.

Scegli N​VIDIA N​emotron Labs Dory 1.0 4B se stai acquistando un comportamento già in esercizio: vuoi un modello di ragionamento finito, con dentro già il training per il tool-calling e l'output strutturato, lavori solo in inglese, il tuo contesto è lungo e sei disposto a compilare vLLM o llama.cpp da un branch oggi stesso in cambio di una manopola di calcolo che nessun modello dense convenzionale ti offre. Accetta di essere una delle prime persone fuori da N​VIDIA a eseguirlo, che ogni numero sulla sua scheda è un numero del fornitore e che l'affermazione sulla KV-cache dell'ultimo loop — l'unica caratteristica che rende praticabile l'intero design — non è verificata.

Il confronto che sarebbe davvero informativo è Dory 1.0 4B contro LFM2.5-2.6B post-addestrato, e nessuno l'ha pubblicato. Se il modello instruct da 2,6B di Liquid e il 4B elastic-depth di NVIDIA si collocano a pochi punti di distanza l'uno dall'altro sul tuo carico di lavoro, allora il fattore decisivo diventa la differenza di memoria tra 2,69B e 4B e il divario di maturità, non l'architettura. È questo l'esperimento che vale la pena eseguire, ed è più economico da eseguire rispetto alla settimana scorsa.

Niente di tutto ciò è ipotetico: i fallimenti documentati dell'IA e gli incidenti degli agenti alla base di rilasci come questo sono raccolti in l'OrcaRouter AI Incident Archive, dove ogni voce riporta le proprie fonti, la gravità, il grado di confidenza e il flag di contestazione.