NVIDIA Nemotron Labs Dory 1.0 4B vs MiniCPM5 2B: Un runtime personalizzato contro un semplice LlamaForCausalLM

La cosa più utile da notare riguardo a NVIDIA Nemotron Labs Dory 1.0 4B e MiniCPM5-2B non è la tabella di benchmark di nessuno dei due modelli — è ciò che appare nella prima riga della sezione sull'architettura di MiniCPM5-2B. La sua scheda dice, senza mezzi termini, che l'architettura è una versione standard di LlamaForCausalLM: 42 layer, attenzione grouped-query con 16 teste di query e 2 teste KV, nessun kernel personalizzato, nessun fork del codice del modello necessario. La scheda di Dory dice l'opposto in ogni senso pratico. La sua architettura è una rete latente-ricorrente a loop il cui blocco di layer viene applicato un numero variabile di volte, e per servirlo oggi si installa vLLM da una pull request aperta o si compila llama.cpp da un commit fissato. Uno di questi modelli si inserisce nello stack che già hai. L'altro richiede di cambiare prima lo stack. Questa differenza deciderà più distribuzioni di qualsiasi punteggio pubblicato da entrambi i fornitori.

Due piccoli modelli, due scommesse completamente diverse

N​VIDIA N​emotron Labs Dory 1.0 4B è il modello denso looped da 4B di N​VIDIA, pubblicato su Hugging Face in BF16, MXFP8, NVFP4 e Q5_K_M GGUF con licenza OpenMDW 1.1, con la sua scheda contrassegnata "GA (10/16/2026)". È solo testo e solo in inglese, supporta fino a 256K token e ha immesso circa 6 trilioni di token di pre-training in uno stack addestrato nativamente in NVFP4 per i primi ~4,5T prima di passare a BF16, poi esteso al contesto lungo su oltre 300B token e completato con SFT più apprendimento per rinforzo GRPO multi-ambiente. È stato pubblicato senza alcun tipo di annuncio.

MiniCPM5-2B è il modello dense da 2,5B di OpenBMB — 2.516.756.480 parametri totali, di cui 1.981.982.720 non di embedding — sotto Apache 2.0, con una finestra di contesto di 131.072 token e supporto bilingue inglese e cinese. È la seconda voce della linea MiniCPM5 dopo il modello 1B, progettato per scalare quella che la scheda definisce la stessa ricetta di addestramento, ed è esplicitamente mirato al deployment on-device, locale e con risorse limitate. Il post-addestramento ha previsto supervised fine-tuning, reinforcement learning e on-policy distillation. La scheda dichiara lo stato dell'arte open source della classe 2B con una media di 53,9 sul suo set di benchmark.

Entrambi sono abbastanza piccoli da girare su un solo acceleratore. Entrambi sono scaricabili oggi. Da quel punto in poi, tutto diverge.

Il contrasto, dimensione per dimensione

• Architettura — Dory 1.0 4B è un GPT normalizzato latente-ricorrente in loop con attenzione a finestra scorrevole e completa interlacciate, un blocco di input a 8 strati, un blocco ricorrente a 20 strati e un blocco di output a 8 strati. MiniCPM5-2B è un transformer causale denso convenzionale, 42 strati, GQA 16 teste per 2 teste KV, standard LlamaForCausalLM.

• Costo di ingresso per il serving — questo è il punto principale. MiniCPM5-2B non richiede kernel personalizzati né motori forkati; se il tuo stack esegue modelli con architettura L​lama, esegue questo. Dory richiede vLLM compilato da una pull request non ancora unita oppure llama.cpp compilato da un commit fissato, con override a runtime per il numero di cicli e la modalità della KV-cache.

Parametri — 4B densi rispetto a 2,516B totali (1,98B non di embedding). Dory è circa il 60% più grande, e il suo blocco ricorrente viene applicato ripetutamente, quindi il calcolo effettivo per token a quattro cicli supera ciò che il conteggio dei parametri lascia intendere.

• Contesto — Dory raggiunge 256K token con 262.144 posizioni validate in vLLM. MiniCPM5-2B supporta 131.072. La finestra di Dory è doppia; se vuoi pagarne il prezzo è la questione della KV-cache trattata di seguito.

• Lingue — Dory è solo in inglese, con 43 linguaggi di programmazione nel suo mix di pre-addestramento. MiniCPM5-2B è bilingue inglese e cinese. Per un carico di lavoro in lingua cinese, questa dimensione decide il confronto senza riferimento a nessun'altra riga.

• Licenza — OpenMDW 1.1 per Dory, Apache 2.0 per MiniCPM5-2B. Entrambe consentono l'uso commerciale; Apache 2.0 è quella che la maggior parte delle revisioni legali ha già approvato.

• Flessibilità di calcolo — la profondità di Dory è un parametro a runtime: un ciclo per la latenza, due come impostazione predefinita consigliata, quattro quando la precisione agentica conta di più, il tutto da un singolo checkpoint. MiniCPM5-2B ha profondità fissa, e la sua leva prestazionale è la quantizzazione — la famiglia include build GGUF, MLX, GPTQ e LiteRT più un modello draft DSpark per la decodifica speculativa.

• Ecosistema — MiniCPM5-2B è pubblico da inizio settembre 2026 e ha oltre un milione di download e una varietà di build quantizzate e derivate. I quattro repository di Dory sono stati popolati nel corso della notte e i loro contatori di download erano a zero quando è stato scritto questo testo.

I numeri, e perché non dovresti sottrarli

Entrambe le schede pubblicano tabelle di benchmark, e le tabelle si sovrappongono su abbastanza attività da rendere possibile un confronto affiancato. Vale la pena farlo con attenzione, perché una sottrazione ingenua sarebbe fuorviante in modo specifico e prevedibile.

Leggi Dory con le sue tre impostazioni di loop rispetto all'unico valore riportato di MiniCPM5-2B:

• SciCode — 27,3 / 34,94 / 35,11 contro 26,3. A partire da due loop, Dory è in testa.

• SWE-bench Verified — 50.3 / 59.5 / 61.8 contro 46.4.

• Terminal-Bench 2.1 — 12,5 / 18,1 / 22,2 contro 8,6.

• GPQA Diamond — 69,19 / 72,41 / 72,16 contro 70,2. Anche con un solo ciclo, Dory è nominalmente indietro; con tre o più cicli, passa leggermente in vantaggio.

• HLE, solo testo — 8,25 / 10,89 / 10,43 contro 8,9.

• IFBench — 74,29 / 77,94 / 79 rispetto a 66,3.

• AA-LCR — 63 / 71 / 73 contro 59,0.

Dory sembra più forte sulla maggior parte di questi, a volte di molto. Ora, il motivo per cui non bisogna credere all'aritmetica: si tratta di due harness diversi che misurano due insiemi di prompt diversi, e nessuno dei due vendor ha eseguito il modello dell'altro. N​VIDIA ha misurato Dory su NeMo Gym e sul Nemo Evaluator SDK, con conteggi di ripetizione per benchmark che la scheda dichiara — SciCode otto volte, AA-LCR sedici, diversi benchmark esattamente una volta. OpenBMB ha misurato MiniCPM5-2B sul proprio setup e ha riportato un'unica media di 53,9 sulla sua suite. Un delta di due o tre punti tra questi due setup è rumore, non un verdetto. Nulla in nessuna delle due schede è una riproduzione indipendente, e nessuna terza parte ha pubblicato un confronto diretto tra questi due modelli.

C'è una ragione strutturale per aspettarsi che l'apparente vantaggio di Dory sia reale sui task agentici e svanisca altrove. La sua scheda mostra che il looping produce i guadagni maggiori su SWE-bench e Terminal-Bench, e i minori sul richiamo di conoscenza — AA-Omniscience si muove appena al variare del numero di loop. La forza propria di MiniCPM5-2B è distribuita diversamente: riporta 97,1 su τ²-Bench Telecom e 88,7 su GAIA Text-103, risultati agentici che la scheda di N​VIDIA non misura in forma comparabile. Se il tuo compito è l'uso di strumenti in un dominio ristretto, i numeri della scheda MiniCPM sono quelli da testare per primi, e nessuno di essi compare sul foglio di Dory.

Nota anche ciò che le due schede evitano di confrontare. MiniCPM5-2B si confronta con Qwen3.5-4B a 51,1, granite-4.2-3B a 42,7 e LFM2.5-2.6B a 33,2 sulla propria media. Dory si confronta con Qwen3.5-4B, Qwen3.5-9B, Gemma 4 26B A4B e Qwen3.6-35B-A3B. L'unico modello su cui entrambe le schede mettono un numero è Qwen3.5-4B, e lo valutano in modo diverso — il che ti dice di più sugli harness che su Qwen.

Quanto ti costa gestire ciascuno

La storia operativa di MiniCPM5-2B è quella noiosa, e qui "noiosa" è un complimento. Architettura standard, nessun kernel personalizzato, una gamma di quantizzazioni già pronte e una famiglia che include già build MLX per Apple Silicon, GPTQ per l'inferenza su GPU, LiteRT per il mobile e un draft model per il decoding speculativo. Un modello da 2,5B con struttura LLaMA e contesto a 128K entra in una memoria modesta e gira sui motori che già usi. OpenBMB presenta l'intera linea come pensata per l'on-device e con risorse limitate by design, e nulla nella scheda ti impone di adottare qualcosa di nuovo.

Il percorso operativo di Dory è quello interessante, e non è ancora concluso. Il supporto vLLM è in fase di revisione nella pull request 60149; finché non viene mergiata, la scheda ti dice di installare vLLM da quel branch con il flag del kernel precompilato attivo, e poi di avviarlo con degli override che configurano il numero di iterazioni ricorrenti e la modalità della KV-cache. Il supporto llama.cpp è nella pull request 30306, con una revisione pinnata anziché l'head in movimento, e istruzioni di build mirate ad ARM64 macOS nativo su Apple Silicon. Le uniche cifre di velocità di Dory pubblicate da N​VIDIA sono speedup di quantizzazione su una DGX Spark — 1,69× e 1,84× per MXFP8 rispetto a BF16 a seconda del mix di input/output, 2,17× e 2,44× per NVFP4 — non numeri di throughput. Non esiste alcun endpoint ospitato per Dory in nessun luogo che possiamo verificare.

L'unico elemento di ingegneria davvero nuovo sul fronte Dory è il design della memoria, ed è l'affermazione che merita più di ogni altra di essere verificata prima di impegnarsi. Il loop ricorrente standard mantiene una cache KV separata per ogni loop, quindi la memoria cresce a ogni passaggio aggiunto. Dory supporta una modalità di KV caching dell'ultimo loop che mantiene un'unica cache per ogni layer di attenzione ricorrente e la sovrascrive a ogni passaggio, mantenendo l'occupazione all'incirca pari a quella di un singolo loop, indipendentemente dal numero di loop eseguiti. N​VIDIA afferma che l'accuratezza resta vicina a quella della modalità per-loop con lunghezze di output quasi invariate. Se ciò regge, la profondità elastica è una capacità reale; se l'accuratezza si discosta, la funzione costa più di quanto la scheda lasci intendere. Nessuno al di fuori di N​VIDIA ha verificato.

Dove un router si ripaga — e dove no

MiniCPM5-2B non è nel catalogo di OrcaRouter, e nemmeno N​VIDIA N​emotron Labs Dory 1.0 4B. Dory non ha alcun endpoint ospitato da nessuna parte che possiamo confermare; MiniCPM5-2B è un modello on-device la cui scheda è scritta per il deployment locale, non per una piattaforma di inferenza. Dirlo chiaramente conta più che trovare un angolo, perché l'effetto pratico è che entrambe le parti di questo confronto girano su hardware di tua proprietà.

È allora che la baseline ospitata diventa la parte scomoda dell'esperimento. La maggior parte dei team che valuta un modello 2B o 4B non lo sta valutando nel vuoto — si sta chiedendo se può sostituire una chiamata ospitata a una frazione del costo e a una frazione della capacità, e rispondere a questa domanda significa eseguire il modello ospitato sullo stesso set di attività. Una singola chiave OrcaRouter raggiunge quei modelli ospitati al prezzo di listino del provider con uno 0% di ricarico, senza un secondo contratto e senza un secondo SDK, quindi il confronto non ha bisogno di una propria procedura di acquisto. Il failover automatico conta per un motivo diverso qui: una lunga valutazione locale su una singola GPU verrà interrotta, e avere il percorso di fallback già collegato dietro lo stesso endpoint mantiene viva l'esecuzione. Il DSL di routing consente a un endpoint locale e a uno ospitato di condividere un unico punto di chiamata, così le due metà di un deployment ibrido non divergono in due codebase. Niente di tutto ciò sceglie un vincitore tra Dory e MiniCPM5-2B. Rende economico escludere il perdente.

Il verdetto

Scegli MiniCPM5-2B se l'attrito nel deployment conta più dei punteggi agentici di picco. È Apache 2.0, grande la metà, bilingue, con architettura standard, e circondato da quantizzazioni, compresi runtime mobili. Se il tuo team deve rilasciare questo mese e l'alternativa è lottare con una build del kernel, il 2.5B vince solo sulla logistica — e i suoi risultati riportati su τ²-Bench e GAIA suggeriscono che non rinuncia a molto nei task di uso degli strumenti per cui i modelli piccoli vengono effettivamente impiegati.

Scegli N​VIDIA N​emotron Labs Dory 1.0 4B se quello che cerchi non è un modello ma un esperimento: un singolo checkpoint che aumenta la propria accuratezza con il compute di inferenza, una finestra da 256K con un design di caching pensato per renderla sostenibile, e una licenza che consente la distribuzione commerciale. Sappi fin da subito che dovrai costruire il tuo motore di serving a partire da un branch, che ogni numero pubblicato è quello del fornitore, ottenuto con la sua harness e con il numero di ripetizioni indicato in una nota a piè di pagina, e che i contatori dei download sono ancora a zero. Il lato positivo è che saresti tra le prime persone fuori da N​VIDIA a testare un modo davvero diverso di spendere compute su un modello piccolo. Il costo è che faresti il lavoro di verifica al posto di N​VIDIA.

La cosa che cambierebbe più rapidamente questo confronto non è un benchmark. È vLLM e llama.cpp che uniscono le loro pull request di Dory. Nel momento in cui Dory si carica da un binario rilasciato, l'argomento dell'attrito che attualmente favorisce MiniCPM5-2B in gran parte scompare, e i due modelli competono finalmente alle condizioni che le tabelle di benchmark implicano anziché alle condizioni imposte dal tuo sistema di build.

Niente di tutto ciò è ipotetico: i fallimenti documentati dell'IA e gli incidenti degli agenti alla base di rilasci come questo sono raccolti in l'OrcaRouter AI Incident Archive, dove ogni voce riporta le proprie fonti, la gravità, il grado di confidenza e il flag di contestazione.