NVIDIA Nemotron Labs Dory 1.0 4B vs MiniCPM5 2B : un runtime personnalisé face à un simple LlamaForCausalLM

La chose la plus utile à remarquer au sujet de NVIDIA Nemotron Labs Dory 1.0 4B et de MiniCPM5-2B n'est pas le tableau de benchmarks de l'un ou l'autre modèle — c'est ce qui figure à la première ligne de la section consacrée à l'architecture de MiniCPM5-2B. Sa fiche indique, sans détour, que l'architecture est un LlamaForCausalLM standard : 42 couches, une attention à requêtes groupées avec 16 têtes de requête et 2 têtes KV, aucun kernel personnalisé, aucune fork du code du modèle nécessaire. La fiche de Dory dit le contraire à tous égards pratiques. Son architecture est un réseau latent-récurrent bouclé dont le bloc de couches est appliqué un nombre variable de fois, et pour le servir aujourd'hui, vous installez vLLM à partir d'une pull request ouverte ou vous compilez llama.cpp à partir d'un commit épinglé. L'un de ces modèles s'intègre directement dans la pile que vous avez déjà. L'autre exige que vous changiez d'abord la pile. Cette différence décidera de plus de déploiements que n'importe quel score publié par l'un ou l'autre des fournisseurs.

Deux petits modèles, deux paris complètement différents

N​VIDIA N​emotron Labs Dory 1.0 4B est le modèle dense bouclé de 4B de N​VIDIA, publié sur Hugging Face en BF16, MXFP8, NVFP4 et Q5_K_M GGUF sous la licence OpenMDW 1.1, avec sa fiche portant la mention « GA (10/16/2026) ». Il est uniquement textuel et en anglais, prend en charge jusqu'à 256K tokens, et a consacré environ 6 000 milliards de tokens de pré-entraînement à une pile entraînée nativement en NVFP4 pendant les ~4,5 premiers T avant de passer en BF16, puis étendu au contexte long sur 300 milliards de tokens et finalisé par du SFT ainsi que de l'apprentissage par renforcement GRPO multi-environnements. Il a été publié sans la moindre annonce.

MiniCPM5-2B est le modèle dense de 2,5B d'OpenBMB — 2 516 756 480 paramètres au total, dont 1 981 982 720 non-embedding — sous Apache 2.0, avec une fenêtre de contexte de 131 072 jetons et un support bilingue anglais-chinois. C'est la deuxième entrée de la gamme MiniCPM5 après le 1B, conçue pour étendre ce que la fiche technique appelle la même recette d'entraînement, et elle est explicitement destinée à un déploiement sur appareil, en local et sur des ressources limitées. Le post-entraînement a comporté un ajustement supervisé, de l'apprentissage par renforcement et de la distillation on-policy. La fiche revendique l'état de l'art open source de la classe 2B avec une moyenne de 53,9 sur son ensemble de benchmarks.

Tous deux sont suffisamment petits pour tourner sur un seul accélérateur. Tous deux sont téléchargeables dès aujourd’hui. Tout ce qui suit diverge.

Le contraste, dimension par dimension

• Architecture — Dory 1.0 4B est un GPT normalisé latent-récurrent en boucle doté d'une alternance d'attention à fenêtre glissante et d'attention complète, d'un bloc d'entrée de 8 couches, d'un bloc récurrent de 20 couches et d'un bloc de sortie de 8 couches. MiniCPM5-2B est un transformeur causal dense classique, 42 couches, GQA 16 têtes pour 2 têtes KV, standard LlamaForCausalLM.

• Coût d’entrée du serving — c’est le point principal. MiniCPM5-2B n’a besoin ni de kernel personnalisé ni de moteur forké ; si votre stack exécute des modèles de type Llama, elle exécute celui-ci. Dory a besoin de vLLM construit à partir d’une pull request non fusionnée ou de llama.cpp construit à partir d’un commit épinglé, avec des surcharges d’exécution pour le nombre de boucles et le mode de cache KV.

• Paramètres — 4B denses contre 2,516B au total (1,98B hors embedding). Dory est environ 60 % plus grand, et son bloc récurrent est appliqué de façon répétée, de sorte que son calcul effectif par token à quatre boucles dépasse ce que laisse supposer le nombre de paramètres.

• Contexte — Dory atteint 256K tokens avec 262 144 positions validées dans vLLM. MiniCPM5-2B prend en charge 131 072. La fenêtre de Dory est double ; la question de savoir si vous voulez payer pour cela est la question du KV-cache abordée ci-dessous.

• Langues — Dory est uniquement en anglais, avec 43 langages de programmation dans son mélange de pré-entraînement. MiniCPM5-2B est bilingue anglais et chinois. Pour une charge de travail en chinois, cette dimension tranche la comparaison sans référence à aucune autre ligne.

• Licence — OpenMDW 1.1 pour Dory, Apache 2.0 pour MiniCPM5-2B. Les deux autorisent une utilisation commerciale ; Apache 2.0 est celle que la plupart des revues juridiques ont déjà approuvée.

• Souplesse de calcul — la profondeur de Dory est un paramètre d'exécution : une boucle pour la latence, deux comme valeur par défaut recommandée, quatre lorsque la précision agentique compte davantage, le tout à partir d'un seul point de contrôle. MiniCPM5-2B a une profondeur fixe, et son levier de performance est la quantification — la famille est livrée en versions GGUF, MLX, GPTQ et LiteRT, ainsi qu'un modèle draft DSpark pour le décodage spéculatif.

• Écosystème — MiniCPM5-2B est public depuis début septembre 2026 et compte plus d’un million de téléchargements ainsi qu’un éventail de versions quantifiées et dérivées. Les quatre dépôts de Dory ont été remplis du jour au lendemain et leurs compteurs de téléchargement étaient à zéro au moment de la rédaction.

Les nombres, et pourquoi vous ne devriez pas les soustraire

Les deux cartes publient des tableaux de benchmarks, et ces tableaux se recoupent sur suffisamment de tâches pour qu’une comparaison côte à côte soit possible. Cela vaut la peine de le faire avec soin, car une soustraction naïve serait trompeuse d’une manière spécifique et prévisible.

Lisez Dory à ses trois réglages de boucle par rapport à l'unique valeur rapportée de MiniCPM5-2B :

• SciCode — 27,3 / 34,94 / 35,11 contre 26,3. À deux boucles ou plus, Dory est en tête.

• SWE-bench Verified — 50,3 / 59,5 / 61,8 contre 46,4.

• Terminal-Bench 2.1 — 12,5 / 18,1 / 22,2 contre 8,6.

• GPQA Diamond — 69,19 / 72,41 / 72,16 contre 70,2. Même à une boucle, Dory est en principe derrière ; à trois boucles ou plus, elle prend légèrement l’avantage.

• HLE, texte uniquement — 8,25 / 10,89 / 10,43 contre 8,9.

• IFBench — 74,29 / 77,94 / 79 contre 66,3.

• AA-LCR — 63 / 71 / 73 contre 59,0.

Dory semble plus performant sur la plupart de ces points, parfois de beaucoup. Maintenant, la raison de ne pas croire à l'arithmétique : il s'agit de deux bancs d'essai différents qui mesurent deux ensembles d'invites différents, et aucun des deux fournisseurs n'a exécuté le modèle de l'autre. N​VIDIA a mesuré Dory sur NeMo Gym et le Nemo Evaluator SDK, avec des nombres de répétitions par benchmark que la fiche divulgue — SciCode huit fois, AA-LCR seize, plusieurs benchmarks exactement une fois. OpenBMB a mesuré MiniCPM5-2B sur sa propre configuration et a rapporté une moyenne unique de 53,9 sur l'ensemble de sa suite. Un écart de deux ou trois points entre ces deux configurations relève du bruit, pas d'un verdict. Rien dans l'une ou l'autre fiche ne constitue une reproduction indépendante, et aucun tiers n'a publié de comparaison directe de ces deux modèles.

Il y a une raison structurelle de s'attendre à ce que l'avantage apparent de Dory soit réel sur les tâches agentiques et qu'il s'évapore ailleurs. Sa fiche montre que le bouclage rapporte le plus sur SWE-bench et Terminal-Bench, et le moins sur le rappel de connaissances — AA-Omniscience ne varie quasiment pas selon le nombre de boucles. La force propre de MiniCPM5-2B est répartie différemment : il rapporte un 97,1 sur τ²-Bench Telecom et 88,7 sur GAIA Text-103, des résultats agentiques que la fiche de NVIDIA ne mesure pas sous une forme comparable. Si votre tâche consiste à utiliser des outils dans un domaine étroit, les chiffres de la fiche MiniCPM sont ceux à tester en premier, et aucun d'entre eux n'apparaît sur la fiche de Dory.

Notez aussi ce que les deux fiches s'abstiennent de comparer. MiniCPM5-2B se compare à Qwen3.5-4B à 51,1, à granite-4.2-3B à 42,7 et à LFM2.5-2.6B à 33,2 sur sa propre moyenne. Dory se compare à Qwen3.5-4B, Qwen3.5-9B, Gemma 4 26B A4B et Qwen3.6-35B-A3B. Le seul modèle sur lequel les deux fiches avancent un chiffre est Qwen3.5-4B, et elles l'évaluent différemment — ce qui en dit plus sur les harnais que sur Qwen.

Ce que chacun vous coûte à exploiter

L’histoire de fonctionnement de MiniCPM5-2B est la plus ennuyeuse qui soit, et « ennuyeuse » est ici un compliment. Architecture standard, aucun kernel personnalisé, un éventail de quantifications prêtes à l’emploi, et une famille qui inclut déjà des builds MLX pour Apple Silicon, GPTQ pour l’inférence GPU, LiteRT pour mobile et un modèle draft pour le décodage spéculatif. Un modèle de 2,5 B de type LLaMA avec un contexte de 128 K tient dans une mémoire modeste et tourne sur les moteurs que vous exécutez déjà. OpenBMB présente toute la gamme comme conçue pour l’appareil et limitée en ressources par conception, et rien dans la fiche ne vous oblige à adopter quoi que ce soit de nouveau.

L'histoire de l'exploitation de Dory est la plus intéressante, et elle n'est pas terminée. La prise en charge de vLLM est en cours de révision dans la pull request 60149 ; tant qu'elle n'est pas fusionnée, la fiche vous indique d'installer vLLM depuis cette branche avec l'option de noyaux précompilés activée, puis de lancer avec des surcharges configurant le nombre d'itérations de la boucle récurrente et le mode de cache KV. La prise en charge de llama.cpp se trouve dans la pull request 30306, avec une révision épinglée plutôt que la tête de branche mouvante, et des instructions de compilation ciblant macOS ARM64 natif sur Apple Silicon. Les seuls chiffres de vitesse de Dory publiés par NVIDIA sont des accélérations de quantification sur un DGX Spark — 1,69× et 1,84× pour MXFP8 par rapport à BF16 selon le mélange entrée/sortie, 2,17× et 2,44× pour NVFP4 — et non des chiffres de débit. Il n'existe nulle part de point de terminaison hébergé pour Dory que nous puissions vérifier.

La seule véritable innovation d'ingénierie du côté de Dory est la conception de la mémoire, et c'est l'affirmation qui mérite le plus d'être testée avant de vous engager. Le bouclage récurrent standard conserve un cache KV distinct par boucle, de sorte que la mémoire augmente à chaque passe ajoutée. Dory prend en charge un mode de mise en cache KV de dernière boucle qui ne conserve qu'un seul cache par couche d'attention récurrente et l'écrase à chaque passe, ce qui maintient l'empreinte à peu près à la taille d'une seule boucle, quel que soit le nombre de boucles exécutées. N​VIDIA affirme que la précision reste proche de celle du mode par boucle, avec des longueurs de sortie presque inchangées. Si cela tient, la profondeur élastique est une véritable capacité ; si la précision dérive, la fonctionnalité coûte plus que ce que la carte laisse entendre. Personne en dehors de N​VIDIA ne l'a vérifié.

Là où un routeur vaut son investissement — et là où il ne le vaut pas

MiniCPM5-2B ne figure pas au catalogue OrcaRouter, et N​VIDIA N​emotron Labs Dory 1.0 4B non plus. Dory n’a aucun point de terminaison hébergé que nous puissions confirmer ; MiniCPM5-2B est un modèle embarqué dont la fiche est rédigée pour un déploiement local, et non pour une plateforme d’inférence. Le dire sans détour importe davantage que de chercher un angle, car en pratique, les deux termes de cette comparaison s’exécutent sur du matériel que vous possédez.

C'est à ce moment-là que la référence hébergée devient la partie délicate de l'expérience. La plupart des équipes qui évaluent un modèle 2B ou 4B ne l'évaluent pas en vase clos — elles se demandent s'il peut remplacer un appel hébergé pour une fraction du coût et une fraction des capacités, et répondre à cette question implique d'exécuter le modèle hébergé sur le même ensemble de tâches. Une seule clé OrcaRouter donne accès à ces modèles hébergés au prix catalogue du fournisseur, avec 0 % de marge, sans second contrat ni second SDK, si bien que la comparaison n'a pas besoin de sa propre procédure d'achat. Le basculement automatique importe ici pour une autre raison : une longue évaluation locale sur un seul GPU finira par être interrompue, et le fait que le chemin de repli soit déjà câblé derrière le même point de terminaison permet de maintenir l'exécution en vie. Le DSL de routage permet à un point de terminaison local et à un point de terminaison hébergé de partager un même site d'appel, de sorte que les deux moitiés d'un déploiement hybride ne divergent pas en deux bases de code. Rien de tout cela ne départage Dory et MiniCPM5-2B. Cela permet simplement d'écarter le perdant à moindre coût.

Le verdict

Choisissez MiniCPM5-2B si la friction de déploiement compte plus que les scores agentiques de pointe. Il est sous Apache 2.0, de moitié plus petit, bilingue, à architecture standard, et entouré de quantifications, y compris des environnements d’exécution mobiles. Si votre équipe doit livrer ce mois-ci et que l’alternative consiste à se battre avec une compilation de noyau, le 2.5B l’emporte rien que sur le plan logistique — et ses résultats rapportés au τ²-Bench et à GAIA suggèrent qu’il ne sacrifie pas grand-chose sur les tâches d’utilisation d’outils pour lesquelles les petits modèles sont réellement déployés.

Choisissez N​VIDIA N​emotron Labs Dory 1.0 4B si ce que vous voulez n'est pas un modèle mais une expérience : un point de contrôle unique qui accroît sa propre précision à mesure que l'on augmente le calcul d'inférence, une fenêtre de 256K avec une conception de mise en cache destinée à rendre cela abordable, et une licence qui autorise le déploiement commercial. Lancez-vous en sachant que vous construirez votre moteur de service à partir d'une branche, que chaque chiffre publié est celui du fournisseur, obtenu sur le banc d'essai du fournisseur, avec les nombres de répétitions divulgués dans une note de bas de page, et que les compteurs de téléchargement sont encore à zéro. L'avantage, c'est que vous seriez parmi les premières personnes extérieures à N​VIDIA à tester une manière véritablement différente de consacrer de la puissance de calcul à un petit modèle. Le coût, c'est que vous feriez à sa place le travail de vérification de N​VIDIA.

Ce qui changerait le plus vite cette comparaison n'est pas un benchmark. C'est la fusion par vLLM et llama.cpp de leurs pull requests Dory. Dès que Dory se chargera depuis un binaire publié, l'argument de la friction, qui favorise actuellement MiniCPM5-2B, disparaîtra en grande partie, et les deux modèles se mesureront enfin selon les termes qu'impliquent les tableaux de benchmark plutôt que selon les termes qu'impose votre système de build.

Rien de tout cela n'est hypothétique : les défaillances documentées de l'IA et les incidents d'agents qui sous-tendent des versions comme celle-ci sont recueillis dans l'OrcaRouter AI Incident Archive, où chaque entrée est accompagnée de ses propres sources, de son niveau de gravité, de son degré de confiance et de son indicateur de contestation.