Carte intitulée MiniCPM5-15B-A2.5B, sous-titrée « Portée par quatre environnements d’exécution, mais que personne ne peut télécharger », avec des cartes cochées pour SGLang, llama.cpp, OpenVINO et InfiniLM à côté d’une carte « Aucun dépôt », et des badges indiquant « 15B au total », « A2.5B actifs » et « le brouillon DSpark existe »
Engineering & Research

MiniCPM5-15B-A2.5B : porté par quatre runtimes, téléchargeable par personne

Auteur

Gideon Frost

Date de publication

Derniers modèles · 20Voir tous les modèles →
Benchmarks : Artificial Analysis · mis à jour quotidiennement
Retour à tous les articles

Le 2026-11-16, une pull request est apparue dans llama.cpp, intitulée « xcy/models: add MiniCPM5 MoE inference support ». C'est un travail soigné — une nouvelle entrée d'architecture, un chemin de conversion, des tests — et elle comportait une ligne dans sa section de validation sur laquelle un mainteneur s'est arrêté : l'auteur l'avait exécutée sur des « GGUFs MiniCPM5-15B-A2.5B préexistants » sur un H800. CISC a posé la question évidente. Pas encore public, pour autant que je sache ? tc-mb, dont le profil GitHub indique qu'il est membre des projets MiniCPM-V et MiniCPM-o, a répondu en un mot : « ok ». La pull request a été fermée sans être fusionnée deux jours plus tard, et le modèle auquel appartiennent ces GGUFs — MiniCPM5-15B-A2.5B, l'entrée en mixture-of-experts clairsemé de la gamme MiniCPM5 d'OpenBMB — n'a toujours ni dépôt, ni fiche modèle, ni fichier de licence, ni annonce que nous ayons pu trouver nulle part.

Voici donc un point sur ce que nous savons à ce jour, et la forme des preuves compte plus que d’habitude. Il n’y a pas de page produit à consulter ni de benchmark fournisseur à contester. Ce qui existe, c’est un ensemble de correctifs moteur issus de quatre piles d’inférence distinctes, écrits par des personnes qui avaient le checkpoint sous les yeux, ainsi que leurs journaux de test. Cela suffit pour décrire l’architecture de MiniCPM5 MoE assez précisément et pour dire honnêtement à quel point le support est mature. Cela ne suffit pas pour vous dire quels sont les scores du modèle, ce qu’il coûte, ni quand vous pourrez l’exécuter.

Ce que le nom est autorisé à vous dire

Le nom du checkpoint est la seule fiche technique que quiconque en dehors de ModelBest ait publiée. MiniCPM5-15B-A2.5B se lit comme 15B paramètres au total avec 2,5B actifs par token — la convention total-et-actif qu’utilise chaque MoE clairsemé de cette classe de taille depuis Mixtral. Rien dans aucun patch ne le contredit, et les notes de test du port SGLang lui-même font référence à « la configuration d’origine du checkpoint 15B » qui se résout sans modification, ce qui est cohérent.

Tout ce qui suit relève de la conjecture, et il vaut la peine d’être franc sur le pourquoi. Le correctif SGLang ajoute une classe MiniCPM5Config dont les valeurs par défaut indiquent 32 couches, 4 096 dimensions cachées, 32 têtes, 64 experts routés, 2 experts partagés et un FFN d’expert de 1 407 de large. Ce sont des valeurs par défaut de classe héritées d’un gabarit GLM-4, et non les valeurs du checkpoint — le même fichier utilise par défaut un vocabulaire de 32 000 tokens, avec lequel aucun modèle proche de la frontière en 2026 n’a été livré. Ne les lisez pas comme des spécifications. Le seul nombre qui semble pouvoir être réel est le facteur d’échelle de routage de 3,66, qui apparaît dans le test d’architecture llama.cpp et dans la fixture de test de conversion ; une fixture reste une fixture, alors traitez 3,66 comme « le nombre autour duquel les tests ont été écrits » plutôt que comme une constante confirmée.

Architecture, telle qu'elle ressort de quatre correctifs

Quatre ports indépendants convergent vers la même description, ce qui est le plus rassurant dans cette fuite. Le patch SGLang est le plus explicite : le modèle « suit GLM-4.5 MoE, avec trois différences » — une attention à portes, des embeddings rotatifs complets sans normalisation q/k, et un routeur calculé dans le dtype propre au modèle plutôt que converti en précision supérieure.

• Attention avec portes — la projection de requête émet une porte sigmoïde par tête en même temps que la requête, entrelacée dans les lignes de chaque tête. La conversion llama.cpp doit les séparer tenseur par tenseur, c'est pourquoi les deux ports le signalent.

• Une entrée dense, puis les experts — les premières first_k_dense_replace couches sont des FFN ordinaires ; seules les couches suivantes effectuent le routage. Les notes de correctif du fork de tc-mb indiquent que ni l'architecture existante qwen35moe ni minicpm ne modélisent cette forme, ce qui explique pourquoi MiniCPM5 MoE a nécessité sa propre entrée d'architecture plutôt qu'un simple indicateur sur une architecture existante.

• Experts routés et partagés — gating sigmoïde, poids top-k normalisés, et une branche d’experts partagés aux côtés des experts routés. llama.cpp lit un biais de correction du routeur FP32 (e_score_correction_bias) par couche MoE, le même terme de biais que les routeurs de style DeepSeek utilisent pour maintenir l’équilibre de charge des experts.

• Rotary complet, sans normalisation q/k — un RoPE simple sur la dimension de tête, la conversion préservant explicitement la dimension de tête plutôt que de la déduire de la taille cachée divisée par le nombre de têtes.

optimum-intel pull request #2133 showing an optimum-cli export openvino command that names openbmb/MiniCPM5-15B-A2.5B as its input, followed by a WWB text-similarity table

DSpark est la seconde moitié de l’histoire, et c’est la raison pour laquelle cette fuite est intéressante plutôt que simplement bien ordonnée. DSpark est le décodage spéculatif avec un modèle brouillon entraîné — le même algorithme qu’OpenBMB a déjà livré pour MiniCPM5-2B et MiniCPM-V 4.7 — et les deux correctifs SGLang et llama.cpp ajoutent MiniCPM5 MoE comme DSpark cible. Un checkpoint brouillon distinct nommé MiniCPM5-15B-A2.5B-DSpark est référencé dans l’exemple de documentation llama.cpp, ce qui signifie que le brouillon existe lui aussi, dans n’importe quel stockage privé où réside la cible.

Quatre moteurs, un checkpoint non publié

La chronologie est ce qui rend le sujet digne d’être écrit. Normalement, les ports ne précèdent pas une version d’aussi loin, et ce sur autant de stacks :

• 2026-09-17 — Les correctifs Megatron-LM sur un fork MUSA activent la gestion du facteur de capacité MoE et le routage sans perte par défaut pour « minicpm5 ». Côté entraînement, et la trace la plus ancienne que nous ayons trouvée.

• 2026-10-14 — InfiniLM d'InfiniTensor publie un correctif activant MiniCPM5 MoE sur le backend Denglin QY avec FlashAttention et des noyaux MoE/RoPE pour contexte long ; un suivi du 2026-11-12 ajoute la sûreté de capture des graphes CUDA et un chemin de décodage bf16.

• 2026-11-13 — le fork llama.cpp-omni de tc-mb ajoute l'architecture MiniCPM5 MoE, et un second correctif le même jour câble les régions d'experts dans le quantifieur. La section de vérification rapporte La capitale de la France est complétant en Paris. et 17×23 renvoyant 391.

• 2026-11-16 — la pull request en amont de llama.cpp. Fermée le 2026-11-18, non fusionnée, le chemin de conversion ayant été repoussé hors périmètre et réexaminé trois jours plus tard dans le fork.

• 2026-11-19 — SGLang ouvre un port à 09:39, le ferme, puis le rouvre à 10:19 sous une branche renommée. Le même matin, un ingénieur Intel ouvre un correctif optimum-intel dont le tout premier bloc de code est une commande d’export qui nomme openbmb/MiniCPM5-15B-A2.5B comme son entrée.

Scoreboard titled MiniCPM5-15B-A2.5B — what the patches measured, listing weights tested BF16 Q8_0 and Q4_K_M, drafts accepted on one H800 at TP=1, tokenizer match of 8 of 8 samples, CPU versus CUDA NMSE of 1.00e-06, OpenVINO int4 similarity of 0.8710, and no published benchmark score

Le dernier élément est ce qui s’approche le plus d’une preuve irréfutable. Le correctif optimum-intel ne décrit pas un modèle hypothétique — il exécute optimum-cli export openvino -m openbmb/MiniCPM5-15B-A2.5B --weight-format int4 et rapporte la précision par rapport à l’original. Celui qui l’a rédigé disposait des poids. Le chemin du Hub qu’il indique ne renvoie rien à une requête anonyme, et le README MiniCPM d’OpenBMB lui-même liste toujours 2026-09-07 et le 2B comme dernière version publiée, sans aucune entrée MoE dans son tableau des modèles.

Ce que les journaux de test montrent réellement

C’est la partie à lire lentement, car les chiffres dans ces correctifs sont des contrôles d’ingénierie, pas des benchmarks, et deux d’entre eux sont des échecs.

L'exécution de llama.cpp est la plus étendue. Les poids BF16, Q8_0 et Q4_K_M ont tous produit et accepté des jetons de brouillon DSpark sur un H800 avec le brouillon à --spec-draft-n-max 2. Huit échantillons de tokenizer correspondaient exactement au tokenizer Hugging Face. Le NMSE CPU contre CUDA sur le test d'architecture synthétique était de 1,00e-06. Et ensuite la réserve, dans les propres mots de l'auteur : le décodage glouton ordinaire et le décodage DSpark « présentaient des différences au niveau des jetons », la cause « n'a pas été entièrement caractérisée » et l'équivalence de sortie « n'est pas établie ». Il n'y a aucune exécution de parité des logits par rapport au checkpoint d'origine, aucune évaluation de qualité et aucun chiffre de performance. L'auteur déclare clairement qu'aucune affirmation d'accélération n'est faite.

L'exécution SGLang est plus informative parce qu'elle isole une variable. Avec l'attention Triton, DSpark a exécuté 93 étapes de vérification sur quatre générations de 64 tokens et a divergé du décodage ordinaire sur chaque prompt. Avec l'attention FA3, le même checkpoint 15B et le même draft ont produit des ID de tokens greedy identiques sur les quatre. La divergence Triton reste non résolue dans le patch tel qu'il est écrit. Il faut le lire pour ce que c'est : une différence de chemin de kernel que quelqu'un a trouvée et n'a pas encore expliquée, pas une affirmation sur le modèle.

Les chiffres OpenVINO sont le seul signal quantitatif de qualité de tout l’ensemble, et ils sont modestes. Par rapport au modèle d’origine en FP32 sur 26 prompts et 128 nouveaux tokens, le score de similarité textuelle WWB était de 0,9934 pour bf16 sur CPU, de 0,9455 pour int8 et de 0,8710 pour int4 avec le backend GenAI SDPA ; sur un GPU B70, de 0,9498 pour int8 et de 0,8646 pour int4. Une conversion int4 qui atteint 0,87 est un résultat de fidélité de conversion — cela indique que le graphe quantifié s’écarte de la référence, pas que la référence est bonne. Personne n’a publié de score de benchmark pour MiniCPM5-15B-A2.5B, et tant que personne ne le fait, il n’existe aucune base pour le qualifier de performant ou de faible.

llama.cpp pull request #32386 whose validation section begins Tested pre-existing MiniCPM5-15B-A2.5B GGUFs and lists Q8_0, Q4_K_M and DSpark results, with a Limitations note stating no speedup claim is made

Où il se situerait s’il est livré

La gamme MiniCPM5 d'OpenBMB est, pour l'instant, un plaidoyer pour la densité. Le 1B est sorti le 2026-05-19 et le 2B le 2026-09-07, tous deux denses, tous deux sous Apache-2.0, tous deux conçus pour un déploiement sur appareil — le 2B est un simple LlamaForCausalLM sans noyaux personnalisés, ce qui explique précisément pourquoi il a été porté vers llama.cpp, MLX, ONNX et une demi-douzaine de chaînes d'outils NPU en quelques semaines. Un modèle frère de 15B au total et 2,5B actifs serait le premier MiniCPM5 à ne pas être un modèle de périphérie : le même budget actif que le 2B, environ six fois les poids stockés, et une couche de routage qui doit être bien servie pour valoir sa mémoire.

Cette façon de voir les choses explique aussi l’étrange configuration de cette fuite. Si MiniCPM5 MoE vise le serving plutôt que les smartphones, alors les portages du moteur ne sont pas un simple bonus livré après le lancement : ils sont un prérequis au lancement, et quelqu’un s’en occupe en amont. Le fait que le même compte GitHub ait ouvert à la fois les portages llama.cpp et SGLang, qu’un membre du projet MiniCPM intègre les patches du fork, et qu’un checkpoint draft existe déjà pour DSpark, tout cela pointe dans la même direction : il s’agit d’un modèle préparé pour une sortie par des personnes qui y ont accès, et non d’une rumeur assemblée à partir de changelogs.

Qu’est-ce qui changerait cette image ?

Trois choses, dans l’ordre de ce qu’elles permettraient de régler.

D'abord, un dépôt. Une page Hub ou ModelScope avec une config, une licence et une fiche ferait passer la majeure partie du paragraphe ci-dessus de l'inférence au fait, et donnerait immédiatement aux valeurs par défaut de la config que j'ai signalées quelque chose à quoi les confronter.

Deuxièmement, un benchmark de source primaire. La fiche du MiniCPM5-2B affichait une moyenne de suite de 53,9 et des cellules par tâche pour LiveCodeBench, AIME et SWE-bench ; un 15B-A2.5B sans tableau équivalent est un modèle dont toute la proposition de valeur reste non mesurée. Une entrée Artificial Analysis ferait l'affaire, puisqu'elle est indépendante du fournisseur.

Troisièmement, un portage fusionné. Chaque correctif décrit ici est soit fermé, soit en brouillon, soit présent sur un fork privé. Une prise en charge qui n’existe que dans une pull request non fusionnée est une prise en charge que vous ne pouvez pas installer, et — comme le montre la divergence entre Triton et FA3 — la correction sur cette architecture est encore en cours d’établissement noyau par noyau.

La conséquence pratique pour un lecteur aujourd'hui est simple : rien à télécharger, rien à appeler, rien à migrer. Ce qu'un modèle comme celui-ci change lorsqu'il finit par arriver, c'est la décision de l'endroit où s'exécute une charge de travail, et cette décision est généralement prise sous pression temporelle avec des preuves incomplètes — ce qui est précisément la situation pour laquelle une couche de routage existe. OrcaRouter place plus de 200 modèles hébergés derrière une seule API au prix du fournisseur, sans marge ajoutée, de sorte que la comparaison que vous voudriez mener, ce checkpoint face à ce que vous appelez aujourd'hui, ne coûte rien à mettre en place dès que quelqu'un l'héberge ; le basculement automatique signifie qu'un modèle de première semaine n'a jamais à porter seul un chemin de production. Rien de tout cela n'exige que MiniCPM5-15B-A2.5B soit disponible, et nous ne le servons pas — c'est le filet de sécurité autour des modèles dont vous dépendez déjà, pendant qu'un modèle non publié fait ses preuves.

D’ici là, le résumé honnête est celui que le fil llama.cpp nous a donné : les GGUFs existent, et ils ne sont pas publics. Quatre runtimes ont déjà écrit le code pour les charger. Surveillez la page de l’organisation OpenBMB et les deux pull requests ouvertes, dans cet ordre — l’apparition d’un dépôt est le signal, et un portage fusionné est la confirmation que l’architecture est bien celle que ces patches décrivent.