LFM3-1.7B vs MiniCPM5-2B : tester le tableau de scores 23 à 4 de Liquid

Le 27 octobre 2026, Liquid AI a publié un tableau comparatif de 27 lignes opposant LFM3-1.7B à MiniCPM5-2B. Le modèle de Liquid remporte 23 de ces lignes. MiniCPM5 en gagne quatre. Ce décompte a circulé rapidement, ce qui pose problème, car un nombre de victoires est l’élément le moins informatif que l’on puisse extraire d’un tableau où un fournisseur a choisi les benchmarks, écrit le harness et exécuté les deux modèles. Il s’agit d’un test de ce que ce 23–4 vous apprend réellement — et cela commence par un aveu : la comparaison à laquelle Liquid répond discrètement a été publiée sur ce blog un jour plus tôt, et celui-ci s’est abstenu de présenter exactement cet argument. Cet article comparait les deux checkpoints de base et concluait qu’aucun des deux ne disposait d’évaluations exploitables. Voici la version avec les poids post-entraînés des deux côtés.

MiniCPM5-2B est le modèle de raisonnement dense de 2,52 milliards de paramètres d’OpenBMB, livré début septembre 2026 sous Apache 2.0. LFM3-1.7B est le modèle textuel et agentique de 1,73 milliard de paramètres de Liquid AI, publié le 27 octobre 2026 sous la licence LFM Open License v1.0. Ils appartiennent à la même classe de taille, ils sont en concurrence pour le même créneau embarqué et ils ont été conçus pour des usages visiblement différents.

Deux fournisseurs, deux harnais, une table

Le décompte de 23–4 n’existe que parce que Liquid a refait passer le test à son concurrent. C’est une chose légitime et inhabituellement rigoureuse à faire pour un lancement — la plupart des fournisseurs se comparent à un chiffre de classement public et laissent le dispositif implicite. Mais refaire passer un concurrent dans son propre banc d’essai ne produit pas un résultat neutre, et le signe qui ne trompe pas se trouve dans les lignes où le même benchmark apparaît sur les fiches des deux fournisseurs.

Prenons BFCL V4. Liquid mesure MiniCPM5-2B à 62,65. La propre fiche d’OpenBMB indique 66,6. Prenons Humanity's Last Exam : Liquid obtient 8,20 pour MiniCPM5, OpenBMB revendique 8,9. Ces écarts sont faibles — dans une fourchette de quatre points sur une échelle de 0 à 100 — et ils suggèrent que la différence de harnais est modeste sur les benchmarks standardisés. Prenons maintenant SWE-bench Verified, où OpenBMB indique 46,4 pour MiniCPM5-2B et Liquid indique 43,40 pour LFM3-1.7B. Mettez ces deux nombres côte à côte et MiniCPM5 gagne. Placez la propre ligne MiniCPM5 de Liquid à côté de la propre ligne LFM3 de Liquid et LFM3 gagne. Même benchmark, mêmes deux modèles, réponse opposée, parce que les nombres provenaient de harnais différents.

Voilà tout le problème en un seul exemple. Aucun des deux fournisseurs n'a publié la configuration de son harnais, sa politique de nouvelles tentatives ni l'échafaudage de ses prompts. Tant que personne n'aura fait tourner les deux modèles dans un même harnais qu'il ne contrôle pas, chaque ligne inter-fournisseurs de cette comparaison est un pile ou face déguisé en mesure.

Lorsque l'écart est trop important pour n'être que du bruit du banc d'essai

Certaines lignes ne peuvent pas être écartées d’un revers de main. La navigation web agentique est la plus évidente :

• WebArena-Verified — LFM3-1.7B 38,42 vs MiniCPM5-2B 9,11 sur le banc d’évaluation de Liquid.

• AutomationBench — 41,29 contre 4,71.

• RULER 128K — 65,56 contre 37,96.

• BFCL V4 — 71,39 contre 62,65.

Un écart de quatre points relève de l’échafaudage. Un écart de vingt-neuf points sur WebArena-Verified, ou de trente-sept points sur AutomationBench, n’en relève pas. Ce sont des différences quant à la capacité du modèle à maintenir un plan à plusieurs étapes de bout en bout, et elles concordent avec ce que chaque fournisseur dit de lui-même : Liquid a construit LFM3 autour d’un mi-entraînement agentique avec des traces d’appels d’outils, et la documentation d’OpenBMB elle-même signale MiniCPM5 comme faible sur les tâches longues à plusieurs étapes et sujet à la répétition. Deux descriptions indépendantes de la même faiblesse, venues de directions opposées, constituent la preuve la plus solide de toute cette comparaison.

La ligne consacrée au contexte long mérite une attention particulière, car c’est celle que les gens vont mal interpréter. RULER 128K à 37,96 pour MiniCPM5 est un score de récupération à 128K, et non l’indication que le modèle plafonne à 128K — MiniCPM5-2B prend officiellement en charge 131 072 tokens. Cela signifie qu’à cette longueur, MiniCPM5 trouve moins de ce que vous lui demandez de trouver. LFM3 obtient 65,56 à la même longueur. Si votre charge de travail consiste à « rechercher dans un long document et répondre », cet écart est ce qui détermine toute la décision.

Les quatre lignes que MiniCPM5 remporte — et pourquoi elles comptent

Le tableau de Liquid attribue quatre victoires à MiniCPM5-2B : τ³-bench à 69,44 contre 68,01, GPQA Diamond à 65,15 contre 63,37, HLE à 8,20 contre 7,17, et AA-Omniscience à 9,13 contre 7,07. Trois des quatre sont des benchmarks de connaissances. Les écarts sont d’un à deux points, ce qui se situe dans le plancher de bruit de la plupart des suites d’évaluation.

Mais le schéma est cohérent avec la conception de MiniCPM5. OpenBMB l’a entraîné comme modèle de raisonnement doté d’un mode de réflexion explicite, selon un enchaînement qui a consisté en un SFT de réflexion approfondie sur 400 milliards de tokens, puis en un apprentissage par renforcement avec des enseignants spécialisés, avant une distillation on-policy vers un unique checkpoint dense. C’est une recette qui vise à tirer davantage des connaissances stockées par paramètre. L’entraînement de LFM3, lui, vise les appels d’outils et le respect des instructions. Que MiniCPM5 l’emporte sur GPQA Diamond avec 1,8 point d’avance n’a rien de surprenant ; c’est la manifestation des deux philosophies d’entraînement là où on s’y attendrait.

La comparaison bien plus intéressante est celle que le tableau de Liquid ne peut pas faire. MiniCPM5-2B a un indice d’intelligence Artificial Analysis de 12. LFM3-1.7B, en date du 28 octobre 2026, n’a aucune fiche Artificial Analysis — aucun indice, aucune vitesse mesurée indépendamment, aucun chiffre de latence neutre. Ainsi, le modèle qui perd 23 lignes sur 27 est celui qui dispose d’un point de données indépendant, et le modèle qui les gagne est celui qui demande à être cru sur parole. Cette asymétrie devrait peser plus lourd que le nombre de victoires.

Les spécifications qui se comparent vraiment proprement

Là où aucun des deux fournisseurs n’exécute le benchmark de l’autre, les chiffres sont ennuyeux et fiables :

• Paramètres — LFM3-1.7B 1,73 B dense contre MiniCPM5-2B 2,52 B au total, 1,98 B hors embeddings.

• Couches — 24 hybrides (13 à convolution, 5 à fenêtre glissante, 6 globales) contre 42 couches de transformer standard avec attention à requêtes groupées à 16 têtes de requête et 2 têtes KV.

• Contexte — 256K vs 131,072.

• Cache KV à 128K — 1,6 Go vs 5,6 Go, selon les mesures de Liquid pour les deux.

• Empreinte en 4 bits — environ 1 Go contre environ 1,1 Go selon les retours d'expérience.

• Vocabulaire — 128K vs 130,560.

• Licence — LFM Open License v1.0, gratuite en dessous de 10 M$ de chiffre d’affaires, contrairement à Apache 2.0, sans seuil.

La ligne du cache KV est celle qui détermine le matériel. Une différence de 3,5× à longueur de contexte égale, c’est la différence entre un agent à long contexte qui tient sur un téléphone et un autre qui n’y tient pas. Cela explique aussi pourquoi LFM3 peut proposer 256K là où MiniCPM5 propose 131K : le mélange de couches tri-hybride coûte moins cher par token de contexte, ce qui est tout l’intérêt de l’avoir conçu.

La différence de licence compte davantage que la différence de mémoire pour certaines équipes. Apache 2.0 n’a aucun seuil de revenus, aucun accord commercial à négocier et aucune ambiguïté quant à la redistribution. La LFM Open License est gratuite en dessous de 10 millions de dollars de chiffre d’affaires annuel et exige une discussion au-delà. Une startup sous ce seuil obtient les deux gratuitement. Une entreprise au-dessus obtient l’une gratuitement et l’autre après un appel téléphonique, et c’est un véritable coût d’approvisionnement, quel que soit le modèle qui obtient le meilleur score.

Le soutien de l’écosystème est le domaine où MiniCPM5 reste encore en tête.

Les deux familles ont bénéficié d’une large prise en charge des environnements d’exécution dès le premier jour, ce qui rend cet écart plus réduit qu’il y a un an. LFM3 répertorie vLLM, SGLang, Transformers, llama.cpp, MLX, ONNX, Ollama et LM Studio, avec des versions BF16, FP8, NVFP4, GGUF, MLX et ONNX. MiniCPM5-2B répertorie les mêmes environnements d’exécution, plus GPTQ et DSpark, un modèle draft de décodage spéculatif qui s’associe au checkpoint principal.

La différence pratique tient à la maturité plutôt qu’à la disponibilité. MiniCPM5-2B est téléchargeable depuis début septembre, ce qui représente sept semaines de rapports de bogues communautaires, d’expérimentations de quantification et de correctifs de frameworks dont LFM3 n’a pas bénéficié. Un modèle publié hier présentera encore des imperfections dans sa conversion GGUF et son empaquetage Ollama. Ce n’est pas une critique de Liquid ; c’est à quoi ressemble le premier jour. Si vous avez besoin du modèle en production cette semaine, sept semaines où d’autres ont rencontré les problèmes avant vous, ça compte.

Comment décider, et où un routeur mérite sa place

Aucun des deux modèles ne figure au catalogue OrcaRouter — ce sont tous deux des poids ouverts que vous exécutez vous-même, et nous préférons le dire clairement plutôt que de laisser entendre le contraire. Le routeur compte à la frontière. La manière honnête de mener cette évaluation est de placer les deux modèles derrière un même point de terminaison et de leur envoyer du trafic réel, et la manière honnête d’exploiter l’un ou l’autre en production est de ne pas laisser un modèle 2B être la seule chose capable de répondre.

Voilà à quoi sert le basculement automatique. Acheminez une requête vers LFM3-1.7B, laissez-le prendre en charge l’appel d’outil ou l’extraction pour laquelle il a été entraîné, et basculez vers un modèle hébergé lorsque la tâche s’avère nécessiter plus d’étapes qu’un modèle 2B ne peut en assumer. Comme OrcaRouter répercute le prix catalogue du fournisseur avec 0 % de marge, le chemin coûteux ne revient qu’à ce que le fournisseur facture lorsqu’il est réellement utilisé — l’économie réalisée en routant vers un petit modèle local n’est pas absorbée par le routeur. Le DSL de routage vous permet d’exprimer cela sous forme de règle plutôt que de réécriture : le spécialiste d’abord, le généraliste en cas d’échec ou selon un seuil de confiance.

La fusion de modèles est l’option sous-utilisée ici. Lorsque deux modèles 2B ne sont pas d’accord sur une classification, faire répondre les deux puis réconcilier leurs réponses est souvent moins coûteux que de passer à un modèle 27B, et le taux de désaccord est en soi un signal utile pour savoir quelles entrées sont difficiles. Avec un modèle non vérifié d’un côté de votre pipeline, ce type de vérification croisée coûte moins cher que de faire confiance à un tableau fournisseur.

Qu'est-ce qui réglerait ça

Dans trente jours, quelqu’un devrait publier LFM3-1.7B et MiniCPM5-2B via un même harnais, avec la configuration consignée aux côtés des résultats. Si LFM3 se maintient ne serait-ce qu’aux alentours de 38 sur WebArena-Verified et de 65 sur RULER 128K, le décompte de 23–4 aura été à peu près juste pour de mauvaises raisons, et l’écart agentique est réel. S’il chute vers les chiffres de MiniCPM5, alors le tableau de lancement mesurait l’échafaudage.

D’ici là, la position défendable est plus étroite que ne le laisse entendre le marketing de l’un ou l’autre fournisseur. Si votre charge de travail comporte plusieurs étapes, fait appel à des outils ou porte sur de longs documents, LFM3-1.7B est le meilleur pari, et son avantage en mémoire en fait le seul des deux à tenir sur du matériel contraint avec de la marge. Si votre charge de travail relève de la recherche de connaissances, du raisonnement en un seul tour, ou nécessite une licence sans ambiguïté et un modèle auquel est associé un score indépendant, MiniCPM5-2B est le choix le plus sûr, et les quatre lignes qu’il remporte pointent exactement dans cette direction. Le décompte de 23–4 n’est pas tant erroné qu’immérité — et le nombre de modèles dans un tableau de lancement n’est pas la même chose qu’un résultat.