MiniCPM-V 4.7 vs LFM3-VL-2B : le meilleur score de benchmark est le mauvais capteur

Liquid AI a placé MiniCPM-V 4.7 1B dans son propre tableau comparatif, puis l’a battu. Sur une suite de 62 benchmarks exécutée par Liquid, LFM3-VL-2B obtient en moyenne 71,4 avec le raisonnement activé et 62,1 sans ; MiniCPM-V 4.7 1B obtient en moyenne 57,5. Cela représente un écart de 13,9 points dans la catégorie des petits modèles, et c’est le chiffre sur lequel s’arrêtent la plupart des articles de comparaison. C’est aussi le chiffre le moins utile pour la décision, car les deux modèles ne sont pas en concurrence pour le même créneau. L’un est un modèle dense de 1,92 milliard de paramètres conçu pour être la réponse à lui seul. L’autre est la moitié peu coûteuse d’un système à deux modèles dont la moitié coûteuse est un mélange d’experts de 35 milliards de paramètres.

The version of this matchup that matters depends on which MiniCPM-V 4.7 you mean. The 1B is a 1.55-billion-parameter dense model that fits in a 672 MB Q4_K_M file — 641 MiB, which is where the 641 MB on the cards comes from. The 35B-A3B is 35.2 billion stored parameters with roughly 3 billion active per token, and it is not in Liquid's table at all. LFM3-VL-2B sits between them and is, on Liquid's own numbers, a better general vision model than the small MiniCPM and a much weaker one than the large MiniCPM. Everything below is about which of those facts should decide your architecture.

Trois niveaux se faisant passer pour deux modèles

LFM3-VL-2B est un artefact. Il s’agit de 1,92 milliard de paramètres composés d’une base linguistique de 1,73 Md, d’un encodeur visuel interne de 164 M et d’un projecteur de 25 M, avec un contexte de 128 K tokens, une vidéo échantillonnée à deux images par seconde, et un seul ensemble de poids qui effectue la détection, l’OCR, les graphiques et la description. Liquid a annoncé la famille LFM3 le 27 octobre 2026 ; le dépôt LFM3-VL-2B a été mis en ligne le 19 octobre.

MiniCPM-V 4.7 se compose de deux artefacts partageant une tour de vision. Le 1B est un squelette dense {{KEEP}}qwen3_5_text{{/KEEP}} de 24 couches, avec un contexte de 262 144 jetons et trois couches d’attention linéaire pour chaque couche d’attention complète. Le 35B-A3B est un modèle sparse à 256 experts qui route huit experts par jeton, conserve le même contexte de 262 144 jetons, et existe parce qu’OpenBMB voulait un grand modèle capable de diffuser les experts depuis le stockage plutôt que de les garder en mémoire. Les deux sont sous Apache-2.0. Les poids sont apparus les 6 et 7 octobre 2026, la fiche modèle a suivi le 12 octobre, et ModelBest a publié un communiqué de presse en anglais le 15 octobre.

La formulation honnête n’est donc pas « 2B contre 1B ». C’est « un seul modèle qui doit tout faire » face à « une famille où l’on choisit la taille de modèle que mérite chaque question ». Si votre pipeline pose une question par image, la configuration LFM3-VL-2B est plus simple et, dans le bas de gamme, plus solide. Si votre pipeline pose dix mille questions peu coûteuses et une seule coûteuse, la configuration MiniCPM est moins chère par construction.

Ce que dit la table de Liquid elle-même, et ce qu’il en coûte de la lire

La suite de 62 benchmarks est celle de Liquid, exécutée sur vLLM 0.27.1, normalisée sur une échelle de 0 à 100, avec le mode raisonnement activé pour chaque modèle, sauf les lignes indiquées autrement. Qu’un fournisseur benchmarke un rival est normal et vaut la peine d’être lu, mais le harnais est celui du fournisseur, l’ensemble des prompts est celui du fournisseur, et l’agrégat est celui du fournisseur. Considérez les lignes comme des affirmations.

• MMMU — LFM3-VL-2B 55.7 with thinking and 48.6 without, against 51.0 for MiniCPM-V 4.7 1B in the same column set. OpenBMB's own page reports no MMMU for the 1B, so this row exists only in Liquid's run.

• OCRBench v1 — LFM3-VL-2B 86.3 against 82.1 for MiniCPM-V 4.7 1B inside Liquid's table. OpenBMB reports 86.1 for its own 1B, which is a 4-point spread on the same named benchmark and a fair illustration of what a different harness does to a number.

• MathVista (mini) — 84.2 with thinking and 68.5 without for LFM3-VL-2B, against 71.2 for MiniCPM-V 4.7 1B in the same table. OpenBMB's page says 74.3 for that model.

• CharXiv reasoning — 70.2 for LFM3-VL-2B against 44.5 for MiniCPM-V 4.7 1B. OpenBMB's page claims 48.8 for the same model, so even the direction of the gap is harness-dependent.

• LongVideoBench — 53.4 for MiniCPM-V 4.7 1B on OpenBMB's page. Liquid's table carries no LongVideoBench row at all, so there is nothing to compare it with.

Le schéma est cohérent : avec le raisonnement activé, le modèle dense 2B est meilleur en raisonnement visuel multi-étapes et en interprétation de graphiques, et à peu près au même niveau en OCR simple. Avec le raisonnement désactivé, l’écart tombe à environ 4,6 points, ce qui indique que l’essentiel de l’avantage s’obtient avec des tokens de test-time plutôt qu’avec des paramètres. Cela compte davantage pour la latence que pour la qualité, et la latence est l’axe que cette comparaison ignore généralement.

Le test indépendant qui inverse le classement

Fin octobre, WebBrain a publié un benchmark de captures d’écran de navigateur portant sur 100 cas, exécuté entièrement hors ligne en Q4_K_M GGUF sur deux cartes RTX 5060 Ti, avec un ensemble figé de captures d’écran, un prompt de production et une grille d’évaluation déterministe. MiniCPM-V 4.7 1B a obtenu 37 réussites strictes sur 100 et un score moyen à la grille d’évaluation de 68,2 % à 1,30 seconde par capture d’écran. LFM3-VLD-2B — une variante sœur du modèle Liquid, et non le checkpoint exact LFM3-VL-2B — a obtenu 4 réussites strictes et 44,7 % à 2,20 secondes.

La mise en garde est importante et joue dans les deux sens. Avec l’expression régulière stricte des titres numérotés, MiniCPM a obtenu zéro réussite parce qu’il a écrit les titres de section sous forme de libellés textuels au lieu de chiffres. Le chiffre de 37 réussites provient d’une réévaluation des mêmes sorties par nom de section. Il s’agit d’un véritable échec de formatage et, si votre analyseur en aval attend des titres numérotés, il est rédhibitoire. Mais le score de contenu n’est pas serré : 68,2 contre 44,7, à 60 % de la latence, sur une tâche — lire une fenêtre d’affichage dense de navigateur — qui est bien plus proche de la production qu’un benchmark de graphiques.

Il s’agit de la seule évaluation indépendante dont dispose chacun des deux modèles dans cette catégorie ; c’est un seul banc d’essai sur une seule paire de GPU, et le modèle Liquid testé est la variante VLD. Elle reste plus informative que l’agrégat de 62 benchmarks, car elle mesure ce que l’on fait réellement avec un petit modèle de vision : regarder un écran et répondre rapidement à une question fixe.

La licence, décideuse silencieuse

MiniCPM-V 4.7 est distribué sous Apache-2.0, sans condition de chiffre d'affaires. LFM3-VL-2B est distribué sous la LFM Open License v1.0, que Liquid décrit comme gratuite pour un usage commercial en dessous de 10 millions de dollars de chiffre d'affaires annuel. Au-delà de ce seuil, les conditions changent et il faut les lire.

Pour un projet personnel, la différence reste théorique. Pour un produit, c’est la première chose qu’un juriste demandera, et c’est la seule ligne de n’importe quel tableau comparatif qu’aucun benchmark ne peut invalider. Un modèle qui est quatre points meilleur en raisonnement sur les graphiques et qui comporte un déclencheur lié au chiffre d’affaires n’est pas automatiquement la meilleure dépendance. C’est aussi là que le choix d’Apache-2.0 sur les deux tailles de MiniCPM-V 4.7 fait plus d’effet que les chiffres des benchmarks : cela évite une discussion.

Cadence : le nombre qu’aucun des deux tableaux ne rapporte

Le moniteur de chat esp32-eye est l’exemple public le plus clair de l’utilisation réelle du MiniCPM 1B. Il fonctionne comme un GGUF Q4_K_M derrière llama-server sur un MacBook et n’est appelé au maximum qu’une fois toutes les 1,5 seconde, conditionné par une vérification de différence d’arrière-plan afin que la plupart des images ne lui parviennent jamais. La même version a jugé le 1B peu fiable pour distinguer quatre chats similaires et a transféré l’identification au 35B plutôt que de livrer une supposition.

C’est le profil de déploiement que les tableaux de référence ne reflètent pas. Un modèle que vous appelez toutes les 1,5 secondes doit être assez petit pour rester résident, assez rapide pour que la réponse arrive avant l’image suivante, et assez permissif pour que vous puissiez le mettre en production. Le 1B satisfait aux trois critères. Le LFM3-VL-2B fait 1,25 Go en Q4 et 2,2 secondes par capture d’écran dans le test indépendant, ce qui convient à un pipeline image par image et est trop lent pour un contrôle toutes les 1,5 secondes sur le même matériel.

Si vous voulez un point de terminaison hébergé plutôt qu’un fichier local, aucun des deux modèles ne figure aujourd’hui au catalogue d’OrcaRouter ; la réponse honnête est donc que le 1B tourne là où vous le placez et que le 35B tourne sur l’API propre à OpenBMB. Ce qu’un routeur propose, c’est l’architecture autour : une seule clé pour plus de 200 modèles, 0 % de marge sur les prix catalogue des fournisseurs, et un basculement automatique, qui permet de maintenir en vie un pipeline à deux modèles lorsque le segment coûteux est un unique point de terminaison externe. Cela ne transforme pas un modèle non hébergé en modèle hébergé, et il vaut la peine de le dire clairement.

Lequel choisir

Si vous construisez un pipeline d’images mono-modèle et que vous voulez le généraliste le plus performant de la classe 2B sur les benchmarks publiés par les deux laboratoires, LFM3-VL-2B est le choix défendable, avec la réserve de licence consignée par écrit. Si vous construisez un agent qui examine des écrans en boucle, le test indépendant dans le navigateur place le MiniCPM 1B en tête à la fois sur le score et sur la latence, et sa discipline de formatage est ce qu’il faut corriger dans votre parseur plutôt que dans le modèle.

Si vous avez besoin d’un modèle capable de lire un document de 262 144 tokens, de regarder une vidéo et de tenir son rang sur MMMU, aucun des deux petits modèles n’est la solution : c’est le niveau 35B-A3B, où OpenBMB annonce 80,2 sur MMMU, 91,2 sur OCRBench et 68,9 sur LongVideoBench, tous des chiffres fournis par le fournisseur et aucun reproduit indépendamment. La vraie décision n’est pas de savoir lequel des 2B l’emporte. C’est de savoir si votre pipeline peut se permettre de poser une question simple à moindre coût et une question difficile rarement — et si oui, la conception à deux modèles coûte moins cher que n’importe quel modèle unique qui tente d’être bon dans les deux.

Une dernière calibration. L’écart de 13,9 points que Liquid publie est réel sur la suite de Liquid, et l’écart de 23,5 points que WebBrain publie est réel sur la suite de WebBrain, et ils pointent dans des directions opposées parce qu’ils mesurent des tâches différentes. Quiconque cite l’un sans l’autre vous vend une conclusion. La question utile n’est pas de savoir quel modèle est meilleur ; c’est combien de fois par jour vous avez besoin de poser la question, et combien vous êtes prêt à payer pour la réponse.