MiniCPM-V 4.7 vs Gemma 4 12B : l'un publie des benchmarks, l'autre en publie une image

Ouvrez la fiche de modèle de MiniCPM-V 4.7 et faites défiler jusqu'à la section d'évaluation. Vous y trouverez trois images : un graphique de la frontière entre performance et temps d'inférence, une comparaison globale vision-langage et une comparaison globale de langage. Vous ne trouverez pas de tableau. Ouvrez maintenant la fiche de Gemma 4 12B et faites défiler jusqu'au même endroit. Vous y trouverez MMLU Pro, AIME 2026, LiveCodeBench v6, GPQA Diamond, Codeforces ELO, MMMU Pro, MATH-Vision et un taux d'erreur d'analyse de documents, chacun avec un nombre que vous pouvez copier dans une feuille de calcul. Les deux modèles sont à poids ouverts, tous deux sous Apache 2.0, tous deux positionnés comme des modèles multimodaux qui tiennent sur du matériel que vous possédez — et un seul d'entre eux vous permettra de vérifier son travail. Les défaillances documentées de l'IA et les incidents d'agents à l'origine de versions comme celle-ci sont recueillis dans l'OrcaRouter AI Incident Archive où chaque entrée comporte ses propres sources, un niveau de gravité, une note de confiance et un indicateur de contestation.

Cette asymétrie constitue la véritable comparaison. MiniCPM-V 4.7, publié par OpenBMB le 12 octobre 2026, et Gemma 4 12B, publié par Google DeepMind le 3 juin 2026, ne relèvent pas du même type d’objet, et la différence ne tient pas à la taille. Elle tient à la part de sa propre affirmation que chaque éditeur accepte de formuler dans le texte.

Ce que chaque fournisseur vous dira, en chiffres

La fiche de Gemma 4 12B publie ses scores face à cinq modèles frères et à un prédécesseur, avec le harnais d’évaluation nommé pour chaque benchmark. Pour la variante 12B Unified spécifiquement, le fournisseur rapporte 77,2 sur MMLU Pro, 77,5 sur AIME 2026 sans outils, 72,0 sur LiveCodeBench v6, 78,8 sur GPQA Diamond, un ELO Codeforces de 1659, 69,0 sur Tau2 en moyenne sur trois exécutions, 83,4 sur MMMLU et — le chiffre qui cadre le plus honnêtement ce qu’est un modèle 12B — 5,2 sur Humanity’s Last Exam sans outils. Côté vision, il rapporte 69,1 sur MMMU Pro, 79,7 sur MATH-Vision et une distance d’édition moyenne de 0,164 sur OmniDocBench 1.5, où une valeur plus basse est meilleure.

Ce sont des chiffres du fournisseur. Aucun tiers indépendant n’est tenu de les approuver, et sur un modèle aussi largement déployé, certains d’entre eux ne résisteront pas au contact d’un autre harnais. Mais ils sont falsifiables, et c’est la propriété qui compte. Si vous obtenez 62 sur MMLU Pro avec votre propre évaluation, vous savez que quelque chose ne va pas avec votre configuration ou avec la carte.

La fiche de MiniCPM-V 4.7 avance quatre affirmations numériques en prose et aucune table de benchmarks. La variante 35B-A3B décode à 13 tokens par seconde ou plus en utilisant environ 3 Go de mémoire sur un iPhone 17 Pro Max. Lookahead Expert Scheduling offre une accélération de 5× sur des appareils réels. La variante 1B surpasse Qwen3.5 0.8B en score global et en efficacité d’inférence. Et en mode Instruct, 35B-A3B atteint un score global plus élevé en moins de temps d’inférence que Qwen3.6 35B-A3B. Tout le reste — chaque axe de la comparaison — se trouve dans les images des graphiques.

Ce n'est pas de la malhonnêteté. Les graphiques portent de l'information, et un tracé de frontière constitue sans doute un meilleur résumé d'un compromis vitesse-qualité qu'un tableau de scores sur différents benchmarks mesurés avec différentes tailles de lot. Mais un graphique ne peut pas être cité, ni recalculé, ni comparé à celui d'un autre fournisseur sans que quelqu'un lise des positions de pixels. Lorsque la seule évaluation publique d'un modèle est une image, la bonne posture est de considérer le modèle comme non mesuré tant que quelqu'un ne l'a pas mesuré.

Les deux architectures résolvent des problèmes différents.

Au-delà des sections d’évaluation, les conceptions divergent nettement, ce qui est un signal plus utile que n’importe quel score isolé.

Gemma 4 12B est exempt d’encodeur. Il n’y a ni tour de vision séparée ni encodeur audio distinct : les patchs d’image bruts et les formes d’onde audio se projettent directement dans l’espace d’embedding du modèle de langage via de légères couches linéaires. La raison invoquée par Google est la latence et le fine-tuning en une seule passe — un seul modèle, un seul entraînement, toutes les modalités. Le compromis est que l’entreprise parie qu’un transformer décodeur seul peut apprendre à voir suffisamment bien sans front-end visuel dédié. Son propre chiffre MMMU Pro de 69,1, contre 76,9 pour le frère 31B qui, lui, embarque un encodeur visuel d’environ 550 M de paramètres, suggère que ce pari coûte quelque chose en raisonnement visuel fin.

MiniCPM-V 4.7 va dans l’autre sens. Il conserve une tour de vision dédiée — largeur cachée de 1152, 27 couches, tuiles de 980 pixels — et consacre son ingénierie à rendre cette tour peu coûteuse. La compression précoce intra-ViT empruntée à LLaVA-UHD v4 réduit les tokens visuels à l’intérieur de l’encodeur plutôt qu’après celui-ci, et un commutateur de sous-échantillonnage mixte 4×/16× permet à l’appelant de choisir entre détail et coût par requête. Côté langage, le 35B-A3B est un mélange de 256 experts activant 8 experts par token, structuré selon un schéma 3:1 d’attention linéaire sur attention complète sur 40 couches.

La conséquence pratique de cette conception est que le parcours vidéo de MiniCPM est inhabituellement explicite. La fiche expose max_num_frames à 128, un paramètre stack_frames qui compose des sous-images en une grille entre les images principales, ainsi que des indications distinctes du nombre de tranches pour les images (36) et pour la vidéo (1). Si vous construisez quelque chose qui lit des enregistrements d'écran ou des vidéos de cours, ce niveau de contrôle sur ce qui est échantillonné est précisément l'atout. Gemma 4 12B gère aussi la vidéo, sous forme de séquences d'images, mais sa fiche documente le format plutôt que les arbitrages d'échantillonnage.

Les lignes qui décident réellement

• Paramètres — 35,21 B au total, 8 experts actifs sur 256, plus un homologue dense de 1,55 B contre 11,95 B en dense

• Modalités d’entrée — texte, image, vidéo, avec OCR et analyse PDF explicitement mentionnés, par opposition à texte, image, vidéo et audio natif

• Contexte — 262 144 tokens contre 262 144 tokens sur le 12B, 128K sur les modèles frères de la série E

• Licence — Apache 2.0, poids téléchargeables vs Apache 2.0, poids téléchargeables

• Évaluation publiée — graphiques de frontière et de comparaison, quatre affirmations en prose contre un tableau numérique complet sur huit modèles apparentés

• Évaluation indépendante — aucune entrée Artificial Analysis pour l’une ou l’autre des variantes 4.7 à ce jour, contre une page Artificial Analysis avec classement en intelligence et débit

• Mémoire en BF16 — environ 70 Go de poids pour le 35B-A3B, environ 3,1 Go pour le 1B contre environ 24 Go

• Formats quantifiés livrés — GGUF, bitsandbytes, AWQ, GPTQ, FP8, int4 vs le checkpoint amont, ainsi que les builds GGUF communautaires et QAT de G​oogle et de tiers

• Chemins de service nommés par le fournisseur — SGLang, vLLM, llama.cpp, Ollama, Transformers, OpenVINO vs Transformers, l’écosystème plus large étant fourni par la communauté

• Prise en charge sur l’appareil — applications iOS, Android et HarmonyOS, ainsi que prise en charge dès le jour zéro de Rockchip, Houmo, Intel, AMD et Arm, face à une conception optimisée pour les ordinateurs portables et les GPU grand public

Trois charges de travail, trois réponses

Compréhension d'écrans et de documents à grande échelle. C'est là que la conception du MiniCPM-V 4.7 est ciblée et que sa documentation est la plus solide. Le mode de sous-échantillonnage 4×, le réglage à 36 tranches, les entrées de cookbook pour l'OCR et l'analyse de PDF, ainsi que les contrôles explicites d'échantillonnage des images pour la vidéo décrivent tous un pipeline visant à transformer du contenu rendu en texte structuré. Gemma 4 12B est également crédible ici — sa distance d'édition de 0,164 sur OmniDocBench est une véritable mesure d'analyse de documents — mais la fiche du fournisseur traite l'analyse de documents comme une capacité parmi d'autres plutôt que comme le principe organisateur.

Tout ce qui a besoin d'entendre.Gemma 4 12B gère l'audio nativement, avec CoVoST à 38,5 et FLEURS à 0,069 sur sa fiche. MiniCPM-V 4.7, non. Le travail audio d'OpenBMB réside dans la ligne distincte MiniCPM-o, et la fiche du 4.7 ne mentionne aucune modalité audio. Si votre entrée contient de la parole, la comparaison est terminée avant même d'avoir commencé — un modèle a besoin d'une étape de transcription en amont, et l'autre non.

Un seul GPU grand public avec un budget fixe. Gemma 4 12B en 4 bits tient sous 8 Go et laisse de la place pour le contexte ; le 35B-A3B en 4 bits ne tient pas sur une seule carte grand public et les performances mises en avant sur sa fiche concernent des téléphones conservant 3 Go en résident, pas un GPU avec 70 Go de poids d'experts à paginer. Si la contrainte est « une seule carte que vous possédez déjà », le 12B est la réponse et la variante 1B est le seul MiniCPM qui s'applique.

L'écart qu'un acheteur devrait intégrer dans le prix

Les deux modèles sont gratuits à télécharger, donc la ligne de licence ne départage rien et le coût réel réside dans tout ce qui suit. Pour Gemma 4 12B, l’écosystème a eu quatre mois et demi pour se rattraper : des builds quantifiés provenant de G​oogle lui-même, des conversions GGUF communautaires, des checkpoints QAT, et un indexage indépendant qui permet de le comparer à une centaine d’autres modèles sur la même échelle. Pour MiniCPM-V 4.7, vous êtes depuis huit jours sur une nouvelle architecture — un nouveau model_type, une nouvelle disposition d’attention, une version minimale de Transformers — et la fiche du fournisseur elle-même s’ouvre sur une note concernant les incompatibilités de version CUDA qui cassent le décodage vidéo via torchcodec.

Ce n’est pas une critique du modèle. C’est le coût standard de l’adoption de quoi que ce soit durant ses deux premières semaines, et c’est la raison pour laquelle une sortie discrète avec une évaluation fondée uniquement sur des graphiques est un mauvais candidat pour une mise en production et un bon candidat pour un test en comparaison directe. Le moyen de rendre ce test peu coûteux est de maintenir la solution en place en service pendant que vous évaluez la nouvelle venue, ce qui relève du routage plutôt que de la modélisation.

OrcaRouter exécute plus de 200 modèles hébergés derrière un seul point de terminaison compatible avec OpenAI, avec 0 % de marge, le prix catalogue du fournisseur étant répercuté tel quel, de sorte que le coût pour essayer un second modèle se limite à un changement de configuration plutôt qu’à un second contrat. Son DSL de routage peut définir un modèle principal et un modèle de secours en un seul appel, et le basculement automatique maintient le chemin principal opérationnel lorsqu’un fournisseur traverse une mauvaise passe. La note sur la couverture est l’élément important ici : notre catalogue comprend Gemma 4 26B-A4B et Gemma 4 31B, pas ce 12B, et il ne comprend pas du tout MiniCPM-V 4.7. Les deux modèles dont traite cet article sont des checkpoints que vous exécutez vous-même — le routeur est ce qui les entoure, et non un moyen de les appeler.

Qu'est-ce qui réglerait ça

La comparaison est actuellement déséquilibrée d’une manière qu’il est facile d’énoncer et facile de corriger. Gemma 4 12B dispose de chiffres avec lesquels on peut discuter. MiniCPM-V 4.7 avance des affirmations que l’on ne peut qu’accepter ou rejeter : 13 tokens par seconde, 3 Go, une accélération de 5×, meilleur qu’un concurrent nommé sur un score global non nommé. Chacun de ces éléments serait plus utile sous forme de ligne de tableau, et OpenBMB est clairement capable d’en produire un — les fiches précédentes de la famille comportaient des grilles de benchmarks standard.

La posture utile est donc délibérément asymétrique. Si vous devez prendre une décision cette semaine, Gemma 4 12B est le modèle dont vous pouvez prédire le comportement à partir des chiffres publiés, et son support audio est une capacité que nulle patience ne saurait ajouter à MiniCPM-V 4.7. Si vous développez pour des téléphones, pour HarmonyOS, pour une carte Rockchip, ou pour lire des écrans et des documents où la voie de sous-échantillonnage 4× est exactement adaptée, l’ingénierie de MiniCPM-V 4.7 est plus spécifique à votre problème que tout ce que Google a livré à cette taille — et le tableau manquant est une raison de le mesurer vous-même plutôt qu’une raison de l’écarter.

Une dernière chose qu'il vaut la peine de dire clairement, car c'est la partie qui ne correspond au cadrage d'aucun des deux fournisseurs. Aucun de ces modèles ne vise le même acheteur qu'une API de pointe. Ils sont en concurrence avec la décision de ne pas exécuter de modèle localement du tout. Le meilleur argument de Gemma 4 12B, c'est que quatre mois d'écosystème signifient que la voie ennuyeuse fonctionne ; le meilleur argument de MiniCPM-V 4.7, c'est qu'un modèle 1B de 3 Go tourne là où un 12B ne peut pas aller. Choisissez d'abord la contrainte, puis le modèle — le tableau de benchmarks, quand il arrivera, ne fera que réorganiser les modèles à l'intérieur d'une catégorie que vous avez déjà choisie.