Nanbeige4.3-33B vs Gemma 4 31B : ce que signifie vraiment un écart de 33 points dans le tableau du fournisseur

Dans le propre tableau de benchmarks de Nanbeige4.3-33B, Gemma 4 31B obtient 0,0 sur Terminal-Bench 4.0. C'est la ligne par laquelle il faut commencer, car elle vous indique comment lire tous les autres chiffres de cette comparaison. Gemma 4 31B est la version à poids ouverts de 30,7 milliards de paramètres de Google DeepMind, téléchargeable sous Apache 2.0 depuis le 2 avril 2026, et les propres documents de Google lui attribuent 86,4 sur l'utilisation d'outils de τ²-bench et 80,0 sur LiveCodeBench v6. Un modèle comme celui-là n'échoue pas à toutes les tâches de terminal qui existent. Un zéro, c'est ce que l'on obtient quand un benchmark ne sait pas distinguer « n'a pas pu » de « n'a jamais reçu de boucle d'outils fonctionnelle ».

Nanbeige4.3-33B, en revanche, a deux jours. Son dépôt a été créé le 24 octobre 2026 à 02:49 UTC, sa fiche modèle est la seule annonce faite par Nanbeige, et le tableau de 20 lignes figurant sur cette fiche est l’unique source de tous les chiffres actuellement en circulation à son sujet. Gemma 4 31B y apparaît comme l’une des trois colonnes de comparaison. Aucun laboratoire indépendant n’a confronté ces deux modèles, et aucun des deux fournisseurs n’a évalué l’autre en dehors de ce seul tableau. La version honnête de cette confrontation n’est donc pas un tableau des scores. C’est un débat sur les lignes qui résistent à l’examen et sur celles qui mesurent le harnais d’évaluation.

Ce qu'est réellement chaque modèle

Les deux versions sont séparées de six mois et demi, et les choix de conception le montrent.

• Paramètres — Nanbeige4.3-33B est un modèle dense de 33,1 B (33 118 977 024 en BF16), chaque paramètre étant actif sur chaque token. Gemma 4 31B est un modèle dense de 30,7 B. Aucun des deux n’est un mélange d’experts, le débit varie donc en fonction du nombre total de poids des deux côtés.

• Contexte — Nanbeige4.3-33B embarque nativement 524 288 tokens. Gemma 4 31B embarque 262 144. Les deux sont exceptionnellement élevés pour cette classe de paramètres ; celui de Nanbeige est le double.

• Modalité — Nanbeige4.3-33B accepte du texte en entrée et produit du texte en sortie, en anglais et en chinois. Gemma 4 31B accepte des images en plus du texte, a été préentraîné sur plus de 140 langues et intègre nativement l’appel de fonctions ainsi qu’un mode de réflexion configurable.

• Licence — les deux sont sous Apache 2.0. C’est une comparaison rare où la question de la licence est réglée avant même de commencer.

Poids sur disque — Nanbeige4.3-33B fait environ 66 Go en BF16 et environ 20 Go en 4 bits. Gemma 4 31B se situe dans la même gamme. Ni l’un ni l’autre n’est un modèle pour ordinateur portable ; les deux sont des modèles destinés à une seule station de travail ou à un seul nœud.

La seule chose qui ne soit pas proche, c'est la distribution. Gemma 4 31B dispose d'une API gérée, d'un endpoint qu'Artificial Analysis répertorie actuellement comme gratuit, et d'une couverture indépendante. Nanbeige4.3-33B dispose de poids, d'une fiche modèle et — selon les mots mêmes de cette fiche — d'aucun fournisseur d'inférence qui le déploie. Cette asymétrie n'est pas un jugement sur la qualité, mais elle change ce que coûte le fait de « l'essayer ».

La colonne du fournisseur et la fiche de Google elle-même ne concordent pas

Deux lignes du tableau de Nanbeige peuvent être comparées aux chiffres publiés par Google, et une seule d'entre elles correspond.

• AIME 2026 — Nanbeige attribue 89,2 à Gemma 4 31B. Google annonce 89,2. Correspondance exacte.

• GPQA Diamond — Nanbeige attribue 91,3 à Gemma 4 31B, et c’est la seule ligne où Gemma dépasse le propre score de Nanbeige de 89,5. Le chiffre publié par Google pour le modèle est de 84,3. Cela représente un écart de sept points, et aucune des deux fiches n’explique la configuration qui le sous-tend.

Cette deuxième ligne mérite l’attention, car c’est le seul endroit où le tableau du fournisseur offre une victoire à l’adversaire. Si le chiffre provient d’une nouvelle exécution avec un effort de réflexion maximal, il s’agit d’un résultat légitime et Gemma est réellement en tête sur les questions scientifiques de niveau universitaire. S’il provient d’une évaluation configurée différemment, le tableau compare alors deux versions différentes de Gemma. Dans les deux cas, l’affirmation « Gemma gagne sur GPQA », reprise dans chaque article secondaire cette semaine, repose sur un chiffre que Google ne publie pas.

Le reste de la colonne Gemma est plus difficile à auditer, car Google rapporte des benchmarks différents. Le tableau de Nanbeige place Gemma à 18,6 sur Tau3-Bench ; la fiche de Google le place à 86,4 sur τ²-bench. Ce sont des versions différentes de la famille de benchmarks, donc elles ne sont pas contradictoires — mais elles ne constituent pas non plus une comparaison, et l’écart de 68 points entre elles constitue une estimation raisonnable de l’ampleur avec laquelle le choix du harness et de la version peut faire varier le score d’un même modèle.

Lire correctement les zéros

Trois lignes de la colonne Gemma sont proches de zéro : 0,0 sur Terminal-Bench 4.0, 2,7 sur DeepSWE et 3,3 sur SWE-Atlas-QnA. Ce sont ces lignes qui circulent sur les réseaux sociaux, et ce sont les chiffres les moins informatifs du tableau.

Un score proche de zéro sur un benchmark agentique a au moins trois causes possibles : le modèle ne peut pas accomplir la tâche, le modèle ne peut pas piloter les outils fournis par le harnais, ou le harnais a été réglé pour un autre gabarit de conversation et format d’appel d’outils. La fiche de Nanbeige indique explicitement que ses propres résultats ont utilisé Terminus 2 pour Terminal-Bench 2.1 et mini-swe-agent v2.4.6 pour Terminal-Bench 4.0, DeepSWE et SWE-Atlas-QnA. Elle ne précise pas si Gemma 4 31B a reçu le même échafaudage avec son propre format d’appel d’outils, ou s’il a été placé dans celui de Nanbeige, orienté XML. Ces cas produisent des chiffres très différents, et un seul d’entre eux concerne le modèle.

Ce n’est pas une raison pour écarter le résultat de Nanbeige. Nanbeige4.3-33B a été conçu autour du codage agentique — sa fiche recommande un format d’appel d’outils XML, preserve_thinking=true pour l’utilisation d’outils multi-tours, et une température de 1,0 pour les tâches agentiques — il n’est donc pas surprenant qu’il performe bien dans un harnais conçu pour lui. C’est une raison de considérer la colonne Gemma comme une borne inférieure plutôt qu’un verdict.

Les benchmarks d’asymétrie ne facturent pas : images

Gemma 4 31B accepte les images. Nanbeige4.3-33B, non. Cette seule phrase détermine plus de déploiements réels que n'importe quelle ligne du tableau.

Si votre agent lit des captures d’écran, des factures, des graphiques, des formulaires numérisés ou des états d’interface, Nanbeige4.3-33B n’est pas un candidat, quel que soit son score au benchmark. Il vous faudrait un modèle d’extraction distinct en amont, avec sa propre latence, son propre coût et ses propres modes de défaillance, et la qualité du pipeline serait alors celle du modèle d’extraction plutôt que celle du 33B. Gemma effectue cette étape nativement, et les scores publiés par Google de 76,9 à MMMU-Pro et de 85,6 à MATH-Vision suggèrent qu’il s’en acquitte avec compétence plutôt que de manière cérémonielle.

À l'inverse, si le travail est purement textuel — code, journaux, documents longs, traces d'outils multi-tours — la capacité d'image est un poids mort que vous payez à chaque passe avant. C'est le cas pour lequel Nanbeige est conçu, et cela représente une part importante des tâches agentiques.

512K contre 256K, et à quoi sert une fenêtre

La fenêtre de 524 288 tokens de Nanbeige est deux fois celle de Gemma, qui est de 262 144, et les deux nombres sont suffisamment grands pour que la différence ne compte que dans certains types de travail.

Une fenêtre de 256K contient environ l’équivalent du code source d’un dépôt de taille moyenne, soit plusieurs centaines de pages de texte. Une fenêtre de 512K en contient deux fois plus. Pour un seul document long accompagné d’une réponse longue, les deux suffisent ; pour un agent qui accumule les sorties d’outils sur des centaines de tours, la fenêtre la plus grande offre davantage de tours avant la synthèse ou l’éviction. La fiche de Nanbeige recommande jusqu’à 262 144 nouveaux tokens pour le raisonnement et le chat, ce qui suggère que le budget de raisonnement pratique est plus proche de 256K que des 512K complets. Le plafond de sortie de Gemma est généralement configuré à 131 072.

Aucun des deux fournisseurs ne publie ici de benchmark de rappel sur contexte long, il n'existe donc aucun moyen honnête de dire lequel des 512K ou des 256K est mieux exploité. La taille du contexte est une affirmation de capacité, non de qualité, et les deux fiches techniques s'en tiennent là.

Combien coûte chacun à appeler

Gemma 4 31B est le seul des deux que vous pouvez appeler en tant que service aujourd'hui. Sur OrcaRouter, il en coûte 0,13 $ par million de tokens d'entrée et 0,38 $ par million de sortie, avec l'entrée mise en cache à 0,02 $ — un répercutement du prix catalogue du fournisseur sans marge ajoutée, ce qui explique aussi pourquoi un changement de prix du fournisseur arrive dans notre catalogue le jour même de son annonce. Artificial Analysis indique actuellement que le point de terminaison de Google est à 0,00 $ en entrée et 0,00 $ en sortie, ce qui reflète presque certainement un palier promotionnel ou gratuit plutôt qu'un prix durable ; considérez-le comme un canal d'essai, et non comme une ligne budgétaire.

Nanbeige4.3-33B n’a pas de prix par token à annoncer. Les poids sont gratuits sous Apache 2.0, et la fiche indique qu’aucun fournisseur d’inférence ne déploie le modèle. L’exécuter signifie quatre GPU en taille de parallélisme tensoriel de 4 selon les recettes vLLM et SGLang de la fiche elle-même, maintenus allumés que des requêtes arrivent ou non. Le coût marginal d’un token est alors votre électricité et votre taux d’utilisation, pas une grille tarifaire. Quiconque compare « $0.13 input » à « gratuit » compare une facture à une dépense d’investissement.

C'est aussi l'argument pratique en faveur du maintien d'un routeur dans la boucle, même lorsque le nouveau modèle est auto-hébergé. La décision à laquelle la plupart des équipes sont réellement confrontées n'est pas de « remplacer Gemma » mais d'« envoyer 5 % du trafic vers la nouvelle solution et voir ce qui se passe ». Garder le modèle en place joignable via une seule clé, avec basculement automatique si le point de terminaison de l'expérience tombe, fait de cela un changement de routage plutôt qu'une migration.

Quand Gemma 4 31B est tout simplement la bonne réponse

Quatre conditions suffisent à trancher la question, sans tableau de référence.

• La charge de travail comprend des images, des PDF ou des captures d'écran. Gemma, sans discussion.

• Il vous faut plus que l’anglais et le chinois. Gemma a été préentraîné sur plus de 140 langues ; Nanbeige en répertorie deux.

• Vous ne voulez pas posséder de GPU. Gemma dispose aujourd’hui d’un point de terminaison géré ; Nanbeige dispose des poids et d’une recette de déploiement.

• Vous avez besoin d’un second avis sur la qualité. Gemma obtient un Artificial Analysis Intelligence Index de 15, ce qui est modeste mais indépendant. Nanbeige n’y figure pas du tout, donc chaque chiffre le concernant vient du fournisseur qui note lui-même son propre travail.

Retournez la situation et le cas Nanbeige est tout aussi clair : un travail agentique purement textuel, une longue trace d’outils, une équipe disposant de GPU et la volonté d’exécuter son format d’outil XML recommandé. Sur ce type de travail, le propre tableau de Nanbeige revendique une avance de 33,7 points sur Terminal-Bench 2.1 — 80,9 contre 47,2 — et une avance de 62,8 points sur DeepSWE. Ces écarts sont suffisamment importants pour contenir probablement un signal réel, même après avoir corrigé pour l’avantage du harnais. Ils ne sont pas assez importants pour miser une voie de production dessus sans en exécuter un vous-même.

Un concours de pâtisserie l’après-midi vaut mieux que cette table

Si vous choisissez réellement entre les deux, le test est peu coûteux et ne nécessite de croire ni l’un ni l’autre des fournisseurs. Prenez vingt tâches réelles issues de vos propres journaux d’agent. Exécutez chaque modèle avec son propre format d’appel d’outils recommandé et ses paramètres de réflexion — XML pour Nanbeige, appel natif de fonctions pour Gemma — puis évaluez l’achèvement des tâches, et non la ressemblance avec les benchmarks. Enregistrez les tokens consommés par tâche terminée, car un modèle dense de 33B et un modèle dense de 30.7B différeront en verbosité même à prix identique par token.

Ce que vous apprendrez en un après-midi, c’est si la marge agentique de Nanbeige survit à l’avantage que lui confère son propre harnais. Tant que personne ne publie cela, le résumé défendable est plus étroit que les gros titres : Gemma 4 31B est le modèle le plus déployable et le seul à disposer d’un score indépendant ; Nanbeige4.3-33B est le plus ambitieux, avec une fenêtre native de 512K et une série de chiffres agentiques auto-déclarés qui sont frappants, non audités et datant de deux jours.