Nanbeige4.3-33B vs Qwen3.8 27B : vérification de l’affirmation des 18 sur 20

Nanbeige4.3-33B bat Qwen3.8-27B sur 18 des 20 benchmarks. C’est l’affirmation qui circule sur internet cette semaine, et c’est techniquement ce que dit la fiche du modèle. C’est aussi une phrase avec un dénominateur, et le dénominateur est la partie intéressante. Sur ces 20 lignes, 19 sont notées en points et une correspond à un montant en dollars ; quatre des 18 victoires le sont de moins d’un point ; et au moins trois des chiffres de Qwen semblent avoir été copiés des résultats publiés par Qwen lui-même plutôt que recalculés par Nanbeige. Rien de tout cela ne rend l’affirmation fausse. Cela la rend plus étroite qu’elle n’en a l’air.

Cette confrontation est inhabituelle car Nanbeige a choisi Qwen3.8-27B comme partenaire de sparring. Qwen3.8-27B est sorti à la mi-août 2026, compte 27,78 milliards de paramètres denses, est sous Apache 2.0, multimodal en entrée et — contrairement à Nanbeige4.3-33B — dispose d'un indice d'intelligence Artificial Analysis indépendant de 34. C'est donc la seule comparaison du lot où l'adversaire dispose d'un score vérifié et le sujet non. Cette asymétrie est le meilleur outil dont nous disposons pour auditer le tableau.

Qui a rédigé l’affirmation, et ce que contient le dénominateur

Le tableau est celui de Nanbeige. Il a été publié sur la carte de modèle Hugging Face de Nanbeige4.3-33B, dans un dépôt créé le 24 octobre 2026. Il n’y a pas d’article de blog d’accompagnement, pas d’événement de lancement et pas de reproduction par un tiers. Chaque chiffre de la colonne Qwen, ainsi que chaque chiffre de la colonne Nanbeige, a été produit ou sélectionné par le laboratoire qui réalise la comparaison.

Les 20 lignes couvrent trois groupes : codage agentique (Terminal-Bench 2.1 et 4.0, DeepSWE, SWE-Bench Pro, SWE-Atlas-QnA, NL2Repo, Scicode, SkillsBench), cowork agentique (Automation Bench, JobBench, GDPval, Claw-Eval, Toolathlon-Verified, DeepPlanning, EnterpriseOps-Gym, YC-bench, Tau3-Bench) et raisonnement (GPQA Diamond, AIME 2026, AA-LCR). Le harnais est divulgué avec plus de soin que la plupart des fiches fournisseurs : Terminus 2 pour Terminal-Bench 2.1, mini-swe-agent v2.4.6 pour Terminal-Bench 4.0, DeepSWE et SWE-Atlas-QnA, Claude Code pour NL2Repo et JobBench, et GPT-6 Sol comme juge pour SWE-Atlas-QnA. Cette divulgation fait honneur à Nanbeige. C’est aussi la raison pour laquelle la comparaison est plus difficile à interpréter qu’un simple décompte de victoires.

Les deux lignes que Nanbeige perd

• SWE-Bench Pro — Qwen3.8-27B 61,7 contre Nanbeige4.3-33B 60,3. Une avance de 1,4 point pour Qwen.

• GDPval — Qwen3.8-27B 86,4 contre Nanbeige4.3-33B 84,8. Une avance de 1,6 point pour Qwen.

Voici les deux lignes que le titre « 18 sur 20 » arrondit discrètement, et elles pointent dans une direction cohérente. Toutes deux sont des benchmarks de travail professionnel à forte valeur économique : SWE-Bench Pro est la variante la plus difficile en ingénierie logicielle, et GDPval mesure la qualité des résultats sur de véritables tâches professionnelles. Qwen l'emporte sur les deux avec des écarts faibles en termes absolus mais stables sur deux familles de tâches différentes. Si vous choisissez entre ces modèles pour un travail professionnel plutôt que pour un classement, ce sont deux des lignes que vous devriez pondérer le plus fortement, et ce sont les deux où le sujet est perdant.

La fiche de Nanbeige n’explique pas les pertes. Elle n’a pas besoin de le faire — un fournisseur est en droit de publier un tableau qu’il remporte. Mais un lecteur devrait remarquer que les pertes se concentrent exactement là où le benchmark est le plus proche de « un professionnel accepterait-il cette sortie ? », et les victoires se concentrent là où le benchmark est le plus proche de « l’agent a-t-il bouclé la boucle ? ».

Des victoires qui tiennent à des erreurs d’arrondi

Quatre des 18 victoires se décident par moins d’un point.

• Tau3-Bench — 48,8 vs 48,5. Trois dixièmes de point.

GPQA Diamond — 89,5 contre 89,2. Trois dixièmes.

• AIME 2026 — 95,2 vs 94,5. Sept dixièmes.

• EnterpriseOps-Gym — 41,0 vs 40,2. Huit dixièmes.

Deux autres se situent à environ deux points d'écart : Toolathlon-Verified à 70,4 contre 68,5, et AA-LCR à 84,0 contre 82,0. Sur des benchmarks de cette taille et avec cette variance, un écart inférieur au point n'est pas une preuve de supériorité. C'est la preuve que deux modèles se situent dans la même bande. Une reformulation honnête du titre serait « Nanbeige mène clairement sur 12 des 20, fait match nul sur 6 et est en retrait sur 2 » — ce qui reste un résultat solide, et plus utile.

C'est dans les gains les plus importants que réside le véritable argument. DeepSWE, avec 65,5 contre 42,5, présente un écart de 23 points. Terminal-Bench 4.0, avec 23,8 contre 6,3, présente un écart de 17,5. Automation Bench, avec 54,2 contre 38,3, présente un écart de 15,9. DeepPlanning, avec 63,3 contre 49,2, présente un écart de 14,1. YC-bench, une tâche exprimée en dollars, affiche 1 025 437 $ contre 641 290 $. Il ne s'agit pas d'arrondis. Ces écarts indiquent que Nanbeige est meilleur pour l'exécution multi-étapes à long horizon — le type de travail où un modèle doit maintenir un plan viable sur des dizaines d'appels d'outils. C'est un récit cohérent, et cela concorde avec le contexte natif de 512K du modèle et ses paramètres recommandés orientés agent.

Il se peut que les colonnes ne correspondent pas à la même expérience

Voici l’observation qui complique tout le tableau. Trois chiffres de Qwen correspondent exactement aux nombres publiés par Qwen lui-même : Terminal-Bench 2.1 à 73.0, SWE-Bench Pro à 61.7 et GPQA Diamond à 89.2. Qwen publie les trois. Les lignes que Qwen ne publie pas — DeepSWE, SWE-Atlas-QnA, NL2Repo, JobBench, Automation Bench, DeepPlanning, YC-bench, Tau3, EnterpriseOps-Gym, Claw-Eval — sont précisément celles où les marges de Nanbeige sont les plus importantes.

Ce schéma est cohérent avec deux méthodes différentes au sein d’une même table : des chiffres copiés pour les benchmarks que le concurrent avait déjà publiés, de nouvelles exécutions pour ceux qu’il n’avait pas publiés. Il s’agit d’une inférence, non d’un fait divulgué — la fiche de Nanbeige indique que tous les modèles ont été évalués au plus haut niveau d’effort de réflexion avec les mêmes paramètres d’inférence et le même harnais, ce qui plaiderait contre la copie. Mais la correspondance exacte de trois chiffres indépendants est une coïncidence qu’il vaut la peine de signaler, et si la colonne Qwen est un mélange, alors « 18 sur 20 » compare les exécutions de Nanbeige à celles de Qwen sur certaines lignes et les exécutions de Nanbeige à celles de Nanbeige sur d’autres.

Il y a un second problème, plus subtil. Le propre modèle de Nanbeige est exécuté dans le harnais que recommande sa fiche : appels d’outils XML, preserve_thinking=true, température 1.0 pour le travail agentique. La fiche ne précise pas si Qwen3.8-27B a reçu ses propres paramètres recommandés ou s’il a été placé dans ceux de Nanbeige. Dans le second cas, une partie de l’écart de 23 points sur DeepSWE relève d’une différence de configuration plutôt que d’une différence de capacités. C’est la même réserve qui s’applique à toute comparaison entre fournisseurs, et ce n’est pas une raison d’écarter le résultat — c’est une raison d’exiger une nouvelle exécution neutre avant de le considérer comme tranché.

Le score indépendant qu’un seul modèle possède

Artificial Analysis attribue à Qwen3.8-27B un score de 34 sur son Intelligence Index, mesuré dans la configuration de raisonnement xhigh, avec 45,2 jetons de sortie par seconde. La latence varie selon le fournisseur : notre propre page indique un délai p50 jusqu’au premier jeton de 2,95 secondes, contre les 3,8 secondes mesurées par Artificial Analysis sur le point de terminaison qu’elle a échantillonné. Cet indice est un composite de dix évaluations, dont Terminal-Bench 4.0, SciCode, AA-LCR, GDPval-AA et AutomationBench-AA — plusieurs des mêmes familles de benchmarks que Nanbeige rapporte de son côté.

Nanbeige4.3-33B n’a pas d’entrée Artificial Analysis. Ce n’est pas un scandale ; le modèle a deux jours. Mais cela signifie que les deux côtés de cette comparaison ne sont pas épistémiquement égaux. Le 34 de Qwen est un nombre mesuré par quelqu’un d’autre. Le 80,9 de Nanbeige sur Terminal-Bench 2.1 est un nombre que Nanbeige a mesuré. Si les deux sont exacts, Nanbeige se situerait probablement bien au-dessus de 34 sur le même composite — ses 23,8 à Terminal-Bench 4.0 et 52,6 à SciCode sont de solides lignes. Le point est que « probablement » fait le travail, et il continuera de le faire jusqu’à ce qu’un évaluateur indépendant exécute le modèle.

C’est aussi la raison pratique de traiter l’affirmation des 18 sur 20 comme un argument d’ouverture. Cette affirmation est réfutable d’une manière précise et peu coûteuse : soumettre Nanbeige4.3-33B à un évaluateur indépendant et comparer le score composite. Tant que cela n’a pas eu lieu, l’affirmation honnête la plus forte est que Nanbeige revendique une avance sur le travail agentique à long horizon et un léger retard sur la qualité des livrables professionnels, et que seul l’un de ces deux modèles a été vérifié par quelqu’un d’autre que son créateur.

Coût par tâche, et non par jeton

Qwen3.8-27B est le seul des deux auquel vous pouvez faire appel dès aujourd'hui. Sur OrcaRouter, il est à 0,33 $ par million de tokens d'entrée et 2,40 $ par million de tokens de sortie — en dessous des 0,50 $ et 3,00 $ qu'Artificial Analysis indique pour le point de terminaison officiel d'Alibaba. Celui-ci est servi sur notre propre infrastructure plutôt que revendu au prix catalogue du fournisseur, ce qui explique qu'il passe sous le prix officiel ; pour les modèles que nous relayons, la règle de 0 % de marge signifie que le prix catalogue du fournisseur est celui que vous payez. Quoi qu'il en soit, les prix par token varient suffisamment selon la route pour que le point de terminaison officiel ne soit pas automatiquement le moins cher. Le modèle accepte également des images et des vidéos en plus du texte, et dispose d'une fenêtre de 262 144 tokens.

Le prix par token n’est cependant pas la bonne unité pour cette comparaison. Les évaluateurs rapportent que Qwen3.8-27B est inhabituellement gourmand en tokens — environ trois fois le nombre de tokens de Qwen3.6-27B sur des tâches comparables — et Artificial Analysis estime à environ 1,01 $ par tâche de l’Intelligence Index au réglage xhigh. Un modèle qui l’emporte sur le prix par token et perd sur les tokens par tâche peut malgré tout être le choix le plus coûteux. Nanbeige4.3-33B n’a pas de prix par token du tout : les poids sont gratuits, aucun fournisseur d’inférence ne le déploie, et l’exécuter implique un déploiement en parallélisme de tenseurs sur quatre GPU maintenu actif, que du trafic arrive ou non.

C'est là qu'une couche de routage justifie sa place. Qwen3.8-27B est accessible avec notre clé aujourd'hui ; Nanbeige ne l'est pas, et nous ne prétendrons pas le contraire. Ce que vous pouvez faire, c'est conserver Qwen comme chemin de production et router une partie du trafic réel vers un point de terminaison Nanbeige auto-hébergé afin de mesurer l'achèvement des tâches et les jetons consommés, plutôt que de faire confiance à un tableau. Le basculement automatique compte ici : un point de terminaison d'expérimentation qui tombe en cours d'exécution doit se rabattre sur le modèle en place, sans entraîner l'agent dans sa chute. La décision repose alors sur votre propre coût par tâche accomplie, le seul chiffre qui combine honnêtement le comportement en jetons des deux modèles.

Qu’est-ce qui falsifierait cela ?

Trois résultats suffiraient à trancher la question, et aucun d’entre eux n’exige un nouveau modèle.

• Une entrée Artificial Analysis pour Nanbeige4.3-33B. Si le résultat se situe près de 34 ou au-dessus, l'orientation du tableau du fournisseur est confirmée et l'ampleur devient discutable. S'il se situe bien en dessous, l'affirmation « 18 sur 20 » exige une explication bien meilleure que le choix du harnais.

• Une réexécution neutre de DeepSWE et Terminal-Bench 4.0 avec les deux modèles dans leurs propres configurations recommandées. C’est précisément l’expérience que le tableau actuel ne réalise pas, et elle cible les lignes qui portent l’essentiel de la marge de Nanbeige.

• Un chiffre publié de jetons par tâche terminée pour les deux. Les tarifs au jeton ne permettent pas de comparer un modèle dense de 33B que vous hébergez à un modèle de 27B gourmand en jetons que vous louez. Le coût par travail terminé le permet.

Le verdict que nous défendrions

Nanbeige4.3-33B est probablement le modèle d'agent à long horizon le plus performant des deux. Les écarts sur DeepSWE, Terminal-Bench 4.0, Automation Bench et DeepPlanning sont trop importants et trop cohérents en direction pour être entièrement un artefact du harnais, et le contexte natif de 512K s'inscrit dans cette logique. Qwen3.8-27B est probablement le meilleur modèle pour la qualité des livrables professionnels, où il remporte les deux lignes qui la mesurent, et c'est sans ambiguïté le plus utilisable : score indépendant, API hébergée, entrée multimodale et un prix que vous pouvez inscrire dans un tableur dès aujourd'hui.

« 18 sur 20 » est un résultat réel déguisé en résultat plus important. La version exacte est qu’un modèle vieux de deux jours, issu d’un laboratoire que personne n’a évalué indépendamment, revendique une avance nette sur l’exécution agentique, une égalité sur le raisonnement général et un léger déficit sur la production professionnelle — face à un concurrent sorti depuis dix semaines et mesuré par quelqu’un d’autre que son créateur. C’est une affirmation vraiment intéressante. Ce n’est pas encore une raison de changer.