Nanbeige4.3-33B obtient son premier score externe : 20, au niveau de Qwen3.8-27B, et deux fois plus loquace

Pendant deux semaines, la seule preuve que Nanbeige4.3-33B était bon à quoi que ce soit venait d'un tableau de vingt lignes que le laboratoire avait écrit sur lui-même. Le 5 novembre, cela a changé : Artificial Analysis a placé Nanbeige4.3-33B sur son Intelligence Index v5.0.1 à 20, le même score qu'il attribue à Qwen3.8-27B à son réglage de raisonnement le plus élevé — 20 sur le composite, 20,1 pour le modèle Qwen sur l'exécution v5.0 sous-jacente. Un dixième de point est inférieur au bruit entre deux évaluations du même checkpoint, de sorte que les deux sont à égalité parfaite sur le seul composite public qui mesure les deux.

C’est le chiffre que la sortie attendait, et c’est l’élément le moins intéressant de la mesure. Le composite dissimule un modèle dont les deux moitiés pointent dans des directions opposées : une moitié agentique bien en avance sur le modèle Qwen qu’il était censé battre, et une moitié connaissances mesurablement en retrait par rapport à celui-ci. Il dissimule aussi le fait que Nanbeige4.3-33B a dépensé 160 millions de tokens de sortie pour atteindre ce 20 — plus du double de ce que consomme le modèle médian de sa classe de comparaison, et assez pour le classer bon dernier sur huit à la mesure de verbosité d’Artificial Analysis.

Ainsi, la lecture honnête de cette version n’est plus « non vérifiée ». Elle est « vérifiée, et plus étrange que ne le suggérait le tableau du fournisseur ». Voici ce que dit réellement le test indépendant, où il concorde avec les propres chiffres de Nanbeige, et le seul point où la mesure externe s’est révélée supérieure à la propre affirmation du laboratoire.

Ce que 20 signifie, et ce qu’il ne signifie pas

Artificial Analysis classe Nanbeige4.3-33B premier sur neuf dans sa propre classe de comparaison, pour une médiane de classe de 10. Cette classe correspond aux neuf modèles ouverts de taille similaire auxquels il est comparé, et le site indique par ailleurs qu’il recense 144 modèles dans la cohorte comparable élargie. Il faut garder les deux populations à l’esprit en même temps : face aux modèles ouverts de taille à peu près équivalente, c’est ce qui a été mesuré de plus fort, et face à l’ensemble du domaine — y compris les modèles fermés de pointe et le meilleur de Qwen, DeepSeek et Anthropic — un score de 20 est un résultat solide de milieu de tableau.

Cet écart entre la 1re place sur 9 et un score de milieu de tableau mérite d’être retenu, car c’est exactement l’écart qui se perd lorsqu’une version est résumée par « bat Qwen ». Un modèle à poids ouverts de 33B qui se classe au milieu du tableau sur un composite dominé par des modèles plusieurs fois plus grands est une véritable réussite. Ce n’est pas un résultat de frontière, et rien dans le vocabulaire de cette version ne devrait laisser entendre le contraire.

Ce que l’index n’inclut pas, c’est le prix. Il n’y a pas de prix, car il n’y a pas de point de terminaison hébergé : Artificial Analysis indique « Aucune API disponible publiquement », le mappage des fournisseurs d’inférence Hugging Face pour le dépôt est vide, et chaque outil de suivi qui référence le modèle affiche un coût indisponible. Votre coût, c’est le matériel.

Les deux moitiés du modèle sont en désaccord

Artificial Analysis ne publie pas un seul chiffre, et c’est dans les sous-scores que ce modèle devient lisible. Lisez-les comme deux colonnes.

• Terminal-Bench 4.0 (harnais Artificial Analysis) — Nanbeige4.3-33B 29,8 %, classé 56e parmi toutes les configurations du tableau. Qwen3.8-27B en xhigh obtient 5,6 % sur le même harnais.

• FrontierCode 2.0 — Nanbeige4.3-33B 10,7 %, classé 81e. Qwen3.8-27B à xhigh obtient 14,9 %, donc le benchmark de qualité du code va dans l'autre sens.

• AA-Omniscience v1.1 — Nanbeige4.3-33B obtient un score net de −4,4 avec une précision de 11,7 %. Qwen3.8-27B à xhigh obtient un score net de −6,4 avec une précision de 17,3 %. Qwen en sait plus ; Nanbeige obtient un meilleur score net parce qu'il refuse de répondre plus souvent.

• AA-Omniscience non-hallucination — Nanbeige4.3-33B 81,8 %, classé 7e sur l’ensemble du site. Qwen3.8-27B à xhigh obtient 71,4 %.

• {{1}}AutomationBench{{/1}} — {{2}}Nanbeige4.3-33B 53,1 %{{/2}}, classé {{3}}82e{{/3}}. {{4}}AA-Briefcase v1.1{{/4}} — {{5}}1 162{{/5}}, classé {{6}}90e{{/6}}. {{7}}Terminal-Bench-Science 0.1{{/7}} — {{8}}0,9 %{{/8}}, classé {{9}}89e{{/9}}.

• HLE-Diamond — 6,9 %, classé 117e. CritPt v2 sous-ensemble difficile — 15,5 %, classé 85e. GDP.pdf — 11,2 %, classé 135e.

Le schéma dans ces lignes est cohérent. Là où la tâche consiste à « piloter un terminal pendant longtemps sans s’arrêter prématurément », ce modèle obtient environ cinq fois le score du modèle Qwen. Là où la tâche consiste à « connaître un fait », il est en retrait — et là où la tâche consiste à « connaître un fait ou dire qu’on ne le connaît pas », il devance presque tout le reste du classement, avec 81,8 % de non-hallucination.

Cette combinaison n’est pas un accident de réglage. C’est à quoi ressemble un modèle conçu pour générer des trajectoires d’agents lorsqu’on lui soumet un benchmark de connaissances. Un modèle enseignant qui invente des faits est un enseignant qui empoisonne les données d’entraînement de l’élève ; le calibrage compte donc plus que le rappel dans le pipeline que Nanbeige dit construire. Que ce compromis ait été délibéré ou émergent, c’est l’aspect le plus défendable de cette publication.

Le problème de la verbosité est un problème de coût déguisé.

Artificial Analysis rapporte que Nanbeige4.3-33B a généré 160 millions de tokens de sortie lors de son évaluation sur l'Intelligence Index. Le modèle médian de sa catégorie de comparaison a généré 77,7 millions. Dans le classement de verbosité du site, il arrive en dernière position, n° 8 sur 8 de cette catégorie, à environ 2,06 fois la médiane. Le volume d'entrée était de 15,4 milliards de tokens, ce qui porte le ratio sortie/entrée à 1,034 %.

Deux choses en découlent. La première, c’est que le 20 était cher à l’achat. Si vous payez au jeton où que ce soit, un modèle qui émet deux fois plus de jetons pour le même score composite coûte environ deux fois plus cher par unité de capacité mesurée, et l’indice ne normalise pas cela. La seconde, c’est que la verbosité est un problème de latence avant d’être un problème d’argent : un modèle dense de 33B sur vos propres GPU qui produit deux fois plus de jetons met deux fois plus de temps à terminer une tâche.

Les paramètres recommandés par Nanbeige lui-même expliquent en partie cela et ne l’excusent pas entièrement. La fiche demande un plafond de 262 144 jetons pour le raisonnement et le chat, 65 536 pour le travail agentique, avec la réflexion activée par défaut. Tout modèle à qui l’on dit qu’il peut réfléchir pendant un quart de million de jetons en utilisera certains. Mais la médiane de la classe est une comparaison équitable — les autres modèles derrière le même indice sont aussi des modèles de raisonnement — et le multiple de 2,06× résiste à ce contrôle.

Pour un déploiement auto-hébergé, la solution pratique est un budget, pas un changement de modèle : plafonnez le nombre maximal de nouveaux tokens par tâche, et mesurez votre propre taux de réussite à 8K, 16K et 32K avant de supposer que les valeurs par défaut de la fiche modèle sont les bonnes pour votre charge de travail. La plupart des tâches agentiques ne s’améliorent pas au-delà d’un certain point, et ce modèle ne vous dira pas où se situe ce point.

La seule ligne où l’exécution externe a battu le propre chiffre du fournisseur

La fiche modèle de Nanbeige annonce Terminal-Bench 4.0 à 23,8 pour Nanbeige4.3-33B, contre 6,3 pour Qwen3.8-27B. Artificial Analysis a mesuré 29,8. Le chiffre indépendant est six points plus élevé que celui que le laboratoire a publié sur lui-même.

C'est suffisamment inhabituel pour mériter d'être dit clairement, car le mode de défaillance standard dans ce secteur va dans l'autre sens — les laboratoires rapportent le meilleur chiffre que leur propre échafaudage produit, et les reruns externes sont plus bas. Qu'un fournisseur sous-déclare son propre score agentique suggère soit un harnais différent de son côté, soit une déclaration délibérément prudente, soit un tableau construit avant le point de contrôle final. Aucune de ces explications n'est mauvaise ; toutes signifient que le tableau du fournisseur n'est pas un plafond et ne doit pas être lu comme tel.

Il ne s’ensuit pas que chaque ligne de fournisseur soit digne de confiance. Les affirmations les plus fortes du tableau de Nanbeige — DeepSWE à 65,5 contre 42,5 pour Qwen, SWE-Atlas-QnA à 50,8 contre 41,9 — n’ont pas encore d’équivalent indépendant, et les deux sont des benchmarks sensibles au scaffold, où le choix du harnais fait davantage varier les scores que la qualité du modèle. Ce que le résultat de Terminal-Bench établit est plus étroit et plus utile : la direction agentique de l’affirmation est réelle. L’ampleur sur chaque ligne individuelle reste non vérifiée.

Où cela laisse une équipe qui souhaite l’essayer

Rien n'a changé concernant l'accès. Il n'y a aucun point de terminaison à appeler, aucune grille tarifaire et aucune liste de fournisseurs — les poids sont sur Hugging Face sous Apache 2.0 et la voie de service est vLLM, SGLang ou Transformers sur du matériel que vous possédez. Le checkpoint bfloat16 fait 66,3 Go répartis sur quatorze shards, et avec un contexte de 512K, le cache KV à lui seul atteint environ 104 GiB, c'est pourquoi la configuration fonctionnelle est un parallélisme tensoriel à quatre voies plutôt qu'une seule grande carte.

Ce qui a changé, c’est que vous pouvez désormais sauter la partie coûteuse de la due diligence. Avant cette semaine, évaluer Nanbeige4.3-33B impliquait de provisionner quatre GPU pour savoir si les affirmations agentiques résistaient au contact d’un harnais neutre. Le 29.8 sur Terminal-Bench 4.0 répond à la première question — la direction est la bonne — et le chiffre de verbosité répond à une question que personne ne posait, à savoir ce que le modèle vous coûtera en tokens par tâche terminée.

Si vous voulez un point de comparaison que vous pouvez réellement appeler aujourd'hui, Qwen3.8-27B est le témoin naturel : même score composite, prix publié et fenêtre de 262K. Il s'exécute sur OrcaRouter à 0,33 $ par million de tokens en entrée et 2,40 $ par million de tokens en sortie, sur la même clé que le reste du catalogue, avec les prix catalogue des fournisseurs répercutés sans marge. Exécuter votre jeu de tâches sur un modèle hébergé et un modèle auto-hébergé derrière une même règle de routage est le moyen le moins cher de savoir si un checkpoint dense de 33B sur votre propre matériel bat un 27B que vous louez au token — et c'est une question à laquelle l'Intelligence Index ne peut pas répondre à votre place, car il ne sait pas quelles sont vos tâches ni combien coûtent vos GPU.

Les choses encore véritablement inconnues sont limitées. Que Nanbeige4.3-3B, la cible de distillation que ce modèle a pour vocation d’enseigner, hérite ou non d’une partie de la calibration. Que la verbosité survive ou non chez l’étudiant, car un petit modèle qui émet 2× plus de tokens constitue une erreur bien moins coûteuse. Et que le résultat de non-hallucination tienne ou non en dehors du harnais Omniscience, car 81,8 % est un chiffre remarquable, et les chiffres remarquables méritent un second regard avant que quiconque construise un pipeline dessus.