ERNIE 5.5 Flash Preview et la revendication de « modèle ouvert n° 2 » que sa propre ligne de classement contredit

Baidu a cité en tweet une affirmation de classement le 12 novembre 2026 qui dit, mot pour mot, « Ernie 5.5 Flash Preview de @Baidu_Inc tend à devenir le modèle ouvert n°2 sur le Code Arena: WebDev, à 1668 pts. » Baidu a ajouté les nombres de paramètres — 280 milliards au total, 14 milliards actifs par token — et a remercié la communauté de « l'avoir mis à l'épreuve ». Puis il a laissé le reste tel quel. Le problème est que la ligne qui produit ce 1668 n'est pas étiquetée comme ouverte. Sur le même tableau Code Arena WebDev, dans le même instantané du 10 novembre, ERNIE 5.5 Flash Preview porte l'étiquette Propriétaire, un score de 1668 ±16, l'étiquette AutoEval, et des votes indiqués comme N/A. Les modèles désignés comme ceux qu'il dépasse — DeepSeek-V4.1-Flash à 1664 et Kimi K3 à 1658 — sont des lignes classées avec respectivement 13 952 et 22 405 votes humains, et la ligne D​eepSeek porte une étiquette de licence MIT. Ainsi, la phrase fait trois choses à la fois : rapporter un score réel, promettre une licence qui n'existe pas encore et décrire un classement que le tableau n'a pas attribué.

Rien de tout cela ne rend le nombre faux. Cela fait du nombre un objet d’un autre type que celui que la phrase vend, et la différence est entièrement lisible dans les propres colonnes du classement.

Ce qu'Arena a publié, et la ligne que Baidu a omise

La publication Arena a été diffusée à 01:08:21 UTC le 12 novembre 2026, une minute avant la citation de Baidu. Il vaut la peine d’avoir son texte intégral sous les yeux, car l’affirmation et sa restriction figurent dans le même paragraphe :

• « Ernie 5.5 Flash Preview de @Baidu_Inc est en passe de devenir le modèle ouvert n°2 sur le Code Arena : WebDev, avec 1668 pts. »

• « Les poids seront bientôt open source sous Apache 2.0. »

• « Son score le place juste au-dessus : DeepSeek-V4.1-Flash (Max) à 1664, Kimi K3 (Max) à 1658. »

Arena a nuancé le classement à deux reprises — « trending towards becoming » — et a rattaché le statut open-weights à un événement futur avec le mot « soon ». Le quote-tweet de Baidu a reproduit le score et les nombres de paramètres, a supprimé entièrement la phrase sur Apache 2.0, et a conservé le cadrage « latest from @arena ». Un lecteur qui n'aurait vu que la publication de Baidu ne saurait pas que la moitié « open-model » de l'affirmation est une déclaration prospective, car le seul endroit où elle était formulée est la moitié qui a été coupée.

Ce n’est pas une citation inexacte. C’est une sélection, et elle fait peser la charge de la preuve sur le lecteur qui veut la vérifier — ce que fait le reste de ce texte.

La ligne, à lire colonne par colonne

Code Arena WebDev évalue le travail de développement web front-end : des tâches de codage agentique avec plusieurs étapes de raisonnement et l’utilisation d’outils, et non la qualité de conversation ni le codage général. Son instantané du 10 novembre contient 995 980 votes répartis sur 158 modèles. Voici la ligne d’ERNIE 5.5 Flash Preview telle que le tableau l’affiche, sans aucune interprétation ajoutée :

• Score — 1668, publié sous la forme 1668 +16/-16, soit un intervalle d'environ 90 % allant approximativement de 1652 à 1684.

• Rang — N/A. La ligne est affichée entre le rang 16 et le rang 17 sans numéro de rang.

• Votes — N/A. Il n’y a pas du tout de décompte de votes humains sur la ligne.

• Libellé — AutoEval, une balise liée pointant vers la page explicative d’Arena.

• Étiquette de licence — Propriétaire.

• Prix — 0,28 $ en entrée, 1,13 $ en sortie par million de tokens, ce qui correspond au prix catalogue de Qianfan.

• Contexte — N/A, sur un modèle dont la page du fournisseur indique une fenêtre de 1M de jetons.

Trois de ces sept colonnes sont N/A, et l’une d’elles est la colonne de la licence, qui est la colonne dont dépend l’affirmation. Comparez la tranche au-dessus de laquelle il prétend se situer, et le tableau se précise plutôt qu’il ne s’adoucit :

• 1691 — Claude Opus 5 (Max), A​nthropic, Propriétaire.

• 1688 — Kimi K3.1 Pro (Max), M​oonshot, étiqueté « Kimi K3.1 Pro License », une licence personnalisée qu'Arena ne classe ni comme ouverte ni comme propriétaire.

• 1682 — Gemini 4 Argon (High), Google, Propriétaire.

• 1679 — GPT-6.1 Terra (Max), O​penAI, Propriétaire.

• 1676 — Qwen3.8-Max (0902), A​libaba, Propriétaire, Préliminaire.

• 1673 — GPT-6 Sol (Max), OpenAI, Propriétaire.

• 1670 — Qwen3.8-Max, A​libaba, Propriétaire, Préliminaire.

• 1668 — ERNIE 5.5 Flash Preview, Baidu, Propriétaire, AutoEval.

• 1664 — DeepSeek-V4.1-Flash-20261017 (Max), D​eepSeek, MIT, 13 952 votes.

• 1658 — Kimi K3 (Max), Moonshot, 22 405 voix.

Lisez cette liste à la lumière de l'affirmation. Tout ce qui se trouve au-dessus d'ERNIE y est propriétaire, à l'exception d'une ligne sous licence personnalisée. Le premier modèle véritablement sous licence ouverte que vous rencontrez est la ligne D​eepSeek en dessous de celle-ci. Ainsi, « modèle ouvert n° 2 » ne décrit pas la position d'ERNIE dans ce tableau. Cela décrit la position qu'ERNIE occuperait si les poids étaient publiés sous Apache 2.0 et si les scores AutoEval étaient traités comme équivalents à des scores issus de votes humains. Ces deux conditions sont à venir ou contestées, et aucune des deux n'est visible dans le tweet cité.

Ce qu'est réellement AutoEval, et pourquoi ±16 compte ici

Arena a publié sa méthodologie AutoEval le 30 juillet 2026 et l'a révisée pour la dernière fois le 12 août. Le mécanisme repose sur un modèle de récompense entraîné sur les préférences humaines, utilisé pour voter automatiquement : échantillonner des paires prompt-réponse en direct, régénérer une réponse à partir du modèle cible, faire évaluer les deux par le modèle de récompense, convertir la différence de score en un vote probabiliste adouci, puis combiner ces votes synthétiques avec les votes humains en direct portant sur les autres modèles. Arena indique que les scores obtenus sont « clairement étiquetés "AutoEval", puis mis à jour dès que suffisamment de votes humains arrivent pour les valider », et rapporte une corrélation de classement supérieure à 0,98 avec l'évaluation en direct.

C’est une manière défendable d’obtenir un signal dès le premier jour, et c’est pourquoi un modèle peut apparaître dans un classement le jour même de sa sortie. C’est aussi, selon la propre description d’Arena, une valeur provisoire. Le nombre est provisoire par construction et devrait évoluer. L’étiquette sur la ligne d’ERNIE n’est pas décorative ; elle indique qu’il faut traiter 1668 comme une estimation en attente de validation.

Appliquez maintenant la barre d'erreur, qui est la partie de la ligne que personne n'a citée. L'intervalle d'ERNIE va d'environ 1652 à 1684. Les 1664 de DeepSeek-V4.1-Flash et les 1658 de Kimi K3 se situent tous deux à l'intérieur. Il en va de même pour Qwen3.8-Max à 1670, et pour GPT-6 Sol à 1673. La phrase « son score le place juste au-dessus de DeepSeek-V4.1-Flash à 1664 et de Kimi K3 à 1658 » est arithmétiquement vraie pour les estimations ponctuelles et statistiquement non étayée en tant que comparaison : selon l'incertitude publiée pour cette ligne elle-même, ERNIE n'est pas distinguable de n'importe quel modèle entre 1652 et 1684. Il pourrait être au-dessus de D​eepSeek. Il pourrait être en dessous. Le tableau ne dit actuellement pas lequel.

Ce n’est pas un point de détail visant un seul fournisseur. Un intervalle de ±16 sur un classement où l’ensemble du top-25 s’étend sur environ 200 points signifie que presque chaque paire de lignes adjacentes est à égalité à ce niveau de confiance, et la lecture honnête de toute comparaison adjacente unique — pour n’importe quel modèle — est « à égalité ». Ce qui est inhabituel ici, c’est seulement qu’un fournisseur ait amplifié la comparaison adjacente en conséquence.

D'où vient « #2 », et la licence dont il dépend

En raisonnant à rebours à partir des chiffres, il n’existe exactement qu’une seule manière pour que l’affirmation devienne vraie, ce qui mérite d’être précisé parce que c’est vérifiable et parce qu’Arena ne l’a pas explicité.

Considérez que l’ensemble ouvert signifie « chaque ligne qu’Arena ne marque pas comme Proprietary ». Au-dessus de 1668, cela ne laisse précisément qu’une seule ligne : Kimi K3.1 Pro (Max) à 1688, portant l’étiquette « Kimi K3.1 Pro License ». Tout le reste au-dessus d’ERNIE est étiqueté Proprietary. Selon cette lecture, Kimi K3.1 Pro est n°1 et ERNIE 5.5 Flash Preview serait n°2 — non pas parce qu’il a battu le peloton, mais parce que le peloton devant lui est propriétaire.

Cette reconstruction est une inférence, pas une citation : le post d’Arena ne nomme pas le modèle qu’il considère comme n°1, et le classement n’expose pas son classificateur open source/ propriétaire au-delà des étiquettes de licence. Si cette inférence est correcte, alors le fait déterminant de l’affirmation est une licence personnalisée sur le modèle de quelqu’un d’autre — Arena considère Kimi K3.1 Pro comme ouvert, et tout le cadrage « modèle ouvert n°2 » hérite de cette décision de classification. Si Arena considère plutôt les licences personnalisées comme fermées, le 1668 d’ERNIE est la ligne non propriétaire la mieux classée et l’affirmation aurait dû indiquer « n°1 », ce qui aurait été une phrase plus étrange à publier à propos d’un aperçu.

Quoi qu’il en soit, la phrase en fait plus que les données qui la sous-tendent. Le chiffre est réel. Le rang dépend d’une licence que personne n’a vue.

La distance que le cadrage dissimule

Un chiffre de plus a sa place dans toute version honnête de cet article, et son absence est ce qu’il y a de plus révélateur à son sujet. Le sommet de Code Arena WebDev dans le même instantané est Claude Fable 5.2 à 1836. ERNIE 5.5 Flash Preview à 1668 est 168 points derrière — et 17e sur 158 si la ligne AutoEval était classée, s’intercalant entre Qwen3.8-Max à 1670 et DeepSeek-V4.1-Flash à 1664.

Dix-septième sur un classement de 158 modèles, un jour après sa sortie, avec 14 milliards de paramètres actifs sur 280 milliards au total, c’est un résultat vraiment bon. C’est le genre de résultat qui justifie un article de la semaine de lancement. Ce n’est pas le genre de résultat qu’il faut présenter comme une place sur le podium, et le présenter ainsi attire exactement l’examen minutieux qui coûte à un fournisseur plus de crédibilité que ne l’aurait fait la phrase honnête.

Ce que la page du fournisseur dit et ne dit pas

La page de publication officielle de Baidu pour ERNIE 5.5 Flash Preview est datée du 11 novembre 2026, indique « 280B paramètres au total, dont 14B actifs et un contexte de 1M de tokens », et décrit le modèle comme le premier checkpoint post-entraîné sur ERNIE 5.5 Flash Base, les poids de base ayant été publiés le 5 novembre. Elle ne contient aucune mention de licence, aucune mention des poids et aucun chiffre de benchmark — les références aux benchmarks figurant sur la page sont des titres consacrés à des versions antérieures d'ERNIE, et non des scores pour ce modèle.

Cet écart compte pour l’affirmation examinée. « Les poids seront bientôt open source sous Apache 2.0 » apparaît dans la publication d’Arena. Cela n’apparaît pas sur la page de publication du fournisseur, ni dans la propre amplification de cette publication par le fournisseur. Si l’engagement Apache 2.0 est réel et actuel, la page de publication est l’endroit naturel pour cela, et il n’y figure pas. S’il est réel mais pas encore documenté, alors la seule source publique d’un engagement de licence sur ce modèle est une annonce de classement — un endroit bien mince pour qu’une licence réside quand un fournisseur construit un classement par-dessus.

Comment utiliser ceci avant que les chiffres ne se stabilisent

La question pratique pour quiconque choisit un modèle cette semaine n’est pas de savoir si 1668 est un bon score. C’est de savoir si une estimation provisoire WebDev sur un checkpoint de préversion, facturée à 0,28 $ en entrée et 1,13 $ en sortie avec un raisonnement obligatoire facturé comme sortie, devrait déplacer quelque chose déjà en production. D’après les éléments disponibles, la réponse est non — mais la façon de le tester est peu coûteuse, et elle ne demande de croire ni la publication ni cet article.

Faites la comparaison sur les modèles routés plutôt que sur le classement. DeepSeek-V4.1-Flash et Kimi K3 sont tous deux disponibles via OrcaRouter derrière une seule clé compatible OpenAI, au prix catalogue du fournisseur, sans marge, de sorte que le groupe de contrôle coûte le tarif propre au fournisseur plutôt qu’un second contrat et un second SDK. Créez vingt tâches front-end qui représentent votre travail réel — des refactorisations de composants, un bug de mise en page qui ne se manifeste qu’à un seul point de rupture, un travail de câblage de machine à états — exécutez chaque modèle deux fois, et comptez les tokens de sortie ainsi que l’exactitude. C’est la mesure qu’aucune ligne de classement ne vous donnera, car c’est le seul chiffre qui doit être le vôtre : le coût par tâche, pas le prix par token.

Traitez ERNIE 5.5 Flash Preview comme la chose testée plutôt que comme la chose adoptée. Il est sur Qianfan, pas dans notre catalogue, et un aperçu que son propre fournisseur qualifie de point de contrôle intermédiaire de post-entraînement correspond exactement au profil que l’on place derrière un primaire plutôt que devant. Si vous le mettez tout de même sur un chemin, mettez-le sur un chemin avec basculement, afin que le jour où Arena remplace 1668 par un nombre voté par des humains — ou le jour où les poids Apache 2.0 apparaissent, ou n’apparaissent pas — vos utilisateurs l’apprennent par une ligne de journal et non par une panne.

Qu'est-ce qui réglerait la question ?

Trois choses, dans l’ordre où elles sont susceptibles d’arriver, dont chacune changerait le verdict de cet article plutôt que de simplement l’embellir.

Des votes humains remplacent le label AutoEval sur cette ligne. Arena indique que les scores sont mis à jour dès que suffisamment de votes arrivent. Lorsque les votes cessent d'afficher N/A, le 1668 devient comparable aux 1664 et 1658 auxquels il était comparé, et la question du ±16 se résout d'elle-même. Observez l'intervalle se resserrer autant que l'estimation ponctuelle se déplace.

• Poids publiés sous une licence nommée. Un véritable dépôt avec un fichier Apache 2.0 tranche définitivement la question du modèle ouvert et rend la formulation « modèle ouvert n°2 » rétroactivement équitable. Une annonce de licence sans poids ne tranche rien.

• Une mesure WebDev indépendante. AutoEval d'Arena est l'instrument propre à Arena, et chaque chiffre de benchmark que Baidu a publié pour ce modèle provient d'une exécution de Baidu sur le propre banc d'essai de Baidu. Ni l'un ni l'autre n'est un résultat tiers. La première évaluation front-end véritablement indépendante d'ERNIE 5.5 Flash Preview vaudra plus que les deux.

D'ici là, la phrase exacte est la plus ennuyeuse : un checkpoint de prévisualisation que Baidu a publié le 11 novembre s'est classé à 1668 sur Code Arena WebDev, une estimation AutoEval comprise dans un intervalle qui chevauche les quatre modèles suivants, sur une ligne que le tableau classe encore comme Proprietary, et son éditeur l'a amplifiée comme un quasi-numéro 2 parmi les modèles ouverts. Chacune de ces propositions est vérifiable aujourd'hui. La version qui a été tweetée n'est pas tant fausse qu'inachevée — et elle a été publiée comme si elle était terminée.