LMArena et les classements des LLM : trois règles, trois questions différentes

Le 19 février 2026, Artificial Analysis a publié un article intitulé « Gemini 3.1 Pro Preview : le nouveau leader de l’IA ». Il arrivait en tête de six des dix évaluations et devançait Claude Opus 4.6 de quatre points. Ouvrez aujourd’hui la page de ce même modèle : le chiffre est 30, classé 69e sur 200. Google n’a rien changé. Ce qui a changé, c’est l’étalon : le 19 septembre 2026, Artificial Analysis a révisé son Intelligence Index en v4.3.2, retiré Terminal-Bench 2.1 au profit de Terminal-Bench 4.0, remplacé tau3-Banking par AutomationBench-AA et réancré l’échelle Elo GDPval-AA. Un leader de février est devenu un milieu de tableau de septembre parce que l’instrument de mesure s’est déplacé sous ses pieds.

Cet épisode unique constitue à lui seul tout l’argument en faveur de l’apprentissage d’une lecture correcte de ces classements. Claude Opus 5.5 et Claude Fable 5.1, Kimi K3.1 Pro et MiniMax M3.1 Flash, ainsi que tous les modèles intermédiaires, sont évalués selon au moins trois critères incompatibles à la fois, et les recherches qui amènent les gens ici — lmarena, llm ranking, which model is actually best — partent du principe qu’il n’existe qu’une seule réponse. Il y en a trois, et elles répondent à des questions différentes.

Trois types de tableaux des scores, trois questions différentes

Chaque nombre que vous verrez sur un classement appartient à l’une de trois familles, et c’est la famille qui détermine ce que le nombre peut ou ne peut pas vous dire.

L'arène de la foule. LMArena présente deux sorties de modèles anonymes pour une même invite, une personne choisit un gagnant, et les votes sont agrégés en une note. Elle mesure la préférence dans des conditions aveugles sur des invites que personne n'a choisies à l'avance. Sa force est qu'aucun fournisseur n'exploite le banc d'essai et que personne ne sélectionne les questions à la main. Sa faiblesse est qu'un votant récompense les réponses fluides, assurées et bien formatées, et qu'une invite saisie par un bénévole ne correspond pas à votre charge de travail. Une note élevée dans l'arène signifie que les gens ont tendance à préférer la sortie ; cela ne signifie pas que la sortie est correcte.

L'indice composite.Artificial Analysis exécute une suite fixe d'évaluations et les combine en un seul Intelligence Index, aux côtés de mesures distinctes de vitesse, de latence, de prix et de coût par tâche accomplie. C'est le plus utile des trois pour établir une présélection, car le harnais d'évaluation est le même pour chaque modèle et les colonnes adjacentes permettent de mettre en balance la qualité et le coût. Sa faiblesse est qu'un composite intègre des choix éditoriaux : quelles évaluations comptent, comment elles sont pondérées et ce qui se passe lorsque l'une d'elles est retirée. La révision v4.3.2 rend précisément cette faiblesse visible.

La fiche du fournisseur.Le matériel de lancement du laboratoire qui a construit le modèle. C'est la source la plus riche — des centaines de lignes, les benchmarks les plus récents, les configurations que personne d'autre n'a exécutées — et c'est la moins comparable, car chaque fournisseur choisit le harnais, le réglage de l'effort et les adversaires. Le tableau d'Anthropic pour Claude Opus 5.5 place son modèle 29 points devant GPT-5.6 Sol sur Terminal-Bench 4.0 ; le matériel d'OpenAI sur Sol met en avant Terminal-Bench 2.1, où Sol obtient 91,9, et ne contient aucune ligne pour Opus 5.5, car Opus 5.5 n'existait pas lorsqu'il a été rédigé. Un tableau qui ne comporte que des lignes favorables ne constitue pas la preuve d'une domination sans partage. C'est la preuve d'une sélection de lignes.

La ligne est une configuration, pas un modèle

La lecture erronée la plus courante d’un classement consiste à considérer une ligne comme un modèle. Sur le propre classement de LLM d’Artificial Analysis cette semaine, Claude Opus 5.5 apparaît trois fois :

• Claude Opus 5.5 à effort maximal avec repli — Indice d’intelligence 58, coût par tâche 5,98 $, vitesse de sortie médiane 98 tokens par seconde, latence 706 ms, de bout en bout 711 ms.

• Claude Opus 5.5 en effort xhigh avec repli — Indice d'intelligence 56, coût par tâche 3,46 $, vitesse de 82 jetons par seconde, latence de 119 ms, de bout en bout 125 ms.

• Claude Sonnet 5.5 avec un effort maximal — 56, $5.46, 141 jetons par seconde, 427 ms.

Deux points d’indice séparent les deux premières lignes. Une réduction de 42 % du coût par tâche et un écart de latence d’un facteur six les séparent également. Rien n’a changé dans le modèle ; c’est le réglage de l’effort qui a changé. Tout argument de la forme « le modèle X obtient un meilleur score que le modèle Y » est donc incomplet tant qu’il ne précise pas la configuration, ce qui explique pourquoi un seul chiffre issu d’une comparaison directe ne devrait jamais suffire à lui seul à trancher une décision d’achat.

La même règle s’applique à l’effort de raisonnement dans les documents d’un fournisseur lui-même. Anthropic précise en note que son exécution de Terminal-Bench avec Claude Opus 5.5 a utilisé l’effort xhigh plutôt que celui par défaut, et qu’avec l’effort moyen par défaut, l’avantage de FrontierCode sur GPT-5.6 Sol se réduit d’un écart mis en avant à sept points. Les deux chiffres sont vrais. Un seul décrit ce que vous obtiendrez si vous ne définissez pas le paramètre.

Le piège de la version, qui explique la plupart des mauvaises comparaisons

Les noms de benchmark sont réutilisés d’une génération à l’autre et les chiffres ne passent pas d’une génération à l’autre. Trois exemples tirés de la couverture de ce mois suffisent à en montrer la forme.

• Terminal-Bench 2.1 versus 4.0 — la fiche de Google pour Gemini 3.5 Flash-Lite indique 54,0 % sur Terminal-Bench 2.1 ; Artificial Analysis, qui utilise la version 4.0, enregistre 1 %. Les deux chiffres sont exacts, et citer l’un ou l’autre sans préciser la version est trompeur d’une manière qui flatte le modèle que l’on préfère.

• OSWorld-Verified versus OSWorld 2.0 — Anthropic rapporte 85,0 % pour Claude Mythos 5 sur OSWorld-Verified. D’autres fournisseurs citent des scores OSWorld 2.0 situés entre 60 et 69. Les mettre dans une seule colonne ne constitue pas une comparaison de modèles.

• Le bon modèle, la mauvaise version — Claude Mythos 5.1 obtient 60,9 sur Terminal-Bench 4.0, contre 52,0 pour Muse Wonder, seul test commun à ces deux familles. Mythos 5affiche 88,0 sur Terminal-Bench 2.1 dans ses résultats publiés. Remplacer une génération par l'autre crée un écart de 36 points qui n'existe pas.

L’habitude pratique est modeste et vaut la peine d’être adoptée : lorsqu’un nombre apparaît sans version de benchmark et sans réglage d’effort, considérez-le comme une affirmation plutôt que comme une mesure.

Le coût par tâche n’est pas le prix indiqué sur la carte.

Les classements ont discrètement ajouté la colonne qui compte le plus pour la budgétisation, et elle contredit régulièrement la grille tarifaire. MiniMax M3.1 Flash coûte 0,15 $ par million de tokens d’entrée et 0,60 $ en sortie ; Gemini 3.5 Flash-Lite coûte 0,30 $ et 2,50 $ — quatre fois plus en sortie. En coût par tâche Intelligence Index terminée, Flash-Lite l’emporte : 0,19 $ contre 0,22 $.

Cette inversion n’est pas une erreur. La métrique correspond aux tokens réellement consommés multipliés par les tarifs du fournisseur ; elle mesure donc la quantité de travail que chaque modèle fournit pour accomplir la même tâche. MiniMax M3.1 Flash a consommé environ 180 millions de tokens de sortie sur l’ensemble de l’indice, contre une médiane proche de 100 millions pour les modèles suivis par Artificial Analysis : c’est un raisonneur verbeux, et la verbosité est facturée. Pour les tâches où la délibération permet d’obtenir une réponse correcte, c’est un bon compromis. Pour les tâches où la réponse n’a jamais fait de doute, c’est du gaspillage.

C’est la colonne à appliquer à votre propre trafic avant de faire confiance à une comparaison par jeton, car c’est la seule qui tienne compte du fait que les modèles ne dépensent pas le même nombre de jetons pour arriver au même endroit.

Ce qu'un classement ne vous dira pas

Deux angles morts méritent leur propre titre, car tous deux coûtent de l'argent lorsqu'on les ignore.

Abstention.L'évaluation AA-Omniscience d'Artificial Analysis attribue à MiniMax M3.1 Flash un score de 16 : 56 % des questions factuelles ont reçu une réponse correcte, et le taux d'hallucination est de 93 %. Ce second chiffre ne signifie pas que 93 % des réponses étaient fausses — il signifie que, parmi les réponses qui n'étaient pas correctes, 93 % étaient carrément fausses plutôt que des réponses partielles ou des refus. Le modèle répond généralement alors qu'il devrait s'abstenir. Gemini 3.5 Flash-Lite n'a aucun score AA-Omniscience, ce qui constitue une donnée manquante et non un certificat de bonne santé.

Disponibilité. Un score est une affirmation sur un instant donné. Gemini 3.1 Pro a passé sept mois en aperçu sans date de GA, a disparu du sélecteur de modèles d’AI Studio à la mi-septembre sans explication du fournisseur, et porte toujours un classement. Grok 4.7 n’avait qu’un jour lorsqu’il a obtenu 46 sur l’indice. L’un de ces chiffres concerne un modèle que vous pourrez appeler le mois prochain ; l’autre concerne un modèle qui pourrait ne pas exister le trimestre prochain. Le classement ne fait pas la distinction entre les deux.

Où se situe notre propre conseil, et pourquoi il constitue une quatrième chose

OrcaRouter gère un classement de modèles d’IA qui ne reproduit délibérément aucun des éléments ci-dessus. Il s’appuie sur ce que notre propre passerelle observe — le trafic de production et les votes de la communauté dans Battle Mode — et combine cela avec les votes LMArena, des benchmarks indépendants et l’adoption dans l’écosystème selon des pondérations fixes et publiées. Il est mis à jour quotidiennement, référence les modèles dans les 48 heures suivant leur arrivée et se décline en vues Texte, Codage, Vision, Mathématiques, Raisonnement et Agentique, plutôt que de prétendre qu’un seul ordre convient à tous les usages.

Cela lui confère un mode de défaillance différent des trois autres, ce qui mérite d’être dit clairement : il ne peut classer que les modèles que nous routons, de sorte que ses angles morts sont commerciaux plutôt que méthodologiques. Ce qu’il apporte, c’est le seul signal que les autres n’ont pas — si la chose a réellement répondu, à quelle vitesse, pour quel prix mixte, sur un trafic qui n’a pas été construit pour un benchmark.

En lire un en cinq minutes

• Trouvez la version du benchmark et le réglage de l'effort avant de lire le score. Si l'un des deux manque, le chiffre n'est qu'une affirmation.

• Lisez la colonne du coût par tâche, et non le prix par token. Ils sont plus souvent en désaccord qu'en accord.

• Traitez un indice composite comme une présélection, pas comme un verdict. C’est une repondération, et les repondérations finissent par être révisées — la même révision qui a rétrogradé Gemini 3.1 Pro a rétrogradé des dizaines de modèles que personne n’avait touchés.

• Distinguez les lacunes de capacités des écarts de score. Un plafond de sortie de 65 536 tokens ou un modèle incapable de lire une vidéo est un fait propre à votre charge de travail ; deux points d'indice, non.

• Vérifiez quand le modèle a été commercialisé et s’il s’agit encore d’une préversion. Un classement sans date de disponibilité, c’est le classement de quelque chose qui pourrait ne pas être disponible au moment de votre déploiement.

Le classement est le début de la question, pas la réponse. La seule mesure qui tranche un choix, c’est votre propre trafic sur vos propres prompts — c’est pourquoi ce qu’une passerelle peut offrir d’utile n’est pas un classement de plus, mais la possibilité d’exécuter les deux candidats côte à côte sur une seule clé et de comparer les factures.

Note sur les sources : l’évolution de Gemini 3.1 Pro entre février et septembre, le contenu de la révision v4.3.2, les trois lignes de Claude Opus 5.5, les chiffres d’AA-Omniscience, les valeurs de coût par tâche et les scores de l’Intelligence Index proviennent d’Artificial Analysis et ont été relevés le 26 octobre 2026. Les chiffres de Terminal-Bench 2.1 et 4.0, les chiffres d’OSWorld-Verified et d’OSWorld 2.0, les scores de 60,9 et 52,0 à Terminal-Bench 4.0, l’estimation de consommation de tokens de MiniMax et les comparaisons avec les fiches fournisseurs proviennent respectivement des documents publiés par Anthropic, Google, MiniMax et OpenAI, et sont déclarés par les fournisseurs, sauf lorsqu’ils sont attribués ci-dessus à Artificial Analysis. La description du classement, les pondérations et la fréquence de mise à jour d’OrcaRouter relèvent de notre propre méthodologie publiée.