Les benchmarks de GPT-6.1 Terra, classés : là où 48 fait jeu égal avec 52 et là où ce n’est pas le cas

Le score composite de GPT-6.1 Terra est de 48. GPT-6.1 Sol est à 52, GPT-6 Astra à 53, GPT-5.6 Terra à 42, et GPT-6 Luna à 38. C’est toute l’histoire si l’on ne lit que la première ligne de l’Artificial Analysis Intelligence Index — un modèle de milieu de gamme qui se situe six points au-dessus de son prédécesseur et quatre points en dessous de son frère plus cher. C’est aussi la manière la moins utile de lire cette sortie, car le même indice masque un écart de 29 points en codage avec Astra, un écart de 7,6 points en utilisation d’ordinateur avec Claude Opus 5.5, et une amélioration des hallucinations plus importante que tous les gains d’intelligence du lancement réunis.

Ce qui suit distingue trois types de chiffres : les mesures indépendantes d’Artificial Analysis, les résultats communiqués par OpenAI que personne à l’extérieur n’a reproduits, et les chiffres dérivés — l’arithmétique qui transforme l’une ou l’autre des deux premières catégories en coût ou en ratio. Ces distinctions comptent, car la couverture du lancement a déjà commencé à les mélanger.

Les trois scores que tout le monde citera

Artificial Analysis classe GPT-6.1 Terra à 48 sur son Intelligence Index, au 25e rang sur 221 modèles, à 0,40 $ par tâche d’index. GPT-6.1 Sol se situe à 52 et au 13e rang, à 0,72 $ par tâche. GPT-6 Astra, le modèle phare actuel, est à 53. GPT-5.6 Terra est à 42 et au 53e rang, à 1,40 $ par tâche. GPT-6 Luna est à 38.

Lu comme une échelle, Terra constitue une véritable montée en gamme : six points pour moins d’un tiers du coût par tâche terminée, et dix points au-dessus de l’offre économique. Lu comme une comparaison avec Sol, c’est exactement ce que la grille tarifaire implique : quatre points de moins, pour environ la moitié du prix par token. Rien dans le composite ne contredit le positionnement d’OpenAI.

Le composite aplatit aussi des choses qu’il ne devrait pas. Quatre points d’indice entre Terra et Sol représentent 8 % de l’échelle ; 29 points entre Terra et Astra sur le Coding Agent Index représentent 60 % de cette échelle. Un seul chiffre ne peut pas porter les deux, et la couverture du lancement qui ne cite que le premier a discrètement laissé de côté le second.

Là où l'écart se creuse : le codage

Sur le Coding Agent Index v2.0 d’Artificial Analysis, GPT-6.1 Terra obtient un score de 48, GPT-6.1 Sol de 54 et GPT-6 Luna de 31. Cela représente un déficit de six points par rapport à Sol et une avance de 17 points sur Luna — la même configuration que l’indice d’intelligence, mais avec un écart au sommet de la famille plus important en termes relatifs.

Les chiffres du fournisseur racontent une histoire plus flatteuse, et ce sont bien des chiffres de fournisseur. OpenAI rapporte 50,3 % de tâches résolues sur Terminal-Bench 4.0 à effort maximal, contre 21,5 % pour GPT-5.6 Terra. C’est plus du double, et c’est le plus grand bond d’une génération à l’autre de cette version. Il s’agit aussi d’un benchmark de tâches terminal, pas d’une mesure générale d’agent de codage : Terra peut être proche de Sol sur de courts travaux shell bien délimités tout en restant six points derrière sur l’indice plus large, et ces deux choses sont vraies à la fois.

L’interprétation pratique est que les gains de Terra en codage sont concentrés là où la tâche est circonscrite. « Lance cette suite de tests, lis l’échec, applique un correctif au fichier » correspond au profil de Terra. « Garder en tête un refactoring de quinze fichiers sur quarante étapes » n’en fait pas partie, et la recommandation d’OpenAI elle-même oriente toujours les travaux de programmation complexes vers Sol ou Astra.

Là où l'écart est plus faible que ne le suggère l'indice : usage de l'ordinateur

Sur OSWorld 2.1, le benchmark standard d'automatisation du bureau, GPT-6.1 Terra obtient 74,2 % avec le raisonnement maximal. GPT-6.1 Sol obtient 75,9 % en xhigh. GPT-6 Astra obtient 75,8 %. Claude Opus 5.5 arrive en tête des modèles que nous pouvons comparer avec 81,8 %, Claude Fable 5.1 à 80,7 %, Claude Sonnet 5.5 à 80,1 % et Kimi K3.1 Pro à 79,6 %.

Deux choses s’ensuivent. Premièrement, Terra n’est qu’à 1,7 point de Sol sur la tâche pour laquelle il a été conçu, à la moitié du prix par token — un bien meilleur compromis que ne le laisse supposer l’écart d’intelligence de quatre points. Deuxièmement, toute la famille GPT-6 est devancée par Anthropic de six à sept points sur l’automatisation du bureau, et Terra ne comble pas cet écart. Si votre produit est un agent de navigateur, la comparaison intéressante n’est pas Terra face à Sol ; c’est Terra face à Claude Sonnet 5.5, qui est moins cher par token que Sol et obtient 5,9 points de plus sur OSWorld.

Les propres chiffres agentiques du fournisseur vont dans le même sens. Sur Agents' Last Exam v1, OpenAI rapporte 57,6 % pour Terra à effort moyen, contre 50,7 % pour GPT-5.6 Terra à effort maximal. L'affirmation qui l'accompagne — comparable à GPT-6 Astra à effort moyen, pour environ un dixième du prix par token — est une affirmation par tâche, et c'est la phrase la plus significative sur le plan économique de ce lancement.

Le chiffre qui a réellement bougé : hallucination

Artificial Analysis mesure un taux d’hallucination Omniscience : la fréquence à laquelle un modèle devine lorsqu’il ne sait pas. GPT-5.6 Terra a obtenu un score de 88 %. GPT-6.1 Terra obtient 38 %. La précision a augmenté de deux points sur la même période.

Une baisse de 50 points du taux de supposition compte davantage que tout gain d’intelligence dans cette version, et c’est le seul chiffre qui change ce à quoi un modèle peut servir sans risque. Un modèle qui invente une réponse 88 % du temps lorsqu’il est incertain ne peut pas être utilisé en confiance pour l’extraction de factures ou le remplissage de formulaires sans une vérification humaine de chaque résultat. À 38 %, il devine encore plus d’un tiers du temps — c’est une amélioration, pas une solution — mais le mode de défaillance passe de « partir du principe qu’il se trompe » à « échantillonner et vérifier ».

Cela a une conséquence directe sur les coûts. La vérification est le poste caché de tout déploiement de modèle bon marché : si vous devez contrôler 88 % des réponses, le coût du travail éclipse l’économie de tokens. À 38 %, la vérification ponctuelle devient viable, et le chiffre de 0,40 $ par tâche commence à ressembler au coût réel plutôt qu’à sa moitié visible.

Les déclarations des fournisseurs, et ce qui leur manque

Les résultats publiés par OpenAI, tous menés par le fournisseur et aucun reproduit indépendamment au moment de la rédaction :

• Terminal-Bench 4.0 — 50,3 % à effort maximal, contre 21,5 % pour GPT-5.6 Terra.

Agents' Last Exam — 15 points de plus que GPT-5.6 Terra en effort moyen, pour environ un tiers du coût.

• MMMU-Pro — devant GPT-5.6 Terra à chaque niveau d’effort, proche d’Astra et Sol, sans scores absolus publiés.

• Terminal-Bench-Science 0.1 — à moins de 5 points de Claude Opus 5.5 pour moins d’un cinquième du coût estimé.

• Prompts induisant des erreurs — 16,7 % à effort faible, contre 53,6 %, et 4,3 % à effort maximal, lors d’un test interne que l’entreprise n’a pas publié.

Le schéma de cette liste mérite d’être nommé. Les deux affirmations les plus fortes — MMMU-Pro et le test du taux d’erreur — sont les deux auxquelles aucun chiffre absolu n’est associé. « S’approche d’Astra » et « proche de Sol » sont des affirmations comparatives qui ne peuvent être vérifiées sans les chiffres qui les sous-tendent. Les affirmations accompagnées de chiffres précis sont celles qu’un tiers peut reproduire, et Artificial Analysis a déjà reproduit le volet coût : 0,40 $ par tâche, 1,40 $ pour le prédécesseur.

La vitesse est le nombre indépendant qui ne figure pas dans l'index

Artificial Analysis mesure GPT-6.1 Terra à 90,9 jetons de sortie par seconde, avec 133,64 secondes avant le premier jeton sur son benchmark de raisonnement. GPT-6.1 Sol est mesuré à 73,5 jetons par seconde et 284,31 secondes. Cela représente environ 24 % de débit en plus et un avantage sur le temps jusqu’au premier jeton d’un peu plus du double — une mesure indépendante, et non une affirmation d’un fournisseur, et l’argument objectif le plus solide en faveur de Terra dans toute cette sortie.

Pour un produit de chat, le débit importe peu ; pour une boucle d’utilisation d’un ordinateur qui compte vingt étapes par tâche, c’est la différence entre une tâche de 40 secondes et une tâche de 90 secondes. L’indice ne tarifie pas la latence, et c’est pourquoi un modèle classé 25e peut être le bon achat pour un agent classé 13e en qualité.

Comment lire l’indice sans se laisser tromper

Traitez le composite comme un filtre, pas comme un classement. Il vous indique quels modèles font partie de la conversation ; il ne vous dit pas lequel est le plus adapté à votre tâche.

• Examinez séparément les sous-scores de codage et d'utilisation de l'ordinateur. Le profil de Terra est inhabituellement étalé : proche de Sol en automatisation du bureau, six points de retard en codage, quatre de retard au global.

• Revérifiez les valeurs absolues par rapport à une date unique. L’indice est renormalisé périodiquement, et les analyses de semaines différentes citent des chiffres différents pour le même modèle.

Pondérez le taux d’hallucination autant que le score d’intelligence si votre charge de travail comporte un coût de vérification. Une amélioration de 50 points change le modèle opérationnel, pas seulement le score.

• Mesurez votre propre tâche. Les chiffres de coût par tâche d’Artificial Analysis sont un proxy construit sur leurs prompts ; vos prompts produiront un ratio différent entre le prix des tokens et les tentatives.

Rien de tout cela ne fait de GPT-6.1 Terra un mauvais modèle. Cela en fait un modèle spécifique : un modèle rapide, bon marché, qui hallucine bien moins, proche de son homologue plus coûteux sur les écrans et loin du modèle phare sur le code. Le score composite indique 48. Les sous-scores disent quel 48 vous achetez.