GPT-6.1 Terra pour les agents de navigateur : les mathématiques par étape derrière 74,2 %

L’argument de vente d’OpenAI pour GPT-6.1 Terra n’est pas qu’il est plus intelligent. C’est qu’il peut piloter un écran — remplir un formulaire, lire un plan technique, parcourir une application — et le faire à moindre coût et rapidement. Le benchmark qui étaye cette affirmation est OSWorld 2.1, où Terra obtient 74,2 % au niveau d’effort de raisonnement maximal, à 1,7 point de GPT-6.1 Sol en xhigh et à 1,6 point de GPT-6 Astra. Le chiffre qui compte pour un agent, toutefois, n’est pas le score de la tâche. C’est la fiabilité par étape que ce score implique, car les agents échouent étape par étape, et non tâche par tâche.

Cet article décompose les 74,2 % : ce que mesure OSWorld, ce que cela implique à chaque étape, ce que coûte une tâche en vingt étapes, où la boucle se rompt, et les garde-fous qui empêchent un agent précis à 74 % de devenir un incident à 0 % de précision.

Ce qu’indique le tableau d’affichage

• GPT-6.1 Terra — 74,2 % sur OSWorld 2.1 au niveau d’effort maximal.

• GPT-6.1 Sol — 75,9 % à xhigh.

• GPT-6 Astra — 75,8 %.

• Claude Opus 5.5 — 81,8 %.

• Claude Sonnet 5.5 — 80,1 %.

• Kimi K3.1 Pro — 79,6 %.

Trois lectures méritent d’être distinguées. Au sein de la famille GPT-6, Terra est à une erreur d’arrondi près de ses frères et sœurs plus coûteux — l’écart de prix n’apporte presque rien en automatisation de bureau. Tous fournisseurs confondus, toute la famille accuse six à sept points de retard sur Anthropic. Et l’affirmation de Terra, proche de celle de son fournisseur — à peu près à égalité avec GPT-6 Astra au niveau medium sur Agents’ Last Exam, pour un dixième du prix par jeton — est une affirmation par tâche que le chiffre d’OSWorld étaye largement.

Du score de tâche à la fiabilité par étape

Les tâches OSWorld sont évaluées comme réussies ou échouées après une séquence d’actions. Si une tâche compte environ vingt étapes et que Terra mène à bien 74,2 % des tâches de bout en bout, le taux de réussite implicite par étape est la racine vingtième de 0,742 — environ 98,5 %. Il s’agit d’une illustration arithmétique, pas d’une mesure : certaines tâches sont plus courtes, d’autres plus longues, et les échecs ne sont pas indépendants. Mais elle donne la bonne échelle. Un modèle qui ressemble à un modèle à 74 % est en réalité un modèle à 98,5 % par étape, et c’est dans cet écart que se joue la conception des agents.

Refaites le calcul dans l’autre sens pour un workflow de cinquante étapes. À taux par étape identique, le taux de réussite de bout en bout tombe à environ 47 %. À quatre-vingts étapes, il est de 30 %. Le score de la tâche ne change pas ; c’est le workflow qui change, et c’est pourquoi « assez bon pour un agent » dépend entièrement de la durée pendant laquelle l’agent fonctionne sans supervision.

Le coût d'une tâche

Supposons 3 000 jetons d’entrée par étape — une capture d’écran, plus l’état de la tâche, plus l’historique des actions — et 150 jetons de sortie pour l’action, sur vingt étapes.

• Par tâche : 60 000 en entrée à 1 $ par million, soit 0,06 $ ; 3 000 en sortie à 5 $ par million, soit 0,015 $. Total : 0,075 $.

• Avec un taux de nouvelle tentative de 30 % : environ 0,0975 $ par tâche réussie, soit 98 $ pour mille tâches.

• La même charge de travail sur GPT-6.1 Sol à 2 $/10 $ : 0,15 $ par tâche, 195 $ pour mille.

• Sur GPT-6 Astra à 10 $/50 $ : 0,75 $ par tâche, 975 $ par millier.

• Sur Claude Opus 5.5 à 4 $/20 $ : 0,30 $ par tâche, 390 $ par millier.

Les hypothèses sur les tokens comptent davantage que le ratio de prix. Les captures d’écran dominent le coût d’entrée, et la taille des captures d’écran est un choix : un PNG complet de 1440×900 coûte bien plus de tokens qu’une région d’intérêt recadrée. Un pipeline qui envoie une capture d’écran recadrée par étape au lieu de tout le bureau peut réduire de moitié les tokens d’entrée, ce qui divise par deux le coût par tâche et modifie le classement face aux modèles plus précis.

La latence est le produit

Artificial Analysis mesure Terra à 90,9 tokens de sortie par seconde et 133,64 secondes avant le premier token sur son benchmark de raisonnement, contre 73,5 tokens par seconde et 284,31 secondes pour GPT-6.1 Sol. Ces chiffres de latence proviennent d’une tâche de raisonnement à effort maximal ; ils surestiment donc le délai par étape dans une boucle d’agent — mais le ratio, un peu plus de 2×, est le bon indicateur du temps que chaque modèle réfléchit avant d’agir.

Dans une boucle d’agent, le temps de réflexion se cumule vingt fois par tâche. Si Sol prend quatre secondes par étape et Terra deux secondes, une tâche de vingt étapes s’achève en 40 secondes au lieu de 80. Victor E. Nunez, collaborateur d’OpenAI, a rapporté que Terra avait rempli un formulaire web plus de deux minutes plus vite que Sol ; c’est une anecdote, pas un benchmark, mais c’est le genre de différence que les utilisateurs remarquent sans qu’on le leur dise.

Là où la boucle se brise

• Actions irréversibles. Envoyer, publier, supprimer, payer — toute action ayant un effet secondaire nécessite une validation préalable. Aucun score de benchmark ne change cela.

• Interfaces ambiguës. Deux boutons intitulés « Continue » mettent en échec un modèle, quel qu’en soit le prix ; la solution réside dans l’hygiène des invites et des captures d’écran.

• Des horizons longs. Le calcul par étape ci-dessus constitue à lui seul l’argument contre le travail non supervisé sur des horizons longs à 98,5 % par étape.

• Captures d’écran obsolètes. Une image capturée avant un changement de mise en page est erronée, et une image erronée produit un clic erroné mais confiant.

• État qui persiste entre les onglets. Les agents basés sur des captures d’écran ne voient qu’une fenêtre à la fois ; les workflows multi-onglets nécessitent un suivi explicite de l’état en dehors du modèle.

Garde-fous qui rendent 74 % livrable

• Plafonnez le nombre d’étapes, pas seulement les dollars. Vingt est à la fois un budget et un contrôle de sécurité ; une boucle qui ne peut pas se terminer est le mode de défaillance le plus coûteux.

• Contrôler les effets de bord. Faire passer toute action qui modifie un état externe par une validation humaine ou un contrôle de politique.

• Enregistrez l'image avec l'action. Lorsque l'agent commet une erreur, le seul artefact utile est la capture d'écran sur laquelle il a agi.

• Utilisez des sorties structurées pour le schéma d'action. Une action en texte libre est impossible à analyser au moment précis où vous avez besoin de certitude.

• Mesurez par étape, et non par tâche. Une régression de 2 % par étape est invisible dans les scores par tâche et double le taux d'échec sur cinquante étapes.

• Gardez un second modèle pour les étapes difficiles. Terra pour les trames de routine, un modèle plus puissant pour les cas ambigus, revient moins cher que Terra avec des tentatives de reprise.

Que courir aujourd'hui

GPT-6.1 Terra ne figure pas au catalogue OrcaRouter au moment de la rédaction, la branche Terra doit donc être testée directement auprès d’OpenAI. Le jeu de comparaison est déjà en ligne de notre côté, à 0 % de marge sur le prix catalogue du fournisseur — GPT-6.1 Sol à $2/$10, GPT-6 Astra à $10/$50, Claude Opus 5.5 à $4/$20, Claude Sonnet 5.5 à $2/$10 et Kimi K3.1 Pro à $2/$10 — le tout sur une seule clé avec basculement automatique en cas de défaillance.

L’expérience qui vaut la peine d’être menée n’est pas « quel modèle obtient le meilleur score sur OSWorld ». C’est votre propre ensemble de tâches, évalué étape par étape, avec la politique de captures d’écran maintenue constante. Cette mesure détermine si le prix et la vitesse de Terra valent l’écart de 7,6 points avec Claude Opus 5.5 sur les tâches que vous exécutez réellement — et c’est le seul chiffre sur lequel un produit d’agent peut être bâti.