Carton titre indiquant « Facture de retouches de GPT-6.2 Sol », montrant GPT-6.2 Sol à 48,6 sur l’Artificial Analysis Coding Agent Index à 1,22 $ par tâche, contre Claude Opus 5.5 à 58,2 à 12,61 $ par tâche, avec une note précisant que les deux ont été mesurés dans des harnais différents. Le logo OrcaRouter figure dans le coin inférieur droit.
Guides & Insights

La facture de refonte de GPT-6.2 Sol : bon marché au token, coûteuse à la correction

Auteur

Gideon Frost

Date de publication

Derniers modèles · 20Voir tous les modèles →
Benchmarks : Artificial Analysis · mis à jour quotidiennement
Retour à tous les articles

Le matin du 20 novembre, le commentateur IA sinophone 宝玉 (@dotey) a publié un verdict sur GPT-6.2 Sol que quiconque a passé une semaine avec le modèle reconnaîtra. Les tâches simples passent. Les tâches de codage complexes ne sont pas seulement un peu moins bonnes que Claude Opus 5.5 — le travail que Sol termine doit encore être repris par Opus, si bien qu'il aurait mieux valu confier la tâche à Opus dès le départ. Le post est un rapport d'usage et rien de plus : pas de harnais, pas de liste de tâches, pas de diff, 124 mentions J'aime au moment de la rédaction et un fil de commentaires qui en débat. Il est aussi vérifiable d'une manière que la plupart des impressions de la semaine de lancement ne sont pas, parce que la chose qu'il décrit a une forme. Un modèle qui se débrouille sur les tâches faciles et s'effondre sur les tâches difficiles devrait présenter un schéma spécifique dans les évaluations — de la force sur l'exécution, de la faiblesse sur la compréhension — et les chiffres publiés ont soit ce schéma, soit ils ne l'ont pas.

Ils le font en grande partie. OpenAI a livré GPT-6.2 Sol le 17 novembre 2026 à 2 $ par million de jetons d'entrée et 10 $ par million de jetons de sortie. Dans l'indice indépendant Coding Agent Index d'Artificial Analysis, il se classe en dessous du modèle qu'il remplace, et la composante qui le plombe est celle où le modèle doit lire une base de code et en dire quelque chose de vrai. C'est le mécanisme derrière « il faut nettoyer après lui », énoncé sous forme de chiffre. Ce que le tweet ne fait pas, et ce que cet article tente de faire, c'est chiffrer le nettoyage — car lorsqu'on fait réellement le calcul, la thèse du retravail s'avère bien plus forte en temps d'horloge qu'en argent, et les deux mènent à des décisions différentes.

Ce que la publication affirme réellement

Aujourd’hui, j’ai fait passer des tests de stress à GPT-6.2 Sol. Les tâches simples, ça va. Sur des tâches de codage un peu plus complexes, il n’est pas seulement un peu moins bon qu’Opus 5.5 — le travail qu’il termine demande encore qu’Opus 5.5 nettoie derrière lui, donc vous auriez tout intérêt à laisser Opus 5.5 s’en charger dès le départ.

Trois affirmations distinctes se cachent là-dedans. Premièrement, une affirmation sur la qualité : Sol est nettement moins bon qu’Opus 5.5 sur le code complexe. Deuxièmement, une affirmation sur le flux de travail : l’écart se manifeste par du retravail plutôt que par un échec évident — vous obtenez un résultat, il semble terminé, et un modèle plus puissant doit le corriger. Troisièmement, une affirmation économique : le retravail annule toutes les économies réalisées sur le prix des tokens.

Les deux premières peuvent être testées à l’aune d’évaluations publiées. La troisième relève de l’arithmétique et dépend d’un chiffre que personne n’a publié — le coût d’une passe de réparation par rapport à l’exécution de la tâche une seule fois avec le modèle coûteux. Tout ce qui suit garde ces trois affirmations distinctes, car elles ne résistent pas toutes de la même manière.

La comparaison propre s'exécute au sein d'un même harnais.

Un avertissement avant tout chiffre, car c’est la manière la plus courante de faire cette comparaison malhonnêtement. Artificial Analysis mesure les agents de codage comme l’association d’un modèle et d’un environnement d’exécution : Codex pour les modèles d’OpenAI, Claude Code pour ceux d’Anthropic. Le coût par tâche, la consommation de tokens et le temps d’horloge varient autant avec l’environnement d’exécution qu’avec le modèle, si bien qu’une comparaison brute du type « Sol coûte 1,22 $, Opus coûte 12,61 $ » mesure deux machines différentes.

Ce qui survit à cette objection, c'est toute comparaison au sein d'un harnais. Dans Codex, GPT-6.2 Sol peut être confronté directement à GPT-6.1 Sol et à GPT-6.2 Astra, sur des tâches identiques, avec les mêmes outils et la même notation — et c'est là que se situe la régression. Le couple inter-harnais mérite tout de même d'être affiché, clairement étiqueté, car c'est la comparaison que le lecteur fait réellement lorsqu'il doit choisir entre un abonnement O​penAI et un abonnement A​nthropic.

• Codex, GPT-6.2 Sol (max) — Coding Agent Index 48,6, 1,22 $ par tâche, 4,25 M de tokens

• Codex, GPT-6.1 Sol (max) — indice 52,2, 1,51 $ par tâche, 4,33 M de tokens

• Codex, GPT-6.2 Astra (max) — indice 53,5, 5,12 $ par tâche, 4,67 M de tokens

• Claude Code, Claude Opus 5.5 (max) — index 58,2, 12,61 $ par tâche, 15,89 M de tokens

Lisez les deux premières lignes ensemble. Le nouveau modèle obtient 3,6 points de moins que celui qu'il remplace, sur le même harnais, avec une consommation de tokens à moins de 2 % de la sienne. Le prix n'a pas changé non plus — Sol maintient 2 $ et 10 $ depuis le 29 septembre, et GPT-6.2 Sol a conservé exactement la grille tarifaire. Il ne s'agit donc pas d'un modèle moins cher qui échange de la qualité contre du prix. C'est le même prix, le même harnais, et moins de capacités sur ce que mesure l'indice. La comparaison de @dotey porte sur le modèle d'un autre fournisseur, mais la régression qu'il ressent est visible sans même sortir de la gamme de produits d'O​penAI.

A two-column scoreboard comparing GPT-6.2 Sol and Claude Opus 5.5 across Intelligence Index, cost per index task, time per index task, Coding Agent Index, SWE-Atlas-QnA and output tokens, with a footer noting that index and cost figures are Artificial Analysis's and that the two coding-agent scores come from different harnesses. The OrcaRouter logo sits in the bottom-right corner.

Là où l'écart sur les tâches complexes est bien réel

Le Coding Agent Index est un composite de trois évaluations, pondérées de manière égale : FrontierCode-AA 2.0 (132 tâches d'ingénierie logicielle, rédigées par Cognition et implémentées par Artificial Analysis), Terminal-Bench 4.1 (66 tâches agentiques en terminal, du Laude Institute), et SWE-Atlas-QnA-AA (124 tâches de questions-réponses techniques sur une base de code, de Scale AI avec une notation ajustée par Artificial Analysis). Chaque score est la moyenne de trois tentatives par tâche.

Décomposez Sol par composant face à son prédécesseur, et la forme que décrit @dotey apparaît immédiatement :

• SWE-Atlas-QnA-AA — GPT-6.2 Sol 46,2 % contre GPT-6.1 Sol 59,9 %, soit une chute de 13,7 points au sein d'un même harnais

• FrontierCode-AA 2.0 — 41,5 % contre 42,5 %, pratiquement stable

• Terminal-Bench 4.1 — 58,1 % contre 54,0 %, soit un gain de 4,1 points

Ainsi, le modèle est devenu meilleur pour faire et moins bon pour savoir. Le travail en terminal consiste à exécuter et observer : lancer la commande, lire la sortie, ajuster. Les questions-réponses sur la base de code consistent à récupérer et rapporter : trouver le code pertinent, comprendre pourquoi il est ainsi et l'énoncer avec exactitude. Un modèle qui progresse sur le premier et régresse de 13,7 points sur le second réussira un test de fumée et produira des modifications qui semblent correctes et passent à côté de la raison pour laquelle le code a été écrit ainsi. C'est précisément le mode de défaillance qui génère du retravail plutôt qu'un message d'erreur, et c'est pourquoi la plainte arrive sous la forme « il faut le nettoyer » plutôt que « ça ne marche pas ».

L’écart absolu avec Opus 5.5 sur la même évaluation est encore plus grand — 46,2 % contre 65,9 % —, mais cette comparaison passe d’un harnais à l’autre ; il faut donc la considérer comme indicative. La chute de 13,7 points au sein de Codex, elle, n’est pas indicative. C’est le même harnais, les mêmes 124 tâches, le même évaluateur, et le modèle répond simplement avec moins de précision que le modèle qu’il remplace aux questions portant sur une base de code.

Artificial Analysis's model page for GPT-6.2 Sol, listing it as released November 2026, ranked 13th of 95 on intelligence and 40th of 94 on performance, scoring 57 on the Intelligence Index, using 60.9M tokens, priced at $2.00 per million input tokens and $10.00 per million output tokens, costing $1.01 per task and 9.6 minutes per task, at roughly 70 tokens per second.

Là où Sol va vraiment bien

La première proposition du tweet mérite le même traitement que la seconde. « Les tâches simples ne posent pas de problème » n'est pas une concession ; sur l'Intelligence Index composite, qui fait passer chaque modèle par une suite identique plutôt que par les harnais des fournisseurs, GPT-6.2 Sol à effort maximal bat Claude Opus 5.5 à effort maximal sur plusieurs composantes purement et simplement :

• Terminal-Bench-Science 0.1 — 67,6 % contre 59,0 %, soit une victoire de 8,6 points pour Sol

• AutomationBench-AA — 71,3 % vs 69,5 %

• Terminal-Bench 4.0 — 60,1 % contre 59,6 %

• GDP.pdf — réussite totale : 30,0 % vs 26,2 %

Et il échoue sur celles qui exigent de retenir un fait et de le rapporter :

• HLE-Diamond — 64,0 % vs 67,9 %

• AnalystAgent — 53,8 % contre 56,3 %

• AA-Omniscience — 40,4 avec 61,6 % de précision contre 48,1 avec 65,5 % de précision

• FrontierCode-AA 2.0 (version Index) — 44,4 % contre 46,4 %

La ligne Omniscience est celle qui mérite qu’on s’y attarde. C’est l’évaluation qui mesure si un modèle sait ce qu’il ne sait pas : Sol répond correctement 61,6 % du temps et son taux d’hallucination est de 55,4 %, contre 65,5 % et 50,3 % pour Opus 5.5. Un modèle qui répond correctement près de quatre points moins souvent et invente quelque chose cinq points plus souvent est un modèle dont la production doit être vérifiée par un humain — c’est l’argument du retravail, qui arrive d’une seconde direction.

Net, Sol obtient 57,3 contre 59,1 au score composite, et y parvient en 9,6 minutes par tâche plutôt qu’en 25,7, pour 1,01 $ plutôt que 10,04 $, tout en émettant 60,9 millions de tokens de sortie sur l’ensemble de la suite, contre 218 millions pour Opus. Quoi qu’il en soit, le modèle bon marché n’est pas lent et il n’est pas verbeux.

Le cadran d'effort a déjà été balayé

L’objection évidente de quiconque a déjà utilisé un modèle de raisonnement OpenAI est qu’il s’agit du mauvais réglage. Baissez l’effort et le modèle cesse de trop réfléchir ; augmentez-le et il cesse de bâcler. Artificial Analysis a déjà passé au crible l’intégralité du Coding Agent Index dans Codex, et cela ne sauve pas la situation :

• faible — 37,2

• moyen — 45,4

• élevé — 47,5

• xhigh — 49,8

• max — 48,6

Le pic se situe à xhigh, pas au maximum : pousser jusqu’à l’effort maximal coûte en réalité 1,2 point, le genre de résultat non monotone qui apparaît quand un modèle commence à douter de lui-même. Mais même le meilleur réglage, 49,8, se trouve 2,4 points en dessous du score de GPT-6.1 Sol au maximum et 8,4 en dessous de Claude Opus 5.5. Aucune position du curseur ne fait de GPT-6.2 Sol le meilleur agent de codage ; il n’y a qu’un choix quant à ce que vous êtes prêt à payer pour 49,8.

Il vaut la peine de connaître le coût de ce choix, car il est élevé en termes relatifs même s’il reste modique en absolu. Sur l’Intelligence Index, Sol coûte 0,18 $ par tâche à effort faible, 0,41 $ à moyen, 0,56 $ à élevé, 0,65 $ à xhigh et 1,01 $ à max. Passer de medium à xhigh double environ la qualité par tâche — de 52,7 à 55,7 sur cet indice — et coûte 58 % de plus. La valeur par défaut est medium, le réglage qui produit le score de codage de 45,4. Si vous évaluez Sol face à Opus, faites-le à xhigh ou max, sinon vous comparez la mauvaise configuration.

Un chiffre qui prédit les reprises

Il existe une deuxième série de données dans la même exécution qui parle directement de l’expérience « il faut nettoyer », et ce n’est pas un score de qualité. Artificial Analysis enregistre les refus de sécurité par évaluation et distingue les refus dont le harnais s’est remis de ceux qui ont mis fin à la tentative. Sur SWE-Atlas-QnA-AA, sur plus de 372 tentatives :

• GPT-6.2 Sol (max) — 25 refus, chacun un arrêt net, 6,7 % des tentatives

• GPT-6.2 Sol (xhigh) — 22 refus, 5,9 %

• GPT-6.2 Sol (moyen) — 13 refus, 3,5 %

• GPT-6.1 Sol (max) — 15 refus, 4,0 %

GPT-6.2 Astra (max) — 8 refus, 2,2 %

• Claude Opus 5.5 — 52 refus, dont aucun arrêt net, 14,0 %

La gamme Opus est la plus intéressante, et elle va à l'encontre d'une lecture paresseuse. Opus 5.5 refuse plus souvent que n'importe quel modèle de ce tableau — et le harness les a tous récupérés, les 52, donc aucun d'entre eux n'a entraîné l'échec de l'exécution. Sol refuse moins souvent, et le harness n'a pas pu en récupérer un seul sur ses 25. Un refus qui met fin au tour d'un agent, c'est une tâche qu'un humain doit désormais reprendre ; un refus récupéré, ce n'est qu'une nouvelle tentative. Sur l'évaluation qui ressemble le plus à « répondre à des questions sur ce dépôt », le modèle dont se plaint le tweet échoue dans le mode qui produit du travail inachevé plutôt que du travail erroné.

Lu conjointement avec la baisse de 13,7 points de compréhension, cela forme un récit cohérent plutôt que deux chiffres sans lien : Sol est moins fiable sur la partie récupération et restitution du codage, et lorsqu’il échoue, il échoue d’une manière qui laisse la tâche en suspens.

Tarification de la passe de nettoyage

Passons maintenant à la troisième affirmation, la plus économique, celle où l’intuition l’emporte le plus souvent sur l’arithmétique. Utilisez le coût par tâche de l’Intelligence Index, car cette suite repose sur le même banc d’essai pour chaque modèle qui y figure, de sorte que les chiffres sont directement comparables : GPT-6.2 Sol 1,01 $, Claude Opus 5.5 10,04 $.

OpenAI's developer documentation page for GPT-6.2 Sol, describing it as the go-to model for everyday work from coding to powering agents at scale, accepting text and image input and producing text, with a 1,050,000-token context window, 922,000 max input tokens, 128,000 max output tokens and a June 1, 2026 knowledge cutoff. The pricing table lists $2.00 per million input tokens, $0.10 cached input, $2.50 cache writes and $10.00 output; it also notes that above 272,000 input tokens the input and cache rates double and output costs 15 times the short-context rate, and that batch costs 50% of standard rates.

Prenons une tâche que Sol réalise et qu’Opus répare ensuite. Soit p la proportion de tâches nécessitant une réparation et r le coût d’une réparation en fraction d’une passe Opus complète. Une solution Sol puis réparation coûte 1,01 $ + p × r × 10,04 $. Opus seul coûte 10,04 $. La solution Sol puis réparation est moins chère chaque fois que p × r est inférieur à 0,899.

C’est un seuil élevé à franchir. Si une réparation coûte la moitié d’une passe complète, vous pouvez réparer chaque tâche individuelle et rester encore 78 % moins cher que d’aller directement à Opus. Ce n’est que lorsque les réparations approchent le coût d’une reprise complète sur presque chaque tâche que la facture s’inverse : à p = 1 et r = 1, vous payez 11,05 $ pour ce qu’Opus aurait fait pour 10,04 $. Sur mille tâches, cela fait 11 050 $ contre 10 040 $ — une pénalité de 10 %, pas la déroute que le tweet laisse entendre.

Ainsi, si l’on ne considère que l’argent, la critique concernant les reprises ne remet pas en cause l’argument du prix, à moins que les reprises ne soient proches de la totalité. Mais l’argent n’est pas la contrainte à laquelle la plupart des équipes se heurtent. Le temps l’est :

• Temps par tâche de l'Intelligence Index — GPT-6.2 Sol 9,6 min contre Claude Opus 5.5 25,7 min

• Temps lorsqu’une tâche nécessite une reprise complète par Opus — 9,6 + 25,7 = 35,3 min contre 25,7 min

• Dépenses en tokens sur la même suite — 60,9 M contre 218 M de tokens en sortie

Ici, la thèse du retravail tient sans réserve. Toute tâche que Sol entreprend puis vous rend est une tâche qui a pris 37 % de plus qu’elle ne l’aurait fait si vous vous étiez tourné vers Opus d’abord, et vous ne pouvez pas récupérer ce temps avec un jeton moins cher. Si votre contrainte est une échéance plutôt qu’un budget — ce qui est la situation dans laquelle se trouve en réalité presque chaque développeur lorsqu’il publie cette plainte — @dotey a raison, et le débat porte sur le débit, pas sur le prix.

Qu’est-ce qui changerait le verdict

Deux choses, et aucune n’est encore disponible. La première est un taux de retouche publié : quelle proportion des diffs de Sol sur des tâches complexes un modèle plus fort doit réellement modifier, mesurée sur un ensemble de tâches fixe. Personne ne publie cela, car cela exige d’exécuter deux modèles sur les mêmes tickets et de comparer les résultats, et c’est le seul chiffre qui trancherait le débat. La seconde est un chiffre de GPT-6.2 Sol sur une exécution de codage avec le harnais Anthropic, ou d’Opus 5.5 sur Codex, ce qui transformerait la comparaison entre harnais ci-dessus en un véritable face-à-face.

Face à cela, notez ce qui est déjà établi. La régression est réelle et elle se situe au sein d’un seul harnais. Le balayage des efforts ne la corrige pas. L’évaluation de la compréhension — celle qui prédit les reprises — a évolué de 13,7 points dans la mauvaise direction. Un lecteur qui veut une raison de conserver le codage complexe sur Opus 5.5 en a une qui ne dépend de l’impression de personne sur une semaine de lancement.

Exécution du test sur vos propres tâches

Le taux de reprise est mesurable sur votre propre backlog en un après-midi, et c’est la seule version de ce chiffre qui compte pour vous. Prenez vingt tâches que votre équipe a réellement livrées le mois dernier, faites passer chacune dans les deux modèles avec le même réglage d’effort, puis comparez les correctifs obtenus à ce qu’un humain a fini par fusionner. La fraction qui a nécessité une reprise substantielle est votre p ; le coût en tokens de la passe de réparation est votre r.

OrcaRouter fait de cela une décision de routage plutôt qu'un choix d'approvisionnement : anthropic/claude-opus-5.5 et openai/gpt-6.1-sol sont tous deux accessibles derrière une seule clé, au prix catalogue du fournisseur, avec 0 % de marge répercutée, si bien que les chiffres ci-dessus sont ceux qui vous seront facturés. Cela compte plus que d'habitude ici, car le modèle contre lequel le tweet prend position — GPT-6.2 Sol — ne figure pas encore dans notre catalogue ; nous ne le servons pas, et aucun routage n'y changera rien. Ce que nous servons, c'est le modèle que Sol a remplacé, et c'est le contrôle qui convient pour une expérience : exécutez 6.2 Sol partout où vous pouvez y accéder, exécutez GPT-6.1 Sol sur les mêmes tâches via notre service, et la chute de 13,7 points de compréhension devient quelque chose que vous pouvez confirmer ou réfuter sur votre propre code plutôt que sur une suite synthétique.

Pour la forme de déploiement que les données suggèrent, le DSL de routage est la réponse honnête : envoyez les étapes de planification et de compréhension de la base de code à Opus 5.5, envoyez les boucles d’exécution et de terminal au modèle moins cher, et laissez le basculement automatique couvrir le cas où un fournisseur se bloque en cours d’exécution. C’est une configuration, pas une architecture — et c’est à quoi ressemble « utiliser Opus pour nettoyer après Sol » quand on l’écrit sous forme de pipeline plutôt que de plainte.

La seule chose qui vaut la peine d’être retenue du tweet, quel que soit le modèle choisi : la facture d’une tâche de codage n’est pas le nombre de tokens. Ce sont les tokens, plus les minutes humaines, plus le temps réel écoulé entre « terminé » et « réellement terminé ». Sol gagne la première ligne de ce registre de façon décisive, Opus 5.5 gagne la deuxième et la troisième chaque fois qu’une tâche revient, et aucun fournisseur ne publie le taux auquel les tâches reviennent. Tant que personne ne le fait, le seul chiffre digne de confiance est celui que vous mesurez sur vos propres diffs.

Comparés dans cet article1

Détecté à partir de cet article · Benchmarks : Artificial Analysis · mis à jour quotidiennement