Une carte d’actualité générée intitulée « Un témoignage client, deux modèles, zéro chiffre », avec trois badges indiquant « GPT-6.1 Sol : voie de production », « GPT-6 Astra : stand de démonstration » et « Chiffres publiés dans le témoignage : aucun », et le logo OrcaRouter dans le coin inférieur droit.
Guides & Insights

L’histoire de GPT-6.1 Sol de DevRev est en réalité une histoire sur l’endroit où GPT-6 Astra ne se trouve pas.

Auteur

Alistair Wren

Date de publication

Derniers modèles · 20Voir tous les modèles →
Benchmarks : Artificial Analysis · mis à jour quotidiennement
Retour à tous les articles

OpenAI a publié cette semaine un témoignage client intitulé « DevRev propose un libre-service autonome avec GPT-6.1 Sol », et la phrase la plus instructive qu’il contient ne porte pas du tout sur GPT-6.1 Sol. C’est celle où l’on dit que les ingénieurs avant-vente de DevRev utilisent GPT-6 Astra pour créer des démos destinées aux stands de conférence. Ahmed Bashir, directeur technique de DevRev, décrit une entreprise qui a scindé son parc de modèles en deux : le modèle de gamme intermédiaire porte le chemin du support en production, et le modèle de pointe porte ce qu’un prospect regarde pendant quatre-vingt-dix secondes. C’est un élément de preuve plus utile que n’importe quel benchmark cité dans l’article, car il s’agit d’une décision de déploiement prise par quelqu’un qui doit payer la facture.

Le calendrier compte. GPT-6.1 Sol est sorti le 29 septembre 2026 lors du DevDay, une semaine après GPT-6 Sol, à 2,00 $ par million de jetons d’entrée et 10,00 $ par million de jetons de sortie. L’article de DevRev sur le partenariat avec OpenAI porte un tampon de mise à jour du 2 novembre 2026, et le témoignage client est la première fois qu’un service de production nommé place le modèle intermédiaire, plutôt que le modèle phare, sur le chemin exposé aux clients. Il ne s’agit pas d’un lancement. C’est la première référence de mission.

Ce que DevRev exécute réellement

DevRev construit deux produits sur le même substrat. Computer est le coéquipier IA qui répond et agit sur l'ensemble des données métier ; Operator est l'agent qui exécute une action approuvée ou achemine une demande vers la bonne personne. Les deux ont besoin des mêmes trois éléments avant qu'un modèle puisse être autorisé à interagir avec un client : le contexte de l'entreprise, des autorisations correspondant au rôle d'une personne et des actions réversibles. Le modèle fournit le raisonnement, la planification et la sélection des outils. L'environnement d'exécution de DevRev fournit le reste, et Agent Studio est l'endroit où un client décrit en conversation comment un outil doit se comporter, puis fige les éléments qui ne doivent pas varier au moyen de règles fixes.

Deux propriétés de l’histoire valent plus que les éloges. Les actions sont réversibles. Les réponses citent leurs sources. Ce sont les deux modes de défaillance qui empêchent les entreprises de laisser un agent clore un ticket, et DevRev revendique les deux comme un comportement du produit plutôt que du modèle. Si vous évaluez un agent en libre-service, ce sont les questions à poser, et aucun classement n’y répond.

Le chiffre qui sera associé à cette histoire date de juillet, et il ne concerne pas Sol.

Cherchez des articles sur DevRev et OpenAI et vous trouverez une paire de chiffres frappante : 48 % plus précis, et 4,4 fois moins de tokens par réponse correcte. Ils sont réels, ils sont publiés, et ils n’ont rien à voir avec GPT-6.1 Sol.

Ces chiffres proviennent d’un communiqué du 9 juillet 2026 annonçant Enterprise-Bench, un benchmark ouvert d’agents d’entreprise que DevRev a développé avec le Laude Institute et publié sur le harnais Harbor. Dans cette comparaison, le Computer de DevRev a obtenu 94,3 % contre 63,6 % sur le jeu de données XL, et a utilisé environ 5 598 jetons par réponse correcte contre 24 461. La comparaison était explicitement harnais contre harnais, les deux systèmes exécutant le même modèle sous-jacent. DevRev a attribué l’écart à son architecture de récupération et de mémoire partagée, et non au modèle sous-jacent. Il a également été comparé à Claude Code, et non à quoi que ce soit qu’OpenAI ait publié en septembre.

Le témoignage client d’OpenAI mentionne Enterprise-Bench, et Bashir déclare que GPT-6.1 Sol y obtient de bons résultats. Il s’agit d’une affirmation qualitative. Aucun score n’est fourni, aucune tranche de jeu de données, aucune comparaison. Quiconque accole les chiffres de juillet au récit de novembre mesure une autre chose sur un autre modèle, dans un autre trimestre. La lecture honnête est plus étroite et reste intéressante : DevRev dispose d’un benchmark qu’il a conçu précisément pour cette décision, et il a choisi de ne pas y publier de ligne Sol.

Ce que l’histoire ne dit pas

Il n'y a aucun taux de résolution, aucun volume de tickets, aucun percentile de latence, aucun nombre de tokens et aucun prix dans la publication OpenAI. Pour un témoignage client sur le libre-service autonome, c'est tout le tableau de bord qui manque.

La valeur publiée la plus proche est la preuve de concept BILL de DevRev, où BILL a rapporté un taux de résolution par l’IA de 70 % sur de vraies requêtes clients à l’aide de sa propre évaluation. Les documents de DevRev citent également une réduction de 77 % des tokens et une baisse d’environ neuf minutes à environ 1,5 minute sur des questions à plusieurs étapes, mesurées par rapport à leur propre approche antérieure. Ces chiffres sont rapportés par le fournisseur et non reproduits, et aucun d’entre eux n’est lié à la génération de modèle actuellement en production. Considérez-les comme la forme de l’affirmation, non comme son ampleur.

A generated scoreboard titled 'DevRev: what is measured, and what is claimed', with a July column showing 94.3% versus 63.6% accuracy and 5,598 versus 24,461 tokens per answer measured on the Opus 4.8 family, a November column showing no published accuracy, token or resolution figures alongside $2.00/$10.00 for GPT-6.1 Sol and $10.00/$50.00 for GPT-6 Astra, and a takeaway line noting that the July figures measure a harness against a harness.

La contrainte propre à Bashir est celle à retenir : « Ces choses doivent pouvoir s’exécuter et se terminer d’elles-mêmes en quelques secondes, pas en quelques minutes. » Une interaction de support qui demande vingt minutes de raisonnement n’est pas du self-service, quel que soit son score. Cette phrase explique le choix du modèle mieux que n’importe quel tableau de benchmarks.

L’arithmétique qu’un service d’assistance peut vérifier

Prenez un ticket ordinaire : 20 000 tokens d’entrée de contexte récupéré, 2 000 tokens de sortie incluant le raisonnement. Au prix catalogue de GPT-6.1 Sol, cela représente 0,04 $ d’entrée et 0,02 $ de sortie, soit environ six cents. La même requête sur GPT-6 Astra, à 10,00 $ en entrée et 50,00 $ en sortie, revient à 0,20 $ plus 0,10 $, soit environ trente cents. Même tâche, facture cinq fois plus élevée.

Six cents US constituent un plancher plutôt qu’une prévision. Les tokens de raisonnement sont facturés comme des tokens de sortie, les réessais sont facturés deux fois, et toute boucle d’outil multiplie ces deux postes. Mais c’est le ratio qui compte, et il résiste à ces trois réserves. Les chiffres de coût déclarés par le fournisseur OpenAI lui-même vont dans le même sens : sur Terminal-Bench Science 0.1, OpenAI a estimé GPT-6.1 Sol à 5,47 $ par tâche, contre 23,80 $ pour GPT-6 Astra et 23,21 $ pour Claude Opus 5.5, Sol obtenant 57,02 % à effort maximal contre 68,1 % pour Astra. Vous achetez onze points de capacité pour quatre fois le prix, et sur une file de support, le onzième point est généralement une meilleure reformulation, pas un ticket résolu.

Voici le calcul sur lequel repose le modèle de tarification d’OrcaRouter : le prix catalogue du fournisseur est répercuté sans marge, si bien qu’un tarif comme 2,00 $ et 10,00 $ correspond au montant que vous payez, et une modification de prix du fournisseur est appliquée le jour même plutôt qu’à la prochaine renouvellement de contrat. Les deux modèles sont accessibles derrière une seule clé, ce qui signifie que la séparation opérée par DevRev dans son architecture — modèle économique sur le chemin des volumes, modèle coûteux là où la réponse est le produit — relève d’une décision de routage plutôt que d’un second approvisionnement. Pour les étapes où un appel d’outil erroné coûte cher, le basculement vers un modèle plus puissant requête par requête fait la différence entre un mauvais après-midi et une mauvaise semaine.

A screenshot of the OrcaRouter model page for openai/gpt-6.1-sol, dated 2026-09-29, showing a 1M-token context window, 128K maximum output, $2.00 input and $10.00 output per million tokens, a 937 ms median time to first token, an 8.99 s p95, and 382.0M tokens of seven-day traffic.

Pourquoi le modèle de gamme intermédiaire obtient la voie de production

L’instinct est de voir cela comme une histoire de coût. C’est en partie une histoire de latence. GPT-6.1 Sol fonctionne avec le raisonnement toujours activé sur cinq niveaux d’effort, de faible à maximal, avec le niveau moyen par défaut, et il n’accepte pas du tout temperature ni top_p. Cela supprime la molette de réglage vers laquelle la plupart des équipes se tournent lorsqu’un agent leur semble lent, et laisse le niveau d’effort comme seul régulateur. Entre faible et maximal, la différence de temps jusqu’au premier token de réponse se compte en minutes, pas en millisecondes.

Les chiffres indépendants se situent là où on pourrait l’attendre pour un modèle de ce créneau. Sur l’Artificial Analysis Intelligence Index v5.0.1, GPT-6.1 Sol obtient 55 à effort maximal, à 56 jetons par seconde, 1,27 $ par tâche d’index terminée et 63,7 millions de jetons de sortie sur l’ensemble de l’exécution. Sur notre propre télémétrie sur sept jours, il affiche un temps médian jusqu’au premier jeton de 937 ms, un taux d’erreur de 5,7 % et un débit de sortie de 39,5 jetons par seconde, soit le type de profil sur lequel un flux de support peut être bâti : non pas le modèle le plus rapide disponible, mais suffisamment prévisible pour que l’on puisse dimensionner une file d’attente en fonction de lui.

A screenshot of the Artificial Analysis page for GPT-6.1 Sol at max effort, showing an Intelligence Index of 55, an output speed of 56 tokens per second, 20.3 minutes per index task, $1.27 cost per index task, 63.7M output tokens, and list pricing of $2.00 input and $10.00 output per million tokens.

La fenêtre de contexte est l'autre moitié du choix. Avec 1 050 000 jetons et un plafond de sortie de 128 000 jetons, un dossier, son historique et les connaissances récupérées tiennent tous dans une seule requête. C'est ce qui rend possible un agent qui raisonne « à travers des données en direct » sans couche de découpage élaborée — et c'est la partie de la fiche technique dont dépend réellement un taux de résolution de 70 %.

Qu’est-ce qui ferait de cela une étude de cas ?

Trois éléments feraient passer cela d’un logo sur une page à des preuves sur lesquelles planifier. Un taux de résolution publié pour Operator, sur un jeu de données nommé, avec le taux d’escalade humaine à côté. Une distribution de latence plutôt qu’une moyenne, car c’est au p95 que le self-service craque. Et une ablation Sol contre Astra sur Enterprise-Bench, puisque DevRev dispose déjà du banc d’essai et a déjà montré qu’elle publierait des résultats lorsqu’ils favorisent son architecture.

Bashir évoque deux éléments qu’il veut ensuite : l’API Decisions, pour les petits arbitrages coûteux à encoder sous forme de règles mais qui ne nécessitent pas de raisonnement approfondi, et Ultrafast, le palier de vitesse 6× d’OpenAI à 12,00 $ en entrée et 60,00 $ en sortie par million de tokens, disponible à l’achat depuis le 8 octobre. Les deux visent à acheter de la latence sans acheter d’intelligence, ce qui est l’instinct correct pour une file d’attente de support et l’inverse de ce que poursuivent la plupart des feuilles de route d’agents.

Le schéma à surveiller n’est pas DevRev en particulier. C’est que le premier déploiement en production nommé de GPT-6.1 Sol a placé le modèle bon marché là où se trouvent les clients et le modèle coûteux là où se trouvent les prospects. Si cela devient la forme normale d’une pile d’agents d’entreprise — une bête de somme sur la voie à fort volume, un produit phare pour la démo —, alors la question intéressante pour chaque fournisseur cesse d’être quel modèle est le plus intelligent et commence à être avec quelle fluidité on peut faire passer une requête de l’un à l’autre.

Comparés dans cet article2

Détecté à partir de cet article · Benchmarks : Artificial Analysis · mis à jour quotidiennement