Carte de titre indiquant « Astra for Law 6.2 », avec la ligne « 0,03 hallucination matérielle par devoir » au-dessus de trois cartes affichant 20,8 % de crédit intégral sur Harvey LAB-AA, 0,03 hallucination matérielle et 64 000 tokens de sortie par devoir, au-dessus d’un pied de page précisant que les chiffres LAB-AA proviennent d’Artificial Analysis et sont également rapportés par OpenAI.
Guides & Insights

Astra for Law 6.2 se classe premier au benchmark juridique de Harvey. Le taux d’hallucination est la véritable nouvelle.

Auteur

Gideon Frost

Date de publication

Derniers modèles · 20Voir tous les modèles →
Benchmarks : Artificial Analysis · mis à jour quotidiennement
Retour à tous les articles

Ope​nAI a livré une nouvelle version de Astra for Law le 17 novembre 2026 — la configuration juridique bâtie sur GPT-6.2 Astra, le modèle phare lancé la veille — et elle arrive en tête du classement Harvey LAB-AA tenu par Artificial Analysis : 20,8 % des 120 missions juridiques ont obtenu la totalité des points, contre 15,0 % pour GPT-6.2 Astra et 13,1 % pour Muse Wonder Full, la meilleure entrée non-Ope​nAI. Le chiffre qui mérite davantage votre attention se trouve deux colonnes plus à droite. Astra for Law a présenté en moyenne 0,03 hallucination substantielle par mission. Claude Opus 5.5, le modèle non-Ope​nAI le plus faible ensuite sur ce critère, affichait une moyenne de 0,59.

Les deux chiffres décrivent la même exécution de 120 affectations, ce qui justifie de les lire ensemble : une configuration qui termine l’ensemble de la tâche un peu plus souvent que tout ce qui a été testé, et invente une affirmation substantielle environ vingt fois moins souvent que son plus fort rival non-Ope​nAI. Voici ce qui a changé depuis septembre, où les affirmations tiennent, où elles ne tiennent pas, et à quoi ressemble réellement l’accès cette semaine.

Mêmes poids, un index plus grand et un nouveau nom à rechercher

Rien ici n’est un nouveau modèle au sens de nouveaux poids. Astra for Law est une configuration de GPT-6.2 Astra : le modèle de base, augmenté d’un index de recherche juridique élargi et d’instructions pour rechercher une question, peser les autorités et rédiger la réponse. C’est la même construction qu’Ope​nAI a utilisée en septembre, lorsque cette couche reposait sur GPT-6 Astra. La mise à niveau est triple — un modèle de base plus récent, un index plus grand et deux mois supplémentaires de réglage à partir des retours des praticiens.

L’index est la partie concrète. Ope​nAI l’a augmenté de 34 % depuis septembre, en ajoutant plus de 80 millions d’URL, pour un total de plus de 310 millions, et a étendu sa couverture au Royaume-Uni, à l’Australie et au Canada. Côté américain, OpenAI revendique plus de 99,9 % de la jurisprudence publiée faisant autorité, d’après les données de couverture de CourtListener. Les instructions sont invisibles et invérifiables ; la taille de l’index est un chiffre sur lequel on peut au moins demander des comptes.

Un détail pratique avant que tout cela ne soit utile : la chose porte quatre noms. La publication d’OpenAI l’appelle Astra for Law. Artificial Analysis répertorie l’entrée du classement sous Astra for Law 6.2 (Max). L’identifiant du modèle — la chaîne que vous sélectionnez dans ChatGPT une fois l’accès activé — est gpt-6.2-astra-law. Les recherches pour « GPT-6.2 Astra for Law » renvoient le même produit. Si vous faites un briefing à une équipe des achats, donnez-lui l’identifiant du modèle et le libellé du classement ensemble, car elle ne fera pas le lien autrement.

Ce que signifie 20,8 %, et pourquoi ce n’est pas la même chose que « se tromper 79 % du temps »

LAB-AA est l'exécution par Artificial Analysis du Legal Agent Benchmark de Harvey : 120 missions couvrant 24 domaines du droit, de la rédaction de plans d'interrogatoire à la revue de baux commerciaux en passant par la stratégie de changements de propriété lors d'acquisitions. La notation est du tout ou rien, et cela compte. Une réponse n'obtient le maximum de points que si elle satisfait à toutes les exigences de la mission et ne contient aucune hallucination matérielle. Manquez une sous-exigence, ou affirmez une seule allégation non étayée, et la mission obtient zéro.

Lu ainsi, l'écart entre 20,8 % et 15,0 % est plus grand que ne le suggèrent cinq points de pourcentage : il correspond à la différence entre terminer proprement une mission juridique sur cinq et une sur sept. Les propres calculs d'Ope​nAI tiennent la route — 20,8 contre 15,0 représente un gain relatif de 39 %, ce que sa formulation « près de 40 % plus souvent » décrit fidèlement, et 20,8 contre 13,1 donne 59 %, là encore comme indiqué.

Les dimensions qui déterminent si cela mérite une ligne budgétaire :

• Crédit complet sur LAB-AA — Astra for Law 20,8 % vs GPT-6.2 Astra 15,0 % vs Muse Wonder Full 13,1 %

• Jetons de sortie par affectation — environ {{1}}64,000{{/1}} contre {{2}}139,000{{/2}} pour {{3}}Muse Wonder Full{{/3}}, soit une {{4}}réduction de 54 %{{/4}} avec un taux de réussite plus élevé

• Hallucinations substantielles par tâche — 0,03 contre 0,06 pour GPT-6.2 Astra et 0,59 pour Claude Opus 5.5

• Hallucinations mineures par affectation — 0,06 contre 0,51 pour Claude Opus 5.5, soit environ 8,5 fois plus

• Coût par affectation LAB-AA à l'effort Max — 7,33 $ contre 6,35 $ pour GPT-6.2 Astra et 17,93 $ pour Claude Opus 5.5, selon Artificial Analysis

• Zéro hallucination substantielle sur les tâches ayant satisfait à l’ensemble des critères de réussite, ce qui est la sous-affirmation qui empêche que les validations soient obtenues au moyen de citations inventées

A scoreboard titled 'Astra for Law — the scoreboard' with six rows reading 'LAB-AA full credit: 20.8%, rank 1', 'Material hallucinations: 0.03 per assignment', 'Output tokens: 64,000 per assignment', 'Vals Legal Research Bench: 53.85%, rank 6 of 99', 'Legal search index: 310M+ URLs' and 'Published API price: none', with a footer noting that LAB-AA figures are per Artificial Analysis and Vals figures per Vals AI's 16 November 2026 evaluation.

La ligne de coût mérite un second regard, car elle va à l’encontre du schéma habituel. Avec le même réglage de raisonnement Max, la configuration juridique coûte 0,98 $ de plus par affectation que son propre modèle de base, tout en obtenant 5,8 points de crédit intégral en plus et en générant 54 % de tokens de sortie en moins que le modèle qu’elle a battu. Vous ne payez pas pour la verbosité ici ; vous payez pour une couche de récupération qui permet au modèle de s’arrêter plus tôt. Pour une équipe qui facture le travail juridique à l’heure, c’est le seul calcul qui compte, et c’est le seul chiffre de l’annonce qu’un concurrent ne peut pas copier en livrant un modèle plus gros.

Le taux d’hallucination est l’affirmation dont la demi-vie est la plus longue.

Artificial Analysis a recensé les hallucinations substantielles — des affirmations susceptibles d’induire un lecteur en erreur sur un point important — sur les mêmes 120 tâches. Astra for Law a obtenu une moyenne de 0,03 par tâche, à égalité avec GPT-6 pour le taux le plus faible de la comparaison, et environ la moitié du taux de GPT-6.2 Astra standard, à 0,06. Claude Opus 5.5 a obtenu une moyenne de 0,59, soit le chiffre « environ 20 fois » cité par OpenAI, et le ratio tient : 0,59 divisé par 0,03 donne 19,7.

Une mise en garde mérite d’être énoncée clairement plutôt que dissimulée, car elle joue dans les deux sens. À ces ordres de grandeur, les décomptes sont infimes — 0,03 par affectation sur 120 affectations représente au total une poignée d’hallucinations significatives — de sorte qu’une seule mauvaise réponse fait varier sensiblement le taux. Le ratio de 20 fois est une différence réelle entre deux séries de mesures, non une constante physique stable, et il ne faut pas le présenter à un client comme une garantie de quoi que ce soit. Ce qu’il établit, c’est une direction et un ordre de grandeur approximatif, et sur une tâche où une seule citation inventée peut mettre fin à une relation, la direction et l’ordre de grandeur approximatif valent plus qu’une estimation ponctuelle.

Il faut aussi distinguer la provenance. Artificial Analysis a réalisé l’évaluation, donc les chiffres ne sont pas ceux d’OpenAI, mais Harvey a écrit le benchmark et OpenAI a travaillé avec Harvey sur le déploiement de septembre. LAB-AA est indépendant du fournisseur, pas de l’auteur du benchmark. Il n’existe aucun décompte d’hallucinations réalisé par un tiers sur un jeu de tâches auquel OpenAI n’a pas participé : c’est la lacune dans les éléments de preuve, et elle est plus importante que ne le suggère le chiffre phare de 0.03.

Screenshot of the Artificial Analysis Harvey LAB-AA evaluation page, showing the leaderboard with Astra for Law 6.2 in first place at 20.8% full credit, GPT-6.2 Astra second at 15.0%, GPT-6.2 Astra at High effort third at 13.3%, and Muse Wonder Full fourth at 13.1%, with material hallucination rates of 0.03, 0.06, 0.03 and 0.62 per assignment and costs per task of $7.33, $6.35, $3.86 and unavailable.

Là où ce n'est pas le premier

Le Legal Research Bench de Vals AI, évalué le 16 novembre 2026, dresse un tableau moins flatteur. Astra for Law se classe sixième avec un taux de réussite totale de 53,85 % sur 208 questions rédigées par des avocats en exercice sur le droit fédéral et étatique américain, derrière Gemini 4 Carbon à 55,77 % et une égalité à trois à 55,29 % entre Muse Spark 1.3 Max, Claude Opus 5 et Claude Fable 5.1.

Sixième à 1,9 point, mais premier sur le plan économique au sein du groupe de tête :

• Précision tous critères confondus — Astra for Law : 53,85 % contre 55,77 % pour Gemini 4 Carbon et 54,81 % pour Gemini 4 Argon

Coût par test — 2,75 $ contre 8,74 $ pour Gemini 4 Carbon, 6,76 $ pour Claude Opus 5 et 23,06 $ pour Claude Fable 5.1

• Tokens par test — 77 740 contre 5,36 millions pour Gemini 4 Carbon et 3,13 millions pour Claude Opus 5

• Durée par test — 16 minutes 45 secondes contre 51 minutes 53 secondes pour Gemini 4 Carbon

Cette dernière paire est ce qui ne cadre pas avec le titre. Elle n'est pas seulement moins chère par réponse ; elle est d'un ordre de grandeur plus économe en tokens que les modèles qui la précèdent, ce qui correspond au même signal que celui donné par le décompte de tokens de LAB-AA.

La propre présentation de ce benchmark par Ope​nAI mérite également d’être vérifiée ligne par ligne. Elle rapporte 112 questions sur 208 au crédit complet, un gain d’environ huit points de pourcentage par rapport à environ 46 % en septembre, et 90,9 % des points disponibles une fois le crédit partiel comptabilisé. Les 112 et les 90,9 % concordent avec le tableau public. Le point de départ de 46 % n’y apparaît pas, de sorte que le « huit points en moins de deux mois » est une comparaison qu’Ope​nAI fait avec sa propre exécution de septembre et ne peut pas être recalculé à partir de ce que Vals publie aujourd’hui.

Le chiffre le plus utile de ce tableau est celui qu’Ope​nAI n’a pas mis en avant. GPT-6.2 Astra, le même modèle de base sans la couche juridique, obtient 42,79 % et se classe 31e ; GPT-6 Astra se classe 42e à 39,42 %. Ainsi, sur un benchmark que ni Ope​nAI ni Harvey ne contrôlent, la configuration vaut environ onze points de plus que sa propre base. C’est l’estimation indépendante la plus nette de ce que l’indice juridique et les instructions ajoutent réellement, et elle est nettement plus élevée que ne le laisse supposer l’écart de 20,8 contre 15,0 sur LAB-AA.

Screenshot of the Vals AI Legal Research Bench leaderboard dated 16 November 2026, showing Gemini 4 Carbon first at 55.77%, Muse Spark 1.3 Max and Claude Opus 5 tied at 55.29%, Gemini 4 Argon fifth at 54.81% and Astra for Law sixth at 53.85% with a cost of $2.75 per test, alongside GPT-6.2 Astra at 42.79% in 31st place.

Ce que cela coûte, et le chiffre qu’Ope​nAI n’a pas publié

Il n’y a pas de prix pour la configuration juridique. Ce n’est pas un oubli dans le billet de lancement ; c’est le billet de lancement. L’accès est une demande, pas un achat en libre-service : chaque client ChatGPT Enterprise peut désormais demander Astra for Law via le Trusted Access Program dans la console d’administration, les équipes qui en disposent déjà sélectionnent gpt-6.2-astra-law dans ChatGPT, et l’accès à l’API passe par un formulaire de contact commercial plutôt que par une clé en libre-service.

Pour la budgétisation, le modèle de base est le seul tarif publié : GPT-6.2 Astra est annoncé à 8 $ par million de tokens d'entrée et à 40 $ par million de tokens de sortie, l'entrée mise en cache à 0,40 $, avec une fenêtre de contexte de 1,05 million de tokens, un maximum de 128 000 tokens de sortie et une date limite de connaissances au 18 mai 2026. Le relevé d'Artificial Analysis pour la configuration juridique porte les mêmes 8 $ et 40 $ — mais il s'agit de la grille tarifaire du modèle de base reportée, et il convient de la considérer comme l'hypothèse de travail de ce laboratoire plutôt que comme un devis fournisseur. Le chiffre dérivé est plus honnête quant à l'usage : 7,33 $ par affectation LAB-AA au niveau d'effort Max, ce qui reflète le nombre de tokens que la configuration dépense réellement plutôt que le coût nominal d'un token.

Si vous construisez vous-même la couche de récupération au lieu d'acheter la configuration, les modèles de base sont accessibles avec une seule clé via OrcaRouter, qui propose GPT-6 Astra et la gamme Ope​nAI associée au sein d'un catalogue de 215 modèles au prix catalogue du fournisseur, avec 0 % de marge et un basculement automatique lorsqu'un fournisseur se bloque en cours d'exécution. Astra for Law ne figure pas dans ce catalogue et aucun point de terminaison public ne permet de l'atteindre — rien dans cette voie n'est un raccourci vers la configuration. Ce à quoi la couche de routage est utile, c'est la partie que vous pouvez contrôler : une étape de recherche qui ne doit pas perdre silencieusement une citation est un candidat raisonnable pour qu'un second modèle vérifie le premier, et cette composition est un appel au DSL de routage plutôt que deux intégrations fournisseur.

Ope​nAI a publié une comparaison qui répond à la question que son propre titre passe sous silence. Sur le Legal Agent Benchmark de Harvey — un test différent de LAB-AA, mené par Harvey plutôt que par Artificial Analysis — GPT-6 Astra satisfaisait à toutes les exigences sur 4,6 % des tâches, GPT-6.2 Astra a triplé ce chiffre pour atteindre 14,6 %, et la configuration juridique l'a porté à 16,2 %.

Lisez la séquence, pas le dernier chiffre. Deux tiers du chemin de 4,6 % à 16,2 % correspondent à des progrès du modèle de base : le saut de GPT-6 Astra à GPT-6.2 Astra, dont tout client du modèle de base bénéficie sans demander l’accès à quoi que ce soit. La configuration apporte les 1,6 derniers points, soit une amélioration relative de 11 % par rapport à la base. C’est un gain réel, et c’est le gain qu’on vous vend, mais il représente une part plus faible du total que ne le laisse entendre la couverture du lancement — et c’est la partie la plus susceptible d’être reproduite par les propres couches de récupération d’informations d’autres laboratoires en l’espace d’un trimestre.

Qui doit demander l’accès, et qui doit attendre ?

Si vous êtes dans un locataire ChatGPT Enterprise et que vos juristes y font déjà des recherches, demandez l’accès cette semaine. Le coût de la demande est un formulaire, et la première chose utile que vous pouvez en faire n’est pas d’exécuter le benchmark de Harvey, mais le vôtre : vingt missions issues de votre propre pratique, évaluées selon le tout-ou-rien avec un veto en cas d’hallucination, une grille d’évaluation que vous pouvez construire en un après-midi et qui vous en dira plus sur votre travail que 20,8 % sur celui de quelqu’un d’autre.

Si vous êtes hors Enterprise et hors du programme API, il n’y a encore rien à acheter — pas de grille tarifaire, pas de clé, pas de disponibilité auprès des partenaires. Attendre ne vous coûte rien qu’un trimestre d’accès ne réglerait pas, et l’absence de prix publié est en soi une information : le fournisseur n’a pas décidé ce que vaut la couche juridique indépendamment du modèle de base.

Si vous développez, l’enseignement transposable n’est pas la position au classement. C’est que la configuration la mieux notée sur LAB-AA a utilisé 54 % de jetons de sortie en moins que le modèle juste en dessous dans le classement. C’est l’économie par tâche, et non le prix par jeton, qui fait gagner l’IA juridique, et une couche de récupération qui permet au modèle de s’arrêter de parler plus tôt coûte moins cher qu’un modèle plus intelligent qui continue.

Trois points à surveiller ensuite. Un prix publié pour la configuration, qui dira si Ope​nAI considère cela comme un produit premium ou comme une fonctionnalité incluse dans Enterprise. La disponibilité de l’API au-delà du formulaire de demande, qui déterminera si quiconque peut reproduire les chiffres de manière indépendante. Et un décompte des hallucinations hors États-Unis : l’indice couvre désormais le Royaume-Uni, l’Australie et le Canada, mais chaque chiffre publié mesure le droit américain, et le mode de défaillance qui fait le plus de dégâts dans d’autres juridictions — citer la bonne disposition tout en l’interprétant mal — est celui qu’aucune extension de l’indice ne corrige à elle seule.

Comparés dans cet article2

Détecté à partir de cet article · Benchmarks : Artificial Analysis · mis à jour quotidiennement