Titelkaart met de tekst 'Astra for Law 6.2' en daarboven de regel '0,03 materiële hallucinaties per opdracht', boven drie kaarten die 20,8% volledige score op Harvey LAB-AA tonen, 0,03 materiële hallucinaties, en 64.000 outputtokens per opdracht, met onderaan een voetnoot die vermeldt dat de LAB-AA-cijfers afkomstig zijn van Artificial Analysis en ook door OpenAI worden gerapporteerd.
Guides & Insights

Astra for Law 6.2 neemt de eerste plaats in op Harvey's Legal Benchmark. Het hallucinatiepercentage is het echte nieuws.

Auteur

Gideon Frost

Publicatiedatum

Nieuwste modellen · 20Bekijk alle modellen →
Benchmarks: Artificial Analysis · dagelijks bijgewerkt
Terug naar alle berichten

Ope​nAI shipped a new version of Astra for Law on 17 November 2026 — the legal configuration built on GPT-6.2 Astra, the flagship it launched the day before — and it lands first on the Harvey LAB-AA leaderboard that Artificial Analysis maintains: 20.8% of 120 legal assignments completed to full credit, against 15.0% for GPT-6.2 Astra and 13.1% for Muse Wonder Full, the best non-Ope​nAI entry. The figure worth more of your attention sits two columns to the right. Astra for Law averaged 0.03 material hallucinations per assignment. Claude Opus 5.5, the next-lowest non-Ope​nAI model on that measure, averaged 0.59.

Both numbers describe the same 120-assignment run, which is what makes them worth reading together: a configuration that finishes the whole task slightly more often than anything else tested, and invents a substantive claim roughly twenty times less often than its strongest non-Ope​nAI rival. Here is what changed since September, where the claims hold, where they do not, and what access actually looks like this week.

Dezelfde gewichten, een grotere index en een nieuwe naam om naar te zoeken

Nothing here is a new model in the sense of new weights. Astra for Law is a configuration of GPT-6.2 Astra: the base model plus an expanded legal search index plus instructions for researching a question, weighing the authorities, and writing the answer. That is the same construction Ope​nAI used in September, when the layer sat on GPT-6 Astra. The upgrade is threefold — a newer base model, a larger index, and another two months of tuning against practitioner feedback.

The index is the concrete part. Ope​nAI grew it 34% since September, adding more than 80 million URLs, for a total of over 310 million, and extended coverage to the UK, Australia and Canada. On the U.S. side it claims more than 99.9% of published precedential case law, measured against CourtListener's coverage data. Instructions are invisible and unverifiable; index size is a number you can at least hold someone to.

One practical wrinkle before any of this is useful: the thing has four names. Ope​nAI's post calls it Astra for Law. Artificial Analysis lists the leaderboard entry as Astra for Law 6.2 (Max). The model id — the string you select in ChatGPT once access is enabled — is gpt-6.2-astra-law. Searches for "GPT-6.2 Astra for Law" return the same product. If you are briefing a procurement team, give them the model id and the leaderboard label together, because they will not find each other otherwise.

Wat 20,8% betekent, en waarom dat niet hetzelfde is als "79% van de tijd fout zitten"

LAB-AA is de uitvoering door Artificial Analysis van Harvey's Legal Agent Benchmark: 120 opdrachten binnen 24 rechtsgebieden, van het opstellen van opzetten voor getuigenverhoren tot het beoordelen van commerciële huurovereenkomsten tot het strategisch uitwerken van eigendomswijzigingen bij overnames. De beoordeling is alles-of-niets op een manier die ertoe doet. Een antwoord krijgt alleen volledige punten als het aan elke eis van de opdracht voldoet en geen wezenlijke hallucinatie bevat. Mis één deelvereiste, of poneer één niet-onderbouwde bewering, en de opdracht scoort nul.

Read that way, the gap between 20.8% and 15.0% is larger than five percentage points suggests: it is the difference between finishing one in five legal assignments cleanly and one in seven. Ope​nAI's own arithmetic checks out — 20.8 against 15.0 is a 39% relative gain, which its "nearly 40% more often" phrasing describes accurately, and 20.8 against 13.1 is 59%, again as stated.

De dimensies die bepalen of dit een begrotingspost waard is:

Volledige score op LAB-AA — Astra for Law 20,8% vs GPT-6.2 Astra 15,0% vs Muse Wonder Full 13,1%

• Uitvoertokens per opdracht — ongeveer 64.000 tegenover 139.000 voor Muse Wonder Full, een vermindering van 54% bij een hoger slagingspercentage

• Materiële hallucinaties per opdracht — 0,03 versus 0,06 voor GPT-6.2 Astra en 0,59 voor Claude Opus 5.5

• Kleine hallucinaties per opdracht — 0,06 vs 0,51 voor Claude Opus 5.5, ongeveer 8,5 keer zoveel

• Kosten per LAB-AA-opdracht bij Max effort — $7,33 vs $6,35 voor GPT-6.2 Astra en $17,93 voor Claude Opus 5.5, volgens Artificial Analysis

• Nul materiële hallucinaties bij taken die aan alle slaagcriteria voldeden, de deelbewering die voorkomt dat de slagen met verzonnen citaties worden gekocht

A scoreboard titled 'Astra for Law — the scoreboard' with six rows reading 'LAB-AA full credit: 20.8%, rank 1', 'Material hallucinations: 0.03 per assignment', 'Output tokens: 64,000 per assignment', 'Vals Legal Research Bench: 53.85%, rank 6 of 99', 'Legal search index: 310M+ URLs' and 'Published API price: none', with a footer noting that LAB-AA figures are per Artificial Analysis and Vals figures per Vals AI's 16 November 2026 evaluation.

De kostenregel verdient een tweede blik, want hij wijkt af van het gebruikelijke patroon. Bij dezelfde Max-redeneerinstelling kost de juridische configuratie $0,98 meer per opdracht dan het eigen basismodel, terwijl ze 5,8 punten meer volledige score haalt en 54% minder outputtokens genereert dan het model dat ze versloeg. Je betaalt hier niet voor breedsprakigheid; je betaalt voor een retrieval-laag waardoor het model eerder kan stoppen. Voor een team dat juridisch werk per uur prijst, is dat de enige rekensom die ertoe doet, en het is het enige getal in de release dat een concurrent niet kan kopiëren door een groter model uit te brengen.

Het hallucinatiepercentage is de bewering met de langste halfwaardetijd.

Artificial Analysis counted material hallucinations — claims that could mislead a reader on a substantive point — across the same 120 assignments. Astra for Law averaged 0.03 per assignment, tied with GPT-6 for the lowest rate in the comparison and roughly half the rate of regular GPT-6.2 Astra at 0.06. Claude Opus 5.5 averaged 0.59, which is the "about 20 times" figure Ope​nAI quotes, and the ratio holds: 0.59 divided by 0.03 is 19.7.

Eén voorbehoud verdient het ronduit te worden genoemd in plaats van weggemoffeld, omdat het twee kanten op snijdt. Bij deze grootheden zijn de aantallen klein — 0,03 per opdracht over 120 opdrachten is in totaal een handvol inhoudelijke hallucinaties — dus één slecht antwoord verschuift het percentage wezenlijk. De twintigvoudige verhouding is een reëel verschil tussen twee gemeten runs, geen stabiele fysische constante, en mag niet aan een klant worden voorgehouden als garantie voor wat dan ook. Wat het wel vaststelt, is richting en ruwe omvang, en bij een taak waarbij één verzonnen bronvermelding een relatie kan beëindigen, zijn richting en ruwe omvang meer waard dan een puntschatting.

The provenance also needs separating. Artificial Analysis ran the evaluation, so the numbers are not Ope​nAI's, but Harvey wrote the benchmark and Ope​nAI worked with Harvey on the September rollout. LAB-AA is independent of the vendor, not independent of the benchmark's author. There is no third-party hallucination count on a task set that Ope​nAI had no hand in — that is the gap in the evidence, and it is a bigger gap than the 0.03 headline suggests.

Screenshot of the Artificial Analysis Harvey LAB-AA evaluation page, showing the leaderboard with Astra for Law 6.2 in first place at 20.8% full credit, GPT-6.2 Astra second at 15.0%, GPT-6.2 Astra at High effort third at 13.3%, and Muse Wonder Full fourth at 13.1%, with material hallucination rates of 0.03, 0.06, 0.03 and 0.62 per assignment and costs per task of $7.33, $6.35, $3.86 and unavailable.

Waar het niet als eerste staat

De Legal Research Bench van Vals AI, geëvalueerd op 16 november 2026, schetst een minder fraai beeld. Astra for Law staat zesde met 53,85% all-pass op 208 vragen die praktiserende advocaten schreven over Amerikaans federaal recht en deelstaatrecht, achter Gemini 4 Carbon met 55,77% en een drieweggelijkspel op 55,29% tussen Muse Spark 1.3 Max, Claude Opus 5 en Claude Fable 5.1.

Zesde met 1,9 punten, maar eerste op het gebied van de economie van de topgroep:

All-pass-nauwkeurigheid — Astra for Law 53,85% vs Gemini 4 Carbon 55,77% en Gemini 4 Argon 54,81%

• Kosten per test — $2,75 versus $8,74 voor Gemini 4 Carbon, $6,76 voor Claude Opus 5 en $23,06 voor Claude Fable 5.1

• Tokens per test — 77.740 vs 5,36 miljoen voor Gemini 4 Carbon en 3,13 miljoen voor Claude Opus 5

• Duur per test — 16 minuten 45 seconden vs 51 minuten 53 seconden voor Gemini 4 Carbon

Dat laatste paar is het onderdeel dat niet bij de kop past. Het is niet alleen goedkoper per antwoord; het is een orde van grootte zuiniger qua tokens dan de modellen erboven, wat hetzelfde signaal is dat de LAB-AA-tokentelling gaf.

Ope​nAI's own framing of this benchmark is also worth checking line by line. It reports 112 of 208 questions at full credit, a gain of about eight percentage points from roughly 46% in September, and 90.9% of available points once partial credit is counted. The 112 and the 90.9% reconcile with the public board. The 46% starting point does not appear on it, so the "eight points in under two months" is a comparison Ope​nAI is making against its own September run and cannot be re-derived from what Vals publishes today.

The most useful figure on that board is one Ope​nAI did not lead with. GPT-6.2 Astra, the same base model without the legal layer, scores 42.79% and sits 31st; GPT-6 Astra sits 42nd at 39.42%. So on a benchmark neither Ope​nAI nor Harvey controls, the configuration is worth about eleven points over its own base. That is the cleanest independent estimate of what the legal index and instructions actually add, and it is considerably larger than the 20.8-versus-15.0 gap on LAB-AA implies.

Screenshot of the Vals AI Legal Research Bench leaderboard dated 16 November 2026, showing Gemini 4 Carbon first at 55.77%, Muse Spark 1.3 Max and Claude Opus 5 tied at 55.29%, Gemini 4 Argon fifth at 54.81% and Astra for Law sixth at 53.85% with a cost of $2.75 per test, alongside GPT-6.2 Astra at 42.79% in 31st place.

What it costs, and the number Ope​nAI has not published

Er is geen prijs voor de juridische configuratie. Dat is geen weglating in de lanceringspost; het ís de lanceringspost. Toegang is een aanvraag, geen afrekenproces: elke ChatGPT Enterprise-klant kan nu via het Trusted Access Program in de beheerdersconsole om Astra for Law vragen, teams die het al hebben selecteren gpt-6.2-astra-law in ChatGPT, en API-toegang verloopt via een salescontactformulier in plaats van via een selfservice-sleutel.

Voor budgettering is het basismodel het enige gepubliceerde tarief: GPT-6.2 Astra staat vermeld op $8 per miljoen invoertokens en $40 per miljoen uitvoer, met gecachte invoer op $0,40, een contextvenster van 1,05 miljoen tokens, maximaal 128.000 uitvoertokens en een kennisafsluitdatum van 18 mei 2026. De registratie van Artificial Analysis voor de law-configuratie vermeldt dezelfde $8 en $40 — maar dat is de tariefkaart van het basismodel die is overgenomen, en dat moet worden beschouwd als de werkveronderstelling van dat lab in plaats van een leveranciersopgave. Het afgeleide cijfer is eerlijker over het gebruik: $7,33 per LAB-AA-opdracht bij Max effort, wat weerspiegelt hoeveel tokens de configuratie daadwerkelijk verbruikt in plaats van wat een token nominaal kost.

If you are building the retrieval layer yourself instead of buying the configuration, the base models are reachable on one key through OrcaRouter, which carries GPT-6 Astra and the surrounding Ope​nAI line inside a 215-model catalogue at provider list price with 0% markup and automatic failover when a provider stalls mid-run. Astra for Law is not in that catalogue and there is no public endpoint that reaches it — nothing in this route is a shortcut to the configuration. What the routing layer is good for is the part you can control: a research step that must not silently drop a citation is a reasonable candidate for a second model checking the first, and that composition is a routing-DSL call rather than two vendor integrations.

Ope​nAI published one comparison that answers the question its own headline skips. On Harvey's own Legal Agent Benchmark — a different test from LAB-AA, run by Harvey rather than Artificial Analysis — GPT-6 Astra met every requirement on 4.6% of assignments, GPT-6.2 Astra tripled that to 14.6%, and the legal configuration took it to 16.2%.

Lees de reeks, niet het laatste getal. Twee derde van de weg van 4,6% naar 16,2% is vooruitgang van het basismodel: de sprong van GPT-6 Astra naar GPT-6.2 Astra, die elke klant van het basismodel krijgt zonder toegang tot iets aan te vragen. De configuratie draagt de laatste 1,6 punten bij, een relatieve verbetering van 11% ten opzichte van de basis. Dat is een echte winst, en het is de winst die je wordt verkocht, maar het is een kleiner deel van het totaal dan de berichtgeving bij de lancering suggereert — en het is het deel dat het meest waarschijnlijk binnen een kwartaal door de eigen retrieval-lagen van andere labs wordt gerepliceerd.

Wie moet toegang aanvragen, en wie moet wachten?

Als je je binnen een ChatGPT Enterprise-tenant bevindt en je juristen doen daar al onderzoek, vraag deze week dan toegang aan. De kosten van het verzoek zijn een formulier, en het eerste nuttige dat je ermee kunt doen, is niet Harvey's benchmark draaien, maar je eigen benchmark: twintig opdrachten uit je eigen praktijk, alles-of-niets beoordeeld met een hallucinatieveto — een rubric die je in een middag kunt bouwen en die je meer over je werk vertelt dan 20,8% op dat van iemand anders.

Als je buiten Enterprise en buiten het API-programma staat, is er nog niets te kopen — geen tariefkaart, geen sleutel, geen beschikbaarheid via partners. Wachten kost je niets wat een kwartaal toegang niet zou oplossen, en het ontbreken van een gepubliceerde prijs is op zichzelf informatie: de leverancier heeft nog niet besloten wat de juridische laag waard is, los van het basismodel.

Als je bouwt, is de overdraagbare bevinding niet de positie op de ranglijst. Het is dat de best scorende configuratie op LAB-AA 54% minder outputtokens gebruikte dan het model eronder in de ranglijst. De economie per taak, niet de prijs per token, is waar juridische AI wordt gewonnen, en een retrieallaag die het model eerder laat stoppen met praten is goedkoper dan een slimmer model dat blijft doorgaan.

Three things to watch next. A published price for the configuration, which will say whether Ope​nAI sees this as a premium product or a feature bundled into Enterprise. API availability beyond the request form, which determines whether anyone can reproduce the numbers independently. And a non-U.S. hallucination count: the index now covers the UK, Australia and Canada, but every published figure measures U.S. law, and the failure mode that hurts most in other jurisdictions — citing the right provision while misreading it — is the one no index expansion fixes on its own.

Vergeleken in dit artikel2

Herkend uit dit artikel · Benchmarks: Artificial Analysis · dagelijks bijgewerkt