Titelkort med texten ”Astra for Law 6.2” och raden ”0,03 väsentliga hallucinationer per uppdrag” ovanför tre kort som visar 20,8 % full poäng på Harvey LAB-AA, 0,03 väsentliga hallucinationer och 64 000 output-tokens per uppdrag, med en sidfot nedanför som anger att siffrorna för LAB-AA är enligt Artificial Analysis och även rapporteras av OpenAI.
Guides & Insights

Astra for Law 6.2 tar förstaplatsen på Harvey's Legal Benchmark. Hallucinationsfrekvensen är den verkliga nyheten.

Författare

Gideon Frost

Publiceringsdatum

Senaste modellerna · 20Visa alla modeller →
Benchmarks: Artificial Analysis · uppdateras dagligen
Tillbaka till alla inlägg

Ope​nAI shipped a new version of Astra for Law on 17 November 2026 — the legal configuration built on GPT-6.2 Astra, the flagship it launched the day before — and it lands first on the Harvey LAB-AA leaderboard that Artificial Analysis maintains: 20.8% of 120 legal assignments completed to full credit, against 15.0% for GPT-6.2 Astra and 13.1% for Muse Wonder Full, the best non-Ope​nAI entry. The figure worth more of your attention sits two columns to the right. Astra for Law averaged 0.03 material hallucinations per assignment. Claude Opus 5.5, the next-lowest non-Ope​nAI model on that measure, averaged 0.59.

Both numbers describe the same 120-assignment run, which is what makes them worth reading together: a configuration that finishes the whole task slightly more often than anything else tested, and invents a substantive claim roughly twenty times less often than its strongest non-Ope​nAI rival. Here is what changed since September, where the claims hold, where they do not, and what access actually looks like this week.

Samma vikter, ett större index och ett nytt namn att söka efter

Nothing here is a new model in the sense of new weights. Astra for Law is a configuration of GPT-6.2 Astra: the base model plus an expanded legal search index plus instructions for researching a question, weighing the authorities, and writing the answer. That is the same construction Ope​nAI used in September, when the layer sat on GPT-6 Astra. The upgrade is threefold — a newer base model, a larger index, and another two months of tuning against practitioner feedback.

The index is the concrete part. Ope​nAI grew it 34% since September, adding more than 80 million URLs, for a total of over 310 million, and extended coverage to the UK, Australia and Canada. On the U.S. side it claims more than 99.9% of published precedential case law, measured against CourtListener's coverage data. Instructions are invisible and unverifiable; index size is a number you can at least hold someone to.

One practical wrinkle before any of this is useful: the thing has four names. Ope​nAI's post calls it Astra for Law. Artificial Analysis lists the leaderboard entry as Astra for Law 6.2 (Max). The model id — the string you select in ChatGPT once access is enabled — is gpt-6.2-astra-law. Searches for "GPT-6.2 Astra for Law" return the same product. If you are briefing a procurement team, give them the model id and the leaderboard label together, because they will not find each other otherwise.

Vad 20,8 % betyder, och varför det inte är samma sak som "har fel 79 % av gångerna"

LAB-AA är den körning av Harvey's Legal Agent Benchmark som Artificial Analysis har gjort: 120 uppgifter inom 24 rättsområden, från att utarbeta depositionsöversikter till att granska kommersiella hyresavtal till att ta fram strategier för ägarförändringar vid förvärv. Poängsättningen är allt-eller-inget på ett sätt som spelar roll. Ett svar får full poäng endast om det uppfyller alla krav i uppgiften och inte innehåller någon väsentlig hallucination. Missa ett delkrav, eller framför ett obelagt påstående, och uppgiften får noll poäng.

Read that way, the gap between 20.8% and 15.0% is larger than five percentage points suggests: it is the difference between finishing one in five legal assignments cleanly and one in seven. Ope​nAI's own arithmetic checks out — 20.8 against 15.0 is a 39% relative gain, which its "nearly 40% more often" phrasing describes accurately, and 20.8 against 13.1 is 59%, again as stated.

Dimensionerna som avgör om detta är värt en budgetpost:

Full poäng på LAB-AA — Astra for Law 20,8 % mot GPT-6.2 Astra 15,0 % mot Muse Wonder Full 13,1 %

• Utmatningstokens per uppgift – cirka 64 000 jämfört med 139 000 för Muse Wonder Full, en minskning med 54 % vid en högre godkännandegrad

• Materiella hallucinationer per uppdrag – 0,03 jämfört med 0,06 för GPT-6.2 Astra och 0,59 för Claude Opus 5.5

• Mindre hallucinationer per uppgift — 0,06 mot 0,51 för Claude Opus 5.5, ungefär 8,5 gånger så många

• Kostnad per LAB-AA-uppdrag vid Max effort — 7,33 USD jämfört med 6,35 USD för GPT-6.2 Astra och 17,93 USD för Claude Opus 5.5, enligt Artificial Analysis

• Noll väsentliga hallucinationer på uppgifter som uppfyllde alla kriterier för godkännande, vilket är det delpåstående som förhindrar att godkännandena köps med påhittade citat

A scoreboard titled 'Astra for Law — the scoreboard' with six rows reading 'LAB-AA full credit: 20.8%, rank 1', 'Material hallucinations: 0.03 per assignment', 'Output tokens: 64,000 per assignment', 'Vals Legal Research Bench: 53.85%, rank 6 of 99', 'Legal search index: 310M+ URLs' and 'Published API price: none', with a footer noting that LAB-AA figures are per Artificial Analysis and Vals figures per Vals AI's 16 November 2026 evaluation.

Kostnadsposten förtjänar en andra titt eftersom den går emot det vanliga mönstret. Vid samma inställning för Max-resonemang kostar den juridiska konfigurationen $0.98 mer per uppdrag än sin egen basmodell, samtidigt som den får 5,8 poäng mer i full kredit och genererar 54 % färre utdatatoken än modellen den slog. Här betalar du inte för ordrikedom; du betalar för ett retrieval-lager som låter modellen sluta tidigare. För ett team som prissätter juridiskt arbete per timme är det den enda aritmetiken som spelar roll, och det är det enda talet i lanseringen som en konkurrent inte kan kopiera genom att släppa en större modell.

Hallucinationsfrekvensen är det påstående som har längst halveringstid.

Artificial Analysis counted material hallucinations — claims that could mislead a reader on a substantive point — across the same 120 assignments. Astra for Law averaged 0.03 per assignment, tied with GPT-6 for the lowest rate in the comparison and roughly half the rate of regular GPT-6.2 Astra at 0.06. Claude Opus 5.5 averaged 0.59, which is the "about 20 times" figure Ope​nAI quotes, and the ratio holds: 0.59 divided by 0.03 is 19.7.

Ett förbehåll förtjänar att sägas rakt ut i stället för att begravas, eftersom det slår åt båda hållen. Vid dessa storleksordningar är antalen mycket små – 0,03 per uppdrag över 120 uppdrag är sammanlagt en handfull väsentliga hallucinationer – så ett enda dåligt svar förändrar frekvensen märkbart. Kvoten på 20 gånger är en verklig skillnad mellan två uppmätta körningar, inte en stabil fysikalisk konstant, och den bör inte anges till en kund som en garanti för något. Det den däremot fastställer är riktning och ungefärlig storlek, och i en uppgift där en påhittad källa kan avsluta en relation är riktning och ungefärlig storlek mer värda än ett punktestimat.

The provenance also needs separating. Artificial Analysis ran the evaluation, so the numbers are not Ope​nAI's, but Harvey wrote the benchmark and Ope​nAI worked with Harvey on the September rollout. LAB-AA is independent of the vendor, not independent of the benchmark's author. There is no third-party hallucination count on a task set that Ope​nAI had no hand in — that is the gap in the evidence, and it is a bigger gap than the 0.03 headline suggests.

Screenshot of the Artificial Analysis Harvey LAB-AA evaluation page, showing the leaderboard with Astra for Law 6.2 in first place at 20.8% full credit, GPT-6.2 Astra second at 15.0%, GPT-6.2 Astra at High effort third at 13.3%, and Muse Wonder Full fourth at 13.1%, with material hallucination rates of 0.03, 0.06, 0.03 and 0.62 per assignment and costs per task of $7.33, $6.35, $3.86 and unavailable.

Där det inte är först

Vals AI:s Legal Research Bench, utvärderad den 16 november 2026, ger en mindre smickrande bild. Astra for Law ligger på sjätte plats med 53,85 % all-pass på 208 frågor som praktiserande jurister skrev om amerikansk federal och delstatlig rätt, efter Gemini 4 Carbon på 55,77 % och ett dött lopp på 55,29 % mellan Muse Spark 1.3 Max, Claude Opus 5 och Claude Fable 5.1.

Sexa med 1,9 poängs marginal, men etta när det gäller ekonomin i toppgruppen:

• All-pass-noggrannhet — Astra for Law 53,85 % mot Gemini 4 Carbon 55,77 % och Gemini 4 Argon 54,81 %

• Kostnad per test — 2,75 $ jämfört med 8,74 $ för Gemini 4 Carbon, 6,76 $ för Claude Opus 5 och 23,06 $ för Claude Fable 5.1

• Tokens per test — 77 740 jämfört med 5,36 miljoner för Gemini 4 Carbon och 3,13 miljoner för Claude Opus 5

• Varaktighet per test — 16 minuter 45 sekunder vs 51 minuter 53 sekunder för Gemini 4 Carbon

Det sista paret är den del som inte stämmer med rubriken. Det är inte bara billigare per svar; det är en storleksordning snålare på tokens än modellerna ovanför det, vilket är samma signal som LAB-AA:s tokenantal gav.

Ope​nAI's own framing of this benchmark is also worth checking line by line. It reports 112 of 208 questions at full credit, a gain of about eight percentage points from roughly 46% in September, and 90.9% of available points once partial credit is counted. The 112 and the 90.9% reconcile with the public board. The 46% starting point does not appear on it, so the "eight points in under two months" is a comparison Ope​nAI is making against its own September run and cannot be re-derived from what Vals publishes today.

The most useful figure on that board is one Ope​nAI did not lead with. GPT-6.2 Astra, the same base model without the legal layer, scores 42.79% and sits 31st; GPT-6 Astra sits 42nd at 39.42%. So on a benchmark neither Ope​nAI nor Harvey controls, the configuration is worth about eleven points over its own base. That is the cleanest independent estimate of what the legal index and instructions actually add, and it is considerably larger than the 20.8-versus-15.0 gap on LAB-AA implies.

Screenshot of the Vals AI Legal Research Bench leaderboard dated 16 November 2026, showing Gemini 4 Carbon first at 55.77%, Muse Spark 1.3 Max and Claude Opus 5 tied at 55.29%, Gemini 4 Argon fifth at 54.81% and Astra for Law sixth at 53.85% with a cost of $2.75 per test, alongside GPT-6.2 Astra at 42.79% in 31st place.

What it costs, and the number Ope​nAI has not published

Det finns inget pris för den juridiska konfigurationen. Det är inte en utelämning i lanseringsinlägget; det är själva lanseringsinlägget. Åtkomst är en begäran, inte en utcheckning: varje ChatGPT Enterprise-kund kan nu begära Astra for Law via Trusted Access Program i administratörskonsolen, team som redan har det väljer gpt-6.2-astra-law i ChatGPT, och API-åtkomst går via ett säljkontaktformulär i stället för en självbetjäningsnyckel.

För budgetering är basmodellen den enda publicerade prisuppgiften: GPT-6.2 Astra listas till $8 per miljon indatatokens och $40 per miljon utdatatokens, med cachelagrad indata till $0,40, ett kontextfönster på 1,05 miljoner tokens, maximalt 128 000 utdatatokens och en kunskapsavgränsning den 18 maj 2026. Posten hos Artificial Analysis för juridikkonfigurationen har samma $8 och $40 – men det är basmodellens prislista som förts över, och den bör betraktas som labbets arbetsantagande snarare än en leverantörsoffert. Den härledda siffran är mer ärlig om användningen: $7,33 per LAB-AA-uppdrag vid Max effort, vilket återspeglar hur många tokens konfigurationen faktiskt förbrukar snarare än vad en token nominellt kostar.

If you are building the retrieval layer yourself instead of buying the configuration, the base models are reachable on one key through OrcaRouter, which carries GPT-6 Astra and the surrounding Ope​nAI line inside a 215-model catalogue at provider list price with 0% markup and automatic failover when a provider stalls mid-run. Astra for Law is not in that catalogue and there is no public endpoint that reaches it — nothing in this route is a shortcut to the configuration. What the routing layer is good for is the part you can control: a research step that must not silently drop a citation is a reasonable candidate for a second model checking the first, and that composition is a routing-DSL call rather than two vendor integrations.

Ope​nAI published one comparison that answers the question its own headline skips. On Harvey's own Legal Agent Benchmark — a different test from LAB-AA, run by Harvey rather than Artificial Analysis — GPT-6 Astra met every requirement on 4.6% of assignments, GPT-6.2 Astra tripled that to 14.6%, and the legal configuration took it to 16.2%.

Läs sekvensen, inte det sista talet. Två tredjedelar av vägen från 4,6 % till 16,2 % är basmodellens framsteg: hoppet från GPT-6 Astra till GPT-6.2 Astra, som varje kund av basmodellen får utan att begära åtkomst till något. Konfigurationen bidrar med de sista 1,6 punkterna, en relativ förbättring på 11 % jämfört med basen. Det är en verklig vinst, och det är den vinst du säljs in, men den utgör en mindre del av totalen än vad lanseringsbevakningen antyder – och det är den del som med störst sannolikhet kommer att replikeras av andra labbs egna retrieval-lager inom ett kvartal.

Vem ska begära åtkomst, och vem ska vänta

Om du finns i en ChatGPT Enterprise-klientorganisation och dina jurister redan gör research i den, begär åtkomst den här veckan. Kostnaden för begäran är ett formulär, och det första användbara du kan göra med åtkomsten är inte att köra Harveys benchmark utan din egen: tjugo uppdrag från din egen praktik, bedömda enligt principen allt eller inget med ett hallucineringsveto, vilket är en bedömningsmatris du kan bygga på en eftermiddag och som kommer att berätta mer för dig om ditt arbete än vad 20,8 % på någon annans benchmark gör.

Om du står utanför Enterprise och utanför API-programmet finns det inget att köpa ännu – inget prisblad, ingen nyckel, ingen partnertillgänglighet. Att vänta kostar dig ingenting som inte ett kvartals tillgång skulle lösa, och avsaknaden av ett offentliggjort pris är i sig information: leverantören har inte avgjort vad det juridiska lagret är värt oberoende av basmodellen.

Om du bygger är den överförbara slutsatsen inte positionen på resultattavlan. Det är att den bäst presterande konfigurationen på LAB-AA använde 54 % färre utdatatoken än modellen under den i rankingen. Det är per-uppgiftsekonomi, inte pris per token, som avgör juridisk AI, och ett hämtningslager som låter modellen sluta tala tidigare är billigare än en smartare modell som fortsätter.

Three things to watch next. A published price for the configuration, which will say whether Ope​nAI sees this as a premium product or a feature bundled into Enterprise. API availability beyond the request form, which determines whether anyone can reproduce the numbers independently. And a non-U.S. hallucination count: the index now covers the UK, Australia and Canada, but every published figure measures U.S. law, and the failure mode that hurts most in other jurisdictions — citing the right provision while misreading it — is the one no index expansion fixes on its own.

Jämförda i den här artikeln2

Identifierat från den här artikeln · Benchmarks: Artificial Analysis · uppdateras dagligen