「Astra for Law 6.2」と記されたタイトルカード。3枚のカードの上に「課題あたり0.03件の重大なハルシネーション」という行があり、カードには Harvey LAB-AA での満点率20.8%、重大なハルシネーション0.03件、課題あたり64,000出力トークンが示され、フッターには LAB-AA の数値は Artificial Analysis によるもので、OpenAI も報告していると注記されている。
Guides & Insights

Astra for Law 6.2、Harveyの法務ベンチマークで首位に。ハルシネーション率こそが本当のニュースだ。

著者

Gideon Frost

公開日

最新モデル · 20すべてのモデルを見る →
ベンチマーク:Artificial Analysis · 毎日更新
すべての記事に戻る

Ope​nAI shipped a new version of Astra for Law on 17 November 2026 — the legal configuration built on GPT-6.2 Astra, the flagship it launched the day before — and it lands first on the Harvey LAB-AA leaderboard that Artificial Analysis maintains: 20.8% of 120 legal assignments completed to full credit, against 15.0% for GPT-6.2 Astra and 13.1% for Muse Wonder Full, the best non-Ope​nAI entry. The figure worth more of your attention sits two columns to the right. Astra for Law averaged 0.03 material hallucinations per assignment. Claude Opus 5.5, the next-lowest non-Ope​nAI model on that measure, averaged 0.59.

Both numbers describe the same 120-assignment run, which is what makes them worth reading together: a configuration that finishes the whole task slightly more often than anything else tested, and invents a substantive claim roughly twenty times less often than its strongest non-Ope​nAI rival. Here is what changed since September, where the claims hold, where they do not, and what access actually looks like this week.

同じ重み、より大きなインデックス、そして検索する新しい名前。

Nothing here is a new model in the sense of new weights. Astra for Law is a configuration of GPT-6.2 Astra: the base model plus an expanded legal search index plus instructions for researching a question, weighing the authorities, and writing the answer. That is the same construction Ope​nAI used in September, when the layer sat on GPT-6 Astra. The upgrade is threefold — a newer base model, a larger index, and another two months of tuning against practitioner feedback.

The index is the concrete part. Ope​nAI grew it 34% since September, adding more than 80 million URLs, for a total of over 310 million, and extended coverage to the UK, Australia and Canada. On the U.S. side it claims more than 99.9% of published precedential case law, measured against CourtListener's coverage data. Instructions are invisible and unverifiable; index size is a number you can at least hold someone to.

One practical wrinkle before any of this is useful: the thing has four names. Ope​nAI's post calls it Astra for Law. Artificial Analysis lists the leaderboard entry as Astra for Law 6.2 (Max). The model id — the string you select in ChatGPT once access is enabled — is gpt-6.2-astra-law. Searches for "GPT-6.2 Astra for Law" return the same product. If you are briefing a procurement team, give them the model id and the leaderboard label together, because they will not find each other otherwise.

20.8%とは何を意味するのか、そしてなぜそれは「79%の確率で間違っている」と同じではないのか

LAB-AAは、Artificial Analysisが実施したHarveyのLegal Agent Benchmarkの実行結果である。24の法分野にわたる120の課題を扱い、宣誓供述書の概要作成から商業リースのレビュー、買収における所有権変更の戦略立案までを含む。採点は重要な意味を持つオール・オア・ナッシング方式である。回答は、課題のすべての要件を満たしかつ重大なハルシネーションを含まない場合にのみ、満点を獲得する。サブ要件を一つでも満たさない、あるいは裏付けのない主張を一つでも述べれば、その課題はゼロ点となる。

Read that way, the gap between 20.8% and 15.0% is larger than five percentage points suggests: it is the difference between finishing one in five legal assignments cleanly and one in seven. Ope​nAI's own arithmetic checks out — 20.8 against 15.0 is a 39% relative gain, which its "nearly 40% more often" phrasing describes accurately, and 20.8 against 13.1 is 59%, again as stated.

これが予算枠を割く価値があるかどうかを決める要素は次のとおりです:

• LAB-AAで満点 — Astra for Law 20.8% vs GPT-6.2 Astra 15.0% vs Muse Wonder Full 13.1%

• 割り当てあたりの出力トークン — Muse Wonder Full の約139,000に対し約64,000、より高い合格率で54%削減

• 課題あたりの重大なハルシネーション — 0.03、GPT-6.2 Astra は 0.06、Claude Opus 5.5 は 0.59

• 課題あたりの軽微なハルシネーション — Claude Opus 5.5の0.51に対して0.06、約8.5倍

• MaxエフォートでのLAB-AA割り当てあたりのコスト — Artificial Analysis調べで7.33ドル(GPT-6.2 Astraは6.35ドル、Claude Opus 5.5は17.93ドル)

• 全合格基準を満たしたタスクにおいて、重大なハルシネーションがゼロであること。これは、捏造された引用によって合格を買うことを防ぐ副次的主張である。

A scoreboard titled 'Astra for Law — the scoreboard' with six rows reading 'LAB-AA full credit: 20.8%, rank 1', 'Material hallucinations: 0.03 per assignment', 'Output tokens: 64,000 per assignment', 'Vals Legal Research Bench: 53.85%, rank 6 of 99', 'Legal search index: 310M+ URLs' and 'Published API price: none', with a footer noting that LAB-AA figures are per Artificial Analysis and Vals figures per Vals AI's 16 November 2026 evaluation.

コストの行はもう一度見る価値がある。なぜなら、それはいつものパターンに反しているからだ。同じMax推論設定では、法務向け構成は自社のベースモデルよりも課題あたり0.98ドル高くつく一方で、完全正答を5.8ポイント多く獲得し、打ち負かしたモデルより出力トークンを54%少なく生成する。ここで払っているのは冗長さのためではない。モデルがより早く停止できるようにする検索レイヤーのためだ。法務業務を時間単位で価格設定するチームにとって、それが重要になる唯一の算術であり、リリースの中で競合がより大きなモデルを出荷するだけではコピーできない唯一の数字だ。

ハルシネーション率は、最も半減期の長い主張だ。

Artificial Analysis counted material hallucinations — claims that could mislead a reader on a substantive point — across the same 120 assignments. Astra for Law averaged 0.03 per assignment, tied with GPT-6 for the lowest rate in the comparison and roughly half the rate of regular GPT-6.2 Astra at 0.06. Claude Opus 5.5 averaged 0.59, which is the "about 20 times" figure Ope​nAI quotes, and the ratio holds: 0.59 divided by 0.03 is 19.7.

ひとつだけ、埋もれさせずに率直に述べておくべき注意点がある。それは両面に効くからだ。この規模では件数はごくわずかで、120アサインメント全体で1アサインメントあたり0.03となると、重大なハルシネーションは合計で数件にすぎない。したがって、たった1件の悪い回答が率を大きく動かす。20倍という比率は、2回の実測実行の間にある実際の差ではあるが、安定した物理定数ではなく、何かの保証としてクライアントに引用すべきものではない。それが確立するのは方向性とおおよその大きさであり、捏造された引用が1件あるだけで関係が終わり得るタスクでは、方向性とおおよその大きさは点推定よりも価値がある。

The provenance also needs separating. Artificial Analysis ran the evaluation, so the numbers are not Ope​nAI's, but Harvey wrote the benchmark and Ope​nAI worked with Harvey on the September rollout. LAB-AA is independent of the vendor, not independent of the benchmark's author. There is no third-party hallucination count on a task set that Ope​nAI had no hand in — that is the gap in the evidence, and it is a bigger gap than the 0.03 headline suggests.

Screenshot of the Artificial Analysis Harvey LAB-AA evaluation page, showing the leaderboard with Astra for Law 6.2 in first place at 20.8% full credit, GPT-6.2 Astra second at 15.0%, GPT-6.2 Astra at High effort third at 13.3%, and Muse Wonder Full fourth at 13.1%, with material hallucination rates of 0.03, 0.06, 0.03 and 0.62 per assignment and costs per task of $7.33, $6.35, $3.86 and unavailable.

それが最初でない場合

Vals AIのLegal Research Bench(2026年11月16日評価)は、より控えめな結果を示している。Astra for Lawは、米国の連邦法および州法について実務弁護士が作成した208問で全問正答率53.85%の6位となり、55.77%のGemini 4 Carbon、および55.29%で並ぶMuse Spark 1.3 Max、Claude Opus 5、Claude Fable 5.1の3者タイの後塵を拝している。

1.9ポイント差で6位だが、トップグループの経済性では1位:

• 全項目合格精度 — Astra for Law 53.85% 対 Gemini 4 Carbon 55.77%、Gemini 4 Argon 54.81%

• テスト1回あたりのコスト — 2.75ドル(Gemini 4 Carbonは8.74ドル、Claude Opus 5は6.76ドル、Claude Fable 5.1は23.06ドル)

• テストあたりのトークン数 — 77,740 に対し、Gemini 4 Carbon は 536 万、Claude Opus 5 は 313 万

• テスト1回あたりの所要時間 — 16分45秒 対 51分53秒(Gemini 4 Carbon の場合)

最後のペアは見出しに当てはまらない部分だ。回答あたりのコストが安いだけでなく、その上のモデルよりトークン数が桁違いに少なく、これはLAB-AAのトークン数が示したのと同じシグナルである。

Ope​nAI's own framing of this benchmark is also worth checking line by line. It reports 112 of 208 questions at full credit, a gain of about eight percentage points from roughly 46% in September, and 90.9% of available points once partial credit is counted. The 112 and the 90.9% reconcile with the public board. The 46% starting point does not appear on it, so the "eight points in under two months" is a comparison Ope​nAI is making against its own September run and cannot be re-derived from what Vals publishes today.

The most useful figure on that board is one Ope​nAI did not lead with. GPT-6.2 Astra, the same base model without the legal layer, scores 42.79% and sits 31st; GPT-6 Astra sits 42nd at 39.42%. So on a benchmark neither Ope​nAI nor Harvey controls, the configuration is worth about eleven points over its own base. That is the cleanest independent estimate of what the legal index and instructions actually add, and it is considerably larger than the 20.8-versus-15.0 gap on LAB-AA implies.

Screenshot of the Vals AI Legal Research Bench leaderboard dated 16 November 2026, showing Gemini 4 Carbon first at 55.77%, Muse Spark 1.3 Max and Claude Opus 5 tied at 55.29%, Gemini 4 Argon fifth at 54.81% and Astra for Law sixth at 53.85% with a cost of $2.75 per test, alongside GPT-6.2 Astra at 42.79% in 31st place.

What it costs, and the number Ope​nAI has not published

法務向け構成には価格がありません。それはローンチ記事の記載漏れではなく、ローンチ記事そのものです。アクセスはリクエストであり、チェックアウトではありません。すべてのChatGPT Enterpriseのお客様は、管理コンソールのTrusted Access Programを通じてAstra for Lawを申請できるようになり、すでに利用可能なチームはChatGPTでgpt-6.2-astra-lawを選択し、APIアクセスはセルフサービスのキーではなく営業担当への問い合わせフォームを通じて行われます。

予算策定において、唯一公開されている料金はベースモデルのものだけだ。{{1}}GPT-6.2 Astra{{/1}}は入力トークン100万個あたり8ドル、出力100万個あたり40ドルで、キャッシュ済み入力は0.40ドル、コンテキストウィンドウは105万トークン、最大出力トークン数は128,000、知識カットオフは2026年5月18日となっている。{{2}}Artificial Analysis{{/2}}のlaw構成に関する記録も同じ8ドルと40ドルを記載しているが、それはベースモデルの料金表をそのまま持ち込んだものであり、ベンダーの見積もりではなく、同ラボの作業前提として扱うべきだ。導出された数値のほうが使用実態により忠実だ。Max effortでのLAB-AA割り当て1件あたり7.33ドルで、これはトークンの名目上のコストではなく、その構成が実際に消費するトークン数を反映している。

If you are building the retrieval layer yourself instead of buying the configuration, the base models are reachable on one key through OrcaRouter, which carries GPT-6 Astra and the surrounding Ope​nAI line inside a 215-model catalogue at provider list price with 0% markup and automatic failover when a provider stalls mid-run. Astra for Law is not in that catalogue and there is no public endpoint that reaches it — nothing in this route is a shortcut to the configuration. What the routing layer is good for is the part you can control: a research step that must not silently drop a citation is a reasonable candidate for a second model checking the first, and that composition is a routing-DSL call rather than two vendor integrations.

Ope​nAI published one comparison that answers the question its own headline skips. On Harvey's own Legal Agent Benchmark — a different test from LAB-AA, run by Harvey rather than Artificial Analysis — GPT-6 Astra met every requirement on 4.6% of assignments, GPT-6.2 Astra tripled that to 14.6%, and the legal configuration took it to 16.2%.

数字の並びを読むべきで、最後の数字だけを見てはいけない。4.6%から16.2%への3分の2はベースモデルの進歩、つまりGPT-6 AstraからGPT-6.2 Astraへの跳躍であり、これはベースモデルの顧客なら誰でも、何かのアクセス権を申請することなく得られるものだ。設定が寄与するのは最後の1.6ポイントで、ベースに対する相対的な改善は11%である。これは確かな向上であり、あなたが売り込まれている向上でもあるが、ローンチ時の報道が示唆するよりも全体に占める割合は小さく、しかも他のラボの独自の検索レイヤーによって四半期以内に再現される可能性が最も高い部分でもある。

アクセスを申請すべきなのは誰で、待つべきなのは誰か

ChatGPT Enterpriseのテナント内にいて、自社の弁護士がすでにそこでリサーチを行っているなら、今週中にアクセスを申請してください。申請のコストはフォーム1枚で、それを使って最初にできる有益なことは、Harveyのベンチマークを実行することではなく、自社独自のベンチマークを実行することです。自社の実務から取った20件の課題を、ハルシネーションがあった時点で失格とする拒否権付きのオール・オア・ナッシング方式で採点するのです。これは午後半日で作れる評価基準であり、他社のベンチマークで20.8%を取るよりも、自社の仕事について多くを教えてくれます。

Enterpriseの外にいてAPIプログラムの外にいるなら、まだ買えるものは何もない——料金表も、キーも、パートナー経由の提供もない。待つことで失うものは、四半期分のアクセスがあれば埋まる程度のものでしかなく、価格が公表されていないこと自体が情報だ。ベンダーは、法務レイヤーがベースモデルとは独立してどれだけの価値を持つかを決めかねているのだ。

構築しているのであれば、持ち帰るべき知見はリーダーボード上の順位ではない。LAB-AA で最高スコアを出した構成は、ランキングでその直下にあるモデルより出力トークン数が54%少なかった、という点だ。法務AIの勝敗を分けるのはトークン単価ではなくタスク単位の経済性であり、モデルがより早く話し終えられるようにする検索レイヤーは、話し続けるより賢いモデルよりも安上がりだ。

Three things to watch next. A published price for the configuration, which will say whether Ope​nAI sees this as a premium product or a feature bundled into Enterprise. API availability beyond the request form, which determines whether anyone can reproduce the numbers independently. And a non-U.S. hallucination count: the index now covers the UK, Australia and Canada, but every published figure measures U.S. law, and the failure mode that hurts most in other jurisdictions — citing the right provision while misreading it — is the one no index expansion fixes on its own.

この記事で比較したモデル2

この記事から検出 · ベンチマーク:Artificial Analysis · 毎日更新