Kartu judul bertuliskan 'Astra for Law 6.2' dengan baris '0,03 halusinasi material per penugasan' di atas tiga kartu yang menampilkan 20,8% kredit penuh pada Harvey LAB-AA, 0,03 halusinasi material, dan 64.000 token keluaran per penugasan, di atas footer yang mencatat bahwa angka LAB-AA berasal dari Artificial Analysis dan juga dilaporkan oleh OpenAI.
Guides & Insights

Astra for Law 6.2 Meraih Peringkat Pertama pada Benchmark Hukum Harvey. Tingkat Halusinasi Adalah Berita Utamanya.

Penulis

Gideon Frost

Tanggal Terbit

Model terbaru · 20Lihat semua model →
Benchmark: Artificial Analysis · diperbarui setiap hari
Kembali ke semua artikel

Ope​nAI shipped a new version of Astra for Law on 17 November 2026 — the legal configuration built on GPT-6.2 Astra, the flagship it launched the day before — and it lands first on the Harvey LAB-AA leaderboard that Artificial Analysis maintains: 20.8% of 120 legal assignments completed to full credit, against 15.0% for GPT-6.2 Astra and 13.1% for Muse Wonder Full, the best non-Ope​nAI entry. The figure worth more of your attention sits two columns to the right. Astra for Law averaged 0.03 material hallucinations per assignment. Claude Opus 5.5, the next-lowest non-Ope​nAI model on that measure, averaged 0.59.

Both numbers describe the same 120-assignment run, which is what makes them worth reading together: a configuration that finishes the whole task slightly more often than anything else tested, and invents a substantive claim roughly twenty times less often than its strongest non-Ope​nAI rival. Here is what changed since September, where the claims hold, where they do not, and what access actually looks like this week.

Bobot yang sama, indeks yang lebih besar, dan nama baru untuk dicari.

Nothing here is a new model in the sense of new weights. Astra for Law is a configuration of GPT-6.2 Astra: the base model plus an expanded legal search index plus instructions for researching a question, weighing the authorities, and writing the answer. That is the same construction Ope​nAI used in September, when the layer sat on GPT-6 Astra. The upgrade is threefold — a newer base model, a larger index, and another two months of tuning against practitioner feedback.

The index is the concrete part. Ope​nAI grew it 34% since September, adding more than 80 million URLs, for a total of over 310 million, and extended coverage to the UK, Australia and Canada. On the U.S. side it claims more than 99.9% of published precedential case law, measured against CourtListener's coverage data. Instructions are invisible and unverifiable; index size is a number you can at least hold someone to.

One practical wrinkle before any of this is useful: the thing has four names. Ope​nAI's post calls it Astra for Law. Artificial Analysis lists the leaderboard entry as Astra for Law 6.2 (Max). The model id — the string you select in ChatGPT once access is enabled — is gpt-6.2-astra-law. Searches for "GPT-6.2 Astra for Law" return the same product. If you are briefing a procurement team, give them the model id and the leaderboard label together, because they will not find each other otherwise.

Apa arti 20,8%, dan mengapa itu tidak sama dengan "salah 79% dari waktu"

LAB-AA adalah uji Harvey's Legal Agent Benchmark yang dijalankan oleh Artificial Analysis: 120 tugas di 24 bidang hukum, dari menyusun kerangka deposisi hingga meninjau sewa komersial hingga menyusun strategi perubahan kepemilikan dalam akuisisi. Penilaiannya benar-benar semua-atau-tidak sama sekali. Sebuah jawaban memperoleh nilai penuh hanya jika memenuhi setiap persyaratan tugas dan tidak mengandung halusinasi material. Lewatkan satu subpersyaratan, atau ajukan satu klaim tanpa dukungan, dan tugas tersebut mendapat nilai nol.

Read that way, the gap between 20.8% and 15.0% is larger than five percentage points suggests: it is the difference between finishing one in five legal assignments cleanly and one in seven. Ope​nAI's own arithmetic checks out — 20.8 against 15.0 is a 39% relative gain, which its "nearly 40% more often" phrasing describes accurately, and 20.8 against 13.1 is 59%, again as stated.

Dimensi yang menentukan apakah ini layak menjadi pos anggaran:

• Kredit penuh pada LAB-AA — Astra for Law 20,8% vs GPT-6.2 Astra 15,0% vs Muse Wonder Full 13,1%

• Token output per tugas — sekitar 64.000 vs 139.000 untuk Muse Wonder Full, pengurangan 54% pada tingkat kelulusan yang lebih tinggi

• Halusinasi material per penugasan — 0,03 vs 0,06 untuk GPT-6.2 Astra dan 0,59 untuk Claude Opus 5.5

• Halusinasi ringan per tugas — 0,06 vs 0,51 untuk Claude Opus 5.5, sekitar 8,5 kali lebih banyak

• Biaya per penugasan LAB-AA pada Max effort — $7.33 dibandingkan $6.35 untuk GPT-6.2 Astra dan $17.93 untuk Claude Opus 5.5, menurut Artificial Analysis

• Nol halusinasi material pada tugas yang memenuhi kriteria lolos semua, yang merupakan subklaim yang mencegah kelulusan diperoleh melalui kutipan yang dikarang

A scoreboard titled 'Astra for Law — the scoreboard' with six rows reading 'LAB-AA full credit: 20.8%, rank 1', 'Material hallucinations: 0.03 per assignment', 'Output tokens: 64,000 per assignment', 'Vals Legal Research Bench: 53.85%, rank 6 of 99', 'Legal search index: 310M+ URLs' and 'Published API price: none', with a footer noting that LAB-AA figures are per Artificial Analysis and Vals figures per Vals AI's 16 November 2026 evaluation.

Baris biaya perlu ditinjau ulang karena bertentangan dengan pola yang biasa. Pada pengaturan penalaran Max yang sama, konfigurasi hukum ini memakan biaya $0,98 lebih mahal per penugasan daripada model dasarnya sendiri, tetapi memperoleh kredit penuh 5,8 poin lebih banyak dan menghasilkan token keluaran 54% lebih sedikit daripada model yang dikalahkannya. Anda tidak membayar untuk verbositas di sini; Anda membayar untuk lapisan pengambilan yang memungkinkan model berhenti lebih cepat. Bagi tim yang menetapkan tarif pekerjaan hukum per jam, itulah satu-satunya hitungan yang penting, dan itulah satu angka dalam rilis ini yang tidak dapat ditiru pesaing hanya dengan merilis model yang lebih besar.

Tingkat halusinasi adalah klaim dengan waktu paruh terpanjang

Artificial Analysis counted material hallucinations — claims that could mislead a reader on a substantive point — across the same 120 assignments. Astra for Law averaged 0.03 per assignment, tied with GPT-6 for the lowest rate in the comparison and roughly half the rate of regular GPT-6.2 Astra at 0.06. Claude Opus 5.5 averaged 0.59, which is the "about 20 times" figure Ope​nAI quotes, and the ratio holds: 0.59 divided by 0.03 is 19.7.

Satu peringatan perlu dinyatakan terang-terangan, bukan dikubur, karena hal ini berdampak dua arah. Pada besaran ini, jumlahnya sangat kecil — 0,03 per penugasan dari 120 penugasan berarti hanya segelintir halusinasi material secara total — sehingga satu jawaban buruk menggeser laju secara berarti. Rasio 20 kali adalah perbedaan nyata antara dua eksekusi terukur, bukan konstanta fisik yang stabil, dan tidak boleh dikutip kepada klien sebagai jaminan apa pun. Yang ditetapkannya adalah arah dan perkiraan ukuran, dan pada tugas di mana satu sitasi yang dikarang dapat mengakhiri hubungan, arah dan perkiraan ukuran bernilai lebih daripada estimasi titik.

The provenance also needs separating. Artificial Analysis ran the evaluation, so the numbers are not Ope​nAI's, but Harvey wrote the benchmark and Ope​nAI worked with Harvey on the September rollout. LAB-AA is independent of the vendor, not independent of the benchmark's author. There is no third-party hallucination count on a task set that Ope​nAI had no hand in — that is the gap in the evidence, and it is a bigger gap than the 0.03 headline suggests.

Screenshot of the Artificial Analysis Harvey LAB-AA evaluation page, showing the leaderboard with Astra for Law 6.2 in first place at 20.8% full credit, GPT-6.2 Astra second at 15.0%, GPT-6.2 Astra at High effort third at 13.3%, and Muse Wonder Full fourth at 13.1%, with material hallucination rates of 0.03, 0.06, 0.03 and 0.62 per assignment and costs per task of $7.33, $6.35, $3.86 and unavailable.

Di mana itu bukan yang pertama

Legal Research Bench milik Vals AI, yang dievaluasi pada 16 November 2026, menunjukkan gambaran yang lebih datar. Astra for Law berada di peringkat keenam dengan 53,85% all-pass pada 208 pertanyaan yang ditulis oleh pengacara praktik tentang hukum federal dan negara bagian AS, di belakang Gemini 4 Carbon dengan 55,77% dan hasil imbang tiga arah pada 55,29% antara Muse Spark 1.3 Max, Claude Opus 5, dan Claude Fable 5.1.

Peringkat keenam dengan selisih 1,9 poin, tetapi pertama dalam hal ekonomi di antara kelompok teratas:

• Akurasi semua-lulus — Astra for Law 53,85% vs Gemini 4 Carbon 55,77% dan Gemini 4 Argon 54,81%

• Biaya per pengujian — $2,75 vs $8,74 untuk Gemini 4 Carbon, $6,76 untuk Claude Opus 5, dan $23,06 untuk Claude Fable 5.1

• Token per pengujian — 77.740 vs 5,36 juta untuk Gemini 4 Carbon dan 3,13 juta untuk Claude Opus 5

• Durasi per tes — 16 menit 45 detik vs 51 menit 53 detik untuk Gemini 4 Carbon

Pasangan terakhir itu adalah bagian yang tidak selaras dengan headline. Pasangan itu bukan hanya lebih murah per jawaban; tetapi juga satu orde besaran lebih hemat token dibandingkan model-model di atasnya, yang merupakan sinyal yang sama dengan yang diberikan oleh jumlah token LAB-AA.

Ope​nAI's own framing of this benchmark is also worth checking line by line. It reports 112 of 208 questions at full credit, a gain of about eight percentage points from roughly 46% in September, and 90.9% of available points once partial credit is counted. The 112 and the 90.9% reconcile with the public board. The 46% starting point does not appear on it, so the "eight points in under two months" is a comparison Ope​nAI is making against its own September run and cannot be re-derived from what Vals publishes today.

The most useful figure on that board is one Ope​nAI did not lead with. GPT-6.2 Astra, the same base model without the legal layer, scores 42.79% and sits 31st; GPT-6 Astra sits 42nd at 39.42%. So on a benchmark neither Ope​nAI nor Harvey controls, the configuration is worth about eleven points over its own base. That is the cleanest independent estimate of what the legal index and instructions actually add, and it is considerably larger than the 20.8-versus-15.0 gap on LAB-AA implies.

Screenshot of the Vals AI Legal Research Bench leaderboard dated 16 November 2026, showing Gemini 4 Carbon first at 55.77%, Muse Spark 1.3 Max and Claude Opus 5 tied at 55.29%, Gemini 4 Argon fifth at 54.81% and Astra for Law sixth at 53.85% with a cost of $2.75 per test, alongside GPT-6.2 Astra at 42.79% in 31st place.

What it costs, and the number Ope​nAI has not published

Tidak ada harga untuk konfigurasi hukum. Itu bukan kelalaian dalam tulisan peluncuran; itulah tulisan peluncurannya. Akses adalah permintaan, bukan checkout: setiap pelanggan ChatGPT Enterprise sekarang dapat meminta Astra for Law melalui Trusted Access Program di konsol admin, tim yang sudah memilikinya memilih gpt-6.2-astra-law di ChatGPT, dan akses API melalui formulir kontak penjualan, bukan kunci swalayan.

Untuk penganggaran, model dasar adalah satu-satunya tarif yang dipublikasikan: GPT-6.2 Astra tercantum pada $8 per juta token input dan $40 per juta token output, dengan input cache sebesar $0,40, jendela konteks 1,05 juta token, maksimum 128.000 token output, dan batas pengetahuan 18 Mei 2026. Catatan Artificial Analysis untuk konfigurasi law mencantumkan $8 dan $40 yang sama — tetapi itu adalah kartu tarif model dasar yang dibawa serta, dan sebaiknya diperlakukan sebagai asumsi kerja lab tersebut, bukan kutipan vendor. Angka turunannya lebih jujur tentang penggunaan: $7,33 per penugasan LAB-AA pada Max effort, yang mencerminkan berapa banyak token yang benar-benar dihabiskan konfigurasi tersebut, bukan berapa biaya nominal satu token.

If you are building the retrieval layer yourself instead of buying the configuration, the base models are reachable on one key through OrcaRouter, which carries GPT-6 Astra and the surrounding Ope​nAI line inside a 215-model catalogue at provider list price with 0% markup and automatic failover when a provider stalls mid-run. Astra for Law is not in that catalogue and there is no public endpoint that reaches it — nothing in this route is a shortcut to the configuration. What the routing layer is good for is the part you can control: a research step that must not silently drop a citation is a reasonable candidate for a second model checking the first, and that composition is a routing-DSL call rather than two vendor integrations.

Ope​nAI published one comparison that answers the question its own headline skips. On Harvey's own Legal Agent Benchmark — a different test from LAB-AA, run by Harvey rather than Artificial Analysis — GPT-6 Astra met every requirement on 4.6% of assignments, GPT-6.2 Astra tripled that to 14.6%, and the legal configuration took it to 16.2%.

Bacalah urutannya, bukan angka terakhirnya. Dua pertiga perjalanan dari 4,6% ke 16,2% adalah kemajuan model dasar: lompatan dari GPT-6 Astra ke GPT-6.2 Astra, yang didapatkan setiap pelanggan model dasar tanpa perlu meminta akses ke apa pun. Konfigurasi menyumbang 1,6 poin terakhir, peningkatan relatif 11% dibandingkan model dasar. Itu adalah keuntungan nyata dan itulah keuntungan yang dijual kepada Anda, tetapi porsinya lebih kecil dari total dibandingkan yang tersirat dalam liputan peluncuran — dan itu adalah bagian yang paling mungkin direplikasi oleh lapisan retrieval milik laboratorium lain dalam satu kuartal.

Siapa yang harus meminta akses, dan siapa yang harus menunggu

Jika Anda berada di dalam tenant ChatGPT Enterprise dan para pengacara Anda sudah melakukan riset di dalamnya, ajukan akses minggu ini. Biaya permintaan itu hanyalah sebuah formulir, dan hal bermanfaat pertama yang dapat Anda lakukan dengannya bukanlah menjalankan tolok ukur Harvey, melainkan tolok ukur Anda sendiri: dua puluh tugas dari praktik Anda sendiri, dinilai secara semua-atau-tidak sama sekali dengan veto halusinasi, yang merupakan rubrik yang dapat Anda susun dalam satu sore dan yang akan memberi tahu Anda lebih banyak tentang pekerjaan Anda daripada angka 20,8% pada tolok ukur milik orang lain.

Jika Anda berada di luar Enterprise dan di luar program API, belum ada yang bisa dibeli — tidak ada daftar harga, tidak ada kunci, tidak ada ketersediaan mitra. Menunggu tidak merugikan Anda apa pun yang tidak bisa diperbaiki oleh akses selama satu kuartal, dan tidak adanya harga yang dipublikasikan itu sendiri merupakan informasi: vendor belum memutuskan berapa nilai lapisan hukum secara independen dari model dasar.

Jika Anda sedang membangun, temuan yang dapat ditransfer bukanlah posisi di papan peringkat. Temuan itu adalah bahwa konfigurasi dengan skor terbaik di LAB-AA menggunakan 54% lebih sedikit token keluaran daripada model di bawahnya dalam peringkat. Ekonomi per tugas, bukan harga per token, adalah tempat AI hukum dimenangkan, dan lapisan pengambilan yang memungkinkan model berhenti berbicara lebih awal lebih murah daripada model yang lebih pintar yang terus berbicara.

Three things to watch next. A published price for the configuration, which will say whether Ope​nAI sees this as a premium product or a feature bundled into Enterprise. API availability beyond the request form, which determines whether anyone can reproduce the numbers independently. And a non-U.S. hallucination count: the index now covers the UK, Australia and Canada, but every published figure measures U.S. law, and the failure mode that hurts most in other jurisdictions — citing the right provision while misreading it — is the one no index expansion fixes on its own.

Dibandingkan dalam artikel ini2

Terdeteksi dari artikel ini · Benchmark: Artificial Analysis · diperbarui setiap hari