GLM-Legal vs Astra for Law: Dua Cara Membangun Model Hukum, dan Hanya Salah Satunya Menjual API kepada Anda

The two most interesting legal models released in the last month solve the same problem by opposite means. GLM-Legal is a weights-level specialisation — Z.ai took GLM-5.3-Flash and put it through legal mid-training and reinforcement learning until it behaved like a practitioner. Astra for Law is a configuration — the vendor left GPT-6 Astra exactly as it was and bolted a 230-million-URL U.S. case-law index and a set of legal instructions onto the front of it. One is a smarter lawyer with the wrong library; the other is an ordinary lawyer with an extraordinary library. Which one you want depends almost entirely on whether your problem is reasoning or retrieval, and the two releases are graded on benchmarks that cannot be put side by side.

Poin terakhir itulah alasan perbandingan ini tampak lebih rumit daripada kesan yang diberikan judulnya, jadi ada baiknya hal itu kita bereskan lebih dulu.

Mengapa tidak ada angka dalam tulisan ini yang membandingkan keduanya secara langsung

GLM-Legal's headline figure is 19.2% all-pass on Harvey LAB. Astra for Law's is 54.0% overall correctness on a private U.S. legal-research validation set. Anyone can divide 54 by 19.2 and conclude the configured version is nearly three times better. That arithmetic is meaningless, and here is exactly why:

• Apa yang dinilai — GLM-Legal pada tugas alur kerja firma hukum end-to-end di 24 bidang praktik vs Astra for Law pada pertanyaan riset hukum AS. Keluarga tugas yang berbeda, bukan pengaturan tingkat kesulitan yang berbeda dari tugas yang sama.

• Ketatnya penilaian — Harvey LAB bersifat all-pass: sebuah tugas dihitung hanya jika setiap langkah berhasil. Angka Astra adalah akurasi keseluruhan, yakni agregat kredit parsial. Penilaian all-pass secara mekanis menghasilkan angka yang lebih rendah pada model yang sama, dan tingkat all-pass sebesar 19,2% tidak dapat dibandingkan dengan persentase mana pun yang memberikan kredit parsial.

• Baselines — Z.ai measures GLM-Legal against GLM-5.3-Flash and reports a 12.5-point lift. The GPT maker measures Astra for Law against GPT-6 Astra with plain web search — 38.7% to 54.0% — and the retrieval is doing nearly all of that work. Both are delta claims against the vendor's own base, not against each other.

• Jurisdiction — legal effectiveness is jurisdiction-bound, and neither harness covers the other's ground. Harvey LAB and the Astra validation set are U.S.-focused; PLawBench, GLM-Legal's second benchmark, is Chinese. A model can be excellent on one and useless on the other and still score well on both releases' numbers.

• Independence — zero on both sides. No third party has re-run Harvey LAB with GLM-Legal, and no one outside the vendor controls the split the 54.0% was measured on.

Satu-satunya papan publik yang telah menyentuh wilayah ini adalah Legal Research Bench milik Vals AI, tempat Astra for Law diberi skor 9,4% untuk ketepatan berbanding 22,5% untuk model frontier tanpa nama — sebuah pengingat bahwa ketika rubrik penilaian yang ketat menggantikan pembagian yang dipilih vendor, angka-angka utama di kategori ini cenderung bergerak turun, bukan naik. Itu bukan vonis terhadap Astra for Law; itu alasan untuk tidak berpegang terlalu teguh pada setiap angka dalam perbandingan ini.

Apa yang sebenarnya dirancang untuk dilakukan masing-masing

Perbedaan arsitekturnya bukan sekadar akademis — hal itu menentukan dalam hal apa tiap model bisa unggul.

• GLM-Legal — modelnya berubah. Korpus hukum pada tahap mid-training, lalu RL di atas apa yang Z.ai gambarkan sebagai puluhan ribu lingkungan hukum yang realistis, dengan harness agen yang turut berkembang bersama bobotnya. Yang dihadirkan adalah penalaran, bukan sebuah pustaka.

• Astra for Law — modelnya tidak.Bobot GPT-6 Astra yang sama, ditambah lapisan pengambilan atas putusan pengadilan, undang-undang, dan peraturan AS, serta instruksi khusus hukum. Ini menyertakan pustaka, bukan pengacara yang lebih baik.

• Bukti GLM-Legal — perbandingan langsung dengan basisnya sendiri. Pada prompt yang sama, GLM-5.3-Flash memberikan nasihat umum yang kompeten; GLM-Legal menyelesaikan angkanya — mengurangi pemberitahuan pengakhiran untuk kenyamanan dari 60 menjadi 30 hari, menghapus masa tenggang untuk pelanggaran HAKI dan kerahasiaan, mewajibkan pengembalian hasil kerja terlepas dari apakah sudah dibayar atau belum, menambahkan hingga 90 hari bantuan transisi dengan tarif penyedia.

• Astra for Law's evidence — a retrieval delta. 54.0% against 38.7% overall correctness, 24% more reference cases found, up to 54% more relevant passages retrieved from correct opinions, and roughly twice the answer length. The vendor's own numbers, on a split nobody else can run.

• Ringkasan jujur dari demo-demo tersebut — model dasar menemukan fakta, model terspesialisasi membangun argumen. Dalam contoh analisis bukti Z.ai, GLM-5.3-Flash menemukan kontradiksi antara laporan klien yang 60% lengkap dan snapshot internal 41% dan mengatakan dokumen-dokumen itu "mungkin mendukung" posisi klien. GLM-Legal menghubungkan peringatan internal sebelumnya, snapshot, dan instruksi untuk menekan risiko menjadi satu teori penyembunyian dan menyebutkan elemen klaim yang masih perlu diuji.

Dibaca bersama, kedua basis bukti itu menggambarkan pembagian yang jelas. GLM-Legal dijual dengan mengandalkan pertimbangan; Astra for Law dijual dengan mengandalkan tidak melewatkan perkara.

Di mana masing-masing kemungkinan akan mengecewakan Anda

Kedua rilis ini mendokumentasikan kelemahannya sendiri, yang sudah lebih dari yang mampu dilakukan sebagian besar peluncuran, dan mode kegagalannya merupakan cerminan satu sama lain.

Hasil paling instruktif dari Astra for Law datang dari pengujian pihak ketiga, bukan dari peluncuran itu sendiri. Di yurisdiksi non-AS, tiga model yang diuji oleh firma AI hukum HAQQ masing-masing mengutip ketentuan yang benar tetapi salah dalam menyatakan isinya — Astra secara hukum benar pada 66,7% item tersebut, dibandingkan dengan 100% untuk Claude Opus 5. Pemeriksa sitasi meloloskan jawaban-jawaban itu, karena sitasinya nyata dan benar. Klien tidak. Inilah kegagalan yang secara struktural paling tidak mampu diperbaiki oleh Legal Search Index: indeks ini hanya untuk AS, dan kesalahannya terletak pada pembacaan, bukan pada penelusuran.

Kelemahan GLM-Legal justru berada di arah sebaliknya. Model ini disetel untuk praktik hukum statutori Tiongkok dan lintas yurisdiksi — demo kepatuhannya menyelesaikan kewajiban privasi Singapura, Malaysia, dan Indonesia dengan sitasi tingkat pasal — dan tidak memiliki padanan indeks yurisprudensi AS. Dalam riset Amerika, arsitektur yang menemukan 230 juta URL preseden melakukan sesuatu yang sama sekali tidak dilakukan GLM-Legal. Kekuatan yang dipublikasikan adalah penyusunan dokumen, penautan bukti, dan pekerjaan dokumen yang dinilai dengan rubrik; bukti yang dipublikasikan sama sekali tidak mencakup klaim pengambilan (retrieval).

Tidak ada vendor yang telah menerbitkan dokumen tata kelola yang akan pertama kali diminta oleh penasihat hukum umum firma hukum. Astra for Law hadir dengan Zero Data Retention pada API dan penggunaan ChatGPT Enterprise yang dikecualikan dari peninjauan manusia secara default, tetapi cakupan itu diberikan per organisasi dan programnya berbasis undangan. Ketentuan beta GLM-Legal sama sekali tidak dipublikasikan, yang tidak sama dengan tidak dapat diterima — itu hanya tidak terdokumentasi, dan tidak terdokumentasi adalah hal yang tidak dapat Anda bawa ke komite risiko.

Bisa mencoba salah satunya, dan berapa biayanya

Tidak ada satu pun konfigurasi legal yang tercantum pada kartu tarif publik.

• Astra for Law — Akses Tepercaya, berbasis undangan dan ditujukan untuk firma besar; tidak ada harga yang dipublikasikan untuk konfigurasi hukum; id model API telah disebutkan akan segera hadir.

• GLM-Legal — aplikasi beta yang ditujukan untuk firma hukum, perusahaan teknologi hukum, tim internal, dan praktisi independen; tidak ada harga yang dipublikasikan; tidak ada endpoint publik.

• Namun, model-model yang mendasarinya keduanya sudah aktif. GPT-6 Astra berada pada $10 per juta token input dan $50 per juta token output untuk konteks 1,05 juta token, dengan penyesuaian harga konteks panjang di atas 272.000 token input yang akan rutin dilampaui oleh kumpulan dokumen hukum. GLM 5.3 Flash berada pada $0,15 dan $0,50 untuk konteks 1 juta token. Itu adalah perbedaan 66 kali lipat dalam harga input untuk dua model yang keduanya mampu memproses satu set kontrak dalam sekali jalan.

Keduanya ada di katalog OrcaRouter pada harga daftar tersebut tanpa tambahan markup, yang lebih penting daripada biasanya di kategori ini: perubahan harga vendor pada salah satu model langsung berlaku di sini pada hari yang sama, bukan pada akhir siklus kontrak. Satu kunci mencakup keduanya, sehingga tim legal engineering yang ingin memakai Astra untuk pekerjaan yang berat pada retrieval dan GLM 5.3 Flash untuk tinjauan awal bervolume tinggi tidak perlu dua hubungan komersial, dua SDK, atau dua set kredensial. DSL routing memisahkan lalu lintas berdasarkan kelas tugas, sehingga jalur penyusunan draf dan jalur ringkasan dapat mengarah ke model yang berbeda namun tetap ditagih dalam satu invoice.

Dan ada pembatasan yang disengaja yang layak disebutkan daripada disembunyikan. Hal yang sebenarnya membedakan Astra for Law dari GPT-6 Astra adalah Legal Search Index, dan lapisan itu tidak untuk dijual — Anda tidak dapat mengarahkan ke sana, dan orang lain juga tidak bisa. Yang kami arahkan adalah model dasar. Tim yang membuat prototipe alur kerja hukum pada GPT-6 Astra hari ini sedang menguji semuanya kecuali bagian yang membuat konfigurasi hukum tersebut lebih baik.

Mana yang harus dipilih

Jika pekerjaannya adalah riset hukum kasus Amerika Serikat, analisis yang sarat preseden, atau apa pun yang risiko utamanya adalah melewatkan otoritas hukum, Astra for Law tepat ditujukan untuk hal itu dan GLM-Legal tidak bersaing untuk itu. Jika pekerjaannya adalah penyusunan draf berdasarkan spesifikasi, kepatuhan statutori di berbagai rezim yang disebutkan, atau penalaran atas kumpulan dokumen yang telah Anda berikan, bukti GLM-Legal lebih langsung tepat sasaran — dan demo-demonya menunjukkan perilaku spesifik yang Anda inginkan, yaitu model yang menghasilkan angka dan bahasa klausul, bukan daftar periksa hal-hal yang perlu dipertimbangkan.

Bagi sebagian besar tim hukum, jawaban praktis kuartal ini adalah bahwa keduanya bukan keputusan yang harus Anda ambil sekarang. Keduanya baru bisa diakses melalui pengajuan aplikasi, keduanya belum memiliki harga, dan keduanya hanya memiliki satu uji benchmark yang dikendalikan vendor di balik angka-angka utamanya. Tim yang akan siap saat gerbangnya dibuka adalah tim yang memanfaatkan jeda waktu itu untuk membangun pipeline pada model dasar yang benar-benar dapat dipanggil — sehingga mengadopsi versi terspesialisasi nanti hanyalah perubahan model-id, bukan migrasi platform.

DSL perutean memisahkan lalu lintas berdasarkan kelas tugas, sehingga jalur penyusunan dan jalur ringkasan dapat mengarah ke model yang berbeda dan tetap ditagihkan dalam satu faktur.