GLM-Legal: Agen Hukum Z.ai Mencetak 19,2% di Harvey LAB — dan Dimulai sebagai Beta yang Harus Anda Ajukan

Z.ai menerbitkan GLM-Legal pada 12 Oktober 2026, dan angka yang ditonjolkannya adalah 19,2%. Itu adalah tingkat kelulusan menyeluruh model tersebut pada Harvey LAB, evaluasi alur kerja firma hukum yang dibangun oleh vendor AI hukum Harvey di 24 bidang praktik — dan angka itu merupakan figur paling dapat dipercaya dalam rilis ini justru karena tampilannya yang tidak mengesankan. Model hukum yang hanya mampu menyelesaikan kurang dari satu dari lima tugas pada harness yang serius sedang dinilai terhadap standar yang tidak dilunakkan oleh vendornya sendiri. Bagian yang lebih lemah adalah segala hal di sekitarnya: dua tolok ukur utama lainnya, LegalBench dan PLawBench, digambarkan setara dengan "model frontier closed-source" yang tidak disebutkan namanya dan tidak menyertakan angka sama sekali. GLM-Legal dibangun di atas GLM-5.3-Flash, model fondasi multimodal Z.ai dengan total 320B dan 18B parameter aktif, dan saat ini cara untuk mendapatkannya adalah melalui formulir di halaman konsultasi vendor, bukan kunci API.

Kombinasi itu — angka nyata yang dinilai secara jujur ditambah dua klaim paritas yang tidak terkuantifikasi — adalah keseluruhan bentuk rilis ini, dan hal itu layak dipisahkan sebelum hal lain apa pun.

Apa yang dikatakan 19,2% pada Harvey LAB, dan apa yang tidak

Harvey LAB menilai berdasarkan all-pass. Sebuah tugas baru dihitung untuk model jika setiap langkahnya berhasil: isu yang tepat teridentifikasi, ketentuan yang tepat dikutip, analisisnya dapat dipertahankan, dan outputnya diformat sesuai brief. Itu adalah gerbang yang lebih keras daripada tolok ukur kredit parsial, dan itulah sebabnya angka absolutnya rendah, bukan karena modelnya lemah. Z.ai menggambarkannya sebagai konfirmasi atas "eksekusi tugas end-to-end yang andal tanpa degradasi di tengah" — dalam rezim all-pass, itulah satu-satunya makna yang bisa dimiliki oleh tugas yang lulus.

Perbandingan yang disediakan Z.ai adalah dengan model dasarnya sendiri, dan disebutkan bahwa GLM-Legal meningkat 12,5 poin persentase. Bandingkan itu dengan judul utamanya dan hitungannya sangat mencolok:

• GLM-Legal pada Harvey LAB — 19,2% lolos semua, di 24 bidang praktik, menurut Z.ai.

• Skor model dasar tersirat — sekitar 6,7%, karena Z.ai menyatakan selisihnya sebesar 12,5 poin dan basisnya adalah GLM-5.3-Flash.

• Independensi — tidak ada. Kedua angka tersebut milik Z.ai sendiri, diukur pada proses milik Z.ai sendiri, dan belum ada pihak ketiga yang mereproduksinya.

• Peran Harvey — Harvey membangun tolok ukur; pengumuman tersebut tidak menyatakan apakah Harvey atau Z.ai yang menjalankan evaluasi.

Baris terakhir itu adalah celah yang jujur. "Dibangun oleh Harvey" dan "dinilai oleh Harvey" adalah klaim yang berbeda, dan hanya klaim pertama yang diajukan. Peningkatan 12,5 poin dibandingkan model dasar adalah orde besaran yang masuk akal untuk mid-training domain ditambah RL — seperti inilah spesialisasi hukum terlihat ketika berhasil — tetapi sampai seseorang di luar Z.ai menjalankan ulang harness, itu adalah angka vendor, dan harus dikutip sebagai angka vendor.

Dua klaim yang tidak disertai nomor

LegalBench mencakup penguraian kontrak, pengajuan merger, dan opini yudisial; PLawBench mencakup konsultasi hukum Tiongkok, analisis kasus, dan penyusunan dokumen berdasarkan rubrik yang terperinci. Klaim Z.ai untuk yang pertama adalah bahwa GLM-Legal menguraikannya "dengan presisi model-model frontier closed-source teratas," dan untuk yang kedua bahwa model ini "mencapai paritas dengan sistem-sistem frontier terkemuka."

Kedua klaim itu bersifat kualitatif. Tidak ada satu pun yang disertai skor, interval kepercayaan, atau pembanding yang disebutkan namanya. Itu bukan alasan untuk tidak mempercayainya — GLM-5.3-Flash adalah basis yang kuat, dan turunan yang terspesialisasi pada suatu domain dari basis yang kuat memang sering mencapai paritas dalam penalaran domain — tetapi klaim paritas yang tidak bisa Anda beri angka tidak dapat diperiksa secara inheren, dan dua pernyataan kuantitatif dalam rilis tersebut sama-sama membahas tolok ukur yang sama. Pembaca yang membandingkan peluncuran ini dengan milik pesaing harus menyadari bahwa rilis ini sebenarnya adalah satu hasil terukur ditambah dua hasil yang diargumentasikan.

Apa yang sebenarnya diubah oleh pelatihan itu

Detail metodologis lebih penting di sini daripada dalam fine-tune domain yang tipikal, karena GLM-Legal adalah spesialisasi pada tingkat bobot, bukan produk retrieval. Z.ai tidak merilis indeks putusan hukum; ia mengubah modelnya. Dua tahap:

• Pelatihan pertengahan — korpus hukum berkualitas tinggi yang diperluas, mengajarkan aturan perundang-undangan dan kerangka interpretatif di dalam konteks domain yang padat, untuk memperkuat rantai deduktif dari fakta ke aturan ke kesimpulan.

• Pasca-pelatihan — pembelajaran penguatan di apa yang disebut Z.ai sebagai "puluhan ribu lingkungan hukum yang realistis," di mana model belajar merencanakan analisis, memajukan alur kerja, dan menghasilkan luaran di bawah batasan yang konkret.

Bagian yang tidak biasa adalah loop di sekitar tahap pascapelatihan. Z.ai mendeskripsikan harness agen — lapisan orkestrasi runtime yang menyiapkan konteks, menghubungkan perkakas, dan merutekan umpan balik eksekusi — sebagai berkembang bersama model, bukan tetap statis di bawahnya. Kasus tepi yang muncul selama pelatihan mengungkap hambatan pada harness; penyempurnaan harness memaparkan model pada batasan eksekusi yang lebih realistis. Tujuan yang dinyatakan adalah menghentikan kegagalan klasik model domain, yakni ketika pengetahuan ditambahkan tetapi perilaku alur kerja tidak.

Apakah hal itu dapat digeneralisasi adalah tepatnya yang diuji oleh all-pass 19,2%. Ini adalah klaim keandalan, bukan klaim pengetahuan, dan itulah hal yang tepat untuk menjadi dasar pengukuran penerapan di bidang hukum.

Ketiga demo, baca dengan saksama.

Postingan blog ini menampilkan GLM-5.3-Flash dan GLM-Legal menjawab tiga prompt yang sama secara berdampingan. Perbandingan tersebut ditulis oleh vendor dan prompt-nya dipilih oleh vendor, jadi buktinya lebih lemah daripada perbandingan head-to-head — tetapi perbedaannya cukup spesifik sehingga tetap informatif.

Tinjauan kontrak. Tugasnya adalah kontrak layanan perangkat lunak untuk klien yang berganti penyedia. Saran model dasar masuk akal dan bersifat umum: perpendek periode pemberitahuan, minta penyedia mengembalikan data dan hasil serahan yang telah dibayar, tambahkan kewajiban untuk bekerja sama dengan penyedia pengganti. Saran GLM-Legal memiliki bentuk yang sama tetapi menetapkan angka-angkanya — kurangi pemberitahuan pengakhiran demi kenyamanan dari 60 menjadi 30 hari, hapus masa perbaikan sepenuhnya untuk pelanggaran kewajiban kekayaan intelektual, kerahasiaan, atau keamanan data, wajibkan pengembalian hasil kerja baik sudah dibayar maupun belum, dan tambahkan bantuan transisi hingga 90 hari dengan tarif penyedia yang berlaku saat itu. Itulah perbedaan antara daftar periksa dan redline. Z.ai mengatakan AutoClaw menerapkan suntingan tersebut ke dalam dokumen Word sebagai perubahan terlacak dan komentar.

Analisis bukti. Empat puluh dokumen dari sengketa proyek perangkat lunak. Model dasar menemukan kontradiksi antara laporan klien 30 September yang mengklaim 60% selesai dan snapshot internal sekitar 41%, dan dengan tepat mengatakan dokumen-dokumen tersebut "dapat mendukung" posisi klien. GLM-Legal menghubungkan peringatan internal 8 September bahwa tonggak pencapaian tidak dapat dipenuhi secara jujur, snapshot 41%, dan instruksi eksekutif untuk menyembunyikan risiko serta terus menagih menjadi satu teori penyembunyian, lalu mengutip klausul perjanjian layanan induk tentang pembayaran-tidak-melepaskan-hak dan jaminan-yang-tetap-berlaku sebagai alasan pembayaran yang berlanjut tidak menyelesaikan sengketa. Model dasar menemukan faktanya; GLM-Legal membangun argumen dan menyebutkan elemen klaim yang masih perlu diuji.

Riset kepatuhan. Situs web yang diluncurkan di Singapura, Malaysia, dan Indonesia dengan pelacakan, pemasaran email, dan penyimpanan cloud di luar negeri. Model dasar menghasilkan daftar tugas pra-peluncuran yang kompeten. GLM-Legal menghasilkan daftar yang diprioritaskan dengan kait statutori — SG PDPA s26, MY PDPA s129, ID PDP Law Arts 55–56 — dan memisahkan kontrol bersama dari pertanyaan spesifik pasar.

Kutipan undang-undang adalah bagian yang dapat diperiksa seorang pengacara dalam satu sore, dan itulah sebabnya demo-demo tersebut layak dibaca. Bagian yang tidak mereka tunjukkan adalah bagaimana model berperilaku dalam suatu perkara yang jawaban benarnya adalah bahwa klien salah.

Akses: formulir sekarang, AutoClaw nanti

Tidak ada harga yang dipublikasikan dan tidak ada endpoint publik. Ajakan Z.ai adalah "Gabung ke GLM-Legal Beta," yang ditujukan untuk firma hukum, perusahaan legal-tech, tim internal, dan praktisi independen, dengan akses API di balik aplikasi di halaman konsultasi vendor. Paragraf AutoClaw ditulis dalam bentuk waktu depan — "Anda akan segera dapat menggunakan kemampuan ini di AutoClaw" — jadi platform agen desktop adalah integrasi yang akan datang, bukan yang sudah dirilis, dan Z.ai tidak menetapkan tanggal untuk keduanya.

Jika Anda ingin membangun terhadap model dasarnya hari ini, pembagian yang jujur adalah bahwa versi dasar tersedia dan varian legalnya tidak. GLM 5.3 Flash ada di katalog OrcaRouter dengan harga daftar Z.ai tanpa markup tambahan — $0,15 per juta token masukan dan $0,50 per juta token keluaran, dengan pembacaan cache sebesar $0,030 — sehingga perubahan harga vendor pada model itu muncul di sisi kami pada hari yang sama alih-alih pada akhir siklus kontrak. Satu kunci menjangkau lebih dari 200 model, dan failover otomatis berarti Anda dapat mengarahkan jalur staging ke model dasar tanpa mempertaruhkan rute produksi padanya. Semua hal dalam tiga demo yang tidak bergantung pada pascapelatihan legal — merestrukturisasi kumpulan klausul yang Anda berikan, memformat keluaran ke templat firma, menghasilkan daftar periksa tinjauan awal — dapat Anda prototipekan di GLM 5.3 Flash sekarang dan tukar id model saat beta dibuka. Semua yang bergantung pada spesialisasi tidak dapat Anda prototipekan, karena spesialisasi adalah bagian di balik formulir.

Apa yang akan mengubah cerita ini

Tiga hal, diurutkan berdasarkan seberapa pentingnya. Angka untuk LegalBench dan PLawBench — klaim paritas adalah yang menanggung beban utama bagi siapa pun yang memilih model hukum, dan saat ini paling tidak dapat diverifikasi. Uji independen atas Harvey LAB, idealnya yang harness-nya dikendalikan oleh Harvey, bukan Z.ai. Dan harga, karena model domain yang biayanya jauh lebih tinggi per perkara daripada model dasarnya harus menebus selisih itu pada all-pass rate, bukan pada polesan.

Tidak satu pun dari ketiganya telah tiba. Yang telah tiba adalah model yang benar-benar terspesialisasi yang dibangun di atas fondasi dengan 18B parameter aktif, dengan satu benchmark yang dijalankan di bawah standar penilaian yang cukup ketat sehingga 19,2% terbaca sebagai angka yang kredibel, dan proses akses yang menyiratkan bahwa vendor tersebut belum cukup yakin untuk mencantumkannya dalam daftar harga.

Bagi tim hukum yang memutuskan apa yang harus dilakukan dengan pengumuman minggu ini, jawabannya mungkin sama seperti pada rilis apa pun yang dibatasi lewat pendaftaran: baca demo untuk melihat mode kegagalan yang diungkapkannya, periksa sendiri kutipan undang-undangnya, dan bangun pipeline di sekitarnya pada model yang benar-benar dapat Anda panggil hari ini sehingga mengganti satu id model adalah keseluruhan migrasinya.

Failover otomatis berarti Anda dapat mengarahkan jalur staging ke model dasar tanpa mempertaruhkan rute produksi padanya.