一張生成的標題卡,標題為「GLM-Legal」,副標為「一個評分數字,兩項沒有數字的主張」,一排三個扁平線條圖示(一個折角文件、一個天平與一份已勾選的清單),以及一行底部文字寫著「發佈於 2026-10-12 — 須申請方可存取」。OrcaRouter 標誌合成於右下角。
Engineering & Research

GLM-Legal:Z.ai 的法律代理在 Harvey LAB 上得分 19.2%——並以需申請的 Beta 版形式推出

作者

Rowan Sterling

發佈日期

最新模型 · 20查看全部模型 →
基準測試:Artificial Analysis · 每日更新
返回全部文章

Z.ai 發布了 GLM-Legal,時間是 2026 年 10 月 12 日;而它打頭陣的數字是 19.2%。那是該模型在 Harvey LAB 上的全數通過率;Harvey LAB 是由法律 AI 供應商 Harvey 打造、涵蓋 24 個執業領域的律師事務所工作流程評估——而它正是此次發布中最值得信賴的數字,正因為它看起來並不亮眼。一個在嚴謹測試框架上通過不到五分之一任務的法律模型,正以其自家供應商並未放寬的標準接受評分。較弱的部分則是圍繞它的一切:另外兩項主要基準測試 LegalBench 與 PLawBench,被描述為與未具名的「前沿閉源模型」持平,卻完全沒有附上任何數字。GLM-Legal 建構於 GLM-5.3-Flash,即 Z.ai 總參數 320B、活躍參數 18B 的多模態基礎模型;而目前要取得它的方法,是填寫供應商諮詢頁面上的表單,而不是 API 金鑰。

那個組合——一個真實、經誠實評分的數字,加上兩項未量化的對等性宣稱——正是這次發布的全貌,而這值得在任何其他事之前先拆開來看。

Harvey LAB 上的 19.2% 說明了什麼,又沒有說明什麼

Harvey LAB 以全通過為評分標準。一項任務只有在每個步驟都到位時,才會計入該模型的成績:找出正確的爭點、引用正確的條文、分析站得住腳、輸出格式符合要求。這是比部分給分基準更嚴苛的門檻,也是絕對數字偏低的原因,而非模型虛弱的原因。Z.ai 將其描述為對「可靠的端到端任務執行,且過程中不退化」的確認——在全通過的制度下,這是一項通過的任務唯一能代表的意義。

Z.ai 提供的比較是與其自家基礎模型相比,並表示 GLM-Legal 提升了 12.5 個百分點。把這點對照標題來看,當中的算術就顯得極為鮮明:

• GLM-Legal 在 Harvey LAB 上 — 根據 Z.ai,在 24 個實務領域中,全數通過率為 19.2%。

• 隱含的基礎模型分數 —— 約 6.7%,因為 Z.ai 表示差距為 12.5 個百分點,而基礎模型是 GLM-5.3-Flash。

• 獨立性 — 無。這兩個數字皆為 Z.ai 自行提供,且是在 Z.ai 自己的執行中測得,沒有任何第三方重現過。

• Harvey 的角色 — Harvey 建立了該基準;公告並未說明是 Harvey 還是 Z.ai 執行了這項評估。

最後那句話正是誠實的落差。「由 Harvey 打造」和「由 Harvey 評分」是不同的說法,而目前只提出了第一種。相較於基礎模型提升 12.5 點,對領域中期訓練加上 RL 來說是合理的數量級——這就是法律專業化在奏效時的樣子——但在 Z.ai 以外的人重新跑過測試框架之前,這只是廠商數字,而就應該被當成廠商數字來引用。

那兩項未附編號的主張

LegalBench 涵蓋合約解析、合併申報文件與司法意見;PLawBench 則涵蓋在細緻評分標準下的中文法律諮詢、案例分析與文件起草。Z.ai 對前者聲稱 GLM-Legal 能「以頂尖閉源前沿模型的精確度」解析這些內容,對後者則聲稱其「達到與領先前沿系統同等的表現」。

兩項主張都是質性描述。兩者都沒有附上分數、信賴區間或具名的比較基準。這不是不相信它們的理由——GLM-5.3-Flash 是強大的基礎模型,而強大基礎模型的領域特化衍生模型,確實常常能在領域推理上達到同等水準——但無法用數字呈現的同等性主張,在本質上就是無法查核的,而發布內容中的兩項量化陳述,談的又是同一個基準。讀者在把這次發布與競爭對手的發布相比時,應該注意到:這份發布實際上是一個實測結果,加上兩個論述性的主張。

A generated four-row card titled "GLM-Legal: the numbers the release reports" reading "Harvey LAB — 19.2% all-pass over 24 practice areas", "Lift over GLM-5.3-Flash — plus 12.5 points", "LegalBench and PLawBench — parity claimed, no score given" and "Price and public endpoint — none published", footed "All figures Z.ai's own, single run, not independently reproduced." The OrcaRouter logo is composited bottom-right.

訓練實際上改變了什麼

這裡的方法論細節比典型的領域微調更為重要,因為 GLM-Legal 是權重層級的特化,而非檢索產品。Z.ai 並未推出判例法索引;它改變了模型。兩個階段:

• 中期訓練 — 擴充的高品質法律語料庫,在密集的領域脈絡中傳授法規規則與解釋框架,以強化從事實到規則再到結論的演繹鏈。

• 後訓練——在 Z.ai 所稱的「數萬個逼真的法律環境」中進行強化學習,模型會從中學會規劃分析、推進工作流程,並在具體限制下產出交付成果。

不尋常之處,在於圍繞後訓練階段的迴圈。Z.ai 將代理執行框架——也就是負責鋪陳情境、連接工具並路由執行回饋的執行時期協調層——描述為與模型共同演化,而非固定在其底下。訓練中浮現的邊緣案例凸顯了框架瓶頸;框架的改良則讓模型接觸到更貼近真實的執行限制。其宣稱目的是阻止典型的領域模型失敗:知識被加入了,工作流程行為卻沒有。

那是否能普遍成立,正是 19.2% 全部通過所檢驗的。這是可靠性主張,而非知識主張,而這正是法律部署應受衡量的正確指標。

這三個示範,仔細閱讀。

這篇部落格文章展示了 GLM-5.3-Flash 與 GLM-Legal 並排回答同樣三個提示。這項比較由廠商撰寫,提示也由廠商挑選,因此其證明力不如正面對決——但兩者之間的差異足夠具體,仍具參考價值。

合約審閱。這項任務是為一位更換服務供應商的客戶處理軟體服務合約。基礎模型的建議合理且籠統:縮短通知期、要求供應商返還資料與已付費的交付項目、增訂配合接手供應商的義務。GLM-Legal 的建議架構相同,但把數字敲定下來——將便利終止的通知期從 60 天縮短為 30 天,針對違反智慧財產權、保密或資料安全義務的情況完全刪除補正期,要求返還工作成果而不論是否已付費,並增訂最多 90 天的過渡協助,費率按供應商當時的現行費率計算。這就是一份檢查清單與一份紅線修訂稿之間的差別。Z.ai 表示 AutoClaw 會把這些修改以修訂追蹤和註解的形式套用到 Word 文件中。

證據分析。來自某軟體專案爭議的四十份文件。基礎模型發現了9月30日客戶報告聲稱完成60%與內部快照約41%之間的矛盾,並正確指出這些文件「可能支持」客戶的立場。GLM-Legal 將9月8日內部警告(該里程碑無法誠實達成)、41%的快照,以及高層指示壓下風險並持續開立發票,串聯成單一隱匿理論,接著援引主服務協議中的「付款不構成權利拋棄」與「存續保證」條款,作為持續付款並不解決爭議的理由。基礎模型找到了事實;GLM-Legal 建構了論證,並指出尚待檢驗的請求要素。

合規研究。一個將在新加坡、馬來西亞與印尼上線的網站,涉及追蹤、電子郵件行銷與海外雲端儲存。基礎模型會產出一份稱職的上線前待辦清單。GLM-Legal 則會產出一份附有法條依據、經過優先排序的版本——SG PDPA s26, MY PDPA s129, ID PDP Law Arts 55–56——並將共用的控制措施與各市場特有的問題區分開來。

法規引註是律師花一個下午就能查核的部分,而這正是這些演示還算值得一看的原因。它們沒有展現的部分,是模型在一個正確答案為當事人錯了的事項上會如何表現。

存取:現在填寫表單,之後使用 AutoClaw

目前沒有公布價格,也沒有公開的端點。Z.ai 的行動呼籲是「加入 GLM-Legal 測試版」,目標對象是律師事務所、法律科技公司、企業內部團隊與獨立執業者,而 API 存取則須在供應商的諮詢頁面提出申請。AutoClaw 那一段是以未來式寫成的——「你很快就能在 AutoClaw 中運用這些能力」——因此這個桌面代理平台是即將推出的整合,而非已經上線的產品,而且 Z.ai 並未承諾這兩者的任何推出時間。

如果你想今天就以底層模型為基礎來開發,誠實的區分是:基礎版本已經可用,而法律變體則尚未推出。GLM 5.3 Flash 已依 Z.ai 的定價列於 OrcaRouter 目錄中,未加收任何溢價——每百萬輸入 token 為 0.15 美元,每百萬輸出 token 為 0.50 美元,快取讀取則為 0.030 美元——因此該模型的供應商價格若有變動,當天就會反映在我們這邊,而不是等到合約週期結束才調整。一組金鑰即可存取超過 200 個模型,而自動容錯移轉意味著你可以把測試路徑指向基礎模型,而不必拿正式環境的路由去冒這個險。在三個示範中,所有不依賴法律領域後訓練的部分——重整你提供的條款集、將輸出格式化為事務所範本、產生第一輪審查檢核清單——你現在就能在 GLM 5.3 Flash 上製作原型,並在 beta 開放時替換模型 id。所有依賴該專門化能力的部分,你都無法製作原型,因為那項專門化正是藏在表單背後的那一部分。

A headless capture of Z.ai's own blog post for the model, headed "GLM-Legal: Advancing Agentic Legal Intelligence" and dated 2026-10-12, showing the Harvey LAB all-pass rate of 19.2%, the line that the model is built on the lightweight GLM-5.3-Flash foundation, the mid-training and post-training description, and the three side-by-side demos covering contract review, evidence analysis and compliance research.

什麼會改變這個故事

三件事,按其重要性排序。LegalBench 與 PLawBench 的數字——對任何挑選法律模型的人來說,對等性宣稱才是關鍵所在,而這些宣稱目前卻最難以查核。Harvey LAB 的獨立測試,理想上是由 Harvey 而非 Z.ai 掌控測試框架。還有一個價格,因為一個每宗案件成本明顯高於其基礎模型的領域模型,必須靠全通過率、而非靠精緻度,來證明那筆差價值得。

三者皆未問世。真正問世的是:一個真正專門化的模型,建構在 18B 活躍參數的基礎上;一項基準測試是在嚴格到讓 19.2% 顯得可信的評分標準下跑出的;以及一套存取流程,表明供應商尚未有足夠信心將其列入費率表。

A headless capture of the OrcaRouter model page for GLM 5.3 Flash under z-ai/glm-5.3-flash, showing a 1M-token context window, 128K maximum output, text, image and video input with text output, benchmarks published by Z.ai on 2026-08-26, the description of its 320B total and 18B active parameters, and a price strip of $0.15 input and $0.50 output per million tokens.

對於正在決定如何應對本週這則公告的法務團隊來說,答案大概就跟面對任何需申請才能使用的發布一樣:細讀示範,從中看出它們揭露的失效模式,自己查核法條引用,並把周邊流程建立在一個你今天真的能呼叫的模型上,這樣一來,整個遷移就只是換掉一個模型 ID。

自動容錯移轉表示你可以將預備路徑指向基礎模型,而不必拿正式環境路由來冒險。