GLM-Legal：Z.aiのリーガルエージェントがHarvey LABで19.2%を記録——そして応募制ベータとしてスタート

Z.aiはGLM-Legalを2026年10月12日に公開しましたが、その冒頭で示されている数字は19.2%です。これは、法律AIベンダーのHarveyが24の実務領域にわたって構築した法律事務所のワークフロー評価「Harvey LAB」における、このモデルの全項目合格率であり、そしてまさにその数字が見栄えしないからこそ、このリリースの中で最も信頼できる数値なのです。本格的な評価ハーネスにおいて5件に1件もタスクをクリアできない法律モデルは、自社のベンダーが甘くしなかった基準で採点されているのです。弱い部分はそれを取り巻くすべてにあります。他の2つの主要ベンチマークであるLegalBenchとPLawBenchは、名前の明かされていない「フロンティアのクローズドソースモデル」との同等性がうたわれているだけで、数値は一切示されていません。GLM-LegalはGLM-5.3-Flash（Z.aiの総パラメータ320B、アクティブ18Bのマルチモーダル基盤モデル）をベースに構築されており、現時点でこれを入手する方法は、APIキーではなく、ベンダーの相談ページのフォームです。

その組み合わせ——実際の、正直に評価された数値と、数値化されていない2つの同等性の主張——がこのリリースの全体像であり、何よりも先に切り分けて考える価値がある。

Harvey LABにおける19.2%が示すもの、そして示さないもの

Harvey LABの採点はオールパス方式だ。モデルにとってタスクがカウントされるのは、すべてのステップが成立した場合だけである。すなわち、正しい論点を特定し、正しい条項を引用し、分析に正当性があり、出力が指示どおりに整形されていること。これは部分点方式のベンチマークよりも厳しい関門であり、絶対値が低いのはモデルが弱いからではなく、このためだ。Z.aiはこれを「中間的な劣化を伴わない、信頼性の高いエンドツーエンドのタスク実行」の確認として位置づけている——オールパス方式では、合格したタスクが意味しうるのはそれだけである。

Z.aiが提示している比較は同社自身のベースモデルに対するもので、GLM-Legalは12.5パーセントポイント改善するとしている。それを見出しと照らし合わせて読めば、算術は歴然としている：

• Harvey LABにおけるGLM-Legal — Z.aiによると、24の実務分野にわたり全項目合格率19.2%。

• 推測されるベースモデルスコア — 約6.7%、Z.aiが差を12.5ポイントと述べており、ベースがGLM-5.3-Flashであるため。

• 独立性 — なし。どちらの数値も Z.ai 自身のものであり、Z.ai 自身の実行で測定されたもので、第三者による再現は行われていない。

• Harveyの役割 — ベンチマークを構築したのはHarveyであり、評価を実施したのがHarveyなのかZ.aiなのかは発表では明らかにされていない。

あの最後の一文こそ、正直に認めるべきギャップだ。「Harveyが構築した」と「Harveyがスコアを付けた」は別の主張であり、なされているのは前者だけだ。ベースモデルに対する12.5ポイントの向上は、ドメイン中間トレーニング＋RLとしてはもっともらしい桁の大きさだ——これが、うまくいくときの法務特化の姿だ——しかし、Z.aiの外部の誰かがハーネスを再実行するまでは、それはベンダーが公表した数値であり、そういうものとして引用されるべきだ。

番号が付いていない2つの主張

LegalBenchは契約書の解析、合併届出書類、裁判所の意見を対象とし、PLawBenchは中国の法律相談、事例分析、文書作成をきめ細かな評価基準の下で対象としている。Z.aiが前者について主張しているのは、GLM-Legalがそれらを「トップクラスのクローズドソース・フロンティアモデルと同等の精度で」解析するということであり、後者については「主要なフロンティアシステムと同等の水準を達成する」というものである。

どちらの主張も定性的である。どちらにもスコアも、信頼区間も、名前の示された比較対象もない。だからといって、それらを信じられない理由にはならない——GLM-5.3-Flash は強力なベースモデルであり、強力なベースモデルのドメイン特化型派生モデルは、ドメイン推論でしばしば同等の性能に達する——しかし、数値化できない同等性の主張は設計上検証不能であり、このリリースにおける2つの定量的記述はいずれも同じベンチマークに関するものだ。このローンチを競合他社のものと比較する読者は、このリリースが実際には1つの測定結果と2つの論証された結果にすぎないことに気づくべきだ。

トレーニングが実際に変えたもの

ここでは方法論的な詳細が、典型的なドメイン・ファインチューニングの場合よりも重要である。なぜなら GLM-Legal は検索製品ではなく、重みレベルの特化だからだ。Z.ai は判例インデックスを提供したのではなく、モデルを変えた。2つの段階：

• 中間トレーニング — 拡充された高品質の法務コーパスにより、密なドメイン文脈の中で法令上のルールと解釈の枠組みを教示し、事実からルール、結論へと至る演繹の連鎖を強化する。

• ポストトレーニング — Z.aiが「数万件に及ぶ現実的な法務環境」と呼ぶものを通じた強化学習であり、そこではモデルが分析を計画し、ワークフローを進め、具体的な制約の下で成果物を生成することを学習する。

異例なのは、ポストトレーニング段階を巡るループだ。Z.ai は、エージェントハーネス——コンテキストをステージングし、ツール群を接続し、実行フィードバックをルーティングするランタイム・オーケストレーション層——を、モデルの下に固定されて存在するのではなく、モデルと共進化するものとして説明している。トレーニング中にハーネスのボトルネックを露呈させたエッジケースがあり、ハーネスの改良はモデルをより現実的な実行制約に触れさせた。掲げられている目的は、知識は追加されるのにワークフロー行動は変わらないという、ドメインモデルに典型的な失敗を食い止めることにある。

それが一般化するかどうかは、まさに 19.2% all-pass が検証していることです。これは知識の主張ではなく信頼性の主張であり、法務分野での導入を評価する際に測るべき対象として適切です。

3つのデモを精読する

このブログ記事では、GLM-5.3-Flash と GLM-Legal が同じ3つのプロンプトに並べて回答している様子が示されている。この比較はベンダー自身が執筆したもので、プロンプトもベンダーが選んだものなので、直接対決ほどには証明力がない——しかし、その相違点は十分に具体的で、参考になる。

契約レビュー。 タスクは、クライアントがプロバイダーを切り替えるためのソフトウェアサービス契約です。ベースモデルの助言は妥当かつ一般的です。通知期間を短縮し、プロバイダーにデータと支払い済みの成果物を返還させ、代替プロバイダーに協力する義務を追加します。GLM-Legalの助言は同じ形ですが、数値を明確にします。すなわち、便宜的解約の通知を60日から30日に短縮し、知的財産、機密保持、データセキュリティ義務の違反に対する是正期間を完全に削除し、支払いの有無にかかわらず作業成果物の返還を求め、プロバイダーの当時の料金で最大90日間の移行支援を追加します。これがチェックリストとレッドラインの違いです。Z.aiは、AutoClawがこれらの編集をWord文書に変更履歴とコメントとして適用すると述べています。

証拠分析. ソフトウェアプロジェクト紛争に関する40件の文書。ベースモデルは、60%完了と主張する9月30日付の顧客向け報告書と、約41%を示す社内スナップショットとの矛盾を指摘し、文書が顧客の立場を「裏付ける可能性がある」と正しく述べている。GLM-Legalは、マイルストーンを誠実に達成することはできないとする9月8日の社内警告、41%のスナップショット、リスクを隠蔽して請求を続けるよう命じた経営幹部の指示を、単一の隠蔽理論へと結びつけ、さらに基本契約書（master services agreement）の「支払いは権利を放棄しない」条項および存続する保証条項を引用し、支払いの継続が紛争を解決しない根拠とする。ベースモデルは事実を発見した。GLM-Legalは論証を組み立て、なお検証すべき請求要素を特定した。

コンプライアンス調査。 シンガポール、マレーシア、インドネシアで公開される、トラッキング、メールマーケティング、海外クラウドストレージを備えたウェブサイト。ベースモデルは、そつなくまとまったローンチ前のToDoリストを作成する。GLM-Legalは、法的根拠となる条文を備えた優先順位付きのリストを作成する — SG PDPA 第26条、MY PDPA 第129条、ID PDP Law 第55–56条 — そして、共通の管理策を市場固有の論点から切り分ける。

法令の引用は、弁護士が半日で確認できる部分であり、デモをそもそも読む価値があるのは、まさにそれがあるからこそだ。デモが示していないのは、依頼者が間違っていることが正解となる案件で、モデルがどう振る舞うかである。

アクセス：今すぐフォーム、AutoClawは後で

公開されている価格はなく、公開エンドポイントもありません。Z.aiの行動喚起は「GLM-Legalベータ版に参加」で、法律事務所、リーガルテック企業、社内チーム、個人開業の実務家を対象としており、APIへのアクセスはベンダーの相談ページでの申請の後ろにあります。AutoClawの段落は未来時制で書かれています——「これらの機能をまもなくAutoClawで活用できるようになります」——つまり、このデスクトップエージェントプラットフォームは近日統合されるもので、提供済みのものではなく、Z.aiはどちらについても日付を約束していません。

今日、基盤モデルに対して構築したいのであれば、正直に分けて言えば、ベースは利用可能で、法務向けバリアントは利用できません。GLM 5.3 Flash は OrcaRouter のカタログに、Z.ai の定価のまま、マークアップを一切加えずに掲載されています — 入力トークン100万あたり0.15ドル、出力トークン100万あたり0.50ドル、キャッシュ読み取りは0.030ドル — そのため、このモデルに関するベンダーの価格変更は、契約サイクルの終わりではなく、当社側に当日中に反映されます。1つのキーで200以上のモデルにアクセスでき、自動フェイルオーバーがあるため、本番ルートをそれに賭けることなく、ステージングパスをベースモデルに向けることができます。3つのデモのうち、法務向けポストトレーニングに依存しないもの — 提供された条項セットの再構成、事務所のテンプレートへの出力整形、初回レビューチェックリストの生成 — はすべて、今すぐ GLM 5.3 Flash でプロトタイプでき、ベータが公開されたらモデルIDを差し替えるだけです。特化に依存するものはすべてプロトタイプできません。なぜなら、特化はフォームの背後にある部分だからです。

この物語を変えるものは何でしょうか

重要な順に3つ。LegalBenchとPLawBenchの数値——同等性の主張は、法務モデルを選ぶ誰にとっても最も重要な根拠であり、現状では最も検証しにくい。Harvey LABの独立した実行、できればハーネスをZ.aiではなくHarveyが管理するもの。そして価格。ベースよりも案件あたり有意にコストがかかるドメインモデルは、その差を磨き上げではなく全通過率で正当化しなければならないから。

その3つはどれも登場していない。登場したのは、18Bアクティブの基盤上に構築された真に専門特化したモデルであり、19.2%が信頼できる数字として読めるほど厳しい採点基準の下で実施されたベンチマークが1回あり、ベンダーがまだ料金表に載せる自信がないことを示すアクセス手続きを伴っている。

今週の発表にどう対応するかを決める法務チームにとって、答えはおそらく、あらゆるアプリケーション制限付きリリースの場合と同じです。デモを読み、そこに表れている失敗モードを確認し、法令の引用は自分で裏取りし、その周辺のパイプラインは今日実際に呼び出せるモデル上に構築して、モデルIDを一つ差し替えるだけで移行が完結するようにしておくことです。

自動フェイルオーバーを使えば、ベースモデルにステージング用のパスを向けても、本番ルートをそれに賭けずに済みます。