GLM-Legal vs Astra for Law : deux façons de construire un modèle juridique, et une seule d'entre elles vous vend une API

The two most interesting legal models released in the last month solve the same problem by opposite means. GLM-Legal is a weights-level specialisation — Z.ai took GLM-5.3-Flash and put it through legal mid-training and reinforcement learning until it behaved like a practitioner. Astra for Law is a configuration — the vendor left GPT-6 Astra exactly as it was and bolted a 230-million-URL U.S. case-law index and a set of legal instructions onto the front of it. One is a smarter lawyer with the wrong library; the other is an ordinary lawyer with an extraordinary library. Which one you want depends almost entirely on whether your problem is reasoning or retrieval, and the two releases are graded on benchmarks that cannot be put side by side.

Ce dernier point est la raison pour laquelle cette comparaison est plus difficile qu'il n'y paraît de prime abord, il vaut donc mieux commencer par le traiter.

Pourquoi aucun chiffre dans cet article ne les compare-t-il directement ?

GLM-Legal's headline figure is 19.2% all-pass on Harvey LAB. Astra for Law's is 54.0% overall correctness on a private U.S. legal-research validation set. Anyone can divide 54 by 19.2 and conclude the configured version is nearly three times better. That arithmetic is meaningless, and here is exactly why:

• Ce qui est évalué — GLM-Legal sur des tâches de bout en bout liées aux flux de travail de cabinets d'avocats dans 24 domaines de pratique, contre Astra for Law sur des questions de recherche juridique aux États-Unis. Des familles de tâches différentes, et non des réglages de difficulté différents d'une même tâche.

• Rigueur de la notation — Harvey LAB applique le tout-ou-rien : une tâche ne compte que si chaque étape est validée. Le score Astra correspond à l'exactitude globale, un agrégat à crédit partiel. La notation tout-ou-rien produit mécaniquement des chiffres plus faibles pour un même modèle, et un taux de 19,2 % en tout-ou-rien n'est comparable à aucun pourcentage qui accorde un crédit partiel.

• Baselines — Z.ai measures GLM-Legal against GLM-5.3-Flash and reports a 12.5-point lift. The GPT maker measures Astra for Law against GPT-6 Astra with plain web search — 38.7% to 54.0% — and the retrieval is doing nearly all of that work. Both are delta claims against the vendor's own base, not against each other.

• Jurisdiction — legal effectiveness is jurisdiction-bound, and neither harness covers the other's ground. Harvey LAB and the Astra validation set are U.S.-focused; PLawBench, GLM-Legal's second benchmark, is Chinese. A model can be excellent on one and useless on the other and still score well on both releases' numbers.

• Independence — zero on both sides. No third party has re-run Harvey LAB with GLM-Legal, and no one outside the vendor controls the split the 54.0% was measured on.

Le seul tableau public qui ait touché à ce domaine est le Legal Research Bench de Vals AI, où Astra for Law a obtenu un score de 9,4 % d’exactitude contre 22,5 % pour un modèle de pointe non nommé — un rappel que, à mesure que des grilles d’évaluation strictes remplacent les découpages choisis par les fournisseurs, les chiffres phares de cette catégorie ont tendance à baisser, pas à augmenter. Ce n’est pas un verdict sur Astra for Law ; c’est une raison de considérer avec prudence chaque chiffre de cette comparaison.

Ce que chacun est réellement conçu pour faire

La différence d’architecture n’est pas académique — elle détermine ce en quoi chaque modèle peut exceller.

• GLM-Legal — le modèle a changé. Des corpus juridiques en mi-entraînement, puis du RL sur ce que Z.ai décrit comme des dizaines de milliers d'environnements juridiques réalistes, avec le harnais d'agent qui co-évolue aux côtés des poids. Il livre du raisonnement, pas une bibliothèque.

• Astra for Law — le modèle ne l'a pas fait.Les mêmes poids GPT-6 Astra, plus une couche de récupération sur la jurisprudence, les lois et les règlements des États-Unis, plus des instructions spécifiques au juridique. Il fournit une bibliothèque, pas un meilleur avocat.

• Les preuves de GLM-Legal — une comparaison côte à côte face à sa propre base. Sur les mêmes invites, GLM-5.3-Flash fournit des conseils généraux compétents ; GLM-Legal tranche sur les chiffres — réduisant un préavis de résiliation pour convenance de 60 à 30 jours, supprimant le délai de remédiation pour les manquements en matière de PI et de confidentialité, exigeant la restitution des livrables, qu'ils aient été payés ou non, ajoutant jusqu'à 90 jours d'assistance à la transition aux tarifs du prestataire.

• Astra for Law's evidence — a retrieval delta. 54.0% against 38.7% overall correctness, 24% more reference cases found, up to 54% more relevant passages retrieved from correct opinions, and roughly twice the answer length. The vendor's own numbers, on a split nobody else can run.

• Le résumé honnête des démos — le modèle de base trouve les faits, le modèle spécialisé construit l'argumentation. Dans l'exemple d'analyse de preuves de Z.ai, GLM-5.3-Flash repère une contradiction entre un rapport client complet à 60 % et un instantané interne à 41 % et déclare que les documents « pourraient étayer » la position du client. GLM-Legal relie un avertissement interne antérieur, l'instantané et une instruction visant à dissimuler le risque en une seule théorie de la dissimulation et nomme les éléments de la réclamation restant à vérifier.

Lues ensemble, ces deux bases de preuves décrivent une séparation nette. GLM-Legal se vend sur son jugement ; Astra for Law se vend sur le fait de ne pas rater le dossier.

Là où chacun risque de vous faire défaut

Les deux versions documentent leurs propres faiblesses, ce que la plupart des lancements ne parviennent pas à faire, et leurs modes de défaillance sont le miroir l'un de l'autre.

Le résultat le plus instructif d'Astra for Law est venu d'un test tiers plutôt que du lancement lui-même. Dans les juridictions non américaines, trois modèles testés par le cabinet d'IA juridique HAQQ citaient chacun la bonne disposition tout en se trompant sur ce qu'elle dit — Astra était juridiquement correct sur 66,7 % de ces éléments, contre 100 % pour Claude Opus 5. Le vérificateur de citations valide ces réponses, car la citation est réelle et correcte. Le client, lui, ne le fait pas. C'est l'échec que le Legal Search Index est structurellement le moins bien placé pour corriger : l'index ne couvre que les États-Unis, et l'erreur se situe dans la lecture plutôt que dans la récupération.

Les faiblesses de GLM-Legal se situent dans la direction opposée. Il est calibré pour la pratique du droit statutaire chinois et plurijuridictionnel — la démo de conformité résout les obligations singapouriennes, malaisiennes et indonésiennes en matière de vie privée avec des citations au niveau des articles — et il ne comporte aucun équivalent d’un index de jurisprudence américaine. En matière de recherche américaine, l’architecture qui trouve 230 millions d’URL de précédents fait quelque chose que GLM-Legal ne fait tout simplement pas. Ses atouts publiés sont la rédaction, la liaison de preuves et le travail documentaire noté par grille ; ses preuves publiées n’incluent pas du tout de revendication de récupération.

Aucun des deux fournisseurs n'a publié les documents de gouvernance qu'un directeur juridique de cabinet d'avocats demandera en premier. Astra for Law arrive avec Zero Data Retention sur l'API et une utilisation de ChatGPT Enterprise exclue par défaut de l'examen humain, mais cette couverture est accordée par organisation et le programme est sur invitation. Les conditions bêta de GLM-Legal ne sont pas publiées du tout, ce qui n'est pas la même chose que d'être inacceptables — c'est simplement non documenté, et ce qui n'est pas documenté, c'est ce que vous ne pouvez pas présenter à un comité des risques.

Avoir la possibilité d’essayer l’un ou l’autre, et ce que cela coûte.

Aucune des deux configurations légales ne figure sur une grille tarifaire publique.

• Astra for Law — Trusted Access, sur invitation et destiné aux grands cabinets ; aucun prix publié pour la configuration juridique ; l'identifiant du modèle d'API a été décrit comme bientôt disponible.

• GLM-Legal — une application bêta destinée aux cabinets d’avocats, aux entreprises de technologie juridique, aux équipes juridiques internes et aux praticiens indépendants ; aucun prix publié ; aucun point de terminaison public.

• Les modèles sous-jacents, eux, sont tous deux opérationnels. GPT-6 Astra est facturé 10 $ par million de tokens en entrée et 50 $ par million en sortie, sur un contexte de 1,05 M de tokens, avec un tarif de contexte long au-delà de 272 000 tokens en entrée, seuil que les jeux de documents juridiques franchiront régulièrement. GLM 5.3 Flash est facturé 0,15 $ et 0,50 $ sur un contexte de 1 M de tokens. Soit une différence de prix en entrée d'un facteur 66 entre deux modèles qui traitent tous deux un jeu de contrats en une seule passe.

Les deux figurent au catalogue OrcaRouter à ces prix catalogue, sans marge ajoutée, ce qui compte plus qu'à l'accoutumée dans cette catégorie : une modification tarifaire du fournisseur sur l'un ou l'autre modèle est effective ici le jour même, et non à la fin d'un cycle contractuel. Une seule clé couvre les deux, si bien qu'une équipe d'ingénierie juridique qui veut Astra pour les tâches à forte composante de recherche documentaire et GLM 5.3 Flash pour la revue de premier passage à gros volume n'a pas besoin de deux relations commerciales, de deux SDK ni de deux jeux d'identifiants. Le DSL de routage répartit le trafic par classe de tâches : le chemin de rédaction et le chemin de synthèse peuvent donc pointer vers des modèles différents tout en étant facturés sur une seule facture.

Et il y a une restriction délibérée qu'il vaut mieux nommer que cacher. Ce qui distingue réellement Astra for Law de GPT-6 Astra, c'est le Legal Search Index, et cette couche n'est pas à vendre — vous ne pouvez pas router vers elle, et personne d'autre non plus. Ce que nous routons, c'est le modèle de base. Une équipe qui prototype un workflow juridique sur GPT-6 Astra aujourd'hui teste tout sauf la partie qui rendait la configuration juridique meilleure.

Lequel choisir

Si le travail consiste en de la recherche de jurisprudence américaine, en une analyse fortement appuyée sur les précédents, ou en tout travail où le risque principal est d’omettre une autorité, Astra for Law vise précisément cela, et GLM-Legal n’est pas en concurrence sur ce terrain. Si le travail consiste à rédiger selon un cahier des charges, à assurer la conformité aux textes légaux dans plusieurs régimes nommés, ou à raisonner sur un ensemble de documents que vous avez déjà fourni, les éléments de preuve de GLM-Legal sont plus directement pertinents — et ses démos montrent le comportement précis que vous recherchez, à savoir un modèle qui produit des chiffres et le libellé de clauses plutôt qu’une liste de points à considérer.

Pour la plupart des équipes juridiques, la réponse pratique ce trimestre est que ni l’une ni l’autre n’est une décision que vous devez prendre dès maintenant. Les deux sont conditionnées à une demande d’accès, les deux sont sans tarification publiée, et les deux n’ont qu’une seule exécution de benchmark contrôlée par le fournisseur derrière leurs chiffres mis en avant. Les équipes qui seront prêtes lorsque les accès s’ouvriront sont celles qui ont passé l’intervalle à construire le pipeline sur des modèles de base réellement appelables — de sorte que l’adoption ultérieure de la version spécialisée soit un simple changement d’identifiant de modèle et non une migration de plateforme.

Le DSL de routage répartit le trafic par classe de tâche, de sorte que le chemin de rédaction et le chemin de synthèse peuvent pointer vers des modèles différents tout en étant facturés sur une seule facture.