GLM-Legal: de Legal Agent van Z.ai scoort 19,2% op Harvey LAB — en start als een bèta waarvoor je je moet aanmelden

Z.ai publiceerde GLM-Legal op 12 oktober 2026, en het getal waarmee het opent is 19,2%. Dat is het all-passpercentage van het model op Harvey LAB, een evaluatie van workflows van advocatenkantoren, opgezet door de juridische-AI-leverancier Harvey voor 24 rechtsgebieden — en het is het meest betrouwbare cijfer in de release, juist omdat het weinig indrukwekkend oogt. Een juridisch model dat op een serieuze testbank minder dan één op de vijf taken haalt, wordt afgemeten aan een standaard die zijn eigen leverancier niet heeft verzacht. Het zwakkere deel is alles eromheen: de andere twee benchmarks die prominent worden genoemd, LegalBench en PLawBench, worden beschreven als gelijkwaardig aan naamloze "frontier closed-source models" en bevatten helemaal geen cijfers. GLM-Legal is gebouwd op GLM-5.3-Flash, Z.ai's multimodale basismodel met in totaal 320B en 18B actieve parameters, en op dit moment krijg je het alleen via een formulier op de consultatiepagina van de leverancier, niet via een API-sleutel.

Die combinatie — een echt, eerlijk beoordeeld getal plus twee niet-gekwantificeerde pariteitsclaims — is de hele vorm van deze release, en het is de moeite waard om die vóór alles uit elkaar te halen.

Wat 19,2% op Harvey LAB zegt, en wat het niet zegt

Harvey LAB beoordeelt volgens het alles-of-niets-principe. Een taak telt voor het model alleen als elke stap slaagt: de juiste kwesties geïdentificeerd, de juiste bepalingen aangehaald, de analyse verdedigbaar, de output volgens de briefing geformatteerd. Dat is een strengere drempel dan een benchmark waarin deelpunten worden toegekend, en dat is de reden waarom het absolute getal laag is, niet waarom het model zwak is. Z.ai presenteert het als bevestiging van "betrouwbare end-to-end taakuitvoering zonder tussentijdse degradatie" — in een alles-of-niets-regime is dat het enige wat een geslaagde taak kan betekenen.

De vergelijking die Z.ai aanlevert, is met zijn eigen basismodel, en daarin staat dat GLM-Legal met 12,5 procentpunten verbetert. Leg dat naast de kop en de rekensom is ontnuchterend:

• GLM-Legal op Harvey LAB — 19,2% alles geslaagd, in 24 rechtsgebieden, volgens Z.ai.

• Geïmpliceerde basismodelscore — ongeveer 6,7%, aangezien Z.ai het verschil als 12,5 punten vermeldt en de basis GLM-5.3-Flash is.

• Onafhankelijkheid — geen. Beide cijfers zijn van Z.ai zelf, gemeten tijdens Z.ai's eigen run, en geen enkele derde partij heeft ze gereproduceerd.

• Harveys rol — Harvey heeft de benchmark gebouwd; de aankondiging vermeldt niet of Harvey de evaluatie heeft uitgevoerd of dat Z.ai dat heeft gedaan.

Die laatste regel is de eerlijke kloof. "Gebouwd door Harvey" en "gescoord door Harvey" zijn verschillende beweringen, en alleen de eerste wordt gedaan. Een verbetering van 12,5 punt ten opzichte van een basismodel is een plausibele orde van grootte voor domein-midtraining plus RL — dit is hoe juridische specialisatie eruitziet als het werkt — maar totdat iemand buiten Z.ai de harness opnieuw uitvoert, is het een leverancierscijfer, en het moet als zodanig worden geciteerd.

De twee claims zonder nummer

LegalBench omvat het parsen van contracten, fusiemeldingen en rechterlijke uitspraken; PLawBench omvat Chinese juridische consultatie, zaakanalyse en het opstellen van documenten volgens fijnmazige beoordelingsrubrieken. De bewering van Z.ai over de eerste is dat GLM-Legal ze parseert "met de precisie van top closed-source frontiermodellen", en over de tweede dat het "pariteit bereikt met toonaangevende frontiersystemen".

Geen van beide beweringen is kwantitatief. Geen van beide gaat gepaard met een score, een betrouwbaarheidsinterval of een met naam genoemde vergelijkingsmaatstaf. Dat is geen reden om ze niet te geloven — GLM-5.3-Flash is een sterke basis, en een domeingespecialiseerde afgeleide van een sterke basis bereikt bij domeinredenering inderdaad vaak pariteit — maar een pariteitsclaim waar je geen getal op kunt plakken, is per definitie niet te controleren, en de twee kwantitatieve uitspraken in de release gaan beide over dezelfde benchmark. Een lezer die deze lancering met die van een concurrent vergelijkt, zou moeten opmerken dat de release in feite één gemeten resultaat plus twee beargumenteerde is.

Wat de training daadwerkelijk heeft veranderd

Het methodologische detail is hier belangrijker dan bij een typische domein-fine-tune, omdat GLM-Legal een specialisatie op gewichtsniveau is in plaats van een retrievalproduct. Z.ai heeft geen jurisprudentie-index geleverd; het heeft het model veranderd. Twee fasen:

• Mid-training — uitgebreide hoogwaardige juridische corpora, die wettelijke regels en interpretatieve kaders binnen een dichte domeincontext aanleren, om de deductieve keten van feiten naar regels naar conclusies te versterken.

• Post-training — reinforcement learning in wat Z.ai "tienduizenden realistische juridische omgevingen" noemt, waarin het model leert een analyse te plannen, een workflow voort te stuwen en een deliverable te produceren binnen concrete beperkingen.

Het ongebruikelijke deel is de lus rond de post-trainingsfase. Z.ai beschrijft de agent harness — de runtime-orkestratielaag die context opbouwt, tooling verbindt en uitvoeringsfeedback routeert — als co-evoluerend met het model in plaats van er vast onder te zitten. Edge cases die tijdens de training opdoken, legden knelpunten in de harness bloot; verfijningen van de harness stelden het model bloot aan realistischer uitvoeringsbeperkingen. Het gestelde doel is om het klassieke falen van domeinmodellen te stoppen, waarbij kennis wordt toegevoegd, maar workflowgedrag niet.

Of dat generaliseert, is precies wat 19,2% all-pass test. Het is een betrouwbaarheidsclaim, geen kennisclaim, en het is het juiste waarop een juridische implementatie gemeten moet worden.

De drie demo's, aandachtig gelezen

Het blogbericht toont GLM-5.3-Flash en GLM-Legal die dezelfde drie prompts naast elkaar beantwoorden. De vergelijking is door de leverancier geschreven en de prompts zijn door de leverancier gekozen, dus bewijst die minder dan een rechtstreekse vergelijking zou doen — maar de verschillen zijn specifiek genoeg om informatief te zijn.

Contractbeoordeling. De taak betreft een softwareovereenkomst voor een klant die van leverancier wisselt. Het advies van het basismodel is redelijk en algemeen: verkort de opzegtermijn, laat de leverancier gegevens en betaalde deliverables teruggeven, voeg een verplichting toe om samen te werken met de vervangende leverancier. Het advies van GLM-Legal heeft dezelfde vorm maar maakt de cijfers concreet — verlaag de opzegtermijn voor beëindiging zonder opgave van redenen van 60 naar 30 dagen, schrap de hersteltermijn volledig voor schendingen van IE-, vertrouwelijkheids- of gegevensbeveiligingsverplichtingen, eis teruggave van werkproducten ongeacht of ervoor is betaald, en voeg tot 90 dagen overgangsondersteuning toe tegen de dan geldende tarieven van de leverancier. Dat is het verschil tussen een checklist en een redline. Z.ai zegt dat AutoClaw die bewerkingen als bijgehouden wijzigingen en opmerkingen in het Word-document toepast.

Analyse van bewijsmateriaal. Veertig documenten uit een geschil over een softwareproject. Het basismodel ziet de tegenstelling tussen het klantrapport van 30 september dat claimt dat 60% voltooid is en de interne momentopname van ongeveer 41%, en zegt terecht dat de documenten de positie van de klant 'mogelijk ondersteunen'. GLM-Legal verbindt de interne waarschuwing van 8 september dat de mijlpaal niet eerlijk kon worden gehaald, de momentopname van 41% en een instructie van het management om het risico te verheimelijken en te blijven factureren tot één enkele verheimelijkingstheorie, en voert vervolgens de clausules in de raamovereenkomst voor diensten 'betaling houdt geen afstand van rechten in' en 'voortdurende garanties' aan als de reden waarom voortgezette betaling het geschil niet beslecht. Het basismodel vond de feiten; GLM-Legal bouwde het betoog op en benoemde welke elementen van de vordering nog moeten worden getoetst.

Complianceonderzoek. Een website die wordt gelanceerd in Singapore, Maleisië en Indonesië met tracking, e-mailmarketing en overzeese cloudopslag. Het basismodel produceert een degelijke pre-launchtakenlijst. GLM-Legal produceert een geprioriteerde lijst met wettelijke aanknopingspunten — SG PDPA s26, MY PDPA s129, ID PDP Law Arts 55–56 — en scheidt gedeelde beheersmaatregelen van marktspecifieke vragen.

De wetscitaties zijn het deel dat een advocaat in een middag kan controleren, en ze zijn de reden waarom de demo's überhaupt de moeite van het lezen waard zijn. Het deel dat ze niet laten zien, is hoe het model zich gedraagt in een zaak waarin het juiste antwoord is dat de cliënt ongelijk heeft.

Toegang: nu een formulier, AutoClaw later

Er is geen gepubliceerde prijs en geen openbaar endpoint. De call-to-action van Z.ai is "Doe mee aan de GLM-Legal Beta", gericht op advocatenkantoren, legaltech-bedrijven, in-house teams en zelfstandige juristen, met API-toegang achter een aanvraag op de consultatiepagina van de leverancier. De AutoClaw-paragraaf is in de toekomende tijd geschreven — "binnenkort kun je deze mogelijkheden in AutoClaw aan het werk zetten" — dus het desktop-agentplatform is een toekomstige integratie, niet een die al beschikbaar is, en Z.ai legt voor geen van beide een datum vast.

Als je vandaag tegen het onderliggende model wilt bouwen, is de eerlijke tweedeling dat het basismodel beschikbaar is en de juridische variant niet. GLM 5.3 Flash staat in de OrcaRouter-catalogus tegen Z.ai's lijstprijs zonder opslag — $0.15 per miljoen inputtokens en $0.50 per miljoen outputtokens, met cachelezingen tegen $0.030 — dus een prijswijziging van de leverancier voor dat model is bij ons dezelfde dag zichtbaar in plaats van aan het einde van een contractcyclus. Eén sleutel geeft toegang tot meer dan 200 modellen, en automatische failover betekent dat je een stagingpad naar het basismodel kunt laten wijzen zonder daar een productieroute op in te zetten. Alles in de drie demo's dat niet afhankelijk is van juridische post-training — het herstructureren van een clausuleset die jij aanlevert, het formatteren van uitvoer naar een kantoorsjabloon, het genereren van een checklist voor een eerste beoordelingsronde — kun je nu prototypen op GLM 5.3 Flash en de model-id omwisselen wanneer de bèta opengaat. Alles wat afhankelijk is van de specialisatie kun je niet prototypen, omdat de specialisatie het deel achter het formulier is.

Wat zou dit verhaal veranderen?

Drie dingen, in volgorde van hoe belangrijk ze zijn. Een cijfer voor LegalBench en PLawBench — de pariteitsclaims zijn de dragende factor voor iedereen die een juridisch model kiest, en ze zijn momenteel het minst controleerbaar. Een onafhankelijke run van Harvey LAB, idealiter een waarbij Harvey in plaats van Z.ai de harness bestuurt. En een prijs, want een domeinmodel dat per zaak aanzienlijk meer kost dan zijn basismodel, moet dat verschil verdienen op de all-pass rate in plaats van op afwerking.

Geen van de drie is verschenen. Wat wel is verschenen, is een daadwerkelijk gespecialiseerd model, gebouwd op een 18B-actieve basis, met één benchmarkrun onder een beoordelingsstandaard die streng genoeg is dat 19,2% geloofwaardig overkomt, en een toegangsproces dat erop wijst dat de leverancier nog niet genoeg vertrouwen heeft om het op een tariefkaart te zetten.

Voor een juridisch team dat beslist wat het met de aankondiging van deze week moet doen, is het antwoord waarschijnlijk hetzelfde als bij elke release waarvoor je je moet aanmelden: lees de demo's op de faalmodi die ze onthullen, controleer de wetscitaten zelf, en bouw de omliggende pipeline op een model dat je vandaag daadwerkelijk kunt aanroepen, zodat het vervangen van één model-id de hele migratie is.

automatische failover betekent dat je een stagingpad naar het basismodel kunt laten wijzen zonder er een productieroute op te verwedden.