GLM-Legal: Z.ai:s juridiska agent får 19,2 % på Harvey LAB – och börjar som en beta du ansöker om

Z.ai publicerade GLM-Legal den 12 oktober 2026, och siffran den inleder med är 19,2 %. Det är modellens andel uppgifter som godkänns helt på Harvey LAB, en utvärdering av advokatbyråers arbetsflöden byggd av leverantören av juridisk AI Harvey över 24 rättsområden – och det är den mest trovärdiga siffran i lanseringen just för att den ser föga imponerande ut. En juridisk modell som klarar färre än en uppgift av fem i en seriös testbänk bedöms mot en standard som dess egen leverantör inte har mjukat upp. Den svagare delen är allt runtomkring: de två andra framträdande benchmarkarna, LegalBench och PLawBench, beskrivs som jämbördiga med namnlösa "frontier-modeller med sluten källkod" och innehåller inga siffror alls. GLM-Legal är byggd på GLM-5.3-Flash, Z.ai:s multimodala basmodell med totalt 320B parametrar och 18B aktiva, och just nu får man den via ett formulär på leverantörens konsultationssida, inte via en API-nyckel.

Den kombinationen – en verklig, ärligt graderad siffra plus två okvantifierade paritetsanspråk – är själva formen på det här släppet, och den är värd att hålla isär innan något annat.

Vad 19,2 % på Harvey LAB säger, och vad det inte säger

Harvey LAB betygsätter enligt all-pass. En uppgift räknas modellen till godo endast om varje steg landar rätt: rätt frågeställningar identifierade, rätt bestämmelser citerade, analysen försvarbar, resultatet formaterat enligt uppdragsbeskrivningen. Det är en hårdare grind än ett riktmärke som ger delpoäng, och det är därför det absoluta talet är lågt, inte därför att modellen är svag. Z.ai beskriver det som en bekräftelse på "tillförlitligt utförande av uppgifter från början till slut utan mellanliggande försämring" — i en all-pass-regim är det det enda en uppgift som godkänns kan betyda.

Jämförelsen som Z.ai tillhandahåller är mot deras egen basmodell, och den säger att GLM-Legal förbättras med 12,5 procentenheter. Ställ det mot rubriken, och aritmetiken är slående:

• GLM-Legal på Harvey LAB — 19,2 % all-pass, inom 24 rättsområden, enligt Z.ai.

• Underförstått poäng för basmodellen — ungefär 6,7 %, eftersom Z.ai anger gapet som 12,5 punkter och basmodellen är GLM-5.3-Flash.

• Oberoende — inget. Båda siffrorna är Z.ai:s egna, uppmätta i Z.ai:s egen körning, och ingen tredje part har reproducerat dem.

• Harveys roll – Harvey byggde benchmarken; tillkännagivandet säger inte om Harvey utförde utvärderingen eller om Z.ai gjorde det.

Den sista raden är det ärliga gapet. "Byggd av Harvey" och "poängsatt av Harvey" är olika påståenden, och bara det första framförs. Ett lyft på 12,5 punkter jämfört med en basmodell är en rimlig storleksordning för domänspecifik mellanträning plus RL – det är så juridisk specialisering ser ut när den fungerar – men tills någon utanför Z.ai kör om testramverket är det en leverantörssiffra, och den bör citeras som en sådan.

De två påståendena utan nummer

LegalBench omfattar avtalsparsning, fusioneringsanmälningar och domstolsutlåtanden; PLawBench omfattar kinesisk juridisk rådgivning, rättsfallsanalys och dokumentutformning enligt finmaskiga bedömningskriterier. Z.ai:s påstående om den första är att GLM-Legal parsar dem "med precisionen hos de främsta frontmodellerna med sluten källkod", och om den andra att GLM-Legal "uppnår paritet med ledande frontier-system".

Båda påståendena är kvalitativa. Inget av dem åtföljs av en poäng, ett konfidensintervall eller ett namngivet jämförelseobjekt. Det är inte ett skäl att misstro dem — GLM-5.3-Flash är en stark bas, och ett domänspecialiserat derivat av en stark bas når ofta paritet i domänresonemang — men ett paritetspåstående som man inte kan sätta en siffra på är omöjligt att kontrollera till sin natur, och de två kvantitativa uttalandena i releasen handlar båda om samma benchmark. En läsare som jämför den här lanseringen med en konkurrents lansering bör lägga märke till att releasen egentligen är ett uppmätt resultat plus två påståenden som man argumenterar för.

Vad träningen faktiskt förändrade

Den metodologiska detaljen spelar större roll här än vid en typisk domänfinjustering, eftersom GLM-Legal är en specialisering på viktnivå snarare än en retrievalprodukt. Z.ai släppte inte något rättsfallsindex; man förändrade modellen. Två steg:

• Mellanträning — utökade högkvalitativa juridiska korpusar, som lär ut lagregler och tolkningsramverk i tät domänkontext, för att stärka den deduktiva kedjan från fakta till regler till slutsatser.

• Efterträning — förstärkningsinlärning över vad Z.ai kallar "tiotusentals realistiska juridiska miljöer", där modellen lär sig att planera en analys, driva ett arbetsflöde framåt och ta fram en leverabel under konkreta begränsningar.

Det ovanliga är loopen runt efterträningsfasen. Z.ai beskriver agent-harnessen – runtime-orkestreringslagret som iscensätter kontext, kopplar samman verktyg och dirigerar körningsåterkoppling – som samevolverande med modellen snarare än att ligga fast under den. Kantfall som dök upp under träningen blottade flaskhalsar i harnessen; förfinningar av harnessen utsatte modellen för mer realistiska körningsbegränsningar. Det angivna syftet är att stoppa det klassiska domänmodellsmisslyckandet där kunskap läggs till men arbetsflödesbeteende inte gör det.

Huruvida det generaliserar är exakt vad 19,2 % all-pass testar. Det är ett tillförlitlighetsanspråk, inte ett kunskapsanspråk, och det är rätt sak att mäta en juridisk driftsättning på.

De tre demosarna, läs noga.

Blogginlägget visar GLM-5.3-Flash och GLM-Legal svara på samma tre prompter sida vid sida. Jämförelsen är skriven av leverantören och prompterna är valda av leverantören, så den bevisar mindre än en direkt jämförelse skulle göra – men skillnaderna är tillräckligt specifika för att vara informativa.

Avtalsgranskning. Uppgiften gäller ett avtal om mjukvarutjänster för en kund som byter leverantör. Basmodellens rådgivning är rimlig och allmän: förkorta uppsägningstiden, få leverantören att återlämna data och betalda leverabler, lägga till en skyldighet att samarbeta med den ersättande leverantören. GLM-Legals rådgivning har samma form men konkretiserar siffrorna – minska uppsägningstiden för uppsägning enligt eget gottfinnande från 60 till 30 dagar, ta bort avhjälpandeperioden helt vid brott mot IP-, sekretess- eller datasäkerhetsförpliktelser, kräva att arbetsprodukter återlämnas oavsett om de har betalats eller inte, och lägga till upp till 90 dagars övergångsstöd till leverantörens då gällande priser. Det är skillnaden mellan en checklista och en rödmarkerad version. Z.ai säger att AutoClaw för in dessa ändringar i Word-dokumentet som spårade ändringar och kommentarer.

Bevisanalys.Fyrtio dokument från en tvist om ett mjukvaruprojekt. Basmodellen upptäcker motsägelsen mellan kundrapporten den 30 september, som hävdar 60 % färdigt, och den interna ögonblicksbilden på cirka 41 %, och säger korrekt att dokumenten "kan stödja" kundens ståndpunkt. GLM-Legal kopplar samman den interna varningen den 8 september om att milstolpen inte kunde uppnås på ett ärligt sätt, 41 %-ögonblicksbilden och en instruktion från ledningen att dölja risken och fortsätta fakturera till en enda undanhållandeteori, och åberopar sedan master services-avtalets klausuler om att betalning inte innebär avstående från rättigheter och om garantier som består som skälet till att fortsatt betalning inte avgör tvisten. Basmodellen hittade fakta; GLM-Legal byggde argumentet och namngav de rekvisit i yrkandet som fortfarande återstår att pröva.

Efterlevnadsanalys. En webbplats som lanseras i Singapore, Malaysia och Indonesien med spårning, e-postmarknadsföring och molnlagring utomlands. Basmodellen producerar en kompetent att-göra-lista inför lansering. GLM-Legal producerar en prioriterad sådan med laghänvisningar — SG PDPA 26 §, MY PDPA 129 §, ID PDP-lagen art. 55–56 — och skiljer gemensamma kontroller från marknadsspecifika frågor.

Lagrumshänvisningarna är den del som en advokat kan kontrollera på en eftermiddag, och de är anledningen till att demonstrationerna är värda att läsa över huvud taget. Den del de inte visar är hur modellen beter sig i ett ärende där det korrekta svaret är att klienten har fel.

Åtkomst: ett formulär nu, AutoClaw senare

Det finns inget publicerat pris och ingen offentlig slutpunkt. Z.ai:s uppmaning till handling är ”Gå med i GLM-Legal Beta”, riktad till advokatbyråer, legaltech-företag, interna juristteam och oberoende yrkesutövare, med API-åtkomst efter ansökan på leverantörens konsultationssida. Stycket om AutoClaw är skrivet i futurum – ”snart kommer du att kunna använda dessa funktioner i AutoClaw” – så plattformen för skrivbordsagenter är en kommande integration, inte en som redan levereras, och Z.ai utfäster sig inte ett datum för någon av dem.

Om du vill bygga mot den underliggande modellen i dag är den ärliga uppdelningen att basmodellen är tillgänglig och den juridiska varianten inte är det. GLM 5.3 Flash finns i OrcaRouters katalog till Z.ai:s listpris utan påslag — 0,15 USD per miljon indatatokens och 0,50 USD per miljon utdatatokens, med cacheläsningar på 0,030 USD — så en leverantörsprisändring för den modellen syns hos oss samma dag i stället för i slutet av en avtalscykel. En nyckel når fler än 200 modeller, och automatisk failover gör att du kan peka en staging-väg mot basmodellen utan att satsa en produktionsrutt på den. Allt i de tre demosarna som inte är beroende av juridisk efterträning — att omstrukturera en klausuluppsättning du tillhandahåller, formatera utdata enligt en byråmall, generera en checklista för första granskning — kan du prototypa på GLM 5.3 Flash nu och byta modell-id när betan öppnar. Allt som är beroende av specialiseringen kan du inte prototypa, eftersom specialiseringen är den del som ligger bakom formuläret.

Vad skulle förändra den här historien?

Tre saker, i ordning efter hur mycket de betyder. Ett nummer för LegalBench och PLawBench – paritetsanspråken är de bärande för alla som väljer en juridisk modell, och de är för närvarande de minst kontrollerbara. En oberoende körning av Harvey LAB, helst en där Harvey snarare än Z.ai kontrollerar testramverket. Och ett pris, eftersom en domänmodell som kostar väsentligt mer per ärende än dess bas måste förtjäna den skillnaden på all-pass-frekvensen snarare än på polish.

Ingen av de tre har anlänt. Det som har anlänt är en genuint specialiserad modell byggd på en basmodell med 18B aktiva parametrar, med en enda benchmarkkörning enligt en bedömningsstandard som är så strikt att 19,2 % framstår som trovärdigt, och en åtkomstprocess som säger att leverantören ännu inte är tillräckligt säker för att sätta den på en prislista.

För ett juridiskt team som ska besluta vad de ska göra med veckans tillkännagivande är svaret förmodligen detsamma som för alla ansökningsstyrda lanseringar: läs demosarna för de felmoder de avslöjar, kontrollera lagrumshänvisningarna själv och bygg den omgivande pipelinen på en modell som du faktiskt kan anropa i dag, så att hela migreringen består i att byta ut ett enda modell-id.

automatisk redundansväxling innebär att du kan rikta en staging-sökväg mot basmodellen utan att satsa en produktionsrutt på den.