GLM-Legal vs Astra for Law: Två sätt att bygga en juridisk modell, och bara ett av dem säljer dig ett API

De två mest intressanta juridiska modellerna som släppts den senaste månaden löser samma problem med motsatta medel. GLM-Legal är en specialisering på viktnivå – Z.ai tog GLM-5.3-Flash och körde den genom juridisk mellanträning och förstärkningsinlärning tills den betedde sig som en praktiker. Astra for Law är en konfiguration – leverantören lämnade GPT-6 Astra precis som den var och monterade ett index över 230 miljoner URL:er med amerikansk rättspraxis och en uppsättning juridiska instruktioner framför den. Den ena är en smartare jurist med fel bibliotek; den andra är en vanlig jurist med ett enastående bibliotek. Vilken man vill ha beror nästan helt på om ens problem gäller resonemang eller informationssökning, och de två lanseringarna bedöms utifrån riktmärken som inte kan ställas sida vid sida.

Den sista punkten är anledningen till att den här jämförelsen är svårare än vad rubriken får den att verka, så det är värt att avverka den först.

Varför inget nummer i den här artikeln jämför dem direkt mot varandra

GLM-Legals huvudsiffra är 19,2 % godkända i alla tester på Harvey LAB. Astra for Laws är 54,0 % övergripande korrekthet på en privat amerikansk valideringsuppsättning för juridisk forskning. Vem som helst kan dividera 54 med 19,2 och dra slutsatsen att den konfigurerade versionen är nästan tre gånger bättre. Den aritmetiken är meningslös, och här är exakt varför:

• Vad som bedöms — GLM-Legal på end-to-end-arbetsflödesuppgifter för advokatbyråer inom 24 rättsområden jämfört med Astra for Law på amerikanska juridiska forskningsfrågor. Olika uppgiftsfamiljer, inte olika svårighetsinställningar för samma uppgift.

• Bedömningens strikthet — Harvey LAB är all-pass: en uppgift räknas bara om varje steg lyckas. Astra-siffran är den övergripande korrektheten, ett aggregat av delpoäng. All-pass-poängsättning ger mekaniskt lägre siffror på samma modell, och en all-pass-frekvens på 19,2 % är inte jämförbar med någon procentandel som delar ut delpoäng.

• Baslinjer — Z.ai mäter GLM-Legal mot GLM-5.3-Flash och rapporterar en ökning med 12,5 punkter. GPT-tillverkaren mäter Astra for Law mot GPT-6 Astra med vanlig webbsökning – 38,7 % till 54,0 % – och hämtningen gör nästan allt det arbetet. Båda är deltapåståenden gentemot leverantörens egen bas, inte mot varandra.

• Jurisdiktion — rättslig effektivitet är jurisdiktionsbunden, och inget av utvärderingsramverken täcker det andras område. Harvey LAB och Astra-valideringssetet är USA-fokuserade; PLawBench, GLM-Legals andra riktmärke, är kinesiskt. En modell kan vara utmärkt på den ena och oanvändbar på den andra och ändå få bra resultat på båda releasernas siffror.

• Oberoende — noll på båda sidor. Ingen tredje part har på nytt kört Harvey LAB med GLM-Legal, och ingen utanför leverantören kontrollerar den uppdelning som 54,0 % mättes på.

Den enda offentliga resultattavlan som har berört detta område är Vals AI:s Legal Research Bench, där Astra for Law har fått 9,4 % i korrekthet mot 22,5 % för en namnlös frontiermodell – en påminnelse om att när stränga bedömningsmallar ersätter leverantörsvalda uppdelningar tenderar siffrorna i rubrikerna i den här kategorin att röra sig nedåt, inte uppåt. Det är inte en dom över Astra for Law; det är en anledning att inte ta varje siffra i den här jämförelsen för hårt.

Vad var och en faktiskt är byggd för att göra

Arkitekturskillnaden är inte akademisk – den avgör vad varje modell kan vara bra på.

• GLM-Legal — modellen har förändrats. Juridiska korpusar under mitten av träningen, sedan RL över vad Z.ai beskriver som tiotusentals realistiska juridiska miljöer, där agentramverket utvecklas sida vid sida med vikterna. Det levererar resonemang, inte ett bibliotek.

• Astra for Law — modellen gjorde det inte.Samma GPT-6 Astra-vikter, plus ett hämtningslager över amerikansk rättspraxis, lagar och förordningar, plus juridiska specialinstruktioner. Den levereras med ett bibliotek, inte en bättre jurist.

• GLM-Legals bevis – en jämförelse sida vid sida mot dess egen bas. På samma promptar ger GLM-5.3-Flash kompetent allmän rådgivning; GLM-Legal löser siffrorna – kortar uppsägningstiden vid uppsägning utan orsak från 60 till 30 dagar, tar bort avhjälpandeperioden för intrång i immateriella rättigheter och sekretessbrott, kräver återlämning av arbetsprodukt oavsett om den har betalats för eller inte, och lägger till upp till 90 dagars övergångsstöd till leverantörens priser.

• Astra for Law:s bevis — ett retrieval-delta. 54,0 % mot 38,7 % i övergripande korrekthet, 24 % fler referensfall hittade, upp till 54 % fler relevanta passager hämtade från korrekta rättsutlåtanden, och ungefär dubbelt så långt svar. Leverantörens egna siffror, på en split som ingen annan kan köra.

• Den ärliga sammanfattningen av demonstrationerna – basmodellen hittar fakta, den specialiserade modellen bygger argumentet. I Z.ai:s exempel på bevisanalys upptäcker GLM-5.3-Flash en motsägelse mellan en klientrapport som är 60 % komplett och en intern ögonblicksbild på 41 % och säger att dokumenten "kan stödja" klientens ståndpunkt. GLM-Legal länkar samman en tidigare intern varning, ögonblicksbilden och en instruktion att undanhålla risken till en enda teori om undanhållande och namnger de rekvisit som ännu återstår att pröva.

Lästa tillsammans beskriver de två bevisbaserna en tydlig uppdelning. GLM-Legal säljs in på omdöme; Astra for Law säljs in på att inte missa ärendet.

Där var och en sannolikt kommer att svika dig

Båda släppen dokumenterar sina egna svagheter, vilket är mer än vad de flesta lanseringar lyckas med, och felmoderna är spegelbilder av varandra.

Det mest lärorika resultatet för Astra for Law kom från ett tredjepartstest snarare än från lanseringen i sig. I jurisdiktioner utanför USA citerade tre modeller som testats av det juridiska AI-företaget HAQQ var och en den korrekta bestämmelsen men återgav felaktigt vad den säger – Astra var juridiskt korrekt i 66,7 % av dessa punkter, mot 100 % för Claude Opus 5. Citatkontrollen godkänner dessa svar, eftersom citatet är verkligt och korrekt. Klienten gör det inte. Detta är det misslyckande som Legal Search Index är strukturellt sämst positionerat att åtgärda: indexet omfattar endast USA, och felet ligger i läsningen snarare än i hämtningen.

GLM-Legals svagheter ligger i motsatt riktning. Det är anpassat för kinesisk och multijurisdiktionell tillämpning av lagstadgad rätt – efterlevnadsdemonstrationen löser integritetsskyldigheter i Singapore, Malaysia och Indonesien med citat på paragrafnivå – och det har ingen motsvarighet till ett amerikanskt rättsfallsregister. Vid amerikansk rättsforskning gör arkitekturen som hittar 230 miljoner URL:er med prejudikat något som GLM-Legal helt enkelt inte gör. Dess publicerade styrkor är dokumentframställning, bevislänkning och dokumentarbete som bedöms med bedömningsmatris; dess publicerade underlag innehåller överhuvudtaget inget påstående om sökning.

Ingen av leverantörerna har publicerat den styrningsdokumentation som en advokatbyrås chefsjurist först kommer att efterfråga. Astra for Law kommer med Zero Data Retention på API:et och ChatGPT Enterprise-användning undantagen från mänsklig granskning som standard, men den täckningen beviljas per organisation och programmet är inbjudningsbaserat. GLM-Legals betavillkor är inte publicerade alls, vilket inte är samma sak som att vara oacceptabla — de är helt enkelt odokumenterade, och odokumenterat är vad du inte kan ta med till en riskkommitté.

Att få prova någon av dem, och vad det kostar

Ingen av de juridiska konfigurationerna finns på en offentlig prislista.

• Astra for Law — Trusted Access, som bygger på inbjudan och riktar sig till stora byråer; inget publicerat pris för den juridiska konfigurationen; API-modellens id har beskrivits som kommande.

• GLM-Legal — en betaapplikation riktad till advokatbyråer, legal tech-företag, interna juristteam och fristående yrkesutövare; inget publicerat pris; ingen offentlig slutpunkt.

• De underliggande modellerna är dock båda live. GPT-6 Astra ligger på $10 per miljon indatatoken och $50 per miljon utdatatoken vid ett kontextfönster på 1,05 miljoner token, med ett långkontextpris över 272 000 indatatoken som juridiska dokumentuppsättningar rutinmässigt kommer att överskrida. GLM 5.3 Flash ligger på $0.15 och $0.50 vid ett kontextfönster på 1 miljon token. Det är en 66-faldig skillnad i indatapris för två modeller som båda hanterar en avtalsuppsättning i en enda körning.

Båda finns i OrcaRouter-katalogen till dessa listpriser utan något påslag, vilket spelar större roll än vanligt i den här kategorin: en prisändring från leverantören på endera modellen slår igenom här samma dag i stället för i slutet av en avtalscykel. En nyckel täcker båda, så ett juridiskt ingenjörsteam som vill ha Astra för det retrieval-tunga arbetet och GLM 5.3 Flash för högvolymgranskning i första passet behöver inte två affärsrelationer, två SDK:er eller två uppsättningar autentiseringsuppgifter. Routing-DSL:en delar upp trafiken efter uppgiftsklass, så utkastvägen och sammanfattningsvägen kan peka mot olika modeller och ändå faktureras på en och samma faktura.

Och det finns en avsiktlig begränsning som är värd att namnge i stället för att dölja. Det som faktiskt skiljer Astra for Law från GPT-6 Astra är Legal Search Index, och det lagret är inte till salu – du kan inte routa till det, och det kan ingen annan heller. Det vi routar är basmodellen. Ett team som tar fram en prototyp för ett juridiskt arbetsflöde på GPT-6 Astra i dag testar allt utom den del som gjorde den juridiska konfigurationen bättre.

Vilken ska man välja?

Om arbetet är forskning i amerikansk rättspraxis, prejudikatstung analys eller något där den främsta risken är att missa en rättskälla, är Astra for Law direkt inriktat på just detta, och GLM-Legal konkurrerar inte om det. Om arbetet är utarbetande enligt en specifikation, efterlevnad av lagstiftning inom namngivna regelverk, eller resonemang över en dokumentuppsättning som du redan har tillhandahållit, är GLM-Legals bevisning mer direkt träffande — och dess demos visar det specifika beteende du vill ha, nämligen en modell som producerar siffror och klausulformuleringar i stället för en checklista över saker att beakta.

För de flesta juridiska team är det praktiska svaret den här kvartalet att ingen av dem är ett beslut du behöver fatta ännu. Båda är ansökningsstyrda, båda är oprissatta, och båda har exakt en enda benchmarkkörning från leverantören bakom sina rubriksiffror. De team som kommer att vara redo när portarna öppnas är de som använde mellantiden till att bygga pipelinen på basmodeller som faktiskt är anropbara — så att införandet av den specialiserade versionen senare blir ett byte av modell-id och inte en omplattformning.

Routnings-DSL:en delar upp trafik efter uppgiftsklass, så att utkastvägen och sammanfattningsvägen kan peka på olika modeller och ändå faktureras på en enda faktura.