GLM-Legal kontra Astra for Law: Dwa sposoby na zbudowanie modelu prawniczego, a tylko jeden z nich sprzedaje ci API

Dwa najciekawsze modele prawnicze wydane w ostatnim miesiącu rozwiązują ten sam problem za pomocą przeciwstawnych środków. GLM-Legal to specjalizacja na poziomie wag — Z.ai wzięło GLM-5.3-Flash i poddało je prawniczemu treningowi pośredniemu oraz uczeniu ze wzmocnieniem, aż zaczęło zachowywać się jak praktyk. Astra for Law to konfiguracja — dostawca pozostawił GPT-6 Astra dokładnie takim, jakim był, i doczepił z przodu indeks orzecznictwa sądów USA obejmujący 230 milionów adresów URL oraz zestaw prawniczych instrukcji. Jeden to mądrzejszy prawnik z niewłaściwą biblioteką; drugi to zwykły prawnik z niezwykłą biblioteką. To, którego chcesz, zależy niemal wyłącznie od tego, czy twoim problemem jest rozumowanie, czy wyszukiwanie informacji, a oba wydania ocenia się na benchmarkach, których nie da się zestawić obok siebie.

Ostatni punkt jest powodem, dla którego to porównanie jest trudniejsze, niż sugeruje nagłówek, więc warto się nim zająć na początku.

Dlaczego w tym artykule nie ma żadnej liczby, która porównywałaby ich bezpośrednio?

Główny wynik GLM-Legal to 19,2% pełnych zaliczeń w Harvey LAB. W przypadku Astra for Law jest to 54,0% ogólnej poprawności na prywatnym amerykańskim zbiorze walidacyjnym do wyszukiwania prawnego. Każdy może podzielić 54 przez 19,2 i dojść do wniosku, że skonfigurowana wersja jest prawie trzy razy lepsza. Ta arytmetyka jest bez znaczenia i oto dokładnie dlaczego:

• Co podlega ocenie — GLM-Legal w zadaniach obejmujących całościowy przepływ pracy w kancelarii prawnej w 24 dziedzinach praktyki vs Astra for Law w pytaniach dotyczących badań prawnych w prawie USA. To różne rodziny zadań, a nie różne poziomy trudności tego samego zadania.

• Surowość oceniania — Harvey LAB stosuje zaliczenie całkowite: zadanie liczy się tylko wtedy, gdy każdy krok się powiedzie. Wskaźnik Astra to ogólna poprawność, zagregowana miara z częściowym zaliczeniem. Punktacja oparta na zaliczeniu całkowitym mechanicznie daje niższe liczby dla tego samego modelu, a wskaźnika zaliczenia całkowitego na poziomie 19,2% nie można porównywać z żadnym odsetkiem przyznającym częściowe zaliczenie.

• Poziomy odniesienia — Z.ai porównuje GLM-Legal z GLM-5.3-Flash i raportuje wzrost o 12,5 punktu. Producent GPT mierzy Astra for Law względem GPT-6 Astra przy użyciu zwykłego wyszukiwania internetowego — od 38,7% do 54,0% — a to wyszukiwanie wykonuje niemal całą tę pracę. Jedno i drugie to twierdzenia o delcie względem własnej bazy danego dostawcy, a nie względem siebie nawzajem.

• Jurysdykcja — skuteczność prawna jest uzależniona od jurysdykcji, a żaden z zestawów testowych nie obejmuje obszaru drugiego. Harvey LAB i zbiór walidacyjny Astra skupiają się na USA; PLawBench, drugi benchmark GLM-Legal, jest chiński. Model może być znakomity w jednym, a bezużyteczny w drugim, i mimo to dobrze wypadać w liczbach obu wydań.

• Niezależność — zero po obu stronach. Żadna strona trzecia nie powtórzyła testu Harvey LAB z GLM-Legal, a nikt spoza dostawcy nie kontroluje podziału, na którym zmierzono 54.0%.

Jedynym publicznym rankingiem, który dotknął tego obszaru, jest Legal Research Bench firmy Vals AI, gdzie Astra for Law uzyskała 9,4% poprawności w porównaniu z 22,5% w przypadku nieujawnionego modelu frontierowego — co przypomina, że gdy rygorystyczne kryteria oceniania zastępują podziały wybierane przez dostawców, główne liczby w tej kategorii zwykle spadają, a nie rosną. To nie jest osąd Astra for Law; to powód, by podchodzić do każdej liczby w tym porównaniu z rezerwą.

Do czego każdy z nich jest w rzeczywistości stworzony

Różnica w architekturze nie jest akademicka — decyduje o tym, w czym każdy model może być dobry.

• GLM-Legal — model się zmienił. Korpusy prawnicze w trakcie treningu, a następnie RL w tym, co Z.ai opisuje jako dziesiątki tysięcy realistycznych środowisk prawniczych, z harnessem agenta współewoluującym wraz z wagami. Dostarcza rozumowanie, a nie bibliotekę.

• Astra for Law — model nie. Te same wagi GPT-6 Astra, plus warstwa wyszukiwania obejmująca orzecznictwo sądowe USA, ustawy i przepisy, plus instrukcje specyficzne dla prawa. Dostarcza bibliotekę, a nie lepszego prawnika.

• Dowody GLM-Legal — porównanie bezpośrednie z jego własną bazą. Na tych samych zapytaniach GLM-5.3-Flash udziela kompetentnych ogólnych porad; GLM-Legal rozstrzyga kwestie liczbowe — skracając okres wypowiedzenia dla wygody z 60 do 30 dni, usuwając okres naprawczy w przypadku naruszeń dotyczących własności intelektualnej i poufności, wymagając zwrotu produktów pracy niezależnie od tego, czy zostały opłacone, dodając do 90 dni wsparcia w okresie przejściowym według stawek dostawcy.

• Dowody Astra for Law — delta wyszukiwania. 54,0% wobec 38,7% ogólnej poprawności, o 24% więcej znalezionych spraw referencyjnych, do 54% więcej istotnych fragmentów pozyskanych z poprawnych opinii i około dwukrotnie większa długość odpowiedzi. Liczby samego dostawcy, na podziale, którego nikt inny nie może uruchomić.

• Uczciwe podsumowanie dem — model bazowy znajduje fakty, model specjalistyczny buduje argument. W przykładzie analizy dowodów Z.ai GLM-5.3-Flash dostrzega sprzeczność między raportem klienta wypełnionym w 60% a wewnętrzną migawką na poziomie 41% i stwierdza, że dokumenty „mogą wspierać" stanowisko klienta. GLM-Legal łączy wcześniejsze wewnętrzne ostrzeżenie, migawkę oraz instrukcję zatuszowania ryzyka w jedną teorię ukrycia i wymienia elementy roszczenia, które wciąż trzeba zbadać.

Czytane razem, te dwie bazy dowodowe opisują wyraźny podział. GLM-Legal sprzedaje się dzięki umiejętności osądu; Astra for Law sprzedaje się dzięki temu, że nie przegapia sprawy.

Gdzie każdy z nich może cię zawieść

Oba wydania dokumentują własne słabości, co udaje się niewielu premierom, a tryby awarii są swoim lustrzanym odbiciem.

Najbardziej pouczający wynik Astra for Law pochodził z testu strony trzeciej, a nie z samej premiery. W jurysdykcjach poza Stanami Zjednoczonymi trzy modele przetestowane przez firmę HAQQ zajmującą się prawniczą AI każdy z nich powołał właściwy przepis, jednocześnie błędnie podając jego treść — Astra była prawnie poprawna w 66,7% tych pozycji, wobec 100% w przypadku Claude Opus 5. Narzędzie sprawdzające cytaty przepuszcza te odpowiedzi, ponieważ cytat jest prawdziwy i poprawny. Klient nie. To awaria, której Legal Search Index z samej swojej struktury najmniej nadaje się do naprawienia: indeks obejmuje tylko USA, a błąd tkwi w odczycie, a nie w wyszukiwaniu.

Słabości GLM-Legal leżą po przeciwnej stronie. Jest dostrojony do chińskiej i wielojurysdykcyjnej praktyki ustawowej — demonstracja zgodności rozwiązuje singapurskie, malezyjskie i indonezyjskie obowiązki w zakresie prywatności, podając cytowania na poziomie sekcji — i nie zawiera odpowiednika amerykańskiego indeksu orzecznictwa sądowego. W badaniach amerykańskich architektura, która znajduje 230 milionów adresów URL orzeczeń, robi coś, czego GLM-Legal po prostu nie robi. Jego publikowane mocne strony to sporządzanie dokumentów, łączenie dowodów i praca z dokumentami oceniana według rubryk; jego publikowane dowody nie obejmują w ogóle twierdzenia o wyszukiwaniu.

Żaden z dostawców nie opublikował dokumentacji dotyczącej ładu korporacyjnego, o którą główny radca prawny kancelarii prawnej zapyta w pierwszej kolejności. Astra for Law jest dostępna z Zero Data Retention w API oraz domyślnym wyłączeniem wykorzystania ChatGPT Enterprise z przeglądu przez ludzi, ale taki zakres ochrony jest przyznawany osobno każdej organizacji, a program działa na zaproszenia. Warunki wersji beta GLM-Legal nie są w ogóle opublikowane, co nie jest tym samym co bycie nie do przyjęcia — są po prostu nieudokumentowane, a z nieudokumentowanymi warunkami nie można pójść do komitetu ds. ryzyka.

Możliwość wypróbowania któregokolwiek z nich i ile to kosztuje

Żadna z legalnych konfiguracji nie znajduje się w publicznym cenniku.

• Astra for Law — Trusted Access – dostęp oparty na zaproszeniach i skierowany do dużych firm; brak opublikowanej ceny dla konfiguracji prawnej; identyfikator modelu API został opisany jako mający pojawić się wkrótce.

• GLM-Legal — aplikacja w wersji beta skierowana do kancelarii prawnych, firm legaltech, wewnętrznych zespołów prawnych i niezależnych praktyków; brak opublikowanej ceny; brak publicznego punktu końcowego.

• Modele bazowe są jednak oba aktywne. GPT-6 Astra kosztuje 10 USD za milion tokenów wejściowych i 50 USD za milion tokenów wyjściowych przy kontekście 1,05 mln tokenów, z długokontekstową zmianą ceny powyżej 272 000 tokenów wejściowych, którą zestawy dokumentów prawnych będą rutynowo przekraczać. GLM 5.3 Flash kosztuje 0,15 USD i 0,50 USD przy kontekście 1 mln tokenów. To 66-krotna różnica w cenie tokenów wejściowych dla dwóch modeli, które oba obsługują zestaw umów w jednym przebiegu.

Oba modele są w katalogu OrcaRouter w tych cenach katalogowych, bez doliczania marży, co w tej kategorii ma większe znaczenie niż zwykle: zmiana ceny przez dostawcę dla któregokolwiek z modeli jest tu widoczna tego samego dnia, a nie na końcu cyklu umownego. Jeden klucz obsługuje oba, więc zespół inżynierii prawnej, który chce korzystać z Astry do zadań wymagających intensywnego wyszukiwania, a z GLM 5.3 Flash do masowej wstępnej weryfikacji, nie potrzebuje dwóch relacji handlowych, dwóch SDK ani dwóch zestawów poświadczeń. DSL trasowania rozdziela ruch według klas zadań, dzięki czemu ścieżka tworzenia dokumentów i ścieżka podsumowań mogą wskazywać różne modele, a rozliczenie nadal następuje na jednej fakturze.

I istnieje celowe ograniczenie, które warto nazwać, a nie ukrywać. To, co tak naprawdę odróżnia Astra for Law od GPT-6 Astra, to Legal Search Index, a ta warstwa nie jest na sprzedaż — nie można do niej kierować zapytań i nikt inny też nie może. To, co kierujemy, to model bazowy. Zespół, który dziś prototypuje workflow prawny na GPT-6 Astra, testuje wszystko oprócz tej części, która sprawiła, że konfiguracja prawna była lepsza.

Który wybrać

Jeśli praca polega na badaniu orzecznictwa USA, analizie w dużej mierze opartej na precedensach lub na czymkolwiek, gdzie głównym ryzykiem jest pominięcie autorytetu, Astra for Law jest wymierzona dokładnie w to, a GLM-Legal nie konkuruje o to. Jeśli praca polega na tworzeniu projektu zgodnie ze specyfikacją, zgodności z przepisami ustawowymi w wymienionych systemach prawnych lub rozumowaniu nad zestawem dokumentów, który już dostarczono, dowody GLM-Legal są bardziej bezpośrednio trafne — a jej dema pokazują konkretne zachowanie, którego chcesz, czyli model, który generuje liczby i sformułowania klauzul, a nie listę kontrolną rzeczy do rozważenia.

Dla większości zespołów prawnych praktyczna odpowiedź w tym kwartale jest taka, że żadna z tych opcji nie jest jeszcze decyzją, którą trzeba podejmować. Obie wymagają złożenia wniosku o dostęp, obie nie mają ustalonej ceny i za ich liczbami z nagłówków stoi dokładnie jeden kontrolowany przez dostawcę przebieg benchmarku. Zespoły, które będą gotowe, gdy bramy się otworzą, to te, które wykorzystały ten czas na budowę pipeline’u na modelach bazowych, które faktycznie można wywołać — tak aby późniejsze wdrożenie wersji wyspecjalizowanej było zmianą identyfikatora modelu, a nie przenoszeniem na nową platformę.

DSL routingu dzieli ruch według klasy zadań, dzięki czemu ścieżka tworzenia szkiców i ścieżka podsumowań mogą wskazywać na różne modele, a mimo to być rozliczane na jednej fakturze.