GLM-Legal vs Astra for Law: 법률 모델을 구축하는 두 가지 방식, 그리고 그중 하나만 당신에게 API를 판매합니다

The two most interesting legal models released in the last month solve the same problem by opposite means. GLM-Legal is a weights-level specialisation — Z.ai took GLM-5.3-Flash and put it through legal mid-training and reinforcement learning until it behaved like a practitioner. Astra for Law is a configuration — the vendor left GPT-6 Astra exactly as it was and bolted a 230-million-URL U.S. case-law index and a set of legal instructions onto the front of it. One is a smarter lawyer with the wrong library; the other is an ordinary lawyer with an extraordinary library. Which one you want depends almost entirely on whether your problem is reasoning or retrieval, and the two releases are graded on benchmarks that cannot be put side by side.

그 마지막 요점 때문에 이 비교는 겉으로 보이는 것보다 훨씬 까다로우니, 먼저 짚고 넘어가는 게 좋겠다.

왜 이 글의 어떤 수치도 이들을 직접 맞대어 비교하지 않는가

GLM-Legal's headline figure is 19.2% all-pass on Harvey LAB. Astra for Law's is 54.0% overall correctness on a private U.S. legal-research validation set. Anyone can divide 54 by 19.2 and conclude the configured version is nearly three times better. That arithmetic is meaningless, and here is exactly why:

• 무엇을 평가하는가 — 24개 실무 분야에 걸친 엔드투엔드 로펌 워크플로 과제에서의 GLM-Legal과 미국 법률 리서치 질문에서의 Astra for Law 비교. 동일한 과제의 난이도 설정 차이가 아니라 서로 다른 과제군입니다.

• 채점 엄격성 — Harvey LAB은 전부 통과(all-pass) 방식입니다. 즉, 모든 단계가 성공해야 그 작업이 인정됩니다. Astra 수치는 전반적 정확도로, 부분 점수를 합산한 집계입니다. 전부 통과 채점은 같은 모델에서 기계적으로 더 낮은 수치를 산출하며, 19.2%의 전부 통과율은 부분 점수를 부여하는 어떤 백분율과도 비교할 수 없습니다.

• Baselines — Z.ai measures GLM-Legal against GLM-5.3-Flash and reports a 12.5-point lift. The GPT maker measures Astra for Law against GPT-6 Astra with plain web search — 38.7% to 54.0% — and the retrieval is doing nearly all of that work. Both are delta claims against the vendor's own base, not against each other.

• Jurisdiction — legal effectiveness is jurisdiction-bound, and neither harness covers the other's ground. Harvey LAB and the Astra validation set are U.S.-focused; PLawBench, GLM-Legal's second benchmark, is Chinese. A model can be excellent on one and useless on the other and still score well on both releases' numbers.

• Independence — zero on both sides. No third party has re-run Harvey LAB with GLM-Legal, and no one outside the vendor controls the split the 54.0% was measured on.

이 영역을 건드린 유일한 공개 평가 보드는 Vals AI의 Legal Research Bench로, 여기서 Astra for Law는 정확도 9.4%를 기록한 반면 이름이 밝혀지지 않은 프런티어 모델은 22.5%를 기록했습니다. 이는 엄격한 채점 기준이 공급업체가 선택한 분할을 대체할수록 이 범주의 헤드라인 숫자가 올라가기보다 내려가는 경향이 있다는 점을 상기시켜 줍니다. 이는 Astra for Law에 대한 판결이 아니라, 이 비교의 모든 수치를 유보적으로 받아들여야 하는 이유입니다.

각각이 실제로 무엇을 하도록 만들어졌는지

아키텍처 차이는 학문적인 문제가 아니다 — 각 모델이 무엇을 잘할 수 있는지를 결정한다.

• GLM-Legal — 모델이 달라졌습니다. 중간 학습 단계에서 법률 코퍼스를 투입한 뒤, Z.ai가 수만 개에 달한다고 설명하는 현실적인 법률 환경 전반에서 RL을 수행했으며, 에이전트 하네스는 가중치와 함께 공진화했습니다. 라이브러리가 아니라 추론을 내놓는 것입니다.

• Astra for Law — 모델 자체는 바뀌지 않았다. 동일한 GPT-6 Astra 가중치에 미국 판례법, 법령 및 규정을 대상으로 하는 검색 계층, 그리고 법률 전용 지침을 더한 것이다. 제공되는 것은 더 나은 변호사가 아니라 라이브러리다.

• GLM-Legal의 증거 — 자체 베이스와의 나란히 비교. 동일한 프롬프트에서 GLM-5.3-Flash는 유능한 일반 조언을 제공하지만, GLM-Legal은 숫자를 바로잡습니다 — 편의 종료 통지를 60일에서 30일로 단축하고, IP 및 기밀 위반에 대한 치유 기간을 제거하며, 대금 지급 여부와 관계없이 작업물 반환을 요구하고, 제공업체 요율로 최대 90일의 전환 지원을 추가합니다.

• Astra for Law's evidence — a retrieval delta. 54.0% against 38.7% overall correctness, 24% more reference cases found, up to 54% more relevant passages retrieved from correct opinions, and roughly twice the answer length. The vendor's own numbers, on a split nobody else can run.

• 데모에 대한 솔직한 요약 — 기본 모델은 사실을 찾아내고, 특화 모델은 논증을 구성한다. Z.ai의 증거 분석 예시에서 GLM-5.3-Flash는 60% 완성된 고객 보고서와 41% 내부 스냅샷 사이의 모순을 포착하고, 그 문서들이 고객의 입장을 "뒷받침할 수 있다"고 말한다. GLM-Legal은 이전 내부 경고, 스냅샷, 위험을 은폐하라는 지시를 하나의 은폐 이론으로 연결하고 아직 검증해야 할 주장 요소를 명시한다.

두 증거 자료를 함께 읽으면 명확한 구분이 드러난다. GLM-Legal은 판단력을 앞세워 팔리고, Astra for Law는 사건을 놓치지 않는 점을 앞세워 팔린다.

각각이 당신을 실망시킬 수 있는 지점

두 릴리스 모두 각자의 약점을 문서화하고 있는데, 이는 대부분의 출시가 해내지 못하는 일이며, 실패 양상은 서로 거울상이다.

Astra for Law의 가장 교훈적인 결과는 출시 자체가 아니라 제3자 테스트에서 나왔다. 미국 외 관할권에서 법률 AI 기업 HAQQ가 테스트한 세 모델은 모두 올바른 조항을 인용하면서도 그 내용을 잘못 진술했다 — Astra는 해당 항목의 66.7%에서 법적으로 정확했고, Claude Opus 5는 100%였다. 인용 검사기는 그 답변들을 통과시킨다. 인용이 실제로 존재하고 정확하기 때문이다. 의뢰인은 그렇지 않다. 이것은 Legal Search Index가 구조적으로 가장 고치기 어려운 실패 유형이다: 이 색인은 미국 전용이고, 오류는 검색이 아니라 읽기에 있다.

GLM-Legal의 약점은 정반대 방향에 있습니다. 이 모델은 중국 및 다중 관할권의 성문법 실무에 맞춰져 있으며 — 컴플라이언스 데모는 싱가포르, 말레이시아, 인도네시아의 개인정보 보호 의무를 조항 수준 인용으로 해결합니다 — 미국 판례법 인덱스에 해당하는 기능은 갖추지 않았습니다. 미국 리서치에서는 2억 3천만 개의 판례 URL을 찾아내는 아키텍처가 GLM-Legal이 단순히 하지 않는 일을 수행합니다. GLM-Legal이 공개한 강점은 초안 작성, 증거 연결, 루브릭으로 채점되는 문서 작업이며, 공개된 근거에는 검색 성능 주장이 전혀 포함되어 있지 않습니다.

두 벤더 모두 로펌의 법무총괄이 가장 먼저 요구할 거버넌스 서류를 공개하지 않았습니다. Astra for Law는 API의 Zero Data Retention과 ChatGPT Enterprise 사용이 기본적으로 인간 검토에서 제외되는 점을 내세우며 출시되지만, 그 보장은 조직별로 부여되며 프로그램은 초대 기반입니다. GLM-Legal의 베타 약관은 전혀 공개되지 않았는데, 이는 받아들일 수 없다는 것과 같은 뜻이 아닙니다 — 단지 문서화되지 않았을 뿐이며, 문서화되지 않은 것은 리스크 위원회에 가져갈 수 없습니다.

둘 중 하나를 시도해 볼 수 있다는 점, 그리고 그에 드는 비용

합법적인 구성은 어느 것도 공개 요율표에 없습니다.

• Astra for Law — Trusted Access, 초대 기반이며 대형 로펌을 대상으로 함; 법률 구성에 대한 공개된 가격은 없음; API 모델 ID는 곧 제공될 예정이라고 설명되었습니다.

• GLM-Legal — 법무법인, 리걸테크 기업, 사내 법무팀 및 독립 실무자를 대상으로 한 베타 애플리케이션; 공개된 가격 없음; 공개 엔드포인트 없음.

• 그런데 근본이 되는 모델들은 둘 다 현역이다. GPT-6 Astra는 105만 토큰 컨텍스트에서 입력 100만 토큰당 10달러, 출력 100만 토큰당 50달러이며, 입력 토큰 27만 2,000개를 넘으면 장문 컨텍스트 재가격이 적용되는데, 법률 문서 묶음은 이 기준을 일상적으로 넘어선다. GLM 5.3 Flash는 100만 토큰 컨텍스트에서 0.15달러와 0.50달러다. 두 모델 모두 계약서 묶음을 한 번에 처리하는데도 입력 가격이 66배 차이 나는 셈이다.

두 모델 모두 해당 정가로 OrcaRouter 카탈로그에 등록되어 있으며 별도의 마크업이 추가되지 않습니다, 이는 이 카테고리에서 평소보다 더 중요합니다. 어느 한 모델의 공급사 가격 변경이 계약 주기 말이 아니라 같은 날 바로 여기에 반영되기 때문입니다. 하나의 키로 둘 다 사용, 따라서 검색 비중이 큰 작업에는 Astra를, 대량 1차 검토에는 GLM 5.3 Flash를 사용하려는 법률 엔지니어링 팀은 두 개의 상업적 관계나 두 개의 SDK, 두 세트의 자격 증명이 필요하지 않습니다. 라우팅 DSL은 작업 클래스별로 트래픽을 분할하므로, 초안 작성 경로와 요약 경로가 서로 다른 모델을 가리키면서도 하나의 청구서로 청구될 수 있습니다.

그리고 숨기기보다는 차라리 이름 붙일 만한 의도적인 제한이 있다. 실제로 Astra for Law를 GPT-6 Astra와 구별해 주는 것은 Legal Search Index이며, 그 계층은 판매 대상이 아니다 — 당신도 그것으로 라우팅할 수 없고, 다른 누구도 마찬가지다. 우리가 라우팅하는 것은 기본 모델이다. 오늘 GPT-6 Astra에서 법률 워크플로를 프로토타이핑하는 팀은 법률 구성을 더 좋게 만든 부분을 제외한 모든 것을 테스트하고 있는 것이다.

어느 걸 고를까?

그 업무가 미국 판례법 조사, 판례 비중이 큰 분석, 또는 주된 위험이 권위 있는 선례나 법적 근거를 놓치는 것인 어떤 작업이라면, Astra for Law는 바로 그런 작업을 정면으로 겨냥하고 있으며 GLM-Legal은 여기서 경쟁하려 하지 않습니다. 그 업무가 명세에 맞춘 초안 작성, 명시된 규제 체계 전반에 걸친 법령 준수, 또는 이미 제공한 문서 집합에 대한 추론이라면, GLM-Legal의 근거가 더 직접적으로 들어맞습니다 — 그리고 그 데모는 원하는 특정 동작을 보여 줍니다. 즉, 고려할 사항의 체크리스트가 아니라 숫자와 조항 문구를 산출하는 모델입니다.

대부분의 법무 팀에게 이번 분기의 실질적인 답은, 둘 다 아직 내려야 할 결정이 아니라는 것입니다. 둘 다 애플리케이션 게이트가 걸려 있고, 둘 다 가격이 책정되지 않았으며, 둘 다 대표 수치 뒤에는 벤더가 통제한 단 한 번의 벤치마크 실행만 자리하고 있습니다. 게이트가 열릴 때 준비되어 있을 팀은 그 사이에 실제로 호출 가능한 기본 모델 위에서 파이프라인을 구축해 둔 팀입니다. 그래야 나중에 특화 버전을 도입하는 일이 재플랫폼화가 아니라 모델 ID 변경으로 끝나기 때문입니다.

라우팅 DSL은 작업 클래스별로 트래픽을 분할하므로, 초안 작성 경로와 요약 경로가 서로 다른 모델을 가리키면서도 하나의 인보이스로 청구할 수 있습니다.