GLM-Legal: Z.ai의 법률 에이전트, Harvey LAB에서 19.2% 기록 — 그리고 신청해야 하는 베타로 시작

Z.ai가 내놓은 GLM-Legal은 2026년 10월 12일에 공개되었고, 이 모델이 가장 먼저 내세우는 숫자는 19.2%다. 이는 법률 AI 벤더 Harvey가 24개 실무 영역에 걸쳐 구축한 로펌 워크플로 평가인 Harvey LAB에서 이 모델이 기록한 전체 통과율이다. 그리고 이 수치가 이번 발표에서 가장 믿을 만한 이유는 바로 그것이 별로 대단해 보이지 않기 때문이다. 제대로 된 평가 체계에서 다섯 개 중 하나도 통과하지 못하는 법률 모델은, 자기 벤더가 완화하지 않은 기준에 비추어 평가받고 있는 셈이다. 더 약한 부분은 그 주변의 모든 것이다. 나머지 두 대표 벤치마크인 LegalBench와 PLawBench는 이름이 밝혀지지 않은 "프런티어 폐쇄형 모델"과 동등하다고 설명될 뿐, 숫자는 전혀 제시하지 않는다. GLM-Legal은 GLM-5.3-Flash 기반으로 구축되었는데, 이는 총 파라미터 320B, 활성 파라미터 18B 규모의 Z.ai 멀티모달 파운데이션 모델이며, 현재 이를 구하는 방법은 API 키가 아니라 벤더의 상담 페이지에 있는 양식이다.

그 조합, 즉 실제로 정직하게 평가된 수치 하나에 수치화되지 않은 두 개의 동등성 주장이 더해진 것이 바로 이번 발표의 전체 형태이며, 무엇보다 먼저 이를 분리해볼 가치가 있다.

Harvey LAB의 19.2%가 말해주는 것, 그리고 말해주지 않는 것

Harvey LAB은 all-pass 기준으로 채점한다. 모델에게 과제가 인정되는 것은 모든 단계가 제대로 맞아떨어질 때뿐이다: 올바른 쟁점 식별, 올바른 조항 인용, 방어 가능한 분석, 브리프에 맞게 포맷된 출력. 이것은 부분 점수 벤치마크보다 더 가혹한 관문이며, 절대 수치가 낮은 이유가 모델이 약해서가 아니라 바로 이 때문이다. Z.ai는 이를 “중간 단계의 성능 저하 없이 신뢰할 수 있는 엔드투엔드 과제 수행”의 확인이라고 규정한다 — all-pass 체제에서 통과한 과제가 의미할 수 있는 것은 바로 그것뿐이다.

Z.ai가 제시한 비교는 자사 기본 모델을 상대로 한 것이며, GLM-Legal이 12.5퍼센트포인트 개선된다고 말한다. 이를 헤드라인과 맞대어 보면 산술은 극명하다:

• Harvey LAB의 GLM-Legal — Z.ai 기준, 24개 실무 분야 전반에서 19.2% 전체 통과.

• 추정 기본 모델 점수 — 약 6.7%, Z.ai가 격차를 12.5포인트라고 밝혔고 기준 모델이 GLM-5.3-Flash이기 때문입니다.

• 독립성 — 없음. 두 수치 모두 Z.ai 자체 수치로, Z.ai 자체 실행에서 측정된 것이며 제3자가 이를 재현한 사례가 없습니다.

• Harvey의 역할 — Harvey가 벤치마크를 만들었으며, 발표문에는 Harvey가 평가를 실행했는지 Z.ai가 실행했는지는 나와 있지 않다.

그 마지막 줄이 정직한 간극이다. “Harvey가 구축했다”와 “Harvey가 채점했다”는 서로 다른 주장이며, 실제로 내세워지는 것은 첫 번째뿐이다. 베이스 모델 대비 12.5포인트 향상은 도메인 중간 학습에 RL을 더한 결과로 볼 때 그럴듯한 규모다 — 이것이 법률 특화가 제대로 작동할 때의 모습이다 — 하지만 Z.ai 외부의 누군가가 하네스를 다시 실행하기 전까지 그것은 벤더 수치이며, 그렇게 인용되어야 한다.

번호가 붙지 않은 두 개의 청구

LegalBench는 계약서 파싱, 합병 신고서, 사법 의견을 다루고, PLawBench는 세분화된 평가 기준에 따라 중국어 법률 상담, 사례 분석, 문서 초안 작성을 다룹니다. Z.ai가 첫 번째 항목에 대해 내세우는 주장은 GLM-Legal이 이를 "최상위 클로즈드 소스 프런티어 모델의 정밀도로" 파싱한다는 것이고, 두 번째 항목에 대해서는 "선도적인 프런티어 시스템과 대등한 수준을 달성한다"는 것입니다.

두 주장 모두 정성적이다. 어느 쪽에도 점수나 신뢰구간, 이름이 붙은 비교 대상이 없다. 그렇다고 해서 그것들을 믿지 않을 이유는 아니다. GLM-5.3-Flash는 강력한 기반 모델이고, 강력한 기반 모델의 도메인 특화 파생 모델은 도메인 추론에서 동등한 수준에 도달하는 경우가 흔히 있다. 하지만 숫자를 붙일 수 없는 동등성 주장은 설계상 검증이 불가능하며, 이번 발표문에 있는 두 가지 정량적 진술은 모두 동일한 벤치마크에 관한 것이다. 이번 출시를 경쟁사 제품과 비교하는 독자라면, 이 발표문이 사실상 하나의 측정된 결과에 논증으로 뒷받침된 주장 둘을 더한 것임을 알아차려야 한다.

훈련이 실제로 바꾼 것

여기서는 방법론적 세부 사항이 일반적인 도메인 파인튜닝에서보다 더 중요합니다. 왜냐하면 GLM-Legal은 검색 제품이 아니라 가중치 수준의 특화이기 때문입니다. Z.ai는 판례 색인을 내놓지 않았습니다; 모델을 바꾼 것입니다. 두 단계:

• 미드트레이닝 — 고품질 법률 코퍼스를 확장하여 밀도 높은 도메인 맥락 안에서 법령상 규칙과 해석 프레임워크를 학습시킴으로써, 사실에서 규칙, 그리고 결론으로 이어지는 연역적 사슬을 강화합니다.

• 포스트 트레이닝 — Z.ai가 "수만 개의 현실적인 법률 환경"이라고 부르는 환경 전반에 걸친 강화 학습으로, 여기서 모델은 분석을 계획하고 워크플로를 진행하며 구체적인 제약 조건 아래에서 결과물을 산출하는 방법을 학습합니다.

특이한 점은 사후 학습 단계를 둘러싼 루프입니다. Z.ai는 에이전트 하네스 — 컨텍스트를 준비하고 툴링을 연결하며 실행 피드백을 라우팅하는 런타임 오케스트레이션 계층 — 를 모델 아래에 고정되어 있는 것이 아니라 모델과 함께 진화하는 것으로 설명합니다. 학습 중 드러난 엣지 케이스는 하네스의 병목을 드러냈고, 하네스 개선은 모델을 더 현실적인 실행 제약에 노출시켰습니다. 명시된 목적은 지식은 추가되지만 워크플로 동작은 추가되지 않는 전형적인 도메인 모델의 실패를 막는 것입니다.

그것이 일반화되는지 여부가 바로 19.2% 전체 통과가 검증하는 것이다. 이것은 지식 주장이 아니라 신뢰성 주장이며, 법률 배포를 측정하는 올바른 기준이다.

세 개의 데모, 자세히 읽어 보세요

블로그 글은 GLM-5.3-Flash와 GLM-Legal이 동일한 세 가지 프롬프트에 나란히 답하는 모습을 보여준다. 이 비교는 벤더가 작성한 것이고 프롬프트도 벤더가 고른 것이므로, 일대일 맞대결보다 증명하는 바가 적다 — 하지만 그 차이점들은 충분히 구체적이어서 유용한 정보를 준다.

계약 검토. 이 작업은 공급업체를 교체하는 고객을 위한 소프트웨어 서비스 계약입니다. 기본 모델의 조언은 합리적이고 일반적입니다: 통지 기간을 단축하고, 공급업체가 데이터와 대금이 지불된 인도물을 반환하도록 하며, 대체 공급업체와 협력할 의무를 추가하는 것입니다. GLM-Legal의 조언은 형태는 같지만 숫자를 확정합니다 — 편의에 따른 해지 통지 기간을 60일에서 30일로 줄이고, IP, 비밀유지 또는 데이터 보안 의무 위반에 대해서는 치유 기간을 완전히 삭제하고, 작업물의 대금 지불 여부와 관계없이 반환을 요구하며, 공급업체의 당시 요율로 최대 90일의 전환 지원을 추가합니다. 그것이 체크리스트와 레드라인의 차이입니다. Z.ai는 AutoClaw가 해당 수정 사항을 Word 문서에 변경 내용 추적 및 메모로 적용한다고 합니다.

증거 분석. 소프트웨어 프로젝트 분쟁과 관련된 문서 40건. 기본 모델은 9월 30일 고객 보고서가 60% 완료라고 주장한 것과 내부 스냅샷이 약 41%를 보여주는 것 사이의 모순을 포착하고, 해당 문서들이 고객의 입장을 "뒷받침할 수 있다"고 정확히 말한다. GLM-Legal은 마일스톤을 정직하게 달성할 수 없다는 9월 8일 내부 경고, 41% 스냅샷, 위험을 은폐하고 계속 청구하라는 경영진 지시를 하나의 은폐 이론으로 연결한 다음, 계속된 지급이 분쟁을 해결하지 못하는 이유로 마스터 서비스 계약의 지급은 권리를 포기하지 않는다 및 존속 보증 조항을 인용한다. 기본 모델은 사실을 찾아냈고, GLM-Legal은 논증을 구축하고 아직 검증해야 할 청구 요건을 명시했다.

컴플라이언스 리서치. 싱가포르, 말레이시아, 인도네시아에서 트래킹, 이메일 마케팅, 해외 클라우드 스토리지를 활용해 웹사이트를 출시하는 경우. 기본 모델은 출시 전 할 일 목록을 충실히 만들어낸다. GLM-Legal은 법적 근거를 명시한 우선순위 목록을 제시한다 — SG PDPA s26, MY PDPA s129, ID PDP Law Arts 55–56 — 그리고 공통 통제 항목과 시장별 질문을 분리한다.

법령 인용은 변호사가 오후 한나절이면 확인할 수 있는 부분이며, 바로 그 점 때문에 그 데모들은 읽을 가치가 있다. 그들이 보여주지 않는 부분은 정답이 의뢰인이 잘못했다는 것인 사안에서 모델이 어떻게 행동하는가이다.

액세스: 지금은 신청서, AutoClaw는 나중에

공개된 가격도, 공개 엔드포인트도 없습니다. Z.ai의 행동 유도 문구는 "GLM-Legal 베타에 참여하세요"이며, 법률 사무소, 리걸테크 기업, 사내 법무팀, 개인 실무자를 대상으로 하고, API 접근은 공급업체의 상담 페이지에서 신청해야 이용할 수 있습니다. AutoClaw 단락은 미래 시제로 작성되었습니다 — "곧 이 기능들을 AutoClaw에서 활용할 수 있게 될 것입니다" — 따라서 데스크톱 에이전트 플랫폼은 출시된 통합이 아니라 앞으로 제공될 통합이며, Z.ai는 어느 쪽에도 날짜를 확정하지 않습니다.

오늘 당장 기반 모델을 상대로 개발하려 한다면, 솔직한 구분은 이렇습니다. 기반 모델은 사용할 수 있지만 법률 특화 변형은 그렇지 않다는 것입니다. GLM 5.3 Flash는 OrcaRouter 카탈로그에 Z.ai의 정가 그대로, 마크업 없이 올라와 있습니다 — 입력 토큰 백만 개당 $0.15, 출력 토큰 백만 개당 $0.50, 캐시 읽기는 $0.030 — 따라서 해당 모델의 공급사 가격이 바뀌면 계약 주기가 끝날 때가 아니라 같은 날 우리 쪽에도 반영됩니다. 키 하나로 200개 이상의 모델에 접근할 수 있고, 자동 페일오버 덕분에 프로덕션 경로를 걸지 않고도 스테이징 경로를 기반 모델로 돌릴 수 있습니다. 세 가지 데모 중 법률 사후 학습에 의존하지 않는 모든 것 — 직접 제공한 조항 집합 재구성, 로펌 템플릿에 맞춘 출력 포맷팅, 1차 검토 체크리스트 생성 — 은 지금 GLM 5.3 Flash에서 프로토타이핑하고 베타가 열리면 모델 id를 바꿔 끼우면 됩니다. 특화에 의존하는 모든 것은 프로토타이핑할 수 없습니다. 그 특화가 바로 그 양식 뒤에 숨은 부분이기 때문입니다.

무엇이 이 이야기를 바꿀까

세 가지입니다, 중요한 순서대로. LegalBench와 PLawBench에 대한 수치 — 동등성 주장은 법률 모델을 고르는 누구에게나 결정적인 주장인데, 현재 가장 검증하기 어렵습니다. Harvey LAB의 독립 실행, 가능하다면 Z.ai가 아니라 Harvey가 하네스를 통제하는 실행. 그리고 가격, 사건당 비용이 기본 모델보다 의미 있게 더 비싼 도메인 모델이라면 그 차액을 완성도가 아니라 전체 통과율로 정당화해야 하기 때문입니다.

그 셋 중 어느 것도 나오지 않았다. 실제로 나온 것은 18B 활성 기반 위에 구축된, 진정으로 특화된 모델이다. 여기에는 19.2%가 믿을 만한 수치로 읽힐 만큼 엄격한 채점 기준 아래에서 실행된 단 한 번의 벤치마크와, 공급업체가 아직 이를 요금표에 올릴 만큼 자신 있지 않다고 말해 주는 접근 절차가 있다.

이번 주 발표에 대해 어떻게 대응할지 결정하는 법무팀이라면, 해답은 신청을 거쳐야 하는 모든 릴리스의 경우와 아마 같을 것입니다: 데모를 살펴보고 그것이 드러내는 실패 모드를 확인하고, 법령 인용을 직접 확인하고, 오늘 실제로 호출할 수 있는 모델 위에 주변 파이프라인을 구축하여 모델 ID 하나만 바꾸면 전체 마이그레이션이 끝나도록 하십시오.

자동 페일오버는 스테이징 경로를 기본 모델로 지정하면서도 그것 때문에 프로덕션 라우트를 걸 위험을 감수하지 않아도 된다는 뜻입니다.