'Astra for Law 6.2'라고 적힌 타이틀 카드. '과제당 중대한 환각 0.03건'이라는 문구가 Harvey LAB-AA에서 20.8% 만점, 0.03건의 중대한 환각, 과제당 64,000 출력 토큰을 보여주는 세 장의 카드 위에 놓여 있고, 그 아래 푸터에는 LAB-AA 수치가 Artificial Analysis 기준이며 OpenAI에서도 보고되었다고 명시되어 있습니다.
Guides & Insights

Astra for Law 6.2, Harvey의 법률 벤치마크에서 1위 차지. 진짜 뉴스는 바로 환각률이다.

작성자

Gideon Frost

게시일

최신 모델 · 20모든 모델 보기 →
벤치마크: Artificial Analysis · 매일 업데이트
모든 게시물로 돌아가기

Ope​nAI는 새 버전을 출시했습니다: Astra for Law — 2026년 11월 17일 공개. GPT-6.2 Astra를 기반으로 구축된 법률 구성 버전으로, 전날 출시된 플래그십입니다. 그리고 Artificial Analysis가 운영하는 Harvey LAB-AA 리더보드에서 곧바로 1위를 차지했습니다. 120개의 법률 과제 가운데 20.8%를 만점으로 완료해 GPT-6.2 Astra의 15.0%, Ope​nAI가 아닌 모델 중 최고 성적인 Muse Wonder Full의 13.1%를 앞섰습니다. 더 주목할 만한 수치는 두 칸 오른쪽에 있습니다. Astra for Law는 과제당 평균 0.03건의 중대한 환각을 기록했습니다. 이 지표에서 그다음으로 낮은 Ope​nAI 이외 모델인 Claude Opus 5.5는 평균 0.59건이었습니다.

두 수치는 동일한 120개 과제 실행을 설명하며, 바로 그 점 때문에 함께 읽을 가치가 있습니다. 즉, 테스트된 다른 무엇보다 전체 작업을 약간 더 자주 완료하는 구성이면서, 가장 강력한 non-Ope​nAI 경쟁자보다 실질적인 주장을 대략 20배 덜 자주 만들어내는 구성입니다. 9월 이후 무엇이 바뀌었는지, 주장이 성립하는 곳과 그렇지 않은 곳, 그리고 이번 주에 접근이 실제로 어떤 모습인지 살펴보겠습니다.

동일한 가중치, 더 큰 인덱스, 그리고 검색할 새로운 이름

여기서 새로운 모델이라는 것은 새로운 가중치라는 의미에서는 아닙니다. Astra for Law는 GPT-6.2 Astra의 구성입니다. 즉 기본 모델에 확장된 법률 검색 인덱스, 그리고 질문을 조사하고 권위 있는 법적 자료를 검토하며 답변을 작성하기 위한 지침을 더한 것입니다. 이는 해당 계층이 GPT-6 Astra 위에 있었던 9월에 Ope​nAI가 사용한 것과 동일한 구성입니다. 업그레이드는 세 가지입니다. 더 새로운 기본 모델, 더 큰 인덱스, 그리고 실무자 피드백에 맞춰 조정한 또 다른 두 달입니다.

인덱스는 구체적인 부분이다. Ope​nAI는 9월 이후 이를 34% 늘려 8천만 개 이상의 URL을 추가했고, 총 3억 1천만 개 이상으로 확대했으며, 영국, 호주, 캐나다까지 커버리지를 넓혔다. 미국 측에서는 CourtListener의 커버리지 데이터를 기준으로 측정했을 때 공개된 선례 판례법의 99.9% 이상을 보유한다고 주장한다. 지침은 보이지 않고 검증할 수도 없다. 인덱스 크기는 적어도 책임을 물을 수 있는 숫자다.

이 모든 내용이 유용해지기 전에 실무적으로 짚고 넘어갈 점이 하나 있습니다. 바로 이 제품에 이름이 네 개라는 것입니다. OpenAI의 게시물에서는 이를 Astra for Law라고 부릅니다. Artificial Analysis는 리더보드 항목을 Astra for Law 6.2 (Max)로 표기합니다. 모델 ID — 액세스가 활성화된 후 ChatGPT에서 선택하는 문자열 — 는 gpt-6.2-astra-law입니다. "GPT-6.2 Astra for Law"로 검색해도 같은 제품이 나옵니다. 조달 팀에 브리핑할 때는 모델 ID와 리더보드 레이블을 함께 전달하세요. 그렇지 않으면 양쪽이 서로를 찾지 못할 것입니다.

20.8%가 의미하는 것, 그리고 그것이 "79%의 경우 틀렸다"와 같지 않은 이유

LAB-AA는 Harvey의 Legal Agent Benchmark에 대한 Artificial Analysis의 실행 결과로, 증언 개요 초안 작성부터 상업용 임대차 계약 검토, 인수 시 소유권 변경 전략 수립에 이르기까지 24개 법률 분야에 걸친 120개 과제입니다. 채점은 중요한 의미를 지니는 전부 아니면 전무 방식입니다. 답안은 과제의 모든 요구 사항을 충족하고그리고 중대한 환각이 전혀 없을 때에만 만점을 받습니다. 하위 요구 사항을 하나라도 놓치거나 근거 없는 주장을 하나라도 하면 해당 과제는 0점 처리됩니다.

그렇게 읽으면 20.8%와 15.0% 사이의 격차는 5퍼센트포인트가 시사하는 것보다 크다: 그것은 법률 과제 다섯 건 중 한 건을 깔끔하게 끝내는 것과 일곱 건 중 한 건을 끝내는 것의 차이다. Ope​nAI의 자체 산술은 맞아떨어진다 — 20.8 대 15.0은 39%의 상대적 증가이며, 이는 "거의 40% 더 자주"라는 표현이 정확히 설명하는 바이고, 20.8 대 13.1은 59%로, 역시 명시된 그대로다.

예산 항목으로 책정할 가치가 있는지를 결정하는 기준:

• LAB-AA 만점 — Astra for Law 20.8% vs GPT-6.2 Astra 15.0% vs Muse Wonder Full 13.1%

• 과제당 출력 토큰 — 약 64,000 대 Muse Wonder Full의 139,000, 더 높은 통과율에서 54% 감소

• 과제당 중대한 환각 — GPT-6.2 Astra의 0.06, Claude Opus 5.5의 0.59에 비해 0.03

• 과제당 경미한 환각 — Claude Opus 5.5의 0.51에 비해 0.06, 약 8.5배

• Max effort에서 LAB-AA 과제당 비용 — Artificial Analysis 기준 $7.33으로, GPT-6.2 Astra의 $6.35 및 Claude Opus 5.5의 $17.93과 대비됩니다

• all-pass 기준을 충족한 작업에서 중대한 환각이 전혀 없음 — 이는 통과 판정이 꾸며낸 인용으로 매수되는 것을 막는 하위 주장입니다.

A scoreboard titled 'Astra for Law — the scoreboard' with six rows reading 'LAB-AA full credit: 20.8%, rank 1', 'Material hallucinations: 0.03 per assignment', 'Output tokens: 64,000 per assignment', 'Vals Legal Research Bench: 53.85%, rank 6 of 99', 'Legal search index: 310M+ URLs' and 'Published API price: none', with a footer noting that LAB-AA figures are per Artificial Analysis and Vals figures per Vals AI's 16 November 2026 evaluation.

비용 항목은 한 번 더 살펴볼 필요가 있습니다. 일반적인 패턴에 어긋나기 때문입니다. 동일한 Max 추론 설정에서 legal 구성은 자체 기본 모델보다 과제당 $0.98 더 들지만, 완전 크레딧을 5.8점 더 얻고 출력 토큰은 54% 더 적게 생성합니다. 여기서는 장황함에 비용을 지불하는 것이 아니라, 모델이 더 일찍 멈출 수 있게 해 주는 검색 계층에 비용을 지불하는 것입니다. 법률 업무를 시간당 가격으로 책정하는 팀에게 그것은 유일하게 중요한 셈이며, 더 큰 모델을 출시하는 것만으로는 경쟁사가 따라할 수 없는 이번 릴리스의 단 하나의 숫자입니다.

환각률은 반감기가 가장 긴 주장이다.

Artificial Analysis는 동일한 120개 과제 전반에서 중대한 환각, 즉 독자를 실질적인 쟁점에서 오도할 수 있는 주장을 집계했다. Astra for Law는 과제당 평균 0.03으로 GPT-6와 함께 비교군에서 가장 낮은 비율을 기록했으며, 0.06인 일반 GPT-6.2 Astra의 약 절반 수준이었다. Claude Opus 5.5는 평균 0.59로, OpenAI가 인용한 “약 20배” 수치에 해당하며 비율도 맞아떨어진다. 0.59를 0.03으로 나누면 19.7이다.

한 가지 주의점은 묻어두기보다 분명히 말할 가치가 있습니다. 이는 양면성이 있기 때문입니다. 이 정도 규모에서는 건수가 매우 적습니다. 120건의 할당에 걸쳐 할당당 0.03건이면 총 몇 건의 중대한 환각에 불과하므로, 잘못된 답변 하나만으로도 비율이 실질적으로 달라집니다. 20배라는 비율은 두 번의 측정 실행 사이의 실제 차이일 뿐 안정적인 물리적 상수가 아니며, 고객에게 무엇인가를 보장하는 근거로 제시해서는 안 됩니다. 이 비율이 확립해 주는 것은 방향과 대략적인 크기이며, 날조된 인용 하나가 관계를 끝낼 수 있는 작업에서는 방향과 대략적인 크기가 단일 점 추정값보다 더 가치 있습니다.

출처도 분리해서 따져야 한다. 평가는 Artificial Analysis가 수행했으므로 이 수치는 Ope​nAI의 것이 아니다. 그러나 벤치마크는 Harvey가 작성했고, Ope​nAI는 9월 롤아웃에서 Harvey와 협업했다. LAB-AA는 벤더로부터는 독립적이지만, 벤치마크 작성자로부터 독립적인 것은 아니다. Ope​nAI가 전혀 관여하지 않은 태스크 세트에 대한 제3자 환각 건수는 없다. 이것이 증거의 공백이며, 이 공백은 0.03이라는 헤드라인 수치가 시사하는 것보다 더 크다.

Screenshot of the Artificial Analysis Harvey LAB-AA evaluation page, showing the leaderboard with Astra for Law 6.2 in first place at 20.8% full credit, GPT-6.2 Astra second at 15.0%, GPT-6.2 Astra at High effort third at 13.3%, and Muse Wonder Full fourth at 13.1%, with material hallucination rates of 0.03, 0.06, 0.03 and 0.62 per assignment and costs per task of $7.33, $6.35, $3.86 and unavailable.

첫 번째가 아닌 경우

2026년 11월 16일에 평가된 Vals AI의 Legal Research Bench는 더 밋밋한 이야기를 들려준다. Astra for Law는 미국 연방법 및 주법에 관해 실무 변호사들이 작성한 208개 질문에서 전체 통과율 53.85%로 6위에 머물렀으며, 55.77%의 Gemini 4 Carbon과 Muse Spark 1.3 Max, Claude Opus 5, Claude Fable 5.1 간의 55.29% 3자 동률 뒤에 있다.

1.9점 차로 6위이지만, 상위 그룹의 경제성에서는 1위:

• 전체 통과 정확도 — Astra for Law 53.85% vs Gemini 4 Carbon 55.77% 및 Gemini 4 Argon 54.81%

• 테스트당 비용 — $2.75 대 Gemini 4 Carbon의 $8.74, Claude Opus 5의 $6.76, Claude Fable 5.1의 $23.06

• 테스트당 토큰 — 77,740 대 Gemini 4 Carbon의 536만, Claude Opus 5의 313만

• 테스트당 소요 시간 — 16분 45초 대 Gemini 4 Carbon의 51분 53초

그 마지막 쌍은 헤드라인에 부합하지 않는 부분이다. 그것은 답변당 비용이 더 저렴할 뿐만 아니라, 위에 있는 모델들보다 토큰 사용량이 한 자릿수(약 10배) 더 적으며, 이는 LAB-AA 토큰 수가 보여준 것과 같은 신호다.

Ope​nAI가 이 벤치마크를 스스로 규정한 방식도 한 줄씩 따져볼 만하다. 전체 208개 질문 중 112개에서 만점을 받았고, 이는 9월의 약 46%에서 약 8퍼센트포인트 상승한 것이며, 부분 점수를 포함하면 획득 가능한 점수의 90.9%이다. 112와 90.9%는 공개 리더보드와 일치한다. 출발점인 46%는 그 리더보드에 나타나지 않으므로, "두 달이 채 안 되어 8포인트 상승"은 Ope​nAI가 자사의 9월 실행을 기준으로 하는 비교이며, Vals가 오늘 공개하는 내용만으로는 다시 도출할 수 없다.

그 리더보드에서 가장 유용한 수치는 OpenAI가 앞세우지 않은 것이다. 법률 레이어가 없는 동일한 베이스 모델인 GPT-6.2 Astra는 42.79%로 31위이고, GPT-6 Astra는 39.42%로 42위다. 따라서 OpenAI도 Harvey도 통제하지 않는 벤치마크에서 이 구성은 자체 베이스 모델보다 약 11점 우위를 보인다. 이는 법률 인덱스와 지침이 실제로 더하는 것이 무엇인지에 대한 가장 깔끔한 독립 추정치이며, LAB-AA에서의 20.8 대 15.0 격차가 시사하는 것보다 상당히 크다.

Screenshot of the Vals AI Legal Research Bench leaderboard dated 16 November 2026, showing Gemini 4 Carbon first at 55.77%, Muse Spark 1.3 Max and Claude Opus 5 tied at 55.29%, Gemini 4 Argon fifth at 54.81% and Astra for Law sixth at 53.85% with a cost of $2.75 per test, alongside GPT-6.2 Astra at 42.79% in 31st place.

비용은 얼마인지, 그리고 Ope​nAI가 공개하지 않은 숫자

법률용 구성에는 가격이 없습니다. 그것은 출시 게시물의 누락이 아니라 출시 게시물 그 자체입니다. 액세스는 결제가 아니라 요청입니다: 이제 모든 ChatGPT Enterprise 고객은 관리자 콘솔의 Trusted Access Program을 통해 Astra for Law를 요청할 수 있고, 이미 이를 보유한 팀은 ChatGPT에서 gpt-6.2-astra-law를 선택하며, API 액세스는 셀프서비스 키가 아니라 영업 문의 양식을 통해 이루어집니다.

예산 책정을 위해 공개된 요율은 기본 모델뿐입니다. GPT-6.2 Astra는 입력 토큰 100만 개당 8달러, 출력 토큰 100만 개당 40달러로 책정되어 있으며, 캐시된 입력은 0.40달러, 컨텍스트 창은 105만 토큰, 최대 출력 토큰은 128,000개, 지식 컷오프는 2026년 5월 18일입니다. law 구성에 대한 Artificial Analysis의 기록에도 동일한 8달러와 40달러가 있지만, 이는 기본 모델의 요율표를 그대로 가져온 것이므로 공급업체 견적이 아니라 해당 연구소의 작업 가정으로 봐야 합니다. 파생 수치는 사용량을 더 정직하게 반영합니다. Max effort에서 LAB-AA 과제당 7.33달러이며, 이는 토큰의 명목 비용이 아니라 해당 구성이 실제로 소비하는 토큰 수를 반영합니다.

구성을 구매하는 대신 검색 계층을 직접 구축하고 있다면, 기본 모델은 OrcaRouter를 통해 하나의 키로 접근할 수 있습니다. OrcaRouter는 GPT-6 Astra와 주변 Ope​nAI 라인을 포함한 215개 모델 카탈로그 안에서 해당 모델들을 마크업 0%로 공급자 정가에 제공하며, 자동 페일오버 기능을 제공합니다. 공급자가 실행 중 멈출 때 작동합니다. Astra for Law는 그 카탈로그에 없고, 그것에 도달할 수 있는 공개 엔드포인트도 없습니다. 이 경로의 어떤 것도 해당 구성으로 가는 지름길이 아닙니다. 라우팅 계층이 유용한 부분은 여러분이 제어할 수 있는 부분입니다. 인용을 조용히 누락해서는 안 되는 리서치 단계는 두 번째 모델이 첫 번째 모델을 검사하는 합리적인 후보이며, 그 구성은 두 개의 벤더 통합이 아니라 routing-DSL 호출입니다.

OpenAI는 자사 헤드라인이 건너뛴 질문에 답하는 비교를 하나 공개했다. Artificial Analysis가 아니라 Harvey가 운영하며 LAB-AA와는 다른 테스트인 Harvey 자체의 Legal Agent Benchmark에서, GPT-6 Astra는 과제의 4.6%에서 모든 요구 사항을 충족했고 GPT-6.2 Astra는 이를 세 배로 늘려 14.6%로 만들었으며 법률 구성은 이를 16.2%로 끌어올렸다.

마지막 숫자가 아니라 흐름 전체를 보라. 4.6%에서 16.2%로 가는 길의 3분의 2는 베이스 모델의 진전이다. GPT-6 Astra에서 GPT-6.2 Astra로의 도약이며, 베이스 모델 고객이라면 누구나 아무것도 접근 권한을 요청하지 않고 얻을 수 있는 것이다. 구성은 마지막 1.6포인트, 즉 베이스 대비 11%의 상대적 개선을 담당한다. 그것은 실제 이득이고 당신에게 판매되고 있는 이득이지만, 출시 보도가 시사하는 것보다 전체에서 차지하는 비중은 작다. 그리고 다른 연구소들의 자체 검색 계층이 1분기 안에 복제할 가능성이 가장 큰 부분이기도 하다.

누가 액세스를 요청해야 하며, 누가 기다려야 합니까?

ChatGPT Enterprise 테넌트 안에 있고 변호사들이 이미 그 안에서 리서치를 하고 있다면, 이번 주에 접근 권한을 요청하세요. 요청의 비용은 양식 하나이며, 그것으로 할 수 있는 첫 번째 유용한 일은 Harvey의 벤치마크를 실행하는 것이 아니라 자신만의 벤치마크를 실행하는 것입니다. 즉, 자신의 실무에서 가져온 20개의 과제를 환각이 있으면 거부권을 행사하는 전부 아니면 전무 방식으로 채점하는 것인데, 이는 오후 한나절이면 만들 수 있는 평가 기준이며, 다른 사람의 벤치마크에서 20.8%를 받는 것보다 당신의 업무에 대해 더 많은 것을 알려줄 것입니다.

Enterprise 밖에 있고 API 프로그램에도 속해 있지 않다면, 아직 구매할 수 있는 것이 없습니다 — 요율표도, 키도, 파트너 제공 여부도 없습니다. 기다리는 데 드는 비용은 한 분기만 접근할 수 있게 되면 해결될 수준을 넘지 않으며, 공개된 가격이 없다는 사실 자체가 정보입니다. 즉 벤더는 법적 레이어의 가치를 기본 모델과 독립적으로 얼마로 책정할지 아직 결정하지 못한 것입니다.

구축하고 있다면, 전이 가능한 시사점은 리더보드 순위가 아닙니다. 그것은 LAB-AA에서 최고 점수를 받은 구성이 순위에서 바로 아래 모델보다 출력 토큰을 54% 적게 사용했다는 점입니다. 법률 AI의 승부는 토큰당 가격이 아니라 작업당 경제성에서 갈리며, 모델이 더 일찍 답변을 멈추게 하는 검색 계층이 계속 이어가는 더 똑똑한 모델보다 더 저렴합니다.

앞으로 주목할 세 가지가 있다. 해당 구성에 대한 공개 가격으로, 이는 OpenAI가 이를 프리미엄 제품으로 보는지 아니면 Enterprise에 묶여 제공되는 기능으로 보는지를 보여줄 것이다. 요청 양식 외의 API 이용 가능 여부로, 이는 누구나 그 수치를 독립적으로 재현할 수 있는지를 결정한다. 그리고 미국 외 지역의 환각 수치다. 이 지수는 이제 영국, 호주, 캐나다를 포함하지만, 공개된 모든 수치는 미국 법을 측정한 것이며, 다른 관할권에서 가장 큰 피해를 주는 실패 유형, 즉 올바른 조항을 인용하면서도 이를 잘못 해석하는 문제는 어떤 지수 확장으로도 저절로 해결되지 않는 바로 그 문제다.

이 글에서 비교한 모델2

이 글에서 자동 인식 · 벤치마크: Artificial Analysis · 매일 업데이트