
Astra for Law 6.2 在 Harvey 法律基準測試中奪得第一。幻覺率才是真正的新聞。
- Google新Google: Gemini 4 Carbon2026-11-10$2.00 / $10.00 每百萬 tokens · 89 tok/s
- Anthropic新Anthropic: Claude Fable 5.22026-11-09$8.00 / $40.00 每百萬 tokens · 97 tok/s
- orca新Orca: OrcaC2 1.02026-11-079 tok/s
- Orca新OrcaCyber: GLM 5.3 Abliterated / Uncensored2026-11-04$3.00 / $5.00 每百萬 tokens · 88 tok/s
- Orca新OrcaCyber: Hy4 Abliterated / Uncensored2026-11-04$0.80 / $1.60 每百萬 tokens · 134 tok/s
- Orca新OrcaCyber: Kimi K3.1 Pro Abliterated / Uncensored2026-11-04$2.00 / $5.00 每百萬 tokens · 88 tok/s
- OrcaOrcaCyber: MiniMax M3.1 Flash Abliterated / Uncensored2026-10-29$0.80 / $1.60 每百萬 tokens · 121 tok/s
- OrcaOrcaCyber: GLM 5.3 Flash Abliterated / Uncensored2026-10-27$0.80 / $1.60 每百萬 tokens · 68 tok/s
- OrcaOrcaCyber: Qwen3.8 Flash Next Abliterated / Uncensored2026-10-26$0.80 / $1.60 每百萬 tokens · 90 tok/s
- OrcaOrcaCyber: MiMo V2.6 Flash Abliterated / Uncensored2026-10-26$0.80 / $1.60 每百萬 tokens · 44 tok/s
- MoonshotMoonshotAI: Kimi K3.1 Pro2026-10-2447智能
- OrcaOrcaCyber: DeepSeek V4.1 Flash Abliterated / Uncensored2026-10-23$0.80 / $1.60 每百萬 tokens · 195 tok/s
- minimaxMiniMax: M3.1 Flash2026-10-1929智能
- OrcaOrca: OrcaCyber Ultra 1.02026-10-17$5.00 / $10.00 每百萬 tokens · 119 tok/s
- deepseekDeepSeek: DeepSeek V4.1 Flash 10172026-10-1733智能
- DeepSeekDeepSeek: DeepSeek V4.1 Flash2026-10-1740智能
- OrcaOrca: OrcaCyber Zero 1.52026-10-10$3.00 / $7.50 每百萬 tokens · 143 tok/s
- openaiOpenAI: GPT-6.1 Sol2026-09-2955智能
- anthropicAnthropic: Claude Sonnet 5.52026-09-2855智能
- typesafeTypeSafe: Jev 1.132026-09-24$0.04 / $0.00 每百萬 tokens · 920 tok/s
OpenAI 發布了 Astra for Law 的新版本,日期為 2026 年 11 月 17 日——這是建立於 GPT-6.2 Astra 之上的法律配置,而該旗艦模型是它在一天前發布的——它率先登上由 Artificial Analysis 維護的 Harvey LAB-AA 排行榜:在 120 項法律任務中,有 20.8% 完整完成並獲得全額計分,而 GPT-6.2 Astra 為 15.0%,最佳非 OpenAI 參賽者 Muse Wonder Full 則為 13.1%。更值得你關注的數字在右邊兩欄。Astra for Law 平均每項任務有 0.03 次實質性幻覺。在該指標上第二低的非 OpenAI 模型 Claude Opus 5.5,平均為 0.59。
這兩個數字描述的是同一輪 120 項作業的執行結果,這正是它們值得放在一起解讀的原因:某個配置完成整項任務的頻率略高於所有其他受測配置,而其憑空捏造實質性主張的頻率,約為其最強的非 OpenAI 競爭對手的二十分之一。以下是自九月以來的變化、這些說法在哪些情況下成立、哪些情況下不成立,以及本週的實際存取狀況。
同樣的權重、更大的索引,還有一個新的名字可以搜尋
這裡沒有任何東西算得上就新權重而言的新模型。Astra for Law 是 GPT-6.2 Astra 的一種配置:基礎模型,加上擴充的法律搜尋索引,再加上用於研究問題、權衡權威依據並撰寫答案的指示。這與 OpenAI 在九月使用的建構方式相同,當時該層置於 GPT-6 Astra 之上。升級有三方面——更新的基礎模型、更大的索引,以及另外兩個月根據實務工作者回饋進行的調校。
索引是具體可檢驗的部分。OpenAI 自九月以來將其擴大了 34%,新增超過 8,000 萬個 URL,總數超過 3.1 億,並將涵蓋範圍擴展至英國、澳洲與加拿大。在美國方面,對照 CourtListener 的涵蓋資料,它聲稱涵蓋超過 99.9% 已公布的具先例效力判例法。指令是看不見且無法驗證的;索引大小至少是個你能拿來要求對方負責的數字。
在這些內容真正派得上用場之前,有個實際的小麻煩:這個東西有四個名字。OpenAI 的貼文稱它為 Astra for Law。Artificial Analysis 在排行榜條目上列為 Astra for Law 6.2(Max)。模型 id——也就是權限開通後你在 ChatGPT 裡選取的那串字元——是 gpt-6.2-astra-law。搜尋「GPT-6.2 Astra for Law」會找到同一個產品。如果你要向採購團隊簡報,請把模型 id 和排行榜上的名稱一起給他們,否則他們根本對不起來哪個是哪個。
20.8% 代表什麼,以及為什麼它不等於「有 79% 的時間出錯」
LAB-AA 是 Artificial Analysis 對 Harvey 的 Legal Agent Benchmark 所做的測試:涵蓋 24 個法律領域的 120 項任務,從起草證詞大綱、審閱商業租約,到為併購中的所有權變更制定策略。評分採取全有或全無的方式,而這點至關重要。答案唯有符合該任務的每一項要求 且不含任何實質性幻覺,才能獲得完整分數。只要漏掉一項子要求,或提出一項缺乏依據的主張,該任務就會得零分。
若這樣解讀,20.8% 與 15.0% 之間的差距就比五個百分點所暗示的更大:這是每五項法律任務中有一項能順利完成,與每七項中有一項能順利完成之間的差別。OpenAI 自己的算術無誤——20.8 對 15.0 是 39% 的相對增益,其「高出近 40%」的措辭準確描述了這一點;而 20.8 對 13.1 是 59%,也正如其所說。
決定這是否值得列入預算的各個面向:
• LAB-AA 滿分 — Astra for Law 20.8% 對比 GPT-6.2 Astra 15.0% 對比 Muse Wonder Full 13.1%
• 每個任務的輸出 token 數——約 64,000,相較於 Muse Wonder Full 的 139,000,在更高的通過率下減少了 54%
• 每項任務的實質性幻覺:0.03,而 GPT-6.2 Astra 為 0.06,Claude Opus 5.5 則為 0.59
• 每項任務的輕微幻覺——0.06 對比 Claude Opus 5.5 的 0.51,約為其 8.5 倍
• 在 Max effort 下,每次 LAB-AA 任務的成本為 7.33 美元,相較之下,GPT-6.2 Astra 為 6.35 美元,Claude Opus 5.5 則為 17.93 美元(根據 Artificial Analysis)
• 在符合{{1}}全數通過{{/1}}標準的任務上,重大幻覺為零;這項子主張正是防止「通過」是靠憑空捏造引用換來的關鍵

這個成本項目值得再多看一眼,因為它與常見模式相反。在相同的 Max 推理設定下,法律設定每次作業比其自身基礎模型多花 0.98 美元,同時多獲得 5.8 個百分點的全額計分,且輸出 token 數比它擊敗的模型少 54%。你在這裡不是為冗長付費,而是為一層檢索機制付費,讓模型能更早停止。對按小時計價法律工作的團隊而言,這是唯一重要的算術,而這是此次發布中,競爭對手無法靠推出更大的模型來複製的那一個數字。
幻覺率是半衰期最長的主張
Artificial Analysis 在同樣的 120 項任務中,計算了重大幻覺——也就是可能在實質要點上誤導讀者的說法——的次數。Astra for Law 平均每項任務為 0.03,與 GPT-6 並列為比較中最低的比率,且約為一般版 GPT-6.2 Astra 的 0.06 的一半。Claude Opus 5.5 平均為 0.59,也就是 OpenAI 引用的「約 20 倍」數字,而這個比例成立:0.59 除以 0.03 等於 19.7。
有一個注意事項值得坦率說明,而不是避而不談,因為這件事有好有壞。在這樣的量級下,計數很小——120 項任務中每項 0.03,總共不過是少數幾個實質性幻覺——所以單一一個糟糕答案就會顯著改變比率。20 倍的比例是兩次實測運行之間的真實差異,不是穩定的物理常數,也不應向客戶引用為任何保證。它確實能確立的是方向與大致規模;而在一個一次捏造引用就可能終結合作關係的任務上,方向與大致規模比單點估計更有價值。
來源也需要區分。Artificial Analysis 執行了這項評估,所以這些數字並非 OpenAI 的數字,但 Harvey 撰寫了基準測試,而 OpenAI 在九月推行時與 Harvey 合作。LAB-AA 獨立於供應商,但並不獨立於該基準測試的作者。對於 OpenAI 未曾參與的任務集,並沒有第三方幻覺計數——這正是證據上的缺口,而且這個缺口比 0.03 這個頭條數字所暗示的還要大。

若非首位
Vals AI 的 Legal Research Bench 於 2026 年 11 月 16 日評估,結果較不亮眼。Astra for Law 在 208 道由執業律師撰寫、關於美國聯邦與州法的題目中,以 53.85% 的全通過率排名第六,落後於 55.77% 的 Gemini 4 Carbon,以及以 55.29% 三方並列的 Muse Spark 1.3 Max、Claude Opus 5 和 Claude Fable 5.1。
以1.9分之差排名第六,但在頂尖組別的經濟效益上排名第一:
• 全通過準確率 — Astra for Law 53.85%,對比 Gemini 4 Carbon 55.77% 與 Gemini 4 Argon 54.81%
• 每次測試成本——2.75 美元,相較於 Gemini 4 Carbon 的 8.74 美元、Claude Opus 5 的 6.76 美元,以及 Claude Fable 5.1 的 23.06 美元
• 每次測試的 token 數 — 77,740,對比 Gemini 4 Carbon 的 536 萬與 Claude Opus 5 的 313 萬
• 每次測試持續時間 — 16 分 45 秒,相較於 Gemini 4 Carbon 的 51 分 53 秒
最後那一對正是與標題不符的部分。它不只是每次回答更便宜;它的 token 用量還比排在它上面的模型少了一個數量級,而這正是 LAB-AA token 計數所給出的相同訊號。
OpenAI 對這項基準自身的說法也值得逐行檢視。它報告 208 題中有 112 題獲得滿分,相較 9 月約 46% 提升約八個百分點,且在計入部分分數後,可得分數中拿到 90.9%。112 題與 90.9% 都與公開看板相符。46% 的起點並未出現在看板上,因此「不到兩個月內提升八個百分點」是 OpenAI 與自家 9 月執行結果所做的比較,無法從 Vals 今日公布的內容重新推導出來。
那個排行榜上最有用的數字,是 OpenAI 沒有拿來打頭陣的那一個。GPT-6.2 Astra 是少了法律層的同一個基礎模型,得分 42.79%,位居第 31 名;GPT-6 Astra 則以 39.42% 位居第 42 名。因此,在一個 OpenAI 和 Harvey 都無法控制的基準測試上,這套配置比它自己的基礎模型高出約 11 個百分點。這是針對法律索引與指令實際帶來多少增益,最乾淨的獨立估計,而且它比 LAB-AA 上 20.8 對 15.0 的差距所暗示的還要大得多。

成本是多少,以及 OpenAI 尚未公布的數字
法律配置沒有標價。這並非發布文章中的遺漏;這正是發布文章本身。存取是一種申請,而非結帳購買:現在每位 ChatGPT Enterprise 客戶都能在管理主控台中透過 Trusted Access Program 申請 Astra for Law,已擁有此權限的團隊可在 ChatGPT 中選擇 gpt-6.2-astra-law,而 API 存取則需透過業務聯絡表單,而非自助式金鑰。
就編列預算而言,基礎模型是唯一公布的費率:GPT-6.2 Astra 的標價為每百萬輸入 token 8 美元、每百萬輸出 token 40 美元,快取輸入為 0.40 美元,上下文視窗為 105 萬 token,最大輸出 token 為 128,000,知識截止日為 2026 年 5 月 18 日。Artificial Analysis 對法律配置的紀錄也載有相同的 8 美元與 40 美元——但那是基礎模型費率表的沿用,應視為該實驗室的工作假設,而非供應商報價。推導出的數字更能如實反映用量:在 Max effort 下,每項 LAB-AA 任務為 7.33 美元,這反映的是該配置實際花費多少 token,而非 token 的名目成本。
如果你要自行建構檢索層,而不是購買現成組態,基礎模型可透過 OrcaRouter 以單一金鑰存取,它收錄 GPT-6 Astra 及周邊的 OpenAI 系列,位於215 個模型的目錄中,以供應商定價提供、0% 加成,並提供自動容錯移轉,以因應供應商在執行中途停滯的情況。Astra for Law 不在該目錄中,也沒有可觸及它的公開端點——這條路線中沒有任何東西是通往該組態的捷徑。路由層的價值在於你能控制的部分:一個絕不能默默漏掉引用的研究步驟,很適合由第二個模型檢查第一個模型,而這種組合是一次 routing-DSL 呼叫,而不是兩套供應商整合。
這其中有多少是法律層面的因素,又有多少只是因為是較新的模型?
OpenAI 發布了一項比較,回答了自家標題所略過的問題。在 Harvey 自家的 Legal Agent Benchmark——這是一項與 LAB-AA 不同、由 Harvey 而非 Artificial Analysis 執行的測試——中,GPT-6 Astra 在 4.6% 的任務上滿足了所有要求,GPT-6.2 Astra 將此比例提高至三倍,達到 14.6%,而法律配置則將其提升至 16.2%。
看序列,不要只看最後一個數字。從 4.6% 到 16.2% 的進展中,有三分之二是基礎模型的進步:從 GPT-6 Astra 躍升至 GPT-6.2 Astra,而任何基礎模型客戶無需申請任何存取權限即可獲得。配置貢獻了最後 1.6 個百分點,相當於相對基礎版本提升 11%。這是實質增益,也是推銷給你的增益,但它佔總體的比例比發布報導所暗示的更小——而且它是最可能在一季內被其他實驗室自家檢索層複製的部分。
誰應該申請存取權限,誰應該等待
如果你身在 ChatGPT Enterprise 租戶內,而你的律師已經在裡面做研究,這週就去申請使用權限。申請的代價只是一份表單,而你能用它做的第一件有用的事,不是跑 Harvey 的基準測試,而是跑你自己的:從你自家執業中挑出二十項任務,以全有或全無評分,並設下幻覺否決權——這是一份你一個下午就能建好的評分標準,而它對你的工作所能告訴你的,會比別人的基準測試上那 20.8% 更多。
如果你不屬於 Enterprise,也不在 API 計畫之內,目前還沒有任何東西可買——沒有費率表、沒有金鑰,也沒有合作夥伴供應情況。等待不會讓你損失任何無法用一季存取權彌補的東西;而未公布價格本身就是一項資訊:供應商尚未決定,法律層獨立於基礎模型之外究竟值多少。
如果你正在打造產品,可轉移的發現不是排行榜名次。而是 LAB-AA 上得分最高的配置,其輸出 token 用量比排名緊接其後的模型少了 54%。法律 AI 的勝負取決於每項任務的經濟效益,而非每個 token 的價格,而能讓模型更早停止輸出的檢索層,比持續輸出更久的更聰明模型更便宜。
接下來有三件事值得關注。該配置的公開定價,這將說明 OpenAI 是把它視為高階產品,還是 Enterprise 中的內建功能。API 在申請表之外是否可用,這決定任何人能否獨立重現這些數字。以及非美國的幻覺計數:該指數目前涵蓋英國、澳洲與加拿大,但每一項已公布的數字衡量的都是美國法律,而在其他司法管轄區傷害最大的失效模式——引用正確條文卻誤讀它——正是任何指數擴張都無法自行解決的那一項。
本文中的比較2
根據本文內容識別 · 基準測試:Artificial Analysis · 每日更新
