标题卡写着“Astra for Law 6.2”,三张卡片上方有一行文字“每项任务 0.03 次实质性幻觉”;三张卡片分别显示:在 Harvey LAB-AA 上 20.8% 获得满分、每项任务 0.03 次实质性幻觉,以及每项任务 64,000 个输出 token;页脚注明 LAB-AA 数据来自 Artificial Analysis,OpenAI 也报告了这些数据。
Guides & Insights

Astra for Law 6.2 在 Harvey's Legal Benchmark 上位列第一。真正值得关注的是幻觉率。

作者

Gideon Frost

发布日期

最新模型 · 20查看全部模型 →
基准测试:Artificial Analysis · 每日更新
返回全部文章

OpenAI 发布了 Astra for Law 的新版本,时间是 2026 年 11 月 17 日——这一法律配置构建于GPT-6.2 Astra之上,后者是它在一天前推出的旗舰模型——该版本率先登上由 Artificial Analysis 维护的 Harvey LAB-AA 排行榜:在 120 项法律任务中,有 20.8% 获得满分完成,而 GPT-6.2 Astra 为 15.0%,表现最好的非 OpenAI 参赛模型 Muse Wonder Full 为 13.1%。更值得你注意的是右边两列的数据。Astra for Law 平均每项任务出现 0.03 次实质性幻觉。在该指标上排名次低的非 OpenAI 模型 Claude Opus 5.5,平均为 0.59。

这两个数字描述的是同一次 120 项任务的运行,这正是它们值得放在一起看的原因:一种配置完成整个任务的频率略高于所测试的其他任何配置,而其凭空编造实质性主张的频率大约是最强的非 Ope​nAI 竞争对手的二十分之一。以下是自九月以来发生的变化、这些说法在哪些地方成立、在哪些地方不成立,以及本周的实际访问情况。

相同的权重、更大的索引,以及一个可供搜索的新名称

这里的任何东西都不是在“新权重”意义上的新模型。Astra for Law 是 GPT-6.2 Astra 的一种配置:基础模型,加上扩展的法律检索索引,再加上用于研究问题、权衡权威依据并撰写答案的指令。这与 Ope​nAI 在九月采用的构建方式相同,当时这一层建立在 GPT-6 Astra 之上。升级体现在三个方面——更新的基础模型、更大的索引,以及又两个月根据从业者反馈进行的调优。

索引是具体的部分。自九月以来,OpenAI 将其扩大了34%,新增超过8000万个 URL,总数超过3.1亿,并将覆盖范围扩展到英国、澳大利亚和加拿大。在美国方面,根据 CourtListener 的覆盖数据衡量,它声称覆盖了超过99.9%的已公布具有先例效力的判例法。指令是不可见且无法验证的;索引规模至少是一个你能用来追究某人责任的数字。

在任何这些内容派上用场之前,有一个实际问题:这个东西有四个名字。Ope​nAI 的帖子称它为 Astra for Law。Artificial Analysis 将排行榜条目列为 Astra for Law 6.2 (Max)。模型 id——一旦访问权限启用,你在 ChatGPT 中选择的字符串——是 gpt-6.2-astra-law。搜索“GPT-6.2 Astra for Law”会返回同一个产品。如果你要向采购团队做简报,就把模型 id 和排行榜标签一起给他们,因为否则他们无法把两者对应起来。

20.8% 意味着什么,以及为什么它并不等同于“有 79% 的时候是错的”

LAB-AA 是 Artificial Analysis 对 Harvey 的 Legal Agent Benchmark 进行的一次运行:涵盖 24 个法律领域的 120 项任务,从起草证言提纲到审查商业租约,再到为收购中的所有权变更制定策略。评分采用全有或全无的方式,而这一点至关重要。答案只有在同时满足以下条件时才能获得满分:满足任务的每一项要求 且不包含任何实质性幻觉。漏掉一个子要求,或提出一项无依据的断言,该任务就会得零分。

这样读来,20.8% 与 15.0% 之间的差距比“五个百分点”所暗示的更大:它代表着干净利落地完成五分之一的法律任务,与只完成七分之一之间的差别。Ope​nAI 自己的算术没问题——20.8 对 15.0 是 39% 的相对提升,其“频率高出近 40%”的措辞准确描述了这一点;而 20.8 对 13.1 是 59%,同样如所述。

决定这是否值得列入预算的各个维度:

• 在 LAB-AA 上获得满分 — Astra for Law 20.8% 对比 GPT-6.2 Astra 15.0% 对比 Muse Wonder Full 13.1%

• 每次分配的输出 token 数——约 64,000,而 Muse Wonder Full 为 139,000,在通过率更高的情况下减少了 54%

• 每次任务的实质性幻觉率——GPT-6.2 Astra 为 0.03,而 0.06;Claude Opus 5.5 为 0.59

• 每次任务的轻微幻觉——0.06,而 Claude Opus 5.5 为 0.51,约是 8.5 倍之多

• 在 Max effort 下,LAB-AA 每项任务的成本为 7.33 美元,而 GPT-6.2 Astra 为 6.35 美元,Claude Opus 5.5 为 17.93 美元(据 Artificial Analysis)

• 在满足全部通过标准的任务上,实质性幻觉为零;这一子论断阻止了用编造的引文来换取通过结果

A scoreboard titled 'Astra for Law — the scoreboard' with six rows reading 'LAB-AA full credit: 20.8%, rank 1', 'Material hallucinations: 0.03 per assignment', 'Output tokens: 64,000 per assignment', 'Vals Legal Research Bench: 53.85%, rank 6 of 99', 'Legal search index: 310M+ URLs' and 'Published API price: none', with a footer noting that LAB-AA figures are per Artificial Analysis and Vals figures per Vals AI's 16 November 2026 evaluation.

成本这一项值得再看一眼,因为它与通常的模式相反。在相同的 Max 推理设置下,法律配置每次任务比它自己的基础模型贵 0.98 美元,同时多拿到 5.8 个百分点的满分,并且比它击败的模型少生成 54% 的输出 token。你在这里不是为冗长付费,而是为一个能让模型更早停下的检索层付费。对于按小时为法律工作定价的团队来说,这是唯一重要的算术,也是此次发布中竞争对手无法靠推出更大的模型来复制的那个数字。

幻觉率是半衰期最长的说法

Artificial Analysis 在同样的 120 项任务中统计了实质性幻觉——即在实质性问题上可能误导读者的说法。Astra for Law 每项任务平均为 0.03 次,与 GPT-6 并列,为对比中最低,约为常规 GPT-6.2 Astra 的 0.06 的一半。Claude Opus 5.5 平均为 0.59,这正是 OpenAI 所引用的“约 20 倍”数字,而且该比例成立:0.59 除以 0.03 等于 19.7。

有一点值得直说,而不是埋着不提,因为它是一把双刃剑。在这样的量级上,计数很小——120 次任务中每次 0.03,总共也只是少数几次实质性幻觉——所以一个糟糕的回答就会显著改变这个比率。20 倍的比率是两次实测运行之间的真实差异,而不是一个稳定的物理常数,也不应作为对任何事情的保证向客户引述。它真正确立的是方向和大致规模;而在一项一个编造引用就可能终结合作关系的任务中,方向和大致规模比点估计更有价值。

来源也需要区分开来。Artificial Analysis 执行了评估,因此这些数字并非 Ope​nAI 的,但 Harvey 编写了基准,而 Ope​nAI 在九月上线时与 Harvey 合作。LAB-AA 独立于供应商,但并不独立于该基准的作者。对于一个 Ope​nAI 未曾参与的任务集,并不存在第三方幻觉计数——这就是证据中的缺口,而且这个缺口比 0.03 这个头条数字所暗示的更大。

Screenshot of the Artificial Analysis Harvey LAB-AA evaluation page, showing the leaderboard with Astra for Law 6.2 in first place at 20.8% full credit, GPT-6.2 Astra second at 15.0%, GPT-6.2 Astra at High effort third at 13.3%, and Muse Wonder Full fourth at 13.1%, with material hallucination rates of 0.03, 0.06, 0.03 and 0.62 per assignment and costs per task of $7.33, $6.35, $3.86 and unavailable.

在它不是首位的情况下

Vals AI 的 Legal Research Bench 于 2026 年 11 月 16 日进行评估,呈现出更平淡的图景。Astra for Law 在 208 道由执业律师撰写的关于美国联邦和州法律的问题上,以 53.85% 的全通过率排名第六,落后于 55.77% 的 Gemini 4 Carbon,以及以 55.29% 并列的 Muse Spark 1.3 Max、Claude Opus 5 和 Claude Fable 5.1 三方。

以1.9分之差位列第六,但在顶尖群体的经济性方面排名第一:

• 全通过准确率——Astra for Law 53.85%,对比 Gemini 4 Carbon 55.77% 和 Gemini 4 Argon 54.81%

• 每次测试成本 — 2.75 美元,相比之下 Gemini 4 Carbon 为 8.74 美元,Claude Opus 5 为 6.76 美元,Claude Fable 5.1 为 23.06 美元

• 每次测试的 Token 数——77,740,而 Gemini 4 Carbon 为 536 万,Claude Opus 5 为 313 万

• 每次测试的持续时间 — 16 分 45 秒,而 Gemini 4 Carbon 为 51 分 53 秒

最后那一对正是不符合标题的那部分。它不仅每次回答更便宜;在 token 用量上还比它上面的模型精简一个数量级,这与 LAB-AA token 计数给出的信号相同。

OpenAI 自己对这项基准的表述也值得逐行核对。它报告称,208 道题中有 112 道获得满分,较 9 月份的约 46% 提升了约 8 个百分点;计入部分得分后,可获得分数中的 90.9% 被拿到。112 和 90.9% 这两个数字与公开榜单一致。但 46% 这个起点并未出现在榜单上,因此“不到两个月提升 8 个百分点”是 OpenAI 拿自身 9 月份成绩所做的比较,无法从 Vals 今天公布的内容中重新推导出来。

那块榜单上最有用的数字,是 Ope​nAI 没有主推的那个。GPT-6.2 Astra,即去掉法律层后的同一基础模型,得分 42.79%,排名第 31;GPT-6 Astra 以 39.42% 排在第 42 位。因此,在一个既不由 Ope​nAI 也不由 Harvey 控制的基准上,这套配置比它自己的基础模型高出约 11 个百分点。这是对法律索引和指令实际带来多少增益的最清晰的独立估计,而且远大于 LAB-AA 上 20.8 对 15.0 的差距所暗示的幅度。

Screenshot of the Vals AI Legal Research Bench leaderboard dated 16 November 2026, showing Gemini 4 Carbon first at 55.77%, Muse Spark 1.3 Max and Claude Opus 5 tied at 55.29%, Gemini 4 Argon fifth at 54.81% and Astra for Law sixth at 53.85% with a cost of $2.75 per test, alongside GPT-6.2 Astra at 42.79% in 31st place.

成本是多少,以及 Ope​nAI 尚未公布的那个数字

法律版配置没有标价。这不是发布帖中的遗漏,而正是发布帖本身。获取权限是申请制,而非结账购买:现在,每个 ChatGPT Enterprise 客户都可以在管理控制台中通过 Trusted Access Program 申请 Astra for Law;已经拥有该权限的团队可在 ChatGPT 中选择 gpt-6.2-astra-law;API 访问需通过销售联系表单,而不是自助获取密钥。

做预算时,基础模型是唯一公布的费率:GPT-6.2 Astra 标价为每百万输入 token 8 美元、每百万输出 token 40 美元,缓存输入为 0.40 美元,上下文窗口为 105 万 token,最大输出 token 数为 128,000,知识截止日期为 2026 年 5 月 18 日。Artificial Analysis 对 law 配置的记录也列出了同样的 8 美元和 40 美元——但那是把基础模型的价目表直接沿用过来,应视为该实验室的工作假设,而非供应商报价。推算出的数字更能如实反映使用情况:在 Max effort 下,每个 LAB-AA 任务为 7.33 美元,这反映的是该配置实际消耗多少 token,而不是 token 的名义单价。

如果你要自行构建检索层,而不是购买现成配置,那么基础模型可以通过 OrcaRouter 用一个密钥访问,它承载 GPT-6 Astra 以及周边的 Ope​nAI 产品线,收录在包含 215 个模型的目录中,按供应商标价、0% 加价提供,并自动故障转移,以应对供应商在运行中途停滞的情况。Astra for Law 不在该目录中,也没有任何公开端点可以访问它——这条路线中没有任何东西是通往该配置的捷径。路由层的用处在于你可以控制的部分:一个绝不能悄悄丢弃引文的研究步骤,很适合让第二个模型去检查第一个模型,而这种组合是一次路由 DSL 调用,而不是两套供应商集成。

Ope​nAI 发布了一项对比,回答了其自身标题所略过的问题。在 Harvey 自家的 Legal Agent Benchmark 上——这是一项不同于 LAB-AA 的测试,由 Harvey 而非 Artificial Analysis 运行——GPT-6 Astra 在 4.6% 的任务中满足了所有要求,GPT-6.2 Astra 将这一比例提高到三倍,达到 14.6%,而法律配置则将其提升至 16.2%。

要看序列,而不是只看最后一个数字。从 4.6% 到 16.2% 的提升中,有三分之二来自基础模型的进步:即从 GPT-6 Astra 到 GPT-6.2 Astra 的跃升,基础模型的任何客户无需申请任何访问权限即可获得。配置贡献了最后 1.6 个百分点,相对于基础模型是 11% 的相对提升。这是实打实的增益,也是向你推销的那部分增益,但它在总提升中所占比例比发布宣传所暗示的要小——而且它最有可能在一个季度内被其他实验室自己的检索层复现。

谁应该申请访问权限,谁应该等待?

如果你身处 ChatGPT Enterprise 租户内,而你的律师已经在其中做研究,本周就申请访问权限。申请的成本只是一张表格,而你能用它做的第一件有用的事,不是跑 Harvey 的基准测试,而是跑你自己的:从你自己的业务中拿出二十项任务,用“全有或全无”且对幻觉一票否决的方式评分——这套评分标准你一个下午就能搭好,而且它比在别人的测试中拿到 20.8% 更能说明你的工作表现。

如果你不在 Enterprise 范围内,也不在 API 计划之内,那么目前还没有任何东西可以购买——没有价目表,没有密钥,也没有合作伙伴可用性。等待不会让你损失什么,而一个季度的访问权限就能解决这一点;而且,没有公布价格本身就是一种信息:供应商尚未决定,在法律层面的价值独立于基础模型之外时,它究竟值多少。

如果你正在构建系统,真正可迁移的结论不是排行榜名次,而是:在 LAB-AA 上得分最高的配置,其输出 token 用量比排名仅次于它的模型少 54%。法律 AI 的胜负取决于按任务衡量的经济性,而非按 token 计价的价格;一个能让模型更早停止输出的检索层,比一个更聪明但会持续输出的模型成本更低。

接下来要关注三件事。该配置的公开定价,这将表明 Ope​nAI 是将其视为高端产品,还是打包进 Enterprise 的功能。超出申请表范围的 API 可用性,这决定是否有人能独立复现这些数字。以及非美国的幻觉计数:该指数现在覆盖英国、澳大利亚和加拿大,但每一个已公布的数字衡量的都是美国法律,而在其他司法辖区伤害最大的失效模式——引用了正确条款却误读了它——是任何指数扩展都无法自行修复的那一种。

本文中的对比2

根据本文内容识别 · 基准测试:Artificial Analysis · 每日更新