GPT-6.1 Terra 最突出的数字是 38%：这是幻觉率，而非 IQ

GPT-6.1 Terra 的发布报道聚焦于六点智能提升和半价定价卡。而真正改变这款模型使用方式的数字是 38%——这是 Artificial Analysis 对 Terra 在不知道答案时仍进行猜测的频率所做的衡量，相比 GPT-5.6 Terra 的 88% 有所下降。猜测率下降五十个百分点，比本次发布中所有质量提升的总和还要大，它使模型从“默认答案是编造的”转向“采样并验证”。

本文区分了本次发布中人们称为"幻觉"的两种不同事物——独立的全知性测量与 OpenAI 的内部错误测试——并估算了 38% 的猜测率在真实验证流程中会付出什么代价。

38% 衡量的是什么

Artificial Analysis 的 AA-Omniscience 评估会向模型提出它们可能不知道答案的问题，并统计它们仍然给出自信答案的频率。GPT-5.6 Terra：88%。GPT-6.1 Terra：38%。同期准确率上升了两个百分点。

综合来看，这两个事实所描述的模型变得更愿意说“我不知道”——而不是一个知识水平大幅提升的模型。智能指数提高了六点，从42到48。弃答行为的提升幅度是五十。对于任何使用该模型来提取事实的人来说，这才是更有价值的变化。

这仍然不够好。38% 意味着，在一组模型无法回答的问题中，超过三分之一仍会给出自信的错误答案。一个在不知道答案时有 62% 的时间选择弃权的模型，比只有 12% 的时间弃权的模型安全得多——而且仍然不是未经核查就能直接呈现给客户的东西。

供应商编号是另一项测试。

OpenAI 的主要宣传点是：在那些旨在诱发错误的提示词上，错误率下降了 37 个百分点——从 GPT-5.6 Terra 在低努力模式下的 53.6%，降至 Terra 的 16.7%，而在最高努力模式下则为 4.3%。这项测试是内部进行的、未公开的，并且是对抗性构造的。它衡量的是模型能否抵御一个被精心设计以使其失败的提示词——而不是衡量它在缺乏事实时是否会凭空捏造事实。

这两个数字都可能成立。供应商测试衡量的是对对抗性提示的稳健性；独立测试衡量的是在无知状态下的校准。二者相关但不可互换，而发布报道在很大程度上把前者当成了后者的证据。事实并非如此。

38% 的猜测率要付出什么代价

验证是每个廉价模型部署中隐藏的支出项，而且它会随猜测率成比例增长。以一条每月处理 100,000 页的文档提取流水线为例，人工抽查每页的成本为 2 美元。

• 在 88% 的猜测率下，你无法抽查。只能全查：100,000 页 × $2 = 每月 $200,000。token 账单无关紧要。

• 当达到 38% 时，抽样方案就变得可行。抽查 20% 的页面：20,000 × $2 = 每月 40,000 美元，其余部分则有已知的漏检率。

在假设的10%情况下，检查5%每月将花费10,000美元，并且仍能限制错误率。

流水线本身按 Terra 的费率计算，token 成本——假设每页 20,000 个输入 token 和 500 个输出 token——为每 10 万页 2,250 美元。验证这一项比模型这一项大十到九十倍。这才是比较廉价模型的正确框架：账单是模型加上审查，而审查由猜测率驱动。

哪些任务可以容忍猜测？

• 容错——对完全位于上下文中的文档进行摘要（答案以输入为依据）、使用固定标签集进行分类、由人工编辑的草稿撰写、使用拒绝格式错误输出的模式进行提取。

• 零容忍——不进行检索的事实性问答、财务数据、法律引文、医疗剂量，以及任何“看似合理但错误的答案比没有答案更糟”的情形。

分界线不是模型的智能得分，而是答案能否对照来源进行核查。在一项每个输出都会被验证的任务中，38% 的猜测率是效率问题。在一项输出会直接交给客户的任务中，它就是一项隐患。

如何在自己的数据上衡量它

• 构建一组模型无法从上下文中回答的问题。猜测率是在不可回答的项目上测量的，而不是在整个测试集上测量的——如果测试中的每个问题都有答案，那么测量的是准确性，而不是校准。

• 评分应涵盖三种结果，而非两种：正确、错误、弃答。对于无法回答的题目，模型回答“未知”是正确行为。

• 在同一测试集上与 GPT-5.6 Terra 进行比较。五十分的提升是一项独立于厂商的说法，但它是基于 Artificial Analysis 的问题测得的；你的情况可能有所不同。

• 注意 effort 设置。关于错误率的结论只适用于特定的 effort 水平，弃权行为也很可能会随推理 effort 变化——低 effort 的运行可能比最高 effort 的运行猜测得更多。

提示弃权

校准在一定程度上是提示词的一种属性。以下三种模式能可靠地减少自信猜测：

• 给模型一个明确的退路——“如果答案不在所提供的上下文中，就回复 UNKNOWN”——并在无法回答的条目上将该回复判定为正确。

• 要求为每一项事实性主张提供引用，并拒绝引用与上下文不符的输出。

• 要求给出置信度标签，并将低置信度的回答转交给第二个模型或人工处理，而不是要求低成本模型做到确定无误。

这些做法每一项都会消耗 token 并增加一个环节。但每一项都比让错误答案触达客户更划算，而 38% 这个数字正是让这种取舍值得计算成本、而非被忽视的原因。

为什么这比指数更重要

智能提升六点，会改变模型究竟能完成哪些任务。猜测能力变化五十分，则会改变它在无需人工介入时能完成哪些任务。对于路由决策来说，后者是更有用的维度：它决定了廉价模型能否在某项任务上以无人监督的方式运行，而监督正是主导生产账单的成本。

GPT-6.1 Terra 并非一个不再产生幻觉的模型。它是一个产生幻觉的频率不到前代一半、价格只有前代一半、且知识截止日期更新的模型。这种组合确实很有用——而这是一个关于可验证性的故事，而非关于能力的故事。

你今天可以运行的内容

GPT-6.1 Terra 在撰写本文时尚未收录于 OrcaRouter 目录，因此其弃答行为必须直接以 OpenAI 为基准进行测量。所有用于对比的模型均已在我们这边上线，且在供应商标价基础上 0% 加价——GPT-5.6 Terra 为 $2/$12，GPT-6.1 Sol 为 $2/$10，GPT-6 Astra 为 $10/$50，GPT-6 Luna 为 $0.10/$0.50，Claude Sonnet 5.5 为 $2/$10——这足以在 Terra 上线前构建校准集和验证成本模型。

带入那个实验的数字不是48，而是38；而要问的问题是，在那种猜测率下，你的审核预算会是什么样子。