GPT-6.1 Terra 基准分析的标题卡
Guides & Insights

GPT-6.1 Terra 的基准测试,逐一排序:48 在何处与 52 持平,又在何处并非如此

作者

Elias Hawthorne

发布日期

最新模型 · 20查看全部模型 →
基准测试:Artificial Analysis · 每日更新
返回全部文章

GPT-6.1 Terra 的综合分数是 48。GPT-6.1 Sol 是 52,GPT-6 Astra 是 53,GPT-5.6 Terra 是 42,GPT-6 Luna 是 38。如果你只看 Artificial Analysis Intelligence Index 的最上面一行,这就是全部信息——一个中端模型,比前代高 6 分,比更贵的同门低 4 分。这也是解读此次发布最没用的方式,因为同一指数还掩盖了它与 Astra 之间 29 分的编程差距、与 Claude Opus 5.5 之间 7.6 分的计算机使用差距,以及一项比此次发布中所有智能提升总和还要大的幻觉改进。

以下内容区分三类数字:来自 Artificial Analysis 的独立测量结果、OpenAI 自行报告且外部无人复现的结果,以及推导出的数字——即把前两类中的任意一类转化为成本或比率的算术运算。这些区别很重要,因为发布报道已经开始把它们混为一谈。

所有人都会引用的三项分数

Artificial Analysis 在其 Intelligence Index 上将 GPT-6.1 Terra 列为 48,在 221 个模型中排名第 25,每个索引任务费用为 $0.40。GPT-6.1 Sol 为 52,排名第 13,每个任务费用为 $0.72。当前旗舰模型 GPT-6 Astra 为 53。GPT-5.6 Terra 为 42,排名第 53,每个任务费用为 $1.40。GPT-6 Luna 为 38。

若按阶梯来看,Terra 是真正的升级:以不到三分之一的单任务完成成本换来六分提升,并且比预算档高出十分。若与 Sol 对比,情况恰好符合定价卡所暗示的——弱四分,token 价格约为一半。综合评分中没有任何内容与 OpenAI 的定位相矛盾。

综合评分还会抹平本不应抹平的差异。Terra 与 Sol 之间相差 4 个指数点,占该量表范围的 8%;而在 Coding Agent Index 上,Terra 与 Astra 之间相差 29 个指数点,占该量表范围的 60%。单一数字无法同时承载这两者,而只引用前者的发布报道,已悄然略去了后者。

A four-column scoreboard comparing GPT-6.1 Terra, GPT-6.1 Sol, GPT-6 Astra and GPT-5.6 Terra on Intelligence Index, coding index, cost per task, computer-use score, hallucination rate and measured speed

差距扩大之处:编程

在 Artificial Analysis 的 Coding Agent Index v2.0 上,GPT-6.1 Terra 得分为 48,GPT-6.1 Sol 得分为 54,GPT-6 Luna 得分为 31。这意味着相较 Sol 落后 6 分,相较 Luna 领先 17 分——与智能指数呈现出相同的形态,只是与家族顶端的差距在相对意义上更大。

厂商数据讲出的故事更漂亮,而这些正是厂商自己的数据。OpenAI 报告称,在最大努力模式下,Terminal-Bench 4.0 的解决率为 50.3%,而 GPT-5.6 Terra 为 21.5%。这超过了两倍,并且是本次发布中代际提升最大的一次。这也是一个终端任务基准,而不是广泛的编程智能体衡量指标:Terra 在简短、范围明确的 shell 工作上可能接近 Sol,但在更广泛的指数上仍可能落后六分,而这两件事同时成立。

实际解读是,Terra 的编码能力提升集中在任务边界明确的地方。“运行这套测试,读取失败信息,修补文件”正是 Terra 擅长的形态。“在四十个步骤中始终把涉及十五个文件的重构记在脑子里”则不是,而且 OpenAI 自己的建议仍将复杂编程工作指向 Sol 或 Astra。

差距小于指数所示之处:计算机使用

在标准桌面自动化基准 OSWorld 2.1 上,GPT-6.1 Terra 在最高推理强度下得分为 74.2%。GPT-6.1 Sol 在 xhigh 下得分为 75.9%。GPT-6 Astra 得分为 75.8%。在我们可比较的模型中,Claude Opus 5.5 以 81.8% 领先,Claude Fable 5.1 为 80.7%,Claude Sonnet 5.5 为 80.1%,Kimi K3.1 Pro 为 79.6%。

由此可得两点。第一,Terra 在其专为设计的任务上与 Sol 的差距在 1.7 分以内,而 token 价格只有一半——这比四点智能差距所暗示的要划算得多。第二,整个 GPT-6 系列在桌面自动化方面落后 Anthropic 六到七分,而 Terra 并未缩小这一差距。如果你的产品是浏览器智能体,值得关注的比较不是 Terra 对 Sol,而是 Terra 对 Claude Sonnet 5.5——后者每 token 成本比 Sol 更低,并且在 OSWorld 上得分高出 5.9 分。

供应商自己的智能体数据也指向同一结论。在 Agents' Last Exam v1 上,OpenAI 报告 Terra 在中等投入下为 57.6%,而 GPT-5.6 Terra 在最高投入下为 50.7%。与之相伴的说法——在每 token 价格约为其十分之一的情况下,可与中等投入的 GPT-6 Astra 相媲美——是一个按任务计算的声明,也是此次发布中最具经济意义的一句话。

实际发生变动的数字:幻觉

Artificial Analysis 衡量了一项 Omniscience 幻觉率:模型在不知道时进行猜测的频率。GPT-5.6 Terra 得分为 88%。GPT-6.1 Terra 得分为 38%。同期准确率上升了两个百分点。

猜测率下降 50 个百分点,比本次发布中任何智能水平的提升幅度都更大,而且正是这个数字改变了模型可以安全用于哪些用途。一个在不确定时有 88% 的概率凭空编造答案的模型,若不对每一条输出做人工核查,就不能放心用于发票提取或表单填写。降到 38% 时,它仍有超过三分之一的时间在猜测——这是改进,而非解决方案——但失效模式已从“假定它是错的”转变为“抽样并验证”。

这会带来直接的成本影响。验证是每个廉价模型部署中隐藏的成本项:如果你必须检查 88% 的答案,人工成本就会远远超过节省下来的 token 费用。而在 38% 时,抽查就变得可行,每项任务 0.40 美元这个数字也开始看起来是真实成本,而不是其中可见的一半。

供应商声明,以及其中缺失的内容

OpenAI 公布的结果,全部由厂商自行开展,截至本文撰写时无一经过独立复现:

• Terminal-Bench 4.0 —— 在最大努力程度下达到 50.3%,而 GPT-5.6 Terra 为 21.5%。

• Agents' Last Exam — 在中等努力程度下比 GPT-5.6 Terra 高 15 分,成本约为其三分之一。

• MMMU-Pro — 在每一档推理强度下均领先于 GPT-5.6 Terra,正在逼近 Astra 和 Sol,但未公布绝对分数。

• Terminal-Bench-Science 0.1 — 与 Claude Opus 5.5 相差不到 5 分,而预估成本不到其五分之一。

• 诱导错误的提示——在一项公司尚未公布的内部测试中,低努力下为 16.7%,相比之下为 53.6%,最高努力下为 4.3%。

那份清单中的模式值得点明。最强的两项主张——MMMU-Pro 和错误率测试——恰恰是两项没有附带绝对数字的主张。“接近 Astra”和“接近 Sol”属于比较性陈述,没有背后的数字就无法核实。带有硬性数字的主张才是第三方可以复现的,而 Artificial Analysis 已经复现了成本方面:每项任务 0.40 美元,前代产品为 1.40 美元。

速度是不在索引中的独立数字。

Artificial Analysis 在其推理基准上测得 GPT-6.1 Terra 为每秒 90.9 个输出 token,首 token 时间为 133.64 秒。GPT-6.1 Sol 测得每秒 73.5 个 token,首 token 时间为 284.31 秒。这大约高出 24% 的吞吐量,首 token 时间优势则略高于两倍——这是独立测量,而非厂商声明,也是整个发布中支持 Terra 的最有力客观依据。

对于聊天产品来说,吞吐量几乎无关紧要;但对于每个任务需要执行二十步的计算机使用循环而言,它决定了任务是40秒完成还是90秒完成。该指数并不对延迟定价,这就是为什么一个排名第25的模型,对于一个质量排名第13的智能体来说,可能是正确的选择。

如何解读指数而不被误导

• 将综合指标当作筛选器,而非排名。它告诉你哪些模型在讨论范围内,但不会告诉你哪个模型能赢得你的任务。

• 分别看编程和计算机使用这两项子分数。Terra 的分布形态异常宽泛:在桌面自动化上接近 Sol,在编程上落后六分,总体落后四分。

• 对照单一日期重新核对绝对数值。该指数会定期重新归一化,而不同周次的文章会为同一模型引用不同的数字。

• 如果你的工作负载存在验证成本,那么对幻觉率的重视程度应与智能评分一样高。50 分的提升改变的是运营模式,而不仅仅是评分。

• 衡量你自己的任务。Artificial Analysis 的每任务成本数据是基于其提示词构建的代理指标;你的提示词会在 token 价格与尝试次数之间产生不同的比率。

这些都无损于 GPT-6.1 Terra 作为一个模型的价值。它只是让它变得很具体:一个快速、便宜、幻觉少得多的模型,在屏幕任务上接近其更昂贵的同门,在代码上则远不及旗舰。综合分显示 48。子项分数说明了你买到的究竟是哪一个 48。

Screenshot of the Artificial Analysis leaderboard showing GPT-6.1 Terra's Intelligence Index of 48, cost per task and measured output speedScreenshot of OpenAI's model documentation for GPT-6.1 Terra listing its benchmark claims, context window and reasoning effort settings

本文中的对比4

根据本文内容识别 · 基准测试:Artificial Analysis · 每日更新