标题卡上写着“GPT-6.2 Sol 的返工账单”,显示 GPT-6.2 Sol 在 Artificial Analysis Coding Agent Index 上的得分为 48.6,每任务成本为 1.22 美元,而 Claude Opus 5.5 的得分为 58.2,每任务成本为 12.61 美元,并注明两者是在不同的测试框架中测量的。OrcaRouter 的标志位于右下角。
Guides & Insights

GPT-6.2 Sol 的返工账单:每 Token 便宜,每次修复昂贵

作者

Gideon Frost

发布日期

最新模型 · 20查看全部模型 →
基准测试:Artificial Analysis · 每日更新
返回全部文章

11月20日上午,中文AI评论员宝玉(@dotey)发布了对GPT-6.2 Sol的一则评价,任何花一周时间使用过该模型的人都会认同。简单任务没问题。复杂编码任务不只是比Claude Opus 5.5差一点——Sol 完成的工作仍然需要 Opus 来善后,所以还不如一开始就把活交给 Opus。这篇帖子只是一份使用报告,仅此而已:没有测试框架,没有任务清单,没有 diff,截至撰写本文时有 124 个赞,评论区还在争论。它还能以大多数发布周印象所不具备的方式被核查,因为它描述的东西是有结构的。一个在简单工作上表现良好、在困难工作上崩溃的模型,应该在评测中呈现出特定模式——执行能力强,理解能力弱——而公开的数字要么符合这种模式,要么不符合。

它们大体上确实如此。OpenAI 于 2026 年 11 月 17 日发布了 GPT-6.2 Sol,价格为每百万输入 token 2 美元、每百万输出 token 10 美元。在 Artificial Analysis 的独立 Coding Agent Index 上,它的排名低于它所取代的模型,而拖累它的那个组件,正是模型必须阅读代码库并对其作出真实判断的那一项。这就是“之后还需要清理”背后的机制,只不过被表述成了一个数字。那条推文没有做、而本文试图做的,是为清理工作定价——因为当你真正算这笔账时,返工论在实际耗时上要比在金钱上强得多,而这两者会导致不同的决策。

这个帖子实际上声称了什么

今天我压力测试了 GPT-6.2 Sol。简单任务都没问题。在稍微复杂一点的编程任务上,它不只是比 Opus 5.5 差一点——它做完的活儿还得 Opus 5.5 来擦屁股,所以还不如一开始就让 Opus 5.5 来做。

其中包含三个可分离的主张。第一,质量主张:在复杂编程方面,Sol 实质上比 Opus 5.5 更差。第二,工作流主张:差距表现为返工,而不是明显的失败——你能得到输出,它看起来已经完成,但更强的模型必须修复它。第三,经济主张:返工抵消了 token 价格所节省的任何成本。

前两项可以对照已发表的评估进行检验。第三项是算术问题,取决于一个无人公布过的数字——一次修复流程的成本,相对于用昂贵模型把任务做一遍的成本,究竟是多少。下文始终将这三项主张分开,因为它们并不会同等成立。

干净比较在单个测试框架内运行。

在任何数字出现之前,先给一个警告,因为这是这种比较最常被不诚实地做出的方式。Artificial Analysis 把编码智能体衡量为模型与运行框架的配对:OpenAI 的模型用 Codex,Anthropic 的用 Claude Code。每任务成本、token 消耗和实际耗时都会随运行框架变化,其程度不亚于随模型变化,因此“Sol 花费 $1.22,Opus 花费 $12.61”这种原始比较,衡量的是两台不同的机器。

在那项反对意见下依然成立的,是任何在同一评测框架内进行的比较。在 Codex 内部,可以把 GPT-6.2 Sol 直接与 GPT-6.1 Sol 和 GPT-6.2 Astra 放在一起对比,任务相同、工具相同、评分也相同——而性能退化恰恰就出在这里。跨框架的那一对仍然值得列出来,并清楚标注,因为读者在决定订阅 OpenAI 还是 Anthropic 时,真正做出的正是这个比较。

• Codex、GPT-6.2 Sol(max)— 编码智能体指数 48.6,每任务 1.22 美元,425 万个 token

• Codex、GPT-6.1 Sol(max)— 指数 52.2,每项任务 $1.51,4.33M tokens

• Codex、GPT-6.2 Astra(max)— 指数 53.5,每项任务 $5.12,4.67M tokens

• Claude Code、Claude Opus 5.5(max)——指数 58.2,每任务 12.61 美元,1589 万 tokens

把前两行放在一起读。新模型在同一套测试框架下的得分,比它所取代的模型低 3.6 分,token 消耗与其相差在 2% 以内。价格也没有变化——自 9 月 29 日以来,Sol 一直维持 $2 和 $10,而 GPT-6.2 Sol 完全沿用了这套价目表。所以这并不是一个用质量换价格的更便宜模型。而是同样的价格、同样的测试框架,却在指数所衡量的方面能力更低。@dotey 的对比针对的是另一家厂商的模型,但他所感受到的退步,即使不离开 O​penAI 自己的产品线也看得见。

A two-column scoreboard comparing GPT-6.2 Sol and Claude Opus 5.5 across Intelligence Index, cost per index task, time per index task, Coding Agent Index, SWE-Atlas-QnA and output tokens, with a footer noting that index and cost figures are Artificial Analysis's and that the two coding-agent scores come from different harnesses. The OrcaRouter logo sits in the bottom-right corner.

复杂任务差距真实存在之处

Coding Agent Index 是一个由三项等权重评估构成的综合指数:FrontierCode-AA 2.0(132 项软件工程任务,由 Cognition 编写、Artificial Analysis 实现)、Terminal-Bench 4.1(66 项智能体终端任务,来自 Laude Institute)以及 SWE-Atlas-QnA-AA(124 项基于代码库的技术问答任务,来自 Scale AI,评分由 Artificial Analysis 调整)。每项任务的得分均为三次尝试的平均值。

将 Sol 与其前代按组件拆开对比,@dotey 所描述的形态便立刻显现:

• SWE-Atlas-QnA-AA — GPT-6.2 Sol 46.2% 相比 GPT-6.1 Sol 59.9%,在同一评测框架内下降了 13.7 个百分点

• FrontierCode-AA 2.0 — 41.5% 对比 42.5%,基本持平

• Terminal-Bench 4.1 — 58.1% 对 54.0%,提升了 4.1 个百分点

所以,模型在执行方面变得更强,而在理解方面变得更弱。终端工作是执行并观察:运行命令、读取输出、进行调整。代码库问答是检索并报告:找到相关代码,理解它为什么是现在这样,并准确陈述。一个在第一种能力上提升、在第二种能力上退步 13.7 个百分点的模型,会通过冒烟测试,并产出看起来正确、却漏掉代码当初为何这样写的编辑。这正是那种会带来返工而非错误信息的失败模式,也正是为什么抱怨会以“它需要清理一下”而不是“它不能用”的形式出现。

在同一项评估中,与 Opus 5.5 的绝对差距还要更大——46.2% 对 65.9%——但这一项跨越了不同的评测框架,因此只能将其视为方向性参考。Codex 内部那 13.7 个百分点的下降则不是方向性的。它使用的是同一个评测框架、同样的 124 项任务、同一个评分器,而模型在回答关于代码库的问题时,就是不如它所取代的模型准确。

Artificial Analysis's model page for GPT-6.2 Sol, listing it as released November 2026, ranked 13th of 95 on intelligence and 40th of 94 on performance, scoring 57 on the Intelligence Index, using 60.9M tokens, priced at $2.00 per million input tokens and $10.00 per million output tokens, costing $1.01 per task and 9.6 minutes per task, at roughly 70 tokens per second.

Sol 真正出色的地方

这条推文的第一个分句理应得到与第二个分句相同的对待。“简单任务也没问题”并非让步;在综合智能指数上——该指数让每个模型都跑同一套完全相同的测试,而非通过各厂商自建的测试框架——GPT-6.2 Sol 在最高努力档下,在若干子项上直接胜过最高努力档的 Claude Opus 5.5:

• Terminal-Bench-Science 0.1 — 67.6% 对 59.0%,Sol 以 8.6 个百分点的优势获胜

• AutomationBench-AA — 71.3% 对比 69.5%

• Terminal-Bench 4.0 — 60.1% 对比 59.6%

• GDP.pdf 全部通过 — 30.0% 对 26.2%

而在那些需要记住某个事实并将其报告出来的测试上,它就输了:

• HLE-Diamond — 64.0% 对比 67.9%

• AnalystAgent — 53.8% 对 56.3%

• AA-Omniscience — 准确率为 61.6% 时为 40.4,而准确率为 65.5% 时为 48.1

• FrontierCode-AA 2.0(索引版)— 44.4% 对比 46.4%

“全知性”这一行值得停下来仔细琢磨。它衡量的是一项评测:模型是否知道自己不知道什么。Sol 的正确回答率为 61.6%,幻觉率为 55.4%;相比之下,Opus 5.5 分别为 65.5% 和 50.3%。一个正确回答频率低了近四个百分点、凭空编造频率高了五个百分点的模型,就是那种输出必须由人来核查的模型——这正是“返工”说法从另一个方向得到的印证。

净而言之,Sol 在综合得分上以 57.3 对 59.1 落后,但每项任务耗时 9.6 分钟而非 25.7 分钟,成本为 1.01 美元而非 10.04 美元,同时在整个测试套件中输出 6090 万个 token,而 Opus 为 2.18 亿个。无论如何,这个便宜模型既不慢,也不啰嗦。

努力程度拨盘已经被扫过

任何用过 O​penAI 推理模型的人都会提出一个显而易见的反对意见:这是错误的设置。把推理强度调低,模型就不再过度思考;把推理强度调高,它就不再偷工减料。Artificial Analysis 已经在 Codex 内的 Coding Agent Index 上完成了完整测试,而这并不能扭转局面:

• 低 — 37.2

• 中等 — 45.4

• 高 — 47.5

• xhigh — 49.8

• 最大 — 48.6

峰值出现在xhigh,而不是 max:把努力程度推到最大实际上会损失 1.2 分,这种非单调结果正是模型开始自我怀疑时会出现的情况。但即便最佳设置 49.8,也比 GPT-6.1 Sol 在 max 下的得分低 2.4 分,比 Claude Opus 5.5 低 8.4 分。没有任何旋钮位置能让 GPT-6.2 Sol 成为更强的编码智能体;你只能选择愿意为 49.8 付多少钱。

那个选择的成本值得了解,因为即便绝对金额不高,相对而言却很高。在 Intelligence Index 上,Sol 在 low effort 下每项任务花费 $0.18,medium 下 $0.41,high 下 $0.56,xhigh 下 $0.65,max 下 $1.01。从 medium 移到 xhigh,每项任务的质量大约翻倍——在该指数上从 52.7 到 55.7——而成本增加 58%。默认是 medium,也就是产生 45.4 编码分数的设置。如果你要把 Sol 与 Opus 对比,就在 xhigh 或 max 下进行,否则你比较的就是错误的配置。

一个能预测返工的数字

同一次运行中还有第二组数据,直接对应“需要清理”的体验,而且它不是质量评分。Artificial Analysis 会按每次评估记录安全拒绝,并区分评测框架已恢复的拒绝与导致尝试终止的拒绝。在 SWE-Atlas-QnA-AA 上,超过 372 次尝试中:

• GPT-6.2 Sol (max) — 25 次拒绝,每一次都是硬性中止,占尝试次数的 6.7%

• GPT-6.2 Sol (xhigh) — 22 次拒绝,5.9%

• GPT-6.2 Sol(中等)— 13 次拒绝,3.5%

• GPT-6.1 Sol (max) — 15 次拒绝,4.0%

• GPT-6.2 Astra(max)—— 8 次拒绝,2.2%

• Claude Opus 5.5 — 52 次拒绝,其中没有一次是硬性停止,14.0%

Opus 系列才是有意思的那个,而且它与一种偷懒的解读相悖。Opus 5.5 拒绝得更频繁,超过这张表中的任何模型——而评测框架把 52 次全都恢复了,所以没有一次拖垮整轮运行。Sol 拒绝得更少,而评测框架连它的 25 次中的一次都没能恢复。一次终止智能体回合的拒绝,就是一项现在必须由人来接手的工作;一次被恢复的拒绝,则只是一次重试。在最接近“回答关于这个仓库的问题”的评测中,推文所抱怨的那个模型,失败方式是产生未完成的工作,而不是错误的工作。

结合13.7个百分点的理解力下降来看,这是一个连贯的故事,而不是两个不相关的数字:Sol 在编码中的检索与报告环节不太可靠,而当它表现下降时,这种下降会让任务悬而未决。

为清理阶段定价

现在说第三个论断,也就是经济性论断,这正是直觉最常压过算术的地方。用 Intelligence Index 的每任务成本,因为该套件对其中每个模型都使用同一套测试框架,所以这些数字可以直接比较:GPT-6.2 Sol $1.01,Claude Opus 5.5 $10.04。

OpenAI's developer documentation page for GPT-6.2 Sol, describing it as the go-to model for everyday work from coding to powering agents at scale, accepting text and image input and producing text, with a 1,050,000-token context window, 922,000 max input tokens, 128,000 max output tokens and a June 1, 2026 knowledge cutoff. The pricing table lists $2.00 per million input tokens, $0.10 cached input, $2.50 cache writes and $10.00 output; it also notes that above 272,000 input tokens the input and cache rates double and output costs 15 times the short-context rate, and that batch costs 50% of standard rates.

考虑一个由 Sol 完成、随后由 Opus 修复的任务。设 p 为需要修复的任务占比,r 为一次修复的成本占一次完整 Opus 运行成本的比例。先由 Sol 完成再修复的成本为 $1.01 + p × r × $10.04。仅使用 Opus 的成本为 $10.04。只要 p × r 低于 0.899,先由 Sol 完成再修复就更便宜。

这是一个很难达到的门槛。如果一次修复的成本是一次完整通过的一半,你可以修复每一个任务,并且仍然比直接使用 Opus 便宜 78%。只有当修复成本在几乎每个任务上都接近完整重做的成本时,账单才会反转:在p = 1 且 r = 1 时,你要为 Opus 本可以花 $10.04 完成的事情支付 $11.05。在一千个任务上,就是 $11,050 对 $10,040——10% 的惩罚,而不是推文所暗示的惨败。

所以单从金钱来看,除非返工接近全量,否则返工方面的抱怨并不能推翻价格方面的理由。但金钱并不是大多数团队真正遇到的约束。时间才是:

• 每项 Intelligence Index 任务用时——GPT-6.2 Sol 为 9.6 分钟,Claude Opus 5.5 为 25.7 分钟

• 任务需要完整 Opus 重做时的时间 — 9.6 + 25.7 = 35.3 分钟,对比 25.7 分钟

• 同一测试套件上的 Token 消耗 — 60.9M 对 218M 输出 token

在这里,返工论无条件成立。Sol 尝试后又交回的任何任务,都比你先去找 Opus 多花了 37% 的时间,而你无法用更便宜的 token 把这段时间买回来。如果你的约束是截止日期而不是预算——这几乎是每个开发者发出这种抱怨时实际所处的情况——那么 @dotey 是对的,争论点在于吞吐量,而不是价格。

什么会改变判决?

有两件事,而这两件目前都还不可得。第一件是公开的返工率:在固定任务集上测量,Sol 的复杂任务 diff 中,更强的模型实际必须修改的比例是多少。没有人发布这个数字,因为这需要在同一批工单上运行两个模型并对结果做 diff,而这是唯一能平息争论的数字。第二件是 GPT-6.2 Sol 在 Anthropic harness 编码运行中的数据,或者 Opus 5.5 在 Codex 上的数据,这会把上面的跨 harness 比较变成真正的正面对决。

与此相对,请注意哪些事情已经确定。回归是真实存在的,而且就发生在同一个评测框架内。effort sweep 并不能解决它。理解力评估——那个能预测返工的评估——朝错误方向变化了 13.7 个百分点。任何想为在 Opus 5.5 上继续运行复杂编码任务找理由的读者,都有一个不依赖于任何人对发布周印象的理由。

在你自己的任务上运行测试

返工率可以在一个下午内、基于你自己的待办事项来衡量,而这是这个数字中唯一对你重要的版本。取二十个你们团队上个月实际交付的任务,在相同的投入设置下让每个任务分别跑一遍两个模型,然后把生成的补丁与人类最终合并的结果做差异对比。需要实质性返工的比例就是你的p;修复轮次的 token 成本就是你的r。

OrcaRouter 让这成为一项路由决策,而不是采购决策:anthropic/claude-opus-5.5 和 openai/gpt-6.1-sol两者都通过同一个密钥访问,按供应商自己的标价、0% 加价透传,因此上面那些数字就是你会被计费的数字。这一点在这里比平时更重要,因为那条推文所要防范的模型——GPT-6.2 Sol——还不在我们的目录中;我们不提供它,再多的路由也无法改变这一点。我们确实提供的是 Sol 所取代的模型,而这正是实验所需的合适对照组:在你能访问到 6.2 Sol 的任何地方运行它,通过我们在相同任务上运行 GPT-6.1 Sol,那么 13.7 个百分点的理解力下降,就成为你可以在自己的代码上而非合成测试套件上确认或反驳的事情。

对于数据所显示的部署形态,路由 DSL 才是诚实的答案:把规划和代码库理解步骤交给 Opus 5.5,把执行和终端循环交给更便宜的模型,并让自动故障转移来覆盖某个提供商在运行中途卡住的情况。这是一种配置,而不是一种架构——而且,当你把“用 Opus 给 Sol 收拾残局”写成一条流水线、而不是一句抱怨时,它看起来就是这个样子。

无论你选哪个模型,这条推文里唯一值得记取的一点是:一项编码任务的成本账单不是 token 数。它是 token 数,加上人工分钟数,再加上从“完成”到“真正完成”之间实际流逝的时间。Sol 在账本第一行上赢得毫无争议,Opus 5.5 则在任务每次被打回时赢下第二行和第三行,而没有任何厂商公布任务被打回的比率。在有人公布之前,唯一可信的数字,就是你在自己的 diff 上测出来的那个。

本文中的对比1

根据本文内容识别 · 基准测试:Artificial Analysis · 每日更新