「GPT-6.2 Sol's Rework Bill」と書かれたタイトルカードには、Artificial Analysis Coding Agent IndexでGPT-6.2 Solが48.6、タスクあたり1.22ドルであるのに対し、Claude Opus 5.5が58.2、タスクあたり12.61ドルであることが示され、両者は異なるハーネスで測定されたという注記が付いている。右下隅にはOrcaRouterのロゴがある。
Guides & Insights

GPT-6.2 Solの手直し請求書:トークンあたりは安く、修正あたりは高くつく

著者

Gideon Frost

公開日

最新モデル · 20すべてのモデルを見る →
ベンチマーク:Artificial Analysis · 毎日更新
すべての記事に戻る

11月20日の朝、中国語圏のAIコメンテーターである宝玉(@dotey)は、GPT-6.2 Solについて、このモデルと一週間ほど向き合った人なら誰でも思い当たる評価を投稿した。単純なタスクは問題ない。複雑なコーディングタスクはClaude Opus 5.5より少し見劣りするという程度ではなく、Solが仕上げた仕事には依然としてOpusによる後始末が必要で、最初からOpusに任せたほうがよかったということになる。この投稿は利用レポート以外の何ものでもない。ハーネスもタスクリストもdiffもなく、執筆時点で124件のいいねと、それについて論じ合うコメントスレッドがあるだけだ。またこの投稿は、ローンチ週によくある感想とは違って検証が可能である。なぜなら、それが描写しているものには形があるからだ。簡単な作業では問題なく、難しい作業では崩れてしまうモデルは、評価において特定のパターンを示すはずだ——実行力に強く、理解力に弱い——そして公開されている数値にそのパターンがあるか、ないかのどちらかである。

概ねその通りだ。O​penAIは2026年11月17日にGPT-6.2 Solを投入し、価格は入力100万トークンあたり2ドル、出力100万トークンあたり10ドルだった。Artificial Analysisの独立したCoding Agent Indexでは、それは置き換えるモデルを下回り、足を引っ張っている構成要素は、モデルがコードベースを読み、それについて何か真実を述べなければならない部分だ。これが「後で片付けが必要になる」の背後にある仕組みを数字で示したものだ。そのツイートがやっておらず、本稿がやろうとしているのは、後片付けのコストを算定することだ。というのも、実際に計算してみると、手戻り説は金額よりも実時間の面ではるかに強く当てはまり、この二者は異なる判断につながるからだ。

その投稿が実際に主張している内容

平たく訳すと:「今日はGPT-6.2 Solをストレステストした。簡単なタスクは問題ない。少し複雑なコーディングタスクでは、Opus 5.5より少し劣るという程度ではなく、仕上がった仕事にも依然としてOpus 5.5の尻拭いが必要なので、最初からOpus 5.5にやらせたほうがいい。」

その中には、分離可能な3つの主張が含まれている。第一に、品質に関する主張:複雑なコーディングにおいて、SolはOpus 5.5より実質的に劣る。第二に、ワークフローに関する主張:その差は明らかな失敗としてではなく、手戻りとして現れる——出力は得られ、完成したように見えるが、より強力なモデルがそれを修正しなければならない。第三に、経済性に関する主張:その手戻りが、トークン価格で節約できた分をすべて帳消しにする。

最初の二つは、公開されている評価に対して検証できる。三つ目は算術であり、誰も公表していない数値に依存する — 高価なモデルで一度タスクを実行するのに対して、修復パスにどれだけコストがかかるか。以下の内容はすべて、これら三つの主張を分けて扱う。なぜなら、それらがすべて同じようには生き残るわけではないからだ。

クリーンな比較は1つのハーネス内で実行されます。

数字を出す前に一つ警告しておきます。これがこの比較が不誠実に行われる最も一般的な方法だからです。Artificial Analysisはコーディングエージェントをモデルとハーネスの組み合わせとして測定しています。OpenAIのモデルにはCodex、AnthropicのモデルにはClaude Codeです。タスクあたりのコスト、トークン消費、実時間はすべて、モデルと同じくらいハーネスによっても変動します。そのため、「Solは1.22ドル、Opusは12.61ドル」という素の比較は、2つの異なるマシンを測定していることになります。

その反論に耐えるのは、{{2}}ハーネス内で{{/2}}の比較だけである。ハーネス内でCodex内では、GPT-6.2 SolをGPT-6.1 SolやGPT-6.2 Astraと直接比較できる。同一のタスクで、同じツール群と同じ採点基準を用いて——そしてそこに回帰が潜んでいる。ハーネス間のペアも、明確にラベルを付けて掲載する価値は依然としてある。なぜなら、読者がO​penAIのサブスクリプションとA​nthropicのサブスクリプションのどちらを選ぶかを決めるときに実際に行っている比較だからだ。

• Codex、GPT-6.2 Sol(max) — Coding Agent Index 48.6、タスクあたり1.22ドル、425万トークン

• Codex、GPT-6.1 Sol (max) — 指数52.2、タスクあたり1.51ドル、4.33Mトークン

• Codex、GPT-6.2 Astra(max)— インデックス53.5、タスクあたり5.12ドル、467万トークン

• Claude Code、Claude Opus 5.5(max)— インデックス58.2、タスクあたり$12.61、15.89Mトークン

最初の2行を合わせて読んでください。新しいモデルは3.6ポイント下回ります。これは、同じハーネスで、トークン消費量が置き換え対象と2%以内の差に収まる条件で、置き換え対象のモデルを評価した場合の結果です。価格も変わっていません——Solは9月29日以降$2と$10を維持しており、GPT-6.2 Solは料金表をまったくそのまま保っています。つまり、これは価格を安くするために品質を犠牲にしたモデルではありません。価格は同じ、ハーネスも同じで、インデックスが測っている対象について能力が低いのです。@doteyの比較は別ベンダーのモデルとのものですが、彼が感じている性能退行は、OpenAI自身の製品ラインを見渡すだけでも確認できます。

A two-column scoreboard comparing GPT-6.2 Sol and Claude Opus 5.5 across Intelligence Index, cost per index task, time per index task, Coding Agent Index, SWE-Atlas-QnA and output tokens, with a footer noting that index and cost figures are Artificial Analysis's and that the two coding-agent scores come from different harnesses. The OrcaRouter logo sits in the bottom-right corner.

複雑なタスクにおけるギャップが実際に存在する場面

Coding Agent Index は、同等の重みを持つ3つの評価を合成したものです。FrontierCode-AA 2.0(Cognition が作成し、Artificial Analysis が実装した132のソフトウェアエンジニアリングタスク)、Terminal-Bench 4.1(Laude Institute による66のエージェント型ターミナルタスク)、SWE-Atlas-QnA-AA(Scale AI によるコードベースに関する124の技術Q&Aタスクで、採点は Artificial Analysis が調整)です。各スコアは、タスクごとに3回試行した平均値です。

Solを前任モデルとコンポーネントごとに比較すると、@dotey が説明する形がすぐに現れる:

• SWE-Atlas-QnA-AA — GPT-6.2 Sol 46.2% 対 GPT-6.1 Sol 59.9%、同一ハーネス内で 13.7 ポイントの低下

• FrontierCode-AA 2.0 — 41.5% 対 42.5%、ほぼ横ばい

• Terminal-Bench 4.1 — 58.1% 対 54.0%、4.1ポイントの向上

つまり、モデルは実行することが上達し、一方で理解することが悪化した。ターミナル作業は実行して観察するものである。コマンドを実行し、出力を読み、調整する。コードベースに関するQ&Aは検索して報告するものである。関連するコードを見つけ、なぜそのようになっているのかを理解し、正確に述べる。前者で改善し、後者で13.7ポイント後退するモデルは、スモークテストを通過し、正しく見える編集を生成しつつ、そのコードがそう書かれた理由を見落とす。これはまさに、エラーメッセージではなく手戻りを生む失敗モードであり、「動かない」ではなく「整理が必要」という不満が届く理由でもある。

同じ評価でのOpus 5.5との絶対差はさらに大きく、46.2%対65.9%です。ただし、これはハーネスをまたぐ比較なので、方向性を示す目安として扱ってください。Codex内での13.7ポイントの低下は、方向性の目安ではありません。同じハーネス、同じ124タスク、同じ採点者であり、そのモデルは、置き換え前のモデルよりもコードベースに関する質問への回答精度が単純に低いのです。

Artificial Analysis's model page for GPT-6.2 Sol, listing it as released November 2026, ranked 13th of 95 on intelligence and 40th of 94 on performance, scoring 57 on the Intelligence Index, using 60.9M tokens, priced at $2.00 per million input tokens and $10.00 per million output tokens, costing $1.01 per task and 9.6 minutes per task, at roughly 70 tokens per second.

Solが本当に問題ない場所

ツイートの最初の節は、2番目の節と同じ扱いを受けて然るべきだ。「単純なタスクなら問題ない」は譲歩ではない。すべてのモデルをベンダー製のハーネスではなく同一のスイートで実行する総合インテリジェンス指数では、最大エフォート設定のGPT-6.2 Solが、最大エフォート設定のClaude Opus 5.5をいくつかの構成要素で完全に上回っている:

• Terminal-Bench-Science 0.1 — 67.6% 対 59.0%、Sol の 8.6 ポイント差の勝利

• AutomationBench-AA — 71.3% 対 69.5%

• Terminal-Bench 4.0 — 60.1% 対 59.6%

• GDP.pdf 全パス — 30.0% 対 26.2%

そして、ある事実を保持したうえでそれを報告することを求める種類のものでは、それは負けている:

• HLE-Diamond — 64.0% 対 67.9%

• AnalystAgent — 53.8% 対 56.3%

• AA-Omniscience — 精度61.6%で40.4、これに対し精度65.5%で48.1

• FrontierCode-AA 2.0(インデックス版)— 44.4% 対 46.4%

Omniscienceの行こそ、じっくり向き合う価値がある。これは、モデルが自分が知らないことを知っているかどうかを測る評価だ。Solは61.6%の確率で正しく答え、そのハルシネーション率は55.4%であるのに対し、Opus 5.5は65.5%と50.3%だ。正答率がほぼ4ポイント低く、何かを捏造する頻度が5ポイント高いモデルは、人間が出力を確認しなければならないモデルである——これは、別の方向からやってくる手戻りの主張だ。

総じて、Solは総合スコアで59.1に対して57.3を記録し、タスクあたり25.7分ではなく9.6分、10.04ドルではなく1.01ドルでそれをこなし、スイート全体で出力トークンはOpusの2億1800万に対して6090万を出力する。他がどうであれ、安価なモデルは遅くなく、冗長でもない。

エフォートダイヤルはすでにスイープされています

OpenAIの推論モデルを使ったことがある人なら誰もが抱く明白な反論は、これは設定が間違っているというものだ。エフォートを下げればモデルは考えすぎをやめ、上げれば手抜きをやめる。Artificial AnalysisはすでにCodex内のCoding Agent Indexで全設定を網羅的に試しており、それでも状況は救われない:

• 低 — 37.2

中 — 45.4

• 高 — 47.5

• xhigh — 49.8

• 最大 — 48.6

ピークはxhighにあり、最大ではありません。最大まで負荷をかけると実際には1.2ポイントを失います。これはモデルが自らを疑い始めるときに見られる非単調な結果の一種です。しかし最良の設定である49.8でも、GPT-6.1 Solが最大設定で記録したスコアより2.4ポイント低く、Claude Opus 5.5より8.4ポイント低いです。GPT-6.2 Solがより強力なコーディングエージェントになるダイヤルの位置は存在せず、あるのは49.8に対してどれだけ支払うかという選択だけです。

その選択のコストは知っておく価値がある。絶対額では安くても、相対的に見れば急な負担になるからだ。Intelligence Index では、Sol は low effort で1タスク0.18ドル、medium で0.41ドル、high で0.56ドル、xhigh で0.65ドル、max で1.01ドルかかる。medium から xhigh に移すと、タスクあたりの品質はほぼ2倍になり(同インデックスで52.7から55.7)、コストは58%増える。デフォルトは medium で、これが45.4というコーディングスコアを出す設定だ。Sol を Opus と比較評価するなら、xhigh か max で行うこと。そうしなければ、間違った構成を比較していることになる。

手戻りを予測する、たった1つの数字

同じ実行の中には、「片付けが必要」という体験に直接関係する2つ目のデータ系列があり、それは品質スコアではありません。Artificial Analysisは評価ごとに安全上の拒否を記録し、ハーネスが回復できた拒否と、試行を終了させた拒否を区別しています。SWE-Atlas-QnA-AAでは、372回を超える試行で:

• GPT-6.2 Sol (max) — 拒否25件、そのすべてがハードストップ、試行回数の6.7%

• GPT-6.2 Sol(xhigh)— 拒否 22 件、5.9%

• GPT-6.2 Sol(medium)— 拒否 13件、3.5%

• GPT-6.1 Sol (max) — 拒否 15件、4.0%

• GPT-6.2 Astra (max) — 拒否 8件、2.2%

• Claude Opus 5.5 — 拒否52件、うちハードストップは0件、14.0%

Opus 系は興味深く、安易な読み方に反する。Opus 5.5 は頻繁に、この表のどのモデルよりも拒否する——しかもハーネスは52件すべてを回復したので、そのどれもが実行を台無しにしなかった。Sol は拒否する頻度が低く、ハーネスはその25件のうち1件も回復できなかった。エージェントのターンを終わらせる拒否は、人間が今引き継がなければならないタスクであり、回復される拒否はリトライである。「このリポジトリについて質問に答える」に最も近い評価では、ツイートが苦言を呈しているモデルは、間違った作業ではなく未完成の作業を生み出すモードで失敗する。

13.7ポイントの理解度低下と合わせて読むと、これは無関係な二つの数字ではなく、一貫した筋書きだ。Solはコーディングの検索・報告部分で信頼性が低く、性能が低下するときには、タスクを未解決のまま残す形で低下する。

クリーンアップパスの価格設定

では第三の主張、経済的な主張です。ここは直感が算術に勝つことが最も多いところです。Intelligence Index のタスクあたりコストを使ってください。そのスイートは、対象となるすべてのモデルにとって同じハーネスなので、数値は直接比較できます。GPT-6.2 Sol は $1.01、Claude Opus 5.5 は $10.04 です。

OpenAI's developer documentation page for GPT-6.2 Sol, describing it as the go-to model for everyday work from coding to powering agents at scale, accepting text and image input and producing text, with a 1,050,000-token context window, 922,000 max input tokens, 128,000 max output tokens and a June 1, 2026 knowledge cutoff. The pricing table lists $2.00 per million input tokens, $0.10 cached input, $2.50 cache writes and $10.00 output; it also notes that above 272,000 input tokens the input and cache rates double and output costs 15 times the short-context rate, and that batch costs 50% of standard rates.

Solが完了し、Opusがその後修理するタスクを考えます。pを修理が必要なタスクの割合、rをOpusの1回分のコストに対する修理コストの割合とします。Solで処理してから修理する場合のコストは $1.01 + p × r × $10.04 です。Opusのみのコストは $10.04 です。Solで処理してから修理する方が安くなるのは、p × r が 0.899 を下回る場合です。

それをクリアするのは高いハードルだ。修復がフルパスの半分のコストなら、一つ残らずすべてのタスクを修復しても、Opusに直接進むより78%安く済む。ほぼすべてのタスクで修復が完全なやり直しのコストに近づくときにだけ、請求は逆転する:p = 1 かつ r = 1 では、Opusなら$10.04で済んだものを$11.05払うことになる。1000タスクなら、それは$11,050対$10,040——10%のペナルティであり、ツイートが示唆するような大敗ではない。

お金だけを見れば、手戻りへの不満は、手戻りがほぼ全量に近いものでない限り、価格面の根拠を覆すものではない。しかし、ほとんどのチームが突き当たる制約はお金ではない。時間だ。

• Intelligence Indexタスクあたりの時間 — GPT-6.2 Sol 9.6分 対 Claude Opus 5.5 25.7分

• タスクに完全な Opus のやり直しが必要な場合の時間 — 9.6 + 25.7 = 35.3 分(25.7 分に対して)

• 同じスイートでのトークン消費量 — 60.9M 対 218M の出力トークン

ここでは、手戻りについてのこの主張は留保なしで当てはまる。Solが着手してから返してくるどのタスクも、最初からOpusに頼んでいればかからなかったはずの時間より37%長くかかったタスクであり、その時間を安いトークンで買い戻すことはできない。もし制約が予算ではなく締め切りなら——この不満を投稿するほぼすべての開発者が実際に置かれている状況はこれだが——@doteyが正しく、議論は価格ではなくスループットについてだ。

何が評決を変えるのだろうか

2つあるが、どちらもまだ利用できない。1つ目は公表された手直し率、つまり固定タスクセットで測定した、Solの複雑タスクの差分のうち、より強力なモデルが実際に修正しなければならない割合だ。誰もこれを公表していない。同じチケットで2つのモデルを実行し、結果を差分比較する必要があるからであり、そしてこれこそが議論に決着をつける唯一の数値だからだ。2つ目は、Anthropicハーネスでのコーディング実行におけるGPT-6.2 Solのスコア、またはCodex上のOpus 5.5のスコアで、これにより上記のハーネス間比較が真の直接対決になる。

それに対して、すでに決着している点に注目してほしい。回帰は現実に起きており、しかもそれは一つのハーネス内で起きている。エフォートスイープではそれは解決しない。手戻りを予測する指標である理解度評価は、13.7ポイントも逆方向に動いた。複雑なコーディングをOpus 5.5に任せ続ける理由が欲しい読者には、誰かのローンチ週の印象に依存しない理由がある。

自分のタスクでテストを実行する

手戻り率は自分のバックログ上で午後ひとつ分あれば測定でき、あなたにとって重要なのはこの数字のその版だけです。先月チームが実際に出荷したタスクを20件選び、それぞれを同じエフォート設定で両方のモデルに通し、得られたパッチを人間が最終的にマージしたものと差分比較します。実質的な手戻りが必要だった割合があなたのp、修復パスのトークンコストがあなたのr。

OrcaRouter はそれを調達上の判断ではなくルーティング上の判断にします。つまり anthropic/claude-opus-5.5 と openai/gpt-6.1-sol は どちらも単一のキーで利用でき、ベンダー自身の定価のまま、マークアップ 0% で提供されます。したがって上記の数字がそのまま請求額になります。ここではこれがいつも以上に重要です。なぜなら、ツイートが対抗しているモデル — GPT-6.2 Sol — はまだ当社のカタログにないからです。当社はそれを提供しておらず、ルーティングをどう変えてもその事実は変わりません。当社が提供しているのは Sol が置き換えたモデルで、これは実験における適切な対照です。6.2 Sol にアクセスできる場所ならどこでも実行し、同じタスクで GPT-6.1 Sol を当社経由で実行すれば、13.7 ポイントの理解度低下は、合成スイート上ではなく、自分のコード上で確認または反証できるものになります。

データが示唆するデプロイ形態に対しては、ルーティングDSLが正直な答えだ。計画立案とコードベース理解のステップはOpus 5.5に送り、実行とターミナルループはより安価なモデルに送り、プロバイダーが実行途中で停止した場合には自動フェイルオーバーでカバーさせる。それは設定であってアーキテクチャではない——そして、「Solの後片付けにOpusを使う」とは、不満としてではなくパイプラインとして書き下したときに、こういう姿になる。

モデルをどれに選ぶにせよ、このツイートから持ち帰る価値がある唯一のことはこれだ。コーディングタスクの請求書はトークン数ではない。トークン数に、人間の作業時間(分)を足し、さらに「完了」から「本当に完了」までの経過実時間を足したものだ。Sol はその台帳の1行目を圧倒的に制し、Opus 5.5 はタスクが戻ってくるたびに2行目と3行目を制する。そして、タスクが戻ってくる割合を公表しているベンダーはない。誰かが公表するまでは、信頼できる唯一の数値は自分の diff で測ったものだけだ。

この記事で比較したモデル1

この記事から検出 · ベンチマーク:Artificial Analysis · 毎日更新