GPT-6.1 Terraのベンチマークを整理：48が52と並ぶところ、そうでないところ

GPT-6.1 Terraの総合スコアは48。GPT-6.1 Solは52、GPT-6 Astraは53、GPT-5.6 Terraは42、GPT-6 Lunaは38だ。Artificial Analysis Intelligence Indexの最上段だけを読むなら、話はこれで全部だ——前世代を6ポイント上回り、より高価な兄弟モデルを4ポイント下回る中位モデル。だが、これはこのリリースを読む上で最も役に立たない方法でもある。同じ指数は、Astraに対する29ポイントのコーディング差、Claude Opus 5.5に対する7.6ポイントのコンピューター利用差、そして今回のローンチにおけるすべての知能向上を合わせたよりも大きなハルシネーション改善を隠しているのだ。

以下では、数値を3種類に分ける。Artificial Analysisによる独立した測定値、OpenAIが報告したベンダー公表の結果で外部の誰も再現していないもの、そして派生した数値——最初の2つのいずれかをコストや比率に変換する計算——である。この区別は重要だ。なぜなら、発表時の報道はすでにそれらを混同し始めているからだ。

誰もが引用する3つのスコア

Artificial AnalysisはGPT-6.1 Terraをインテリジェンス指数で48、221モデル中25位、インデックスタスクあたり0.40ドルと掲載している。GPT-6.1 Solは52で13位、タスクあたり0.72ドル。現行フラッグシップのGPT-6 Astraは53。GPT-5.6 Terraは42で53位、タスクあたり1.40ドル。GPT-6 Lunaは38。

ラダーとして捉えると、Terraは真のアップグレードだ。完成タスクあたりのコストは3分の1未満で6ポイント高く、予算ティアより10ポイント上だ。Solとの比較として読むと、まさに価格表が示唆するとおりだ——4ポイント劣り、トークン価格はおよそ半分だ。総合評価の中に、OpenAIのポジショニングと矛盾するものは何もない。

この合成指標は、平坦化すべきでないものまで平坦化している。TerraとSolの間の4指数ポイントはスケールの8%、Coding Agent IndexにおけるTerraとAstraの間の29ポイントはそのスケールの60%だ。単一の数値で両方を表すことはできず、最初の数値だけを引用する発表時の報道は、二つ目の数値を静かに落としている。

格差が広がるところ：コーディング

Artificial AnalysisのCoding Agent Index v2.0では、GPT-6.1 Terraが48、GPT-6.1 Solが54、GPT-6 Lunaが31を記録しています。これはSolより6ポイント低く、Lunaより17ポイント高いということで、インテリジェンス指数と同じ構図ですが、ファミリー内の最高スコアとの差が相対的により大きくなっています。

ベンダーが公表した数値はより好意的な話を物語っているが、それはベンダー自身の数値でもある。OpenAIは、最大エフォート設定でのTerminal-Bench 4.0で50.3%を解決したと報告しており、GPT-5.6 Terraは21.5%だ。これは2倍以上であり、今回のリリースにおける世代間での単一最大の伸び幅である。また、これはターミナルタスクのベンチマークであり、広範なコーディングエージェント指標ではない。Terraは、短く範囲の明確なシェル作業ではSolに近い性能を出しながら、より広い指標では依然として6ポイント遅れることがあり、その両方が同時に成り立つ。

実用的な解釈としては、Terraのコーディング能力の向上は、タスクの範囲が限定されている場面に集中している。『このテストスイートを実行し、失敗を読み取り、ファイルにパッチを当てる』というのがTerraの得意な形だ。『15ファイルにまたがるリファクタリングを40ステップにわたって頭の中で保持する』ことはそうではなく、OpenAI自身の推奨でも、複雑なプログラミング作業には依然としてSolまたはAstraが挙げられている。

指数が示唆するよりも格差が小さいところ：コンピューター利用

OSWorld 2.1という標準的なデスクトップ自動化ベンチマークでは、GPT-6.1 Terraは最大推論で74.2%を記録しています。GPT-6.1 Solはxhighで75.9%、GPT-6 Astraは75.8%です。比較可能なモデルの中で首位はClaude Opus 5.5の81.8%で、Claude Fable 5.1が80.7%、Claude Sonnet 5.5が80.1%、Kimi K3.1 Proが79.6%となっています。

ここから二つのことが導かれる。第一に、Terra は、それが作られたタスクにおいて、トークン価格が半分でありながら Sol との差が 1.7 ポイント以内に収まっている——これは、4 ポイントの知能差が示唆するよりもはるかに良い取引だ。第二に、GPT-6 ファミリー全体はデスクトップ自動化において Anthropic に 6〜7 ポイント遅れを取っており、Terra はその差を埋めていない。あなたの製品がブラウザエージェントなら、興味深い比較は Terra 対 Sol ではなく、Terra 対 Claude Sonnet 5.5 だ。後者は Sol よりトークンあたりの価格が安く、OSWorld で 5.9 ポイント高いスコアを出している。

ベンダー自身のエージェント性能の数値も同じ方向を示している。Agents' Last Exam v1では、OpenAIは中程度のエフォートでTerraが57.6%、最大エフォートでGPT-5.6 Terraが50.7%だと報告している。それに付随する主張——中程度のエフォートでGPT-6 Astraに匹敵し、トークンあたりの価格はおよそ10分の1——はタスク単位の主張であり、このローンチで最も経済的に意味のある一文だ。

実際に動いた数字：ハルシネーション

Artificial AnalysisはOmniscienceハルシネーション率を測定しています。これは、モデルが知らない場合にどれくらいの頻度で推測してしまうかを示すものです。GPT-5.6 Terraは88%を記録しました。GPT-6.1 Terraは38%です。同じ期間に精度は2ポイント上昇しました。

推測率の50ポイント低下は、今回のリリースにおけるどの知能向上よりも大きく、モデルを安全に使える用途を変える唯一の数値だ。不確かなときに88%の確率で回答をでっち上げるモデルは、すべての出力を人間が確認しない限り、請求書抽出やフォーム入力に信頼して使えない。38%でも依然として3分の1超の確率で推測している——これは改善であって解決策ではない——が、失敗の様式は「誤っていると想定する」から「サンプリングして検証する」へと移る。

それは直接的なコストにつながります。検証は、あらゆる安価なモデル導入における隠れた費目です。回答の88%を確認しなければならないなら、人件費がトークン節約分をはるかに上回ります。38%ならスポットチェックが現実的になり、1タスクあたり0.40ドルという数字は、見えている半分ではなく実際のコストのように見え始めます。

ベンダーの主張と、そこに欠けているもの

OpenAIが公表した結果は、執筆時点ですべてベンダー自身による実施で、独立して再現されたものはない：

• Terminal-Bench 4.0 — 最大エフォート時で50.3%、GPT-5.6 Terraの21.5%に対して。

• Agents' Last Exam — 中程度のエフォートでGPT-5.6 Terraを15ポイント上回り、コストは約3分の1。

• MMMU-Pro — すべてのエフォートレベルで GPT-5.6 Terra を上回り、Astra と Sol に迫るものの、絶対スコアは公開されていません。

• Terminal-Bench-Science 0.1 — 推定コストの5分の1未満で、Claude Opus 5.5との差は5ポイント以内。

• エラーを誘発するプロンプト — 低エフォート時で16.7% 対 53.6%、最大時で4.3%（同社が未公開の内部テストにおいて）。

そのリストに見られるパターンは、指摘する価値がある。最も強い主張の2つ——MMMU-Proとエラー率テスト——は、絶対値が添えられていない2つだ。「Astraに迫る」「Solに近い」は、その背後にある数値なしには検証できない比較表現だ。具体的な数字を伴う主張は第三者が再現できるものであり、Artificial Analysisはすでにコスト面を再現している。タスクあたり0.40ドル、前世代は1.40ドルだ。

速度はインデックスに含まれない独立した数値です。

Artificial Analysisは、その推論ベンチマークにおいて、GPT-6.1 Terraを毎秒90.9出力トークン、初回トークンまでの時間133.64秒と測定しています。GPT-6.1 Solは毎秒73.5トークン、284.31秒と測定されています。これは約24%多いスループットと、初回トークンまでの時間で2倍強の優位性に相当します。ベンダーの主張ではなく独立した測定であり、今回のリリース全体でTerraを支持する最も強い客観的根拠です。

チャット製品ではスループットはほとんど問題にならないが、1タスクにつき20ステップかかるコンピューター操作ループでは、40秒のタスクが90秒になるかどうかの差になる。この指標はレイテンシを評価に織り込んでいない。だからこそ、品質で13位のエージェントにとって、25位のモデルが適切な選択になり得る。

インデックスに惑わされずに読む方法

• 総合スコアはランキングではなくフィルターとして扱いましょう。どのモデルが候補に残っているかは教えてくれますが、どのモデルがあなたのタスクで勝つかまでは教えてくれません。

• コーディングとコンピューター使用のサブスコアを個別に見てください。Terraの形状は異例なほど幅広く、デスクトップ自動化ではSolに近い一方、コーディングでは6ポイント、総合では4ポイント後れを取っています。

• 絶対値は単一の日付を基準に再確認する。インデックスは定期的に再正規化されるため、異なる週の記事では同じモデルについて異なる数値が引用されている。

• ワークロードに検証コストが伴うなら、ハルシネーション率をインテリジェンススコアと同じくらい重視してください。50ポイントの改善は、単なるスコアではなく、運用モデルそのものを変えるものです。

• 自分のタスクを測定しましょう。Artificial Analysis によるタスクあたりコストの数値は、あくまで彼らのプロンプトに基づく代理指標です。あなたのプロンプトでは、トークン価格と試行回数の比率は異なるものになります。

これらはいずれも、GPT-6.1 Terra を悪いモデルにするものではない。それは、ある特定のモデルだ。高速で安価、幻覚がはるかに少なく、画面関連ではより高価な兄弟モデルに近く、コードではフラッグシップからは遠いモデルである。総合スコアは48を示す。サブスコアは、その48で何を買っているのかを教えてくれる。