ブラウザエージェント向けGPT-6.1 Terra：74.2%を支えるステップごとの数学

OpenAIがGPT-6.1 Terraについて売り込んでいるのは、それがより賢いという点ではない。画面を操作できること——フォームに入力し、技術図面を読み、アプリケーションをクリックして進める——を、安価かつ迅速に実行できることだ。その主張を裏付けるベンチマークはOSWorld 2.1で、Terraは最大推論努力設定で74.2%を記録し、xhighのGPT-6.1 Solとは1.7ポイント以内、GPT-6 Astraとは1.6ポイント以内の差だ。しかしエージェントにとって重要な数値は、タスクスコアではない。そのスコアが示唆するステップごとの信頼性だ。なぜならエージェントはタスク単位ではなく、ステップごとに失敗するからだ。

この記事では74.2%を分解し、OSWorldが測定するもの、ステップごとにそれが何を意味するか、20ステップのタスクにどれほどのコストがかかるか、ループがどこで破綻するか、そして74%の精度を持つエージェントが0%の精度のインシデントにならないようにするガードレールを説明します。

スコアボードが示すもの

• GPT-6.1 Terra — 最大限の努力でOSWorld 2.1において74.2%を達成。

• GPT-6.1 Sol — xhighで75.9%。

• GPT-6 Astra — 75.8%。

• Claude Opus 5.5 — 81.8%。

• Claude Sonnet 5.5 — 80.1%。

• Kimi K3.1 Pro — 79.6%。

3つの解釈は分けて考える価値がある。GPT-6ファミリー内では、Terraとより高価な兄弟モデルの差は誤差程度にすぎず、その価格差はデスクトップ自動化ではほとんど何ももたらさない。ベンダーをまたいで見ると、ファミリー全体はAnthropicに6〜7ポイント劣っている。そしてTerra自身のベンダー周辺の主張——Agents’ Last ExamのmediumでGPT-6 Astraとほぼ同等でありながら、トークンあたりの価格は10分の1——は、OSWorldの数値が大筋で裏付けるタスク単位の主張だ。

タスクスコアから各ステップの信頼性へ

OSWorldのタスクは、一連の操作の後に合格か不合格かで採点される。タスクにおよそ20ステップかかり、Terraがタスクの74.2%をエンドツーエンドで完了すると、暗黙の1ステップあたりの成功率は0.742の20乗根、つまり約98.5%になる。これは算術的な例示であり、測定値ではない。タスクには短いものも長いものもあり、失敗は独立ではない。しかし、これによって規模は正しく示される。74%のモデルのように見えるモデルは、実際には1ステップあたり98.5%のモデルであり、そのギャップこそがエージェント設計の生きる場所だ。

50ステップのワークフローについて、逆方向に計算してみましょう。同じステップごとの成功率なら、エンドツーエンドの成功率は約47%まで下がります。80ステップでは30%になります。タスクスコアは変わりません。変わるのはワークフローであり、だからこそ「エージェントにとって十分に良い」かどうかは、エージェントが監督なしでどれだけ長く動作するかによって完全に決まります。

タスクにかかるコスト

1ステップあたり入力トークン3,000（スクリーンショット、タスク状態、アクション履歴）と、アクション用の出力トークン150を、20ステップにわたって使うと仮定します。

• タスクあたり: 入力60,000で100万あたり1ドルなら0.06ドル；出力3,000で100万あたり5ドルなら0.015ドル。合計0.075ドル。

• 再試行率が30%の場合：成功したタスク1件あたり約$0.0975、つまりタスク1,000件あたり$98です。

• GPT-6.1 Sol で同じワークロードを $2/$10 で実行した場合: タスクあたり $0.15、1,000件あたり $195。

• GPT-6 Astra を $10/$50 で利用する場合: タスクあたり $0.75、1000 タスクあたり $975。

• Claude Opus 5.5を$4/$20で使用した場合：タスクあたり$0.30、1,000件あたり$390。

トークンに関する想定は、価格比よりも重要です。入力コストの大部分はスクリーンショットが占め、そのサイズは選択次第です。フルサイズの1440×900 PNGは、関心領域を切り抜いた画像よりもはるかに多くのトークンがかかります。デスクトップ全体ではなく、各ステップで切り抜いたスクリーンショットを1枚送るパイプラインなら、入力トークンを半分に削減でき、タスクあたりのコストも半分になり、より高精度なモデルとの順位付けが変わります。

レイテンシこそが製品だ

Artificial Analysisは、自社の推論ベンチマークでTerraを毎秒90.9出力トークン、最初のトークンまで133.64秒と測定しており、GPT-6.1 Solの毎秒73.5トークン、284.31秒と対比している。これらのレイテンシ値は最大限の努力を要する推論タスクから得られたものなので、エージェントループにおけるステップごとの遅延を過大に示している。しかし、2倍強という比率は、各モデルが行動する前にどれだけ考えるかを示す適切な指標である。

エージェントループでは、思考時間はタスクごとに20回積み重なる。Solが1ステップに4秒、Terraが2秒かかるなら、20ステップのタスクは80秒ではなく40秒で完了する。OpenAIのスタッフVictor E. Nunezは、TerraがSolより2分以上速くWebフォームを完了したと報告した。それはベンチマークではなく逸話にすぎないが、ユーザーが知らされなくても気づく種類の違いだ。

ループが途切れる場所

• 不可逆的な操作。提出、送信、削除、支払い — 副作用を伴うあらゆる操作には承認ゲートが必要です。ベンチマークスコアがどう変わっても、この原則は変わりません。

• あいまいなインターフェース。「続行」と表示された2つのボタンは、どんなに高性能なモデルでも太刀打ちできません。解決策は、プロンプトとスクリーンショットの衛生管理です。

• 長期的なホライズン。上記のステップごとの計算こそが、1ステップあたり98.5%での教師なしの長期的作業に反対する完全な論拠です。

• 古くなったスクリーンショット。レイアウトシフトの発生前にキャプチャされたフレームは誤りであり、誤ったフレームは自信満々の誤クリックを引き起こす。

• タブをまたいで保持される状態。スクリーンショットベースのエージェントは一度に1つのウィンドウしか見ることができません。マルチタブのワークフローでは、モデルの外部で状態を明示的に追跡する必要があります。

74%を出荷可能にするガードレール

• 上限を設けるべきはステップ数であり、金額だけではない。20という上限は予算であると同時に安全制御でもある。終了できないループこそ、最も高くつく失敗モードだ。

• 副作用をゲートする。外部状態を変更するアクションはすべて、人間またはポリシーチェックを経由させる。

• アクションとともにフレームをログに記録する。エージェントが何か間違ったことをした場合、唯一役に立つ成果物は、そのエージェントが操作したスクリーンショットです。

• アクションスキーマには構造化出力を使用してください。自由記述のアクションは、まさに確実性が必要な瞬間に解析できません。

• タスク単位ではなく、ステップ単位で測定する。ステップあたり2%の劣化はタスクスコアでは見えず、50ステップにわたると失敗率が2倍になる。

• 難しいステップにはセカンドモデルを残す。定型的なフレームにはTerra、曖昧なものにはより強力なモデルを使う方が、リトライ付きのTerraより安価だ。

今日は何を走る？

GPT-6.1 Terraは執筆時点でOrcaRouterのカタログにないため、Terraの系統はOpenAIに対して直接試行する必要があります。比較セットは当社側で、プロバイダー定価に対する0%マークアップで提供中です — GPT-6.1 Solは$2/$10、GPT-6 Astraは$10/$50、Claude Opus 5.5は$4/$20、Claude Sonnet 5.5は$2/$10、Kimi K3.1 Proは$2/$10 — すべて1つのキーで、自動フェイルオーバー付きです。

実行する価値のある実験は「どのモデルがOSWorldで最も高いスコアを得るか」ではない。あなた自身のタスクセットを、スクリーンショットのポリシーを固定したまま、ステップごとに採点することだ。この測定が、実際に運用するタスクにおいてTerraの価格と速度がClaude Opus 5.5との7.6ポイントの差に値するかどうかを決める——そしてこれは、エージェント製品を構築する上で唯一依拠できる数値だ。