GPT-6.1 Terraの最大の数値は38%：IQではなくハルシネーション率

GPT-6.1 Terraの発表をめぐる報道は、6点の知能向上と半額のカードに集中している。しかし、このモデルの使い方を実際に変える数字は38%だ。これはArtificial Analysisが測定した、Terraが知らないときに推測で答えてしまう頻度であり、GPT-5.6 Terraの88%から低下したものだ。推測が50ポイント減ったことは、今回のリリースにおけるあらゆる品質向上を合わせたものよりも大きく、モデルを「答えはでっち上げられていると想定する」段階から「サンプリングして検証する」段階へと移行させる。

この記事は、このリリースで人々がハルシネーションと呼ぶ2つの異なるもの——独立した全知性指標とOpenAIの内部エラーテスト——を切り分け、38%の推測率が実際の検証パイプラインでどれほどのコストになるかを算定している。

38%が測定するもの

Artificial AnalysisのAA-Omniscience評価は、モデルに答えを知らない可能性のある質問を投げ、それでも自信を持って回答する頻度を集計します。GPT-5.6 Terra：88%。GPT-6.1 Terra：38%。同じ期間に正確さは2ポイント上昇しました。

合わせて読むと、その2つの事実は、劇的に知識が増えたモデルではなく、「わからない」と言うのをよりためらわなくなったモデルを描いている。知能指数は6ポイント動き、42から48になった。回答を控える行動は50ポイント変化した。モデルを使って事実を抽出する人にとって、それはより価値のある変化だ。

まだ十分ではありません。38%というのは、モデルが答えられない質問群において、3件に1件以上で依然として自信を持った誤答が返ってくるということです。知識がないときに62%の確率で回答を控えるモデルは、12%の確率で控えるモデルよりはるかに安全ですが、それでも確認なしにお客様の前に出すものではありません。

ベンダーの番号は別のテストです。

OpenAIの目玉は、エラーを誘発するように設計されたプロンプトにおける37ポイントの低下です。低エフォートのGPT-5.6 Terraでは53.6%から、Terraでは16.7%へ、最大エフォートでは4.3%へと下がっています。このテストは社内用で未公開であり、敵対的に構築されたものです。これは、モデルが失敗させるために仕組まれたプロンプトに抵抗できるかどうかを測るものであって、知識が不足しているときに事実を捏造するかどうかを測るものではありません。

両方の数値は真であり得る。ベンダーのテストは敵対的プロンプトに対する堅牢性を測り、独立したテストは知識不足下での較正を測る。両者は相関するが、交換可能ではない。ローンチ時の報道は主に前者を後者の証拠として扱ってきた。そうではない。

38%の推測率がもたらすコスト

検証は、あらゆる低コストモデル導入における隠れた費目であり、その規模は推測率に比例して増大します。月間10万ページを処理する文書抽出パイプラインを例に取ると、人間による抜き取り検査のコストは検査1ページあたり2ドルです。

• 88%の推測率では、抜き取り検査はできません。すべてを検査することになります。100,000ページ × $2 = 月額$200,000。トークン請求額は問題ではありません。

• 38%の時点で、サンプリング方式が実行可能になります。ページの20%をチェックします。20,000 × $2 = 月額$40,000で、残りについては見逃し率が既知です。

仮に10%の場合、5%を検査すると月額10,000ドルかかり、それでもエラー率を抑えられます。

Terraの料金でのパイプライン自体のトークンコストは、1ページあたり入力20,000トークン、出力500トークンとすると、10万ページあたり2,250ドルです。検証のコスト項目は、モデルのコスト項目の10倍から90倍大きくなります。安価なモデルを比較するための正しい枠組みはこれです。請求額はモデルとレビューの合計であり、レビューは推測率によって決まります。

どのタスクが推測を許容しますか

• 寛容 — 完全にコンテキスト内にある文書の要約（回答は入力に根拠づけられる）、固定ラベルセットによる分類、人間が編集する下書き作成、不正な形式の出力を拒否するスキーマを用いた抽出。

• 不寛容 — 検索を伴わない事実に関する質問応答、財務数値、法的引用、医療用量、もっともらしい誤った回答が回答なしより悪いあらゆる事柄。

分かれ目はモデルの知能スコアではなく、その回答を情報源と照合できるかどうかだ。あらゆる出力が検証されるタスクでの38%の推測率は効率上の問題である。出力がそのまま顧客に届くタスクでは、それは賠償責任のリスクになる。

自分のデータでそれを測定する方法

• モデルが文脈から答えられない質問のセットを作成する。推測率は、テストセット全体ではなく、答えられない項目で測定される——すべての質問に答えがあるテストは、キャリブレーションではなく精度を測定する。

• 2つではなく3つの結果を評価する：正解、不正解、回答の棄権。「unknown」と答えるモデルは、答えられない項目に対して正しく行動している。

• 同じセットでGPT-5.6 Terraと比較してください。50ポイントの改善はベンダーに依存しない主張ですが、それはArtificial Analysisの質問に基づいて測定されたものであり、あなたの質問では異なる結果になる可能性があります。

• エフォート設定に注意してください。エラー率に関する主張はエフォート設定に依存しており、回答を差し控える行動も推論エフォートに応じて変動する可能性が高いです — 低エフォートの実行では、最大エフォートの実行よりも推測が多くなる可能性があります。

棄権を促す

キャリブレーションは部分的にはプロンプトの特性です。自信のある推測を確実に減らす3つのパターン：

• モデルに明示的な逃げ道を与える —「答えが提供されたコンテキストに存在しない場合は、UNKNOWN と返答する」— そして、答えられない項目ではその返答を正しいと採点する。

• すべての事実的主張には引用を求め、引用が文脈と一致しない出力は拒否する。

• 信頼度ラベルを求め、低信頼度の回答は、安価なモデルに確信を持たせるのではなく、第2のモデルまたは人間に回してください。

これらのそれぞれはトークンを消費し、工程を追加する。どれも、誤った回答が顧客に届くよりは安価であり、38%という数字こそが、このトレードオフを無視するのではなくコストを見積もる価値があるものにしている。

なぜこれがインデックスよりも重要なのか

6ポイントの知能向上は、モデルがそもそも実行できるタスクを変える。推測における50ポイントの変化は、人間をループに入れずに実行できるタスクを変える。ルーティングの判断では、後者の方が有用な軸となる。なぜなら、安価なモデルをタスクで監督なしに使えるかどうかを決めるのは後者であり、監督こそが本番コストの大半を占めるからだ。

GPT-6.1 Terraは、幻覚を起こさなくなったモデルではない。前世代の半分未満の頻度で幻覚を起こし、価格は半分で、より新しい知識カットオフを備えたモデルだ。その組み合わせは本当に有用であり、これは能力の話ではなく検証の話である。

今日実行できるもの

GPT-6.1 Terraは執筆時点でOrcaRouterのカタログに掲載されていないため、その回答を控える挙動はOpenAIに対して直接測定する必要があります。比較対象はすべて当社側でプロバイダー定価に対する0%の上乗せで提供中です——GPT-5.6 Terraは$2/$12、GPT-6.1 Solは$2/$10、GPT-6 Astraは$10/$50、GPT-6 Lunaは$0.10/$0.50、Claude Sonnet 5.5は$2/$10——これだけでTerraが登場する前にキャリブレーションセットと検証コストモデルを構築するのに十分です。

その実験に持ち込む数値は48ではありません。38です。そして問うべきは、その推測率においてレビュー予算がどのようになるかです。