GPT-6.1 Sol の推論トレース用タイトルカード。サブタイトルは「読めるのは要約だから — 漏えいしたからではない」。3枚のカードを積み重ねて比較している。生の思考連鎖には返却されないと表示され、推論サマリーチャネルにはオプトインと表示され、reasoning_tokens はデフォルトで返される唯一の推論サーフェスである。見出しではモデル名をスペースなしの「GPT-6.1Sol」として表示する。
Guides & Insights

GPT-6.1 Solの推論トレース:読めるのは要約だからであり、漏洩したからではない

著者

Rowan Sterling

公開日

最新モデル · 20すべてのモデルを見る →
ベンチマーク:Artificial Analysis · 毎日更新
すべての記事に戻る

2026年10月21日00:46 UTC、GPT-6.1 Solの推論テキストのスクリーンショットがXで出回り始めた。投稿したのは@scaling01で、キャプションは「推論トレースは完全に判読可能、心配することは何もない」だった。冗談——そしてこれは冗談なのだが——は、トレースが平易な英語で判読できるということであり、それはまさに、強化学習が正常に機能しなくなったことを意味するとアンドレイ・カルパシーが2024年9月に述べた条件そのものだ。何よりも先に2つ言っておくべきことがある。第一に、このモデルは新しいものではない:GPT-6.1 Solは2026年9月29日にOpenAI DevDayでリリースされ、この投稿にはローンチ、バージョンアップ、機能発表のいずれも含まれていない。第二に、スクリーンショットはスクリーンショットだ——一人の観察者による一つの応答の見方であり、それを再現していない人々によって再投稿されたものだ。新しく、日付を特定できるのは、そのスクリーンショットが引き起こした議論であり、それは10月21日を通じて展開し、カルパシーの返信と、潜在推論について議論する研究者たちの一群を巻き込んだ。その議論は分解する価値がある。なぜなら、その根底にある前提は、具体的かつ検証可能な形で誤っているからだ。 そのどれも仮定の話ではない。このようなリリースの背後にある、記録されたAI障害やエージェント事故はOrcaRouter AI Incident Archiveに集められており、各項目には独自の情報源、重大度、信頼度グレード、異議ありフラグが付いている。

実際に投稿されたもの、そして実際に検証されているもの

枠組みを取り払ってしまえば証拠は薄いが、こうした話ではそれは普通のことだ。あるユーザーが、モデル出力のスクリーンショットを投稿した。それは、高いトレーニング圧力下で思考の連鎖テキストがしばしば崩れ落ちる、圧縮され句読点のない略記ではなく、普通の整った英文の散文として読めるものだった。その投稿はアーカイブされた時点で約6万5,600回閲覧されていた。Karpathyは「ああ、RLは今ちゃんと機能していると言っていいだろう」と返信し、2024年9月の自身の発言を引用した。それは、モデルが思考の連鎖の中で英語を話さなくなったとき、RLが適切に行われていると分かるというものだった。他の人々はさらに踏み込んだ。ある返信は、この分野は「いっそ腹をくくって完全な潜在推論に切り替えたほうがよい」と示唆し、別の人は、トレースは空白を失っただけであり、それを復元すると、監視することと要件を勝手に作らないことについての、普通の簡潔なモデルの文言になったと主張した。

そのスレッドでは3つの別々の主張が絡み合っており、それらの証拠としての位置づけは大きく異なります。GPT-6.1 Sol に帰属される出力に判読可能な英語が現れたこと — 未検証であり、スクリーンショット1枚のみで、プロンプトもリクエストIDも公開されていません。その判読可能性が、モデルの内部推論が今や読めるようになったことを意味するという主張 — 未検証であり、次の節で示すように、おそらくカテゴリー錯誤です。判読可能性がRLの効き具合について何かを示すという主張 — この構成でモデルを実行したことのない人物による、冗談として提示された解釈です。3つともコミュニティの観察として扱ってください。いずれも発見ではありません。

APIが実際に返す内容、それが誰も引用しなかった部分です。

スレッドが省いた詳細は次のとおりです。GPT-6.1 Solはその思考の連鎖を返しませんし、O​penAI自身のドキュメントにもまさにそう明記されています。APIはモデルが生成する生の推論トークンを公開せず、実際に返す推論項目も不透明なままです。呼び出し元に返るのは3つの別個のもので、そのうち文章形式なのは1つだけです:

• 生の思考連鎖 — どのようなエフォートレベルでも、どのようなパラメータの組み合わせでも、決して返されることはありません。

• 推論の要約 — オプトインで、summaryパラメータを通じて要求され、モデルによって、実際に推論したトークンから抜き出されるのではなく、物語形式の説明として記述されます。

• トークン数 — output_tokens_details.reasoning_tokens。これは数値であり、デフォルトで推論が表面化する唯一の場所です。

スクリーンショットはほぼ間違いなく、その中段の項目だ。要約チャネルは設計上可読であり、まさにそれが存在意義だ。それは人間が読むためのレジスターで、人間が読むために生成される。その流暢さが語るのは要約器の文体であり、その下にある計算の形ではない。手がかりも微妙ではない。スクリーンショット内のテキストがスペースを保ったまま、文が解決された形で現れているなら、それは決して生のトレースではなかった。スペースは単に剥ぎ取られただけで復元できると論じる返信は、同じ点を逆方向から述べており、スレッドで最も技術的根拠のある寄与だ。

Screenshot of OpenAI's reasoning guide documentation stating that raw reasoning tokens are never returned, that reasoning items are opaque and encrypted, and that summaries must be requested explicitly, alongside the reasoning.effort and reasoning.context parameters.

なぜKarpathyのあの言葉が、これまで適用されてきたのと同じようにはここでは当てはまらないのか

2024年の主張は、特定の診断手法に関するものだった。すなわち、生の連鎖的思考テキストが非英語や解析不能な略記へと劣化していることは、そのポリシーが最適化されすぎて、言語層が伝達以外の何かをしている証拠だというものだ。この診断は生のトレースにしか効かない。要約に対して実行すれば、あなたは要約器をテストしているのであり、それは独自の目的——読みやすくあること——を持つ別のモデルパスだ。読みやすい要約は、基になるポリシーが整っていようとなかろうと得られるものだ。

これはその場しのぎで作られた区別ではない。OpenAIが監視可能性に関する補遺をそもそも公表する理由はまさにこれだ。もし生の推論をユーザーが読めるものにしていたら、安全性の論拠はユーザーがそれを読むことに依存していただろう。そうではなく、論拠は、どのAPI呼び出し元よりもトークンに近い位置にある監視機構と、意図的にレンダリングされたものになっている要約チャネルに依存している。読者にとっての帰結は明快だ。APIからGPT-6.1 Solの推論を監査することはできない。監査できるのは、その回答、トークン数、そして提示された要約だけだ。スクリーンショットを通じてその心を読んだと主張する人は、モデルが自分自身について書いた文書を読んだにすぎない。

「そこに何か問題があるか」に実際に関係してくる数値

モデルが自分自身について語ることではなく、モデル内部で何が起きているかについての証拠を求めるなら、9月のデプロイ安全性補足文書が唯一の実質的な公開情報源であり、しかもそれはベンダー自身が実施したものだ——O​penAIが自社モデルを測定し、手法を公開したが、外部の第三者がそれを再現したことはない。その思考連鎖(chain-of-thought)の節からは、覚えておく価値のある2つの数値が得られる。

• CoT制御可能性 — GPT-6.1 Solが44.8%、これに対してGPT-6 Astraが60.9%、GPT-6 Solが23.2%、GPT-5.6 Solが16.1%。数値が高いほど、外部のプロンプトが推論テキストをより容易に誘導できることを意味する。

• 最大限の努力を行った場合のCoTモニター回避 — ほぼゼロ。ベンダー自身のハーネスでは、フルコンテキストモニターが仕込まれた行動の100%を捕捉した。

• 推論におけるステガノグラフィー符号化 — 同一文書によれば、試みられたものの実証されていない。

A single-column scoreboard of six figures for GPT-6.1 Sol: chain-of-thought controllability 44.8%, against GPT-6 Astra at 60.9% and GPT-6 Sol at 23.2%; chain-of-thought monitor evasion at max effort near zero; Artificial Analysis Intelligence Index 52; price $2 in and $10 out per million tokens. The footer reads 'Controllability and monitor figures vendor-reported, unreproduced; AA Index per Artificial Analysis v4.3.2.'

これらを併せて読むと、全体像はツイートが示唆した方向で警戒すべきものとは正反対だ。表面上最も流暢に読めるモデルは、推論が最も制御しやすいモデルではない。Astraは制御可能性でより高いスコアを出しつつ、レビュアーが総合的に能力が高いと評するモデルでもある。GPT-6.1 Solの推論は比較的動かしにくく、ベンダー自身の数値では、全コンテキストを参照するモニターが追いやすい。「心配することは何もない」は冗談だが、公表された証拠を見る限り、そう大きく外れてはいない——特に監視可能性という狭い問いについては。

潜在推論は、別の問題に対する確かな答えである。

「完全な潜在推論への切り替え」という返信は、そのスレッドが払ったよりも敬意に値する。なぜなら、それは真の緊張関係を指摘しているからだ。推論が連続ベクトルのままであれば、読み違えるべき可読なものは何もなく、要約すべきものもなく、誘導すべきものもない――そして監視者が読むべきものもない。だからこそラボは単純にそうしてはいない。潜在推論は監視可能性を能力の伸びしろと引き換えにする。そのスレッドの誰も、労せず得られる利益を提案していたわけではない。人々がその窓を覗き込むのをやめさせるために、窓を閉じようと提案していたのだ。

知っておくべき第二の攻撃面がある。今年発表された、独自APIからサイドチャネルを通じて推論トレースを抽出する研究——レスポンスボディを読むのではなく、プロンプトインジェクションやトークンタイミング攻撃を用いる——は、返すつもりのなかったトレースでも外部に漏れ得ることを実証した。O​penAIの設計は、その攻撃の明白な形を塞いでいる。レスポンスボディにはトレースではなくレンダリング結果が含まれるからだ。しかしタイミングチャネルは塞いでおらず、塞いでいるとは主張されていない。真剣な読者が注視すべきリスクはそれであり、スクリーンショットが扱っていたリスクはそれではない。

こうしたことを自分で安く確かめる方法

そのすべては午後半日で検証可能で、コストも十分に低いため、当社の主張も含め、誰の言葉も鵜呑みにする理由はありません。GPT-6.1 Sol の価格は入力100万トークンあたり2ドル、出力100万トークンあたり10ドルで、キャッシュ済み入力は0.10ドル、キャッシュ書き込みは2.50ドルです。コンテキストは1,050,000トークン、最大出力は128,000トークンです。エフォートの階段には5つの段階——low、medium(デフォルト)、high、xhigh、max——があり、「none」や「minimal」の設定はないため、このモデルに推論を完全に省略させることはできません。reasoning.context は all_turns を受け付けます。これは、複数ターンの会話にわたって推論状態を引き継ぎ、ターンごとにリセットしないようにします。

Screenshot of the OpenAI documentation page for GPT-6.1 Sol showing the model header with its 1,050,000-token context window and 128,000-token maximum output, the $2 per million input and $10 per million output pricing, cached input at $0.10, and the five reasoning effort levels from low to max.

実行する価値のある実験は「英語のように読めるか」ではなく「要約が答えを追跡しているか」です。同じ難しいプロンプトを low、high、max で送り、それぞれで要約を要求し、その要約を採点済みの正確さ、およびreasoning_tokensと比較してください。要約が膨らむ一方で精度が横ばいなら、その要約は飾りです。reasoning_tokens とともに精度が上がり、要約が簡潔なままなら、その要約は情報を失うが正直な指標です。どちらの結果もスクリーンショットより情報量が多い。

その比較はまた、ルーティング層が後付けではなく本来の役割を発揮する場面でもあります。OrcaRouterはopenai/gpt-6.1-solを、200以上の他のモデルとともに1つのキーで0%のマークアップで提供しているため、上記の$2/$10がそのまま支払う金額となり、ベンダーの価格変更も同日に反映されます。フェイルオーバーはこの特定のテストにとって重要です。3つのエフォートレベルを並列で実行するということは、レート制限や不正なゲートウェイに遭遇する機会が3回あるということであり、正常なプロバイダーへの自動フェイルオーバーによってA/B/C比較が途中で終わらずに完了します。エンドポイントごとに個別のクライアントコードを書くことなく、サマリーチャネルと生回答チャネルを並べて計測したい場合、ルーティングDSLがそれらの呼び出しを1か所にまとめます。

実際にこの作品を変えるものは何だろうか

2つの進展があれば、これはリーク記事のような読み物からニュース記事に変わる。1つ目は、要約以外の何かを返すAPI契約の変更だ。raw-traceパラメータ、デバッグモード、リサーチプレビューなどである。O​penAIの10月の変更履歴には推論トレースや生の思考連鎖に関する項目はなく、ドキュメントの文言も変わっていない。そのため公開時点で契約は不変である。2つ目は、再現可能な独立した結果だ。誰かがプロンプト、リクエストID、出力を公開し、特定のエフォートレベルで要約が採点された正しさから乖離していることを示す。それは発見となる。プロンプトのないスクリーンショットは発見ではない。

こうした議論が交わされている中で、モデルが実際にどこに位置するかの参考として:Artificial AnalysisはGPT-6.1 Solをv4.3.2のIntelligence Indexで52と測定しており、214モデル中12位、タスクあたり$0.72、1秒あたり55.2トークンです——独立して実施されたもので、注目すべきはタスクあたりコストの数字です。なぜならGPT-6 Astraは$10/$50の料金設定で、タスクあたり$3.26で53を記録しているからです。ARC Prizeの検証済みスイートでは、GPT-6.1 SolはARC-AGI-1で98.5%、ARC-AGI-2で94.2%です。これらは能力の数字です。それらは推論が読み解けるかどうかについては何も語っておらず、まさにそれがこのスレッドが陥っていた混同です:モデルは優秀かつ不透明であり得るし、あなたが読む要約は好意によるものであって、内部を覗く窓ではありません。

この記事で比較したモデル1

この記事から検出 · ベンチマーク:Artificial Analysis · 毎日更新