Claude Sonnet 5.5とExtra Effort：「Next Claude Model」という主張がそれ自体のテストの両方で失敗する理由

11月5日12:44 UTCに、@chetasluaというXアカウントが、10月以降さまざまな形で出回っている一文を投稿した：「Sonnet 5.5 Extraは次のClaudeモデルへのルーティングのように見える。」翌朝までに、その投稿は20,900回表示、384件のいいね、38件の返信を獲得していた。それが名指しするモデルは、今日呼び出せるものだ——Claude Sonnet 5.5、9月28日に100万トークンあたり2ドルと10ドルで提供開始された。「Extra」という語は2つ目のモデルではない。それはClaudeのエフォートメニューで上から2番目の段階であり、AnthropicはExtra highと呼び、APIではxhighと呼んでいる。

証拠として2つのテストが提示されている。アンドレイ・カルパシーが2026年にどこへ行ったかという問いと、すべてSVGで描かれた自転車に乗ったペリカンだ。どちらのテストも、Anthropicが9月にリリースしたモデルで合格する。主張の難しさはまさにそこにある。一方のテストは、Claude Sonnet 5.5自身のトレーニング期間の1か月以内に収まる事実を確認するものだ。もう一方は、Extra設定が増やすために存在する量を測定する。どちらも「より良いモデルが答えた」ことと「私が選んだ設定がそのドキュメントに書かれている通りのことをした」ことを区別できない。

それはその投稿を無価値にするものではない。むしろ、決定的に思えて実際にはそうではないテストの、きれいな標本にしている——そしてそれが用いる二つの手法、知識プローブと出力サイズの比較は、この秋のほとんどのルーティング主張の背後にあるのと同じ二つの手法だ。それらを一つずつ見ていくほうが、Anthropicがまだ発表していないことについてまた推測を重ねるより有益だ。

実際に投稿されたのは何ですか？

この投稿は、1回のチャットセッションと2つのプロンプトについて述べている。最初のプロンプトは、2026年にKarpathyがどこへ行ったのかを尋ね、モデルにウェブを使わないよう指示していた。返答では、彼は2026年5月にAnthropicの事前学習チームに加わったと述べられていた。2つ目は「ペリカンが自転車に乗っている様子を、コードだけで可能な限りリアルに」と尋ねるもので、その結果は26,599個のSVG要素、約6,500本の羽のストローク、埋め込み画像・データURI・スクリプトなし、1,860行のPythonと説明されている。投稿者はこれら2つのやり取りから、そのラベルは名前に掲げているモデルより新しい何かを提供していると結論づけている。

何も添えられていない。モデル識別子も、料金表も、システムカードも、Anthropicの声明もない。それが示唆する後継モデルは10月以降、複数の名前で流布してきたが、いずれもAnthropicのものではなく、どれも呼び出し可能ではない。今日時点でAnthropicのモデル一覧を読むと、現行モデルが4つ掲載されている。Claude Fable 5.1、Claude Opus 5.5、Claude Sonnet 5.5、Claude Haiku 5.5だ。5行目はなく、読者が試せる識別子は投稿のどこにもない。

謎になる前の「Extra」とは何か

Claudeのアプリのエフォートメニューには5つの段階——Low、Medium、High、Extra high（xhigh）、Max——が並び、モデルが推奨する段階にはDefaultと表示される。「Extra」は4番目の段階を短く呼ぶときの言い方だ。Anthropic自身のリファレンスでは、xhighは長期的な作業向けの拡張能力と説明されており、「数百万トークンの予算で、30分を超える長時間実行のエージェント的・コーディング作業」を対象としている。これはベンダーが、この段階が一つ下の段階よりはるかに多くを消費することを意図していると、前もって告げているようなものだ。

その段階もまた、グローバルではなくモデルごとに調整されている。Anthropicによるこの世代の移行ノートには、Claude Sonnet 5.5のエフォートレベルが再調整されており、あるレベルは「Claude Sonnet 5のときと同じ量の思考を生み出さない」と明記され、開発者には設定を引き継ぐのではなくエフォートスイープを再実行するよう指示している。そこから二つの帰結が導かれる。どちらも退屈で、どちらもその推論にとって致命的だ。Sonnet 5.5でExtraのリクエストは、前世代でExtraのリクエストと同じではない。したがって「記憶しているものとは違う感じがする」のは想定内だ。そしてダイヤルをHighからExtraに回すことは、より多くのトークンを使うよう指示することであり、より長く、より密で、より精巧な描画こそが求められた結果だ。

ここで押さえておくべき表層的な細部がもう一つある。それは、ラベルが一致しなくなる地点だからだ。このモデルに対する Claude API のデフォルトの effort は high であり、同じモデルに対する Claude Code のデフォルトは medium である。アプリで Extra に設定した応答、API のデフォルトでの応答、Claude Code のデフォルトでの応答は、同一モデルの三つの異なる構成である。そのうち任意の二つを比較して、新しいモデルが登場したと結論づけるのは、チェックポイントではなくデフォルトを比較しているにすぎない。

テスト1：6月のカットオフ時点で照合される5月の事実

Karpathyの問いは2つの探りのうちより強力なものだ。なぜなら、こうしたテストのほとんどと違い、その答えは公開記録と照合して確認できるからだ。それは裏付けが取れる。Karpathyは2026年5月19日にXでAnthropicに加わったと発表した。彼はその週から事前学習チームで働き始め、Nick Josephの下で報告する立場にあり、Claudeを使って事前学習研究を加速することに焦点を当てたチームを作ると述べた。投稿が描写する返信——Anthropicに加入、2026年5月、事前学習チーム——は正確だ。

正確さが問題だ。Claude Sonnet 5.5 の信頼できる知識カットオフは2026年6月で、学習データのカットオフも同じだ。その採用はその線のおよそ1か月前に起きた。出荷済みの Claude Sonnet 5.5 がウェブをオフにした状態でこの質問をされれば、答えるはずであり、答えることがそのドキュメントの予測するところだ。そのプローブはヌル結果を生み、それが知見として読まれた。

知識プローブに何ができて何ができないかを正確に述べておく価値がある。というのも、こうした主張の多くが間違うのはまさにこの点だからだ：

• カットオフ前の出来事についての正しい回答は、情報を与えてくれない。その系列のどのモデルも、その出来事について学習済みだからだ。

• 誤った回答なら、むしろ逆方向に有益だったはずだ。2026年5月の採用を知っているはずのモデルがそれを否定するなら、それはより強力な未発表のチェックポイントではなく、別のより弱いチェックポイントの証拠である。

• カットオフ後の事実だけが識別力を持つ。2026年6月以降に公開され、現行ラインのどのモデルも学習に使えなかった事実こそ、新しいチェックポイントと古いものを分ける唯一の質問形態だ。Karpathyは11月2日に自身のブログでワークフローの記事を公開した。ウェブをオフにしてその内容を尋ねるなら、それは本当のテストになっただろう。5月に彼がどこへ行ったかを尋ねるのは、そうではなかった。

テスト2：冗長性を測るペリカンカウント

ペリカンプロンプトはサイモン・ウィリソンが長年続けているアドホック評価であり、彼はモデルがリリースされた日である9月28日に、Claude Sonnet 5.5に対してそれを実行した。彼が公開した結果はここでは有用なベースラインとなる。なぜなら、目視で数えたものではなく、日付と帰属が明確にされ、測定されたものだからだ。

• 最大エフォート時 — 投稿で使われた設定の1段上 — モデルは128,000出力トークンを消費し、上限に達し、$1.28のコストがかかり、SVGをまったく生成しなかった。

• xhigh — 投稿で「Extra」と呼ばれている段階 — では、同じモデルがペリカンを41秒で5.74セントで生成した。

その2行を一緒に読むと、投稿の2番目のテストは崩れる。Extraの出荷済みモデルはすでに鳥を描いている——それが41秒、5.74セントの実行だ——したがってExtraでの鳥は異常ではない。Extraの1段階上の出荷済みモデルはまったく何も描かない。したがってこのタスクでは、エフォートダイヤルが圧倒的に支配的な変数であり、エフォートダイヤルこそが投稿が変更した唯一のものだ。自分が回した設定に応じて動く結果は、その設定に関する証拠である。

要素数については、それ自体を計算する必要があります。なぜなら、それが最も繰り返される可能性の高い数値だからです。Anthropicは、現在のトークナイザーでは1Mトークンがおよそ2.5M文字に相当すると述べています。26,599個の要素が平均40文字だった場合——パスデータや属性を含めると控えめな数字ですが——図は約1.06M文字、つまりおよそ424,000トークンになります。これは128,000トークンの同期出力上限の3倍以上であり、300,000トークンのバッチ上限も上回ります。要素が平均7文字であれば、同じ要素数でも約74,000トークンに余裕をもって収まります。

つまり件数はモデルの強さではなくマークアップ密度によって上限が決まり、より簡潔なモデルほど大きな数値を投稿する。投稿自体の説明は、より可能性の高い解釈を示している。同じチャットには1,860行のPythonが現れており、羽をループ処理するスクリプトなら、モデルが26,599個の要素を書かなくても26,599個の要素を出力できる。そのコードがペリカンを描いたのか、それとも別の成果物だったのかは投稿に書かれておらず、これはまさに読者が必要とする詳細だ。ファイルがなくても言えるのは、要素数は、より多くを生み出すことが明記された役割を持つ段階における冗長さの指標だということだ。

説明の中で本当に興味深い一文は、否定形のほうだ。埋め込み画像なし、データURIなし、スクリプトなし。その詳細さのペリカンをベクターのプリミティブだけで作ったのは、確かな成果である。ただしそれは出力品質に関する成果であり、より高い努力設定での出力品質は、モデルが示せる最も驚きの少ないものだ。

別のClaudeが回答する、唯一記録された方法

これらはいずれも、Anthropicが1つのラベルで異なる重みを使ってリクエストを処理することが決してないと証明するものではない。ただ、この主張はAnthropicが実際に文書化している仕組みを説明しなければならないということであり、その仕組みはいずれも逆の方向を指している。

最初は拒否時のフォールバックです。拒否されたリクエストは HTTP 200 と stop_reason: "refusal"、およびポリシー領域を示す stop_details オブジェクトを返します。サーバー側フォールバックは fallbacks: "default" で設定され、Claude API ではベータ版として、サイバーおよび frontier_llm の拒否を、より古く安価なモデルである Claude Sonnet 5 で再試行します。これは Sonnet 5.5 へのリクエストが別の何かによって応答されるという文書化された事例であり、応答の中で自らを明示するダウングレードです。

第二はシンキングブロックのバインディングです。シンキングブロックは、それを生成したモデルを記録しており、会話がそれらを読めないモデルに移ると、API はモデルがリクエストを見る前にそれらを破棄し、ベータヘッダーが設定されている場合は input_transformations でその破棄を報告します。これは、配信モデルが変わったことを API が知らせているものです。どちらの仕組みも、claude-sonnet-5-5 のリクエストを、同じ文字列のまま、より強力な未発表モデルにアップグレードすることはありません。

仕組みが存在しないことは、何も起きていない証拠にはならない。しかしそれは、その主張が満たすべき基準である。改善しか描写しないルーティングの説明は、Anthropicが公開している唯一の経路がなぜ下り坂になり、証拠を残すのかを説明しなければならない。

外部チェックに最も近いものは、独立した評価者がAnthropicの提供するモデルに対して実行する指標だ。Artificial AnalysisはClaude Sonnet 5.5をIntelligence Index v5.0.1で55と記載しており、69モデル中9位で、中央値37に対してである。それは今日提供されている文字列の読み取りであり、同じ名前の下に隠れた実質的により強力なチェックポイントが最終的に現れると予想される表面でもある。

それを決着させられるテストがどんなものか

目の前のラベルが何か別のものによって提供されているかどうかを知りたいなら、実験は難しくない。ただ、ペリカンを投稿するよりは楽しくないだけだ。

• 固定するのは識別子であり、ラベルではない。claude-sonnet-5-5 を明示的な effort 値とともに呼び出すことで、リクエストは毎回同じリクエストになる。メニュー内のラベルは製品の表面であり、識別子はターゲットである。

• 複数回サンプリングすること。ある1つの段階での1回の応答は逸話にすぎない。highで10回、xhighで10回、同じシステムプロンプト、同じmax_tokensで実行すれば、2つの分布が得られる。effortは出力長に滑らかで単調な変化をもたらす。異なるチェックポイントは、長さでは説明できない内容の不連続を生み出す傾向がある。

• カットオフ後の事実を使うこと。2026年6月のカットオフなら、6月以降に公開されたものはすべて対象になり、それ以前のものはプローブとしては無価値になる。11月5日のテストを実施する価値のあるものにしたであろう唯一の変更は、これだ。

• レスポンスオブジェクトを読み取り、それを割り引いて評価する。model フィールド、usage、stop_reason、stop_details はログに記録する価値があり、拒否時のフォールバックもそこに現れる。しかしこれらのフィールドは、サーバーが行ったと主張する内容をそのまま反映しているにすぎない。それは申告であって、検査ではない——モデル自身に自己記述させるのと同じ種類の証拠である。

• 実行する前にコストを見積もろう。100万トークンあたり$2と$10という料金では、128,000トークンの応答に$1.28かかる。これはWillisonの数字であり、単なる料金表の額でもある。20件の応答を上限まで走らせると約$25になる。

回答を待つ間に追加でかかる費用は何ですか

その噂の根底には、噂の真偽を決着させることには依存しない実務的な疑問がある。Claude Sonnet 5.5 は思考を出力として課金し、思考は max_tokens に算入され、Extra は数百万トークンの予算向けと文書化されている。100万出力トークンを使う単一の応答は、出力側だけで10ドルかかる。しかもそれは、多くのチームがまさに安価な階層だからという理由で選んだ料金表においてである。

Extraより1段上のモデルでは、計測されたペリカン実行が128,000トークンの上限に達し、描画を生成することなく1.28ドルかかった。このモデルにおける失敗リクエストのコストはゼロではない。

• 一段階下では、同じタスクが41秒で5.74セントで完了した。両者の差は20倍以上であり、それはドロップダウンで決まる。

• 1日あたり1,000件のExtraリクエストを、それぞれ30,000出力トークンで実行しているチームは、入力トークンを一切カウントする前の時点で、1日あたり30M出力トークン、つまり$300を費やしている。

それは、Anthropicが次に何を出荷するかに関係なく、読者が今日行動に移せる部分だ。Extraが別のモデルなら、その思わぬ利益は現実だが計画不能だ。Extraがその名の通りのものなら、highとmediumに対して走査されていないワークロードは、誰も測定していない徹底性の対価を払っていることになる。

OrcaRouterではClaude Sonnet 5.5がベンダー自身の$2と$10で上乗せなしでルーティングされ、さらにeffortは別契約ではなくリクエストごとのパラメータです。そのため、各段階にわたるeffortスイープはスクリプト内のループになります。これは、このような主張に対する誠実なヘッジでもあります。意図したモデル識別子を固定し、各段階で同じプロンプトを実行し、スクリーンショットではなく自分のトークン数で比較してください。ルーティングの問いを外部から決着できない場合、次善策は、自分のトラフィックで答えを測定できる構成です。そこでは、highへのフェイルオーバーや別モデルへの切り替えが移行ではなく設定変更で済みます。

何がこのページを変えるのだろうか

モデル識別子、料金表、システムカード、あるいは後継モデルを名指しするAnthropicの一文。そのどれか一つがあれば午後のうちに決着がつくが、今日はどれも存在しない。どれかが存在するようになるまでは、ラベルの背後にあるものについての正直な説明は、Anthropicが公表しているものだ。すなわちClaude Sonnet 5.5、2026年6月のカットオフ、5段階のエフォート設定、そして、より高い設定のより大きなペリカンはより高い設定のより大きなペリカンであると信じるための、文書化された根拠である。

投稿自身の枠組みがすでに種明かしになっている。Extraを測定値ではなく期待値と比較しているのだ——Sonnet 5での同じ段階、あるいはmaxでの同じ段階、またはローンチ週に公開されたベースラインと。そうした比較は存在し、しかも安価だ。誰かがそれを実行するまでは、「ルーティングのように見える」はドロップダウンが仕事を果たしていることの描写にすぎない。