Claude Opus 5.5が見つけたAttnRes-Canon：4日間のアーキテクチャ探索が実際に証明したこと

2026年11月6日、IAAIという研究グループは、Claude Opus 5.5を、AttnRes-CanonというTransformerアーキテクチャを設計したエージェントとして名指しするArena v1の実行記録を公開した。その記録にはさらに、チェックポイント、リプレイ可能なトレース、そしてYi Geによる、そこに至る経緯を説明する10分で読める記事が含まれている。Claude Opus 5.5自体は新しいものではない——Anthropicは2026年9月22日に、入力100万トークンあたり4ドル、出力100万トークンあたり20ドルで提供を開始しており、そのモデルの価格、コンテキストウィンドウ、公開済みベンチマークのいずれも今月は変わっていない。新しいのは、ここ一週間以内の日付が付いたものだ：フロンティアモデルが独力でアーキテクチャ探索を丸ごと実行したことを示す、公開され検証可能な記録（失敗した分岐も含む）と、その果てに得られたダウンロード可能なモデルである。それはタイムラインが示唆するより狭い主張であり、ベンチマークの1行よりも興味深い。

この記録はまた、これがローンチ記事ではなく「実際に何が確立されているか」を示す記事である理由でもある。アリーナは自身のエントリーを自己申告と表示している。シードは1つだけ。運営者以外でこの数値を再現した者はいない。そして執筆時点で、Hugging Faceのチェックポイントは0回しかダウンロードされていなかった。以下のセクションはそれを念頭に読んでほしい——結果を否定する理由としてではなく、証拠の正確な形として。

AttnRes-Canonとは実際に何なのか

既存の2つのアイデアを組み合わせ、さらにどちらも単独では成し得ないことを1つ加えたもの。

最初のアイデアは Attention Residuals で、2026年3月に arXiv に投稿された K​imi Team の論文（2603.15031）によるものです。標準的な PreNorm 残差接続では、各層の出力を固定の重み1で加算するため、隠れ状態は深さとともに大きくなり、各層の寄与は薄まります。Attention Residuals はこの固定の総和を、先行する層に対する softmax アテンションに置き換えるので、混合重みは入力に依存します。安価な版である Block AttnRes は層をブロックにまとめ、ブロック要約に対してアテンションを行います。高価な版では、各層が先行するすべての層を直接読めます。アリーナのベースラインでは23層が8グループに分かれているため、ある層は先行グループの出力の総和を読み戻せます。著者のイメージでは、これは章そのものではなく章の要約です。

2つ目はCanonレイヤーで、Zeyuan Allen-Zhu氏の「Physics of Language Models, Part 4.1」（arXiv:2512.17351、2025年12月、2026年7月改訂）に由来します。Canonレイヤーは幅4の小さな畳み込みです。現在のトークンを処理する際に、その直前の3つのトークンも混ぜ込みます。

AttnRes-Canon は Full Attention Residuals である — 8 組ではなく 23 組のグループで、各層が任意の先行層を独自に読み取る — そして Canon 層を 4 つの位置に置く：A はアテンションへの入力、C は MLP への入力、B はクエリ・キー・バリューの射影、D は MLP 隠れ層。一方のコンポーネントは深さ方向に沿って情報を運び、もう一方は系列方向に沿って運ぶ。組み合わせた利得は、別々に測定した 2 つの利得の合計をわずかに上回った。これは報告書における唯一の真に新しいアーキテクチャ上の主張である。

• 深さコンポーネント — Full AttnRes: 23 グループ、各レイヤーはブロック要約を介さずに、以前のレイヤーを個別に読み取ります

• シーケンスコンポーネント — A、B、C、D の Canon 層：各トークンとその3つの先行トークンに対する幅4の因果畳み込み

• コスト — 自身が打ち負かした親である Block AttnRes の、トレーニング更新あたりの時間の1.66倍

その最後の一行が後付けのように聞こえるなら、それはまさに検索がこれまでまったく織り込んでこなかったものであり、それについては後でまた触れます。

支配者は検索より先に来た

このアリーナのルールは意図的に退屈だ。訓練データ、46,875回の更新、トークンあたりのFLOPs（±1%以内）は固定されており、変更できるのはアーキテクチャだけだ。スコアはCORE-22——22タスクの平均で、高いほど良い——に、検証用bits-per-byte（低いほど良い）を加えたものだ。また探索中、エージェントは訓練損失とdev-split BPBのみを参照してよい。完全な1回の実行には1,400 GPU時間以上かかるため、どの探索も12個のアイデアを最後まで訓練する余裕はない。すべては、短い実行が長い実行と同じようにアイデアを順位付けできるかどうかにかかっている。

つまり、最初の約152 GPU時間は、問題そのものではなく、その物差しの調整に費やされた。明白な近道——学習率スケジュール全体を512回の更新に押し込む——は、体系的に順位を誤らせることが判明した。完全な結果がすでに判明している11手法で訓練すると、最終順位に対するスピアマン相関は0.40となり、事前に設定した基準0.85を下回った。誤差はノイズではなかった。ループ型アーキテクチャは4つすべて順位が下がり、線形アテンション・アーキテクチャは4つすべて順位が上がった。学習率を早期に打ち切ると、収束の速いモデルを優遇し、立ち上がりの遅いモデルを切り捨てるからだ。

代わりに実際のスケジュールの先頭部分を使うと — 同じスケジュールのまま早期に停止し、その後実際のフル実行を続けると — 500更新で0.72、2,000更新で0.92に達した。これがプロトコルを確定させた。512更新は、明らかに学習に失敗した候補を打ち切るための下限にすぎず、すべての順位付けの判断は更新2,000（フル実行の約4%）で行う。同じ較正からノイズフロアも得られた。同じシードの2回の実行ではdev BPBが約0.0004異なったため、候補が勝ちと数えられるには親より0.001を超えて上回る必要があった。

それは、人間が手がけるアーキテクチャ論文の大半がわざわざ採用するよりも優れた実験設計であり、結果を読み解けるようにしているのはモデルではなく設計そのものだとはっきり言っておく価値がある。

3ラウンド、12人の候補者、1つの蜃気楼

第1ラウンドでは、Block AttnRes の上に5つの単一変更を試し、それぞれに文書化された反証可能な仮説を添えた。更新2,000時点で−0.0010の線を越えたものはなかった。Full AttnRes が−0.0008で最も近づき、位置AとCのCanonは−0.0006に達した。ゲート付き注意の変種は更新512時点で−0.0027の差で全分野をリードし、そして最終的に後れを取って+0.0006 だった——報告書はそれを、実際そのとおりのもの、すなわち蜃気楼と呼び、同じパターンが繰り返される。

第2ラウンドでは、あと一歩だった候補を組み合わせ、同一計算量で2つのMixture-of-Experts変種を追加した。3つの候補が基準をクリアした。全4位置のCanon（−0.0021、ステップ時間1.47×）、Full AttnRes＋Canon-A/C（−0.0018、1.30×）、そしてFull AttnRes＋ゲート（−0.0010、わずかに基準超え）である。ゲートは追加されたどこでもほとんど寄与しなかった一方、他の2つの変更はいずれも、試したすべての親でdev BPBを低下させた。2つのMoE変種は——エージェントが最高と評価した等計算量構成を含め——最下位と下から2番目で終わった。

そしてランキングは大きく反転した。アップデート512時点の上位4候補は、アップデート2,000時点ではちょうど逆の順位で終わった。

第3ラウンドは、探索がその価値を発揮する場面だ。update-512の順序付けを二度目に信頼するのではなく、ラウンド2の実行がupdate 1,536に達するのを待った。その後、2つの候補がCanon-A/Cを親として共有し、一方はFull AttnResに向けて一歩進み、もう一方はCanonの位置BとDを追加した。どちらもその共有親より約0.002低かった。もう1候補分の予算があったため、エージェントは最後の数百updateを待ち切る代わりに、この2つを統合した。統合モデルはdev BPB 0.7965に到達した — Block AttnResより0.0038低く、探索全体で1位 — ステップ時間は1.66倍だった。

合計：12件の候補、3ラウンド、550 GPU時間の探索。

最終ラン、そしてリードがどれだけ残ったか

短い実行では、学習率スケジュールの平坦な部分しか見えない。初期の優位が減衰を経ても残るかどうかは測定しなければならず、ここがレポートの中で最も注目に値する部分だ。

AttnRes-Canonは正式なメソッドプラグインに移植され、32台のH20 GPUで49.152Bトークンをゼロから学習した（単一シード）。

• CORE-22 — AttnRes-Canon 35.99 対 mHC 35.33 対 Block AttnRes 34.00 対 Dense Baseline 33.10

• 検証 BPB — AttnRes-Canon 0.6605 vs mHC 0.6617 vs Block AttnRes 0.6630 vs Dense ベースライン 0.6672

• リーダーボード順位 — アリーナ自身のボードによると、両方の指標で公開済みのArena v1結果38件中1位

• 計算 — 探索に152 GPU時間、検索に550、最終実行に1,433、合計2,135

両方の指標で首位だが、その差は膨大ではない。土台となった手法に対して CORE 2.0 ポイント、BPB 0.0025 の差だ。終着点より有用なのは軌跡だ。Block AttnRes との差は update 2,000 時点で 0.0037 だったが、学習率を一定に保つ間に 0.0058 へ広がり、その後終盤までに 0.0024 へ縮んだ——優位の半分以上が終盤で失われた。レポートはこれを外部の事例と対比している。ゲートを追加した Dense Baseline は update 2,000 時点で 0.0012 リードし、この探索自体の勝ちラインを余裕で超えていたが、最終的には 0.0002 遅れで終えた。これが、実行した人々自身が述べるこの手法全体の正直な限界だ。早期のリードは仮説を買うのであって、結果を買うのではない。

何が検証済みで、何を信頼に委ねているのか

実行記録は自身の由来について異例なほど率直であり、その率直さこそが、見出しの数字よりもプロセスの説明を信頼すべき理由である。

• 独立した再現 — なし。アリーナはこのエントリを「自己申告」と表示しており、記事のフッターには「Arena v1 · single-seed results」と記されている

• シード — 1つ。レポートは、エージェントの4つの失敗の中に「2回目のシードを実行しなかったこと」を挙げている

• 人間の関与 — 各段階の計画、ルール、GPU予算はオペレーターによって承認されており、その記録された役割には、候補を選ばず、手法のコードを書かなかったと明記されている

• レビュー — 記録には、第2のモデルである GPT-6 Astra が高い推論エフォートで、GPU ジョブの前にステージ3のコードと起動スクリプトをレビューしており、アーキテクチャの選択は行っていないと記載されている

• 再現性資料 — 手法のための公開MITライセンスのコードパス、Hugging Face上のチェックポイントとログ、およびすべての指示と結果を再生することを意図したトレース。これを執筆した時点で、チェックポイントのダウンロード数はゼロだった

• 選択シグナル — dev-split BPB のみ。エージェントは選択時に CORE-22 を見ていなかった

最後の項目は見た目以上に重要だ。エージェントは他の手法の公開結果を読むことはできたが、候補の選定には開発用分割だけを使った。これは探索と覗き見の違いである。

失敗リストは価値のもう半分だ。4日分のコンテキストを7回圧縮し、候補に関するメモをファイルに書き出してスレッドを再開できるようにした。エージェントは更新1,536で第3ラウンドの決定を行う予定だったが、リマインダーを512と2,000にしか設定していなかったため、その間隙で停止し、人間に促されて初めて再開した。同等計算量の混合エキスパートを最高と評価したが、両方の変種は最下位で終わった。実行間のばらつきとシード間のばらつきを混同した。また、速度に制約を設けずに品質を最適化した。その結果、1.66倍遅いモデルが、計算量を揃えたコンテストで品質だけで勝った。

どれも珍しいものではない。長時間のエージェントループを回している人なら誰でもすでに知っている失敗モードだ。タイマーのない計画、現実に触れると生き残らない事前分布、自分の持つ分散とは違う分散を前提にした分散モデル、そして穴の空いた目的関数。新しいのは、それらが実際に起きるのを見ていた人々によって項目化され、GitHub上にトレース付きで示されているのを目にすることだ。

モデルを選ぶ人にとって、これで何が変わるか

Claude Opus 5.5 の料金表やコンテキスト、ベンチマークについてではない。有用な変化はもっと狭く、より実用的だ。これは、汎用フロンティアモデルが、固定された評価ハーネスと人間による予算承認を与えられれば、複数ラウンドの実験的探索を実行し、チームが実際に学習させるようなものを生み出せることを示す、公開され再現可能な最初期のデモの一つである。

それは、あなたがそれをどう使うかについて具体的な帰結をもたらします。自分の探索問題にエージェントを向けることを検討しているなら、この報告から持ち出せるのはアーキテクチャではなくプロトコルです。GPUを1時間分使う前に、安価な代理指標を既知の完全な結果に対して較正し、反復実行からノイズフロアと勝敗しきい値を事前に設定し、候補ごとに明示した親に対して1点だけ変更し、予測性が示されているホライズンで勝敗を判定してください。これら4つのルールはここでの総計算コストの約7%しかかからず、残りの93%が無駄にならなかった理由です。

アーキテクチャ上の結果は、対応しにくい。AttnRes-Canonは研究手法であり、提供中のモデルではない。手法プラグインと49.152Bトークンのチェックポイントとして存在し、シードは単一であり、これを基に何かを作ろうとする人は再現試行から始めることになる。CORE-22の数値は、アテンション残差の確定した性質ではなく、2つ目のシードで検証する価値のある手がかりとして扱うべきだ。

OrcaRouterが担うのは、検索そのものではなく、検索を囲むワークフローの部分です。Claude Opus 5.5は当社カタログに、A​nthropicの公表定価を0%のマークアップでそのまま反映した価格で掲載されています——100万入力トークンあたり$4.00、100万出力トークンあたり$20.00、キャッシュ読み取り$0.20、1Mトークンコンテキスト——そして、検索ループが通常分割して使うモデル群も同じキーの背後にあります：Claude Fable 5.2は11月9日以降$8.00/$40.00、GPT-6 Astraは272Kトークンまで$10.00/$50.00でそれを超えると$20.00/$75.00、Claude Opus 5は$5.00/$25.00です。コンテキストを7回圧縮する4日間のリサーチセッションは、長く、高コストで、失敗しやすい会話です。それを、自動フェイルオーバーを備えた単一のエンドポイントで実行すれば、プロバイダーの一時的な不具合は一晩の損失ではなく再試行1回で済み、そしてルーティングDSLを使えば、定型的な分析にはより安価なモデルを割り当て、次のラウンドを決める判断にはClaude Opus 5.5を残せます。

次に見るもの

この自己申告を、信頼して積み上げられる結果へと変えるには3つの点が必要です。報告書によれば実施されなかった2つ目のシードは、0.0025 BPBが実在するかを教えてくれます。速度制約付きの再実行は、トークンあたりではなくGPU時間あたりのスループットを重視するなら、1.66×のステップ時間が価値の3分の1にすぎないため必要です。そしてArena v2では、著者によれば固定の計算許容量を持つ密閉コンテナ内で実行されるため、エージェントは正式な検証セットもCORE-22もまったく見られません。それが、「エージェントが研究を行った」という主張が、人間をループに入れなくても信頼できるようになる版です。

それまでは、公正な要約はこうだ。よくできた物差しを与えられたエージェントが、4日間で約2,100 GPU時間をかけて、本物だが控えめで原理的に再現可能なアーキテクチャ改善を見つけ、その途中で自分が間違えたことすべてを書き留めた。最後の部分こそ、この分野がたいてい省く部分だ。