Claude Opus 5.5 發現 AttnRes-Canon：四天的架構搜尋究竟證明了什麼

2026年11月6日，一個名為 IAAI 的研究團隊發布了一份 Arena v1 執行紀錄，指名 Claude Opus 5.5 是設計出名為 AttnRes-Canon 的 Transformer 架構的代理程式，還附上一份檢查點、可重播的追蹤記錄，以及由 Yi Ge 撰寫、說明它如何走到這一步的十分鐘書面報告。Claude Opus 5.5 本身並不新——Anthropic 於 2026 年 9 月 22 日推出它，價格為每百萬輸入 token 4 美元、每百萬輸出 token 20 美元，而該模型的價格、上下文視窗或已公布的基準測試本月都沒有改變。真正的新消息則落在過去一週內：一份公開、可查核的紀錄，顯示一個前沿模型自行執行完整的架構搜尋，包括失敗的分支，以及一個從另一端產出、可下載的模型。這是一個比時間軸所暗示更狹隘的主張，但也比一行基準測試結果更有意思。

這份紀錄也是本文之所以是「這裡實際確立了什麼」的文章，而非發布貼文的原因。該競技場將其自身條目標示為自行回報。只有一個種子。營運者之外，沒有人重現過這個數字；而且在撰寫本文時，Hugging Face 檢查點的下載次數為零。閱讀以下各節時請記住這一點——這不是要否定該結果的理由，而是證據的確切樣貌。

AttnRes-Canon 究竟是什麼

兩個現有構想結合起來，再加上一件兩者各自都無法獨自做到的事。

第一個想法是 Attention Residuals，出自 Kimi Team 於 2026 年 3 月發布到 arXiv 的論文（2603.15031）。標準的 PreNorm 殘差連接會以固定權重 1 將每一層的輸出相加，因此隱藏狀態會隨深度增長，而每一層的貢獻會被稀釋。Attention Residuals 將那個固定總和替換為對較早層的 softmax 注意力，因此混合權重取決於輸入。低成本版本 Block AttnRes 會將層分組成區塊，並對區塊摘要做注意力；高成本版本則讓每一層直接讀取每一個較早層。在競技場的基準設定中，23 層分屬 8 組，因此一層可以讀回某個較早組別輸出的總和——用作者的比喻來說，是章節摘要，而不是章節本身。

第二個是 Canon 層，出自 Zeyuan Allen-Zhu 的《Physics of Language Models, Part 4.1》（arXiv:2512.17351，2025 年 12 月，2026 年 7 月修訂）。Canon 層是一種小型、寬度為 4 的卷積：在處理當前 token 時，它也會混入緊接其前的三個 token。

AttnRes-Canon 是完整注意力殘差（Full Attention Residuals）——23 組而非 8 組，每一層都獨立讀取任一較早層——並在四個位置設置 Canon 層：A 位於注意力輸入端，C 位於 MLP 輸入端，B 位於查詢、鍵與值投影上，D 位於 MLP 隱藏層上。一個元件沿深度傳遞資訊，另一個沿序列傳遞資訊。合併後的增益略高於分別測得的兩項增益之和，這是報告中唯一真正全新的架構主張。

• 深度元件 — Full AttnRes：23 個群組，每一層皆個別讀取先前的層，而非透過區塊摘要

• 序列元件 — 位於 A、B、C 與 D 的 Canon 層：對每個 token 及其前三個 token 進行寬度為 4 的因果卷積

• 成本 — 每次訓練更新所需時間為 Block AttnRes（它所擊敗的父代）的 1.66 倍

如果最後那句聽起來像是事後補充，那它正是這次搜尋從未納入考量的那一點，而我們之後會再回頭談它。

尺規先於搜尋而來

競技場的規則刻意設計得枯燥無味。訓練資料、46,875 次更新，以及每 token 的 FLOPs（誤差在 ±1% 內）都是固定的；只有架構可以改變；評分方式是 CORE-22——22 項任務的平均值，越高越好——再加上驗證 bits-per-byte，越低越好；而且在搜尋期間，代理只能查看訓練損失與開發集分割的 BPB。一次完整執行要耗費超過 1,400 GPU 小時，因此沒有任何搜尋方法負擔得起把十幾個想法訓練到完成。一切取決於短時間執行能否像長時間執行那樣為想法排名。

所以，最初的約 152 GPU 小時是花在校準那把尺上，而不是花在問題本身。那條顯而易見的捷徑——把整個學習率排程壓縮進 512 次更新——結果卻系統性地排序錯誤：在 11 種完整結果已知的方法上訓練後，它相對於最終排序產生的 Spearman 相關係數為 0.40，而事前設定的門檻是 0.85。這些誤差不是雜訊。四種迴圈架構在排名中全數下降，四種線性注意力架構則全數上升，因為提早調降學習率會美化快速收斂的模型，並砍掉慢熱起步者的表現。

改為取真實排程的前綴——相同排程、提早停止，接著再進行一次真實的完整執行——在 500 次更新時達到 0.72，在 2,000 次時達到 0.92。這正是修正協定的關鍵：512 次更新只是淘汰明顯訓練失敗候選者的下限，而所有排名決策都在第 2,000 次更新時做出，約為完整執行的 4%。同一次校準也得出雜訊底線：同一種子的兩次執行在 dev BPB 上相差約 0.0004，因此候選者必須比其父代好超過 0.001 才算獲勝。

這是比大多數人類架構論文所願意費心採用的更好的實驗設計，而且值得直說：讓結果清晰可讀的是設計，而不是模型。

三輪、十二名候選人、一場海市蜃樓

第一輪在 Block AttnRes 之上嘗試了五項單一變更，每項都附有一個寫明、可被否證的假設。到了第 2,000 次更新時，沒有任何一項越過 −0.0010 這條線。Full AttnRes 最接近，為 −0.0008；Canon 在位置 A 與 C 達到 −0.0006。一個閘控注意力變體在第 512 次更新時以 −0.0027 領先全場，最終落後，成績為 +0.0006——報告稱之為它本來的樣子：一場海市蜃樓，而且同樣的模式一再出現。

第二輪合併了那些差一點就達標的候選，並在相同運算量下加入兩個混合專家（MoE）變體。有三個候選過關：Canon 在全部四個位置（−0.0021，步驟時間 1.47×）、Full AttnRes 加上 Canon-A/C（−0.0018，1.30×），以及 Full AttnRes 加上閘門（−0.0010，剛好超過）。無論加在哪裡，閘門幾乎沒有貢獻；而另外兩項改動在每個嘗試過的父模型上都降低了 dev BPB。兩個 MoE 變體——包括代理程式評為最高分的那個等運算量配置——分別排名墊底與倒數第二。

而排名出現了劇烈翻轉：在第 512 次更新時排名前四的候選者，到了第 2,000 次更新時，最終順序恰好完全相反。

第三輪是搜尋真正發揮價值的地方。與其第二次相信 update-512 的排序，它等到第二輪的執行跑到 update 1,536。接著有兩個候選模型共享 Canon-A/C 作為父模型，一個朝向 Full AttnRes 邁進一步，另一個則加入 Canon 位置 B 和 D；兩者都比該共享父模型低約 0.002。由於只剩一個候選模型的預算，代理將兩者合併，而不是再等最後幾百次更新。合併後的模型在開發集上達到 BPB 0.7965——比 Block AttnRes 低 0.0038，且在整個搜尋中排名第一——步進時間為 1.66×。

總計：12 個候選方案、3 輪、550 GPU 小時的搜尋。

最後一輪，以及領先優勢還剩下多少

短程訓練只會看到學習率排程的平坦部分。早期的領先能否撐過衰減，必須實際測量，而這正是報告中最值得關注的部分。

AttnRes-Canon 被移植到正式方法外掛中，並在 32 張 H20 GPU 上從頭訓練，使用 49.152B 個 token，單一隨機種子。

• CORE-22 — AttnRes-Canon 35.99 對比 mHC 35.33 對比 Block AttnRes 34.00 對比 Dense Baseline 33.10

• 驗證 BPB — AttnRes-Canon 0.6605 對比 mHC 0.6617 對比 Block AttnRes 0.6630 對比 Dense Baseline 0.6672

• 排行榜名次——在兩項指標上，於 38 項已公布的 Arena v1 結果中名列第一，依據該競技場自家的排行榜

• 算力 — 探索 152 GPU 小時，搜尋 550，最終執行 1,433，總計 2,135

在兩項指標上都居首，而且差距不算巨大：相較於它所基於的方法，高出 2.0 個 CORE 分、0.0025 BPB。比終點更有用的是軌跡。與 Block AttnRes 的差距在更新 2,000 次時為 0.0037，在學習率維持不變期間擴大到 0.0058，之後到最後衰減至 0.0024——超過一半的優勢在尾段流失。報告將它與一個外部案例並列：加入閘門的 Dense Baseline 在更新 2,000 次時領先 0.0012，明顯超過這次搜尋自身的勝出線，最終卻以 0.0002 落後。這就是整套方法由執行它的人所道出的誠實極限：早期的領先買到的是假設，不是結果。

什麼是已經驗證的，而什麼是你僅憑信任接受的

這份執行紀錄對自身的來源異常坦率，而正是這份坦率，讓人更有理由相信流程描述，而非那個掛在標題上的數字。

• 獨立複現——無。Arena 將該條目標示為「自我報告」，而報告頁尾寫著「Arena v1 · 單一隨機種子結果」

• 種子 — 一個。報告將「從未執行第二個種子」列為該代理的四項失敗之一。

• 人工參與 — 每個階段的計畫、規則與 GPU 預算均由操作員核准，而其記錄角色載明：他們未選擇任何候選方案，也未撰寫任何方法程式碼

• 審查 — 紀錄列出第二個模型 GPT-6 Astra，以高推理投入，在任何 GPU 作業前審查第三階段程式碼與啟動腳本，而非選擇架構

• 可重現性材料——該方法的公開 MIT 授權程式碼路徑、Hugging Face 上的檢查點與日誌，以及一份旨在重播每項指令與結果的追蹤記錄；撰寫本文時，該檢查點的下載次數為零

• 選擇訊號 — 僅限 dev-split BPB；代理在選擇時並未看到 CORE-22

最後一點比表面上看起來更重要。這個代理可以閱讀其他方法已發表的結果，卻只憑開發集（dev split）來挑選候選方案，而這正是「搜尋」與「偷看」之間的差別。

失败清单是价值的另一半。四天的上下文，被压缩了七次，候选笔记写入文件，以便线程可以恢复。代理计划在第 1,536 次更新时做出第三轮决策，但只在 512 和 2,000 处设置了提醒，因此它停在了间隙中，直到人类推了它一下才恢复。它将同等算力的混合专家模型评为最高，而两个变体都排在最后。它把运行间差异与种子间差异混淆了。而且它在优化质量时没有速度约束，这就是一个慢 1.66 倍的模型如何在算力匹配的竞赛中仅凭质量胜出的原因。

那些都不是罕見的問題。它們是任何跑過長時間 agent 迴圈的人早就知道的失效模式：沒有計時器的計畫、經不起現實接觸的先驗、並非你實際擁有的變異數模型，以及一個有漏洞的目標函數。新穎之處在於，看著它們發生的人把這些問題逐條列出，並在 GitHub 上附上追蹤紀錄。

對於正在挑選模型的人來說，這帶來了什麼改變

關於 Claude Opus 5.5 的費率卡、上下文或基準測試，一概沒有。真正有用的轉變更狹窄也更實務：這是首批公開、可重現的示範之一，證明一個通用前沿模型在給定固定評估框架與人類預算核准的情況下，能執行多輪實驗性搜尋，並產出團隊真正會拿來訓練的東西。

這對你如何使用它有一個具體後果。如果你正考慮讓一個代理去處理你自己的搜尋問題，這份報告中可轉移的部分是協定，而不是架構：在花掉任何一個 GPU 小時之前，先用已知的完整結果校準你低成本代理指標；根據重複執行事先設定雜訊底限與勝出閾值；每個候選方案相對於一個明示的父方案只改變一件事；並在你已證明具有預測性的評估視野上判定勝負。這四條規則在這裡約佔總算力的 7%，也正是其餘 93% 沒有被浪費的原因。

這個架構層面的結果較難付諸行動。AttnRes-Canon 是一種研究方法，而非已上線提供服務的模型。它以方法外掛和一個 49.152B-token 檢查點的形式存在，且只有單一隨機種子；任何想以它為基礎的人，都是從一次重現嘗試開始。請把 CORE-22 的數字視為值得用第二個隨機種子驗證的線索，而不是注意力殘差的既定性質。

OrcaRouter 的定位，是工作流程中圍繞搜尋、而非搜尋本身的那一部分。Claude Opus 5.5 已在我們的目錄中，按 Anthropic 公布的定價以 0% 加價原樣提供 —— $4.00 每百萬輸入，每百萬輸出 $20.00，快取讀取 $0.20，1M token 上下文 —— 而搜尋迴圈通常會分散使用的模型，都位於同一把金鑰之後：Claude Fable 5.2 自 11 月 9 日起為 $8.00/$40.00，GPT-6 Astra 在 272K token 以內為 $10.00/$50.00、超過則為 $20.00/$75.00，Claude Opus 5 為 $5.00/$25.00。一場為期四天、會壓縮上下文七次的研究作業，是一段漫長、昂貴且容易失敗的對話；讓它對著單一端點執行並具備 自動容錯移轉，表示供應商短暫出錯的代價是一次重試，而不是一整夜，而 路由 DSL 讓你能把較便宜的模型用於例行分析，並把 Claude Opus 5.5 留給決定下一輪走向的決策。

接下來要看什麼

有三件事能讓這份報告從一份有趣的自述，變成一個你可以據此繼續推進的結果。第二個隨機種子——報告說這件事並未進行，而它能告訴你 0.0025 BPB 是否真實。一次受速度限制的重跑——因為若你在意的是每 GPU 小時而非每個 token 的吞吐量，1.66× 的步進時間就只有三分之一的價值。以及 Arena v2——作者說它會在密封容器內運行，並有固定的算力額度，因此代理完全看不到正式驗證集或 CORE-22——那才是「由代理完成研究」不再需要人類介入也能取信於人的版本。

在那之前，公允的總結是：{{1}}一個拿到精心打造的衡量尺的代理，在四天內、約花費 2,100 GPU 小時，找到了一項真實、幅度不大、原則上可複現的架構改進{{/1}}，並把過程中所有弄錯的地方都記錄了下來。最後這一點，正是這個領域通常會略過的部分。