Claude Opus 5.5 发现了 AttnRes-Canon：四天的架构搜索究竟证明了什么

2026年11月6日，一个名为IAAI的研究小组发布了一份Arena v1运行记录，点名Claude Opus 5.5作为设计出一种名为AttnRes-Canon的Transformer架构的智能体，并附上一个检查点、一份可回放轨迹，以及由Yi Ge撰写的一篇十分钟说明，解释它是如何得到这一结果的。Claude Opus 5.5本身并不新鲜——Anthropic于2026年9月22日发布了它，价格为每百万输入token 4美元、每百万输出token 20美元；该模型的价格、上下文窗口或已公布的基准测试本月都没有变化。新的内容则落在过去一周内：一份公开、可核查的记录，显示一个前沿模型自行完成了整个架构搜索，包括那些失败的分支，以及一个最终产出的可下载模型。这是一个比时间线所暗示的范围更窄的论断，而且它比基准测试表格中的一行更有意思。

这份记录也正是为什么本文是一篇“这里实际确立了些什么”的文章，而不是一篇发布帖。竞技场将其自己的条目标注为自报。只有一个种子。除运营方外，没有人复现过这个数字；截至撰写本文时，Hugging Face 检查点的下载次数为零。请带着这一点阅读下面的章节——不要把它们当作否定该结果的理由，而应把它们看作证据的确切形态。

AttnRes-Canon 究竟是什么

两个现有想法相结合，再加上一件它们各自单独都做不到的事。

第一个想法是 Attention Residuals，来自 K​imi Team 于 2026 年 3 月发布在 arXiv 上的一篇论文（2603.15031）。标准的 PreNorm 残差连接以固定权重 1 将每一层的输出相加，因此隐藏状态会随深度增长，而每一层的贡献会被稀释。Attention Residuals 用对先前层的 softmax 注意力取代这种固定求和，因此混合权重取决于输入。廉价的版本 Block AttnRes 将层分组为块，并对块摘要进行注意力计算；昂贵的版本则让每一层直接读取每一个先前层。在竞技场的基线中，23 层位于 8 个组中，因此一层可以读回较早组输出的总和——用作者的比喻来说，是章节摘要，而不是章节本身。

第二种是 Canon 层，来自 Zeyuan Allen-Zhu 的《语言模型的物理学，第 4.1 部分》（arXiv:2512.17351，2025 年 12 月，2026 年 7 月修订）。Canon 层是一个小型宽度为 4 的卷积：在处理当前 token 时，它还会混入紧邻其前的三个 token。

AttnRes-Canon 就是 Full Attention Residuals——用 23 组而不是 8 组，每一层都独立读取任意更早的层——并在四个位置设置 Canon 层：A 位于注意力输入处，C 位于 MLP 输入处，B 位于查询、键和值投影上，D 位于 MLP 隐藏层上。一个组件沿深度传递信息，另一个沿序列传递信息。合并后的增益略高于分别测得的两个增益之和，这是报告中唯一真正全新的架构主张。

• 深度组件 — Full AttnRes：23 个组，每一层逐个读取较早的层，而不是通过块摘要读取

• 序列组件——位于 A、B、C 和 D 的 Canon 层：对每个词元及其三个前驱进行宽度为 4 的因果卷积

• 成本——每次训练更新的耗时是 Block AttnRes 的 1.66 倍，而 Block AttnRes 正是它所击败的父级方法

如果最后那句话听起来像是事后补充，那么它正是搜索从未纳入考量的那一点，而我们之后还会回到这一点。

尺子先于搜索出现。

竞技场的规则刻意设计得枯燥乏味。训练数据、46,875 次更新以及每 token 的 FLOPs（误差在 ±1% 以内）都是固定的；只有架构可以改变；评分采用 CORE-22——22 项任务得分的平均值，越高越好——再加上验证集 bits-per-byte，越低越好；并且在搜索过程中，智能体只能查看训练损失和开发集 BPB。一次完整运行的成本超过 1,400 GPU 小时，因此任何搜索都负担不起把十几个想法训练到完成。一切都取决于短时间运行能否像长时间运行那样对想法进行排序。

前约 152 个 GPU 小时花在了校准那把标尺上，而不是花在问题上。那条显而易见的捷径——把整个学习率调度压缩到 512 次更新——结果会系统性地排错序：在 11 种完整结果已知的方法上训练时，它相对于最终排序的 Spearman 相关系数只有 0.40，而预先设定的门槛是 0.85。这些误差不是噪声。所有四个循环架构的排名都下降了，所有四个线性注意力架构的排名都上升了，因为过早降低学习率会偏袒快速收敛的模型，并扼杀慢热型模型。

改为取真实调度计划的前缀——同一调度，提前停止，然后再进行一次真实的完整运行——在 500 次更新时达到 0.72，在 2,000 次更新时达到 0.92。正是这一点确定了协议：512 次更新只是一个下限，用来淘汰明显未能训练成功的候选，而所有排名决策都在第 2,000 次更新时做出，约为完整运行的 4%。同一校准还得出了噪声底：同一随机种子的两次运行在 dev BPB 上相差约 0.0004，因此候选必须比其父代高出超过 0.001 才算获胜。

这比大多数人类撰写的架构论文所愿意采用的实验设计都要好，而且值得直说：让结果清晰可读的是设计，而不是模型。

三轮，十二名候选人，一场幻象

第一轮在 Block AttnRes 基础上尝试了五项单一改动，每项都附带一个书面、可证伪的假设。在更新到 2,000 步时，没有一项越过 −0.0010 这条线。完整 AttnRes 最接近，为 −0.0008；Canon 在位置 A 和 C 达到 −0.0006。一个门控注意力变体在更新 512 步时以 −0.0027 领跑全场，最终落后，成绩为 +0.0006——报告如实称之为海市蜃楼，而且同样的模式反复出现。

第二轮将那些接近达标的方案组合起来，并在同等算力下加入了两个混合专家（MoE）变体。有三个候选方案过线：Canon 在全部四个位置（−0.0021，1.47× 步进时间）、Full AttnRes 加 Canon-A/C（−0.0018，1.30×），以及 Full AttnRes 加门控（−0.0010，刚好过线）。门控无论加在哪里都几乎没带来贡献，而另外两项改动在尝试过的每个父模型上都降低了 dev BPB。两个 MoE 变体——包括智能体评价最高的等算力配置——排名倒数第一和倒数第二。

而排名发生了剧烈反转：在更新 512 时排名前四的候选，到了更新 2,000 时恰好以完全相反的顺序收尾。

第三轮正是搜索真正体现价值的地方。它没有第二次相信 update-512 的排序，而是等到第二轮的各次运行达到 update 1,536。随后有两个候选以 Canon-A/C 作为共同父代，一个朝 Full AttnRes 迈进一步，另一个加入 Canon 位置 B 和 D；两者都比该共同父代低约 0.002。由于只剩再做一个候选的预算，智能体没有继续等待最后几百次更新，而是将两者合并。合并后的模型在 1.66 倍步时下达到 0.7965 的开发集 BPB——比 Block AttnRes 低 0.0038，并在整个搜索中排名第一。

总计：12 个候选方案，3 轮，550 GPU 小时的搜索。

最后一轮，以及领先优势还剩下多少

短程训练只能看到学习率调度曲线的平坦部分。早期领先优势能否在衰减之后保持下来，必须通过测量来确定，而这正是报告中最值得关注的部分。

AttnRes-Canon 已被移植到正式的方法插件中，并在 32 块 H20 GPU 上从零开始训练了 49.152B 个 token，采用单一种子。

• CORE-22 — AttnRes-Canon 35.99 对比 mHC 35.33 对比 Block AttnRes 34.00 对比 Dense Baseline 33.10

• 验证 BPB — AttnRes-Canon 0.6605 对比 mHC 0.6617 对比 Block AttnRes 0.6630 对比 Dense Baseline 0.6672

• 排行榜排名——根据该竞技场自己的榜单，在两项指标上均位居 38 个已发布的 Arena v1 结果之首

• 计算 — 探索 152 GPU 小时，搜索 550，最终运行 1,433，总计 2,135

两项指标均排名第一，且领先幅度并不算大：比它所基于的方法高 2.0 个 CORE 点、0.0025 BPB。比终点更有用的是走势。与 Block AttnRes 的差距在第 2,000 次更新时为 0.0037，在学习率保持不变期间扩大到 0.0058，到结束时又缩小至 0.0024——超过一半的优势在尾段丢失。报告还将其与一个外部案例并列：一个加入门控的 Dense Baseline 在第 2,000 次更新时领先 0.0012，轻松超过了本次搜索自身的获胜线，最终却落后 0.0002。这就是运行该方法的人所陈述的、整个方法的诚实局限：早期领先买到的是假设，而不是结果。

哪些是已经核实过的，哪些是你凭信任接受的

这份运行记录对自己的出处异常坦诚，而正是这种坦诚，让人更有理由相信其中的过程描述，而不是那个最为醒目的数字。

• 独立复现——无。Arena 将该条目标记为“自报”，而报告的页脚写着“Arena v1 · 单种子结果”

• 种子 — 一个。报告将“从未运行第二个种子”列为该智能体的四项失败之一。

• 人工参与——每个阶段的计划、规则和 GPU 预算均由操作员批准，其记录的角色表明其未选择任何候选方案，也未编写任何方法代码

• 审查 — 记录中列出了第二个模型 GPT-6 Astra，它以高推理强度在任何 GPU 作业之前审查第三阶段代码和启动脚本，而不是选择架构

• 可复现性材料——该方法的公开 MIT 许可代码路径、Hugging Face 上的检查点和日志，以及一份旨在重放每条指令和结果的追踪记录；撰写本文时，该检查点的下载量为零

• 选择信号——仅限 dev-split BPB；智能体在选择时未看到 CORE-22

最后一点比看起来更重要。智能体可以阅读其他方法已发表的结果，但只使用开发集划分来挑选候选，这正是搜索与偷看之间的区别。

失败清单是价值的另一半。四天的上下文被压缩了七次，候选笔记被写入文件，以便线程能够恢复。该智能体原计划在第 1,536 次更新时做出第三轮决策，却只在 512 和 2,000 处设置了提醒，于是它停在了空档中，直到人类推了它一下才恢复。它将同等算力的混合专家模型评为最高，而两个变体却都排在最后。它把运行间波动与种子间波动混淆了。而且它在优化质量时没有对速度施加约束，这就是为什么一个慢 1.66× 的模型仅凭质量就赢得了一场算力匹配的竞赛。

这些都不是什么稀奇事。它们是任何运行长时间智能体循环的人早已熟知的失效模式：没有计时器的计划、经不起现实接触的先验、并非你所拥有的那种方差的方差模型，以及一个存在漏洞的目标函数。真正新鲜的是，看到它们被那些亲眼目睹其发生的人逐条列出，而且附带 GitHub 上的追踪记录。

这对选择模型的人来说意味着什么变化

这与 Claude Opus 5.5 的费率卡、上下文或基准测试无关。真正有用的转变更狭窄、也更实际：这是首批公开、可重放的演示之一，表明一个通用前沿模型在给定固定评估框架和人工预算审批的情况下，能够运行多轮实验搜索，并产出团队真正会用来训练的东西。

这对你该如何使用它有着具体的后果。如果你正考虑让一个智能体去处理你自己的搜索问题，那么报告中可迁移的部分是协议，而不是架构：在花费哪怕一个 GPU 小时之前，先用已知的完整结果校准你的廉价代理指标；根据重复运行预先设定噪声下限和获胜阈值；每个候选相对于一个明确说明的父版本只改变一个因素；在你已证明具有预测性的时间跨度上判定胜负。这四条规则在此处约占总计算量的 7%，也正是其余 93% 没有被浪费的原因。

架构层面的结果更难付诸行动。AttnRes-Canon 是一种研究方法，而不是已部署服务的模型。它以方法插件和 49.152B token 检查点的形式存在，且仅基于单一随机种子；任何想在此基础上继续构建的人，都要从一次复现尝试开始。应把 CORE-22 的数值视为值得用第二个随机种子进一步验证的线索，而不是注意力残差的既定属性。

OrcaRouter 的定位，是工作流中围绕搜索、而非搜索本身的那一部分。Claude Opus 5.5 已列入我们的目录，按 Anthropic 公布的目录价原样传导，0% 加价——每百万输入 $4.00，每百万输出 $20.00，缓存读取 $0.20，1M token 上下文——而搜索循环通常会被拆分到多个模型上，这些模型都位于同一个密钥之后：Claude Fable 5.2 自 11 月 9 日起为 $8.00/$40.00，GPT-6 Astra 在 272K tokens 以内为 $10.00/$50.00，超过后为 $20.00/$75.00，Claude Opus 5 为 $5.00/$25.00。一个为期四天的研究会话若将上下文压缩七次，就是一段漫长、昂贵且容易失败的对话；让它针对一个端点运行并启用 自动故障转移，意味着供应商的一次短暂故障只会带来一次重试，而不是耽误一整夜，而 路由 DSL 让你可以把更便宜的模型用于常规分析，并把 Claude Opus 5.5 留给决定下一轮的决策。

接下来看什么

有三件事能让它从一份有趣的自我报告，变成可据以推进的结果。第二个随机种子——报告称并未进行——能告诉你 0.0025 BPB 是否真实。一次带速度约束的重跑，因为如果你关心的是每 GPU-hour 的吞吐量而不是每个 token 的吞吐量，1.66× 的步进时间只值三分之一。以及 Arena v2——作者称其将在带有固定算力配额的密封容器中运行，因此智能体完全看不到正式验证集或 CORE-22——正是这个版本让“智能体做了研究”不再需要人在回路中才可信。

到目前为止，公允的总结是这样的：一个被赋予精心构建的标尺的智能体，在四天内、花费约 2,100 GPU 小时，找到了一项真实的、幅度不大且原则上可复现的架构改进，并记录下了它在过程中犯下的所有错误。最后这一点，正是该领域通常会略去的部分。