Claude Opus 5.5 нашёл AttnRes-Canon: что на самом деле доказали четыре дня поиска архитектуры

6 ноября 2026 года исследовательская группа IAAI опубликовала запись запуска Arena v1, в которой назван Claude Opus 5.5 агентом, спроектировавшим архитектуру Transformer под названием AttnRes-Canon, а также чекпоинт, воспроизводимую трассу и десятиминутную статью авторства Yi Ge, объясняющую, как она к этому пришла. Сама Claude Opus 5.5 не нова — A​nthropic выпустила её 22 сентября 2026 года по цене $4 за миллион входных и $20 за миллион выходных токенов, и ничего в цене этой модели, контекстном окне или опубликованных бенчмарках в этом месяце не изменилось. Новое датируется последней неделей: публичная проверяемая запись о том, как фронтирная модель самостоятельно провела целый поиск архитектуры, включая неудавшиеся ветви, и доступная для скачивания модель, вышедшая с другого конца. Это более узкое утверждение, чем предполагает хронология, и оно интереснее, чем строка в таблице бенчмарков.

Эта запись также является причиной того, что это материал в духе «вот что на самом деле установлено», а не пост о запуске. Арена помечает собственную заявку как заявленную самостоятельно. Есть один сид. Никто за пределами оператора не воспроизвёл это число, и на момент написания контрольная точка Hugging Face была скачана ноль раз. Читайте разделы ниже с учётом этого — не как поводы отвергнуть результат, а как точную форму доказательств.

Что на самом деле представляет собой AttnRes-Canon

Две существующие идеи, объединённые, плюс одна вещь, которую ни одна из них не делает в одиночку.

Первая идея — Attention Residuals, из статьи Kimi Team, опубликованной на arXiv в марте 2026 года (2603.15031). Стандартные остаточные связи PreNorm добавляют выход каждого слоя с фиксированным весом, равным единице, поэтому скрытое состояние растёт с глубиной, а вклад каждого слоя размывается. Attention Residuals заменяет эту фиксированную сумму softmax-вниманием по более ранним слоям, так что веса смешивания зависят от входа. Дешёвая версия, Block AttnRes, группирует слои в блоки и выполняет внимание по сводкам блоков; дорогая версия позволяет каждому слою напрямую читать каждый более ранний слой. В базовой конфигурации арены 23 слоя распределены по 8 группам, поэтому слой может прочитать обратно сумму выходов более ранней группы — резюме глав, по образному выражению автора, а не сами главы.

Второй — слои Canon из работы Zeyuan Allen-Zhu «Physics of Language Models, Part 4.1» (arXiv:2512.17351, декабрь 2025 г., пересмотренная версия — июль 2026 г.). Слой Canon — это небольшая свёртка шириной 4: при обработке текущего токена она также подмешивает три непосредственно предшествующих ему токена.

AttnRes-Canon — это Full Attention Residuals: 23 группы вместо 8, каждый слой независимо читает любой более ранний слой, — со слоями Canon в четырёх позициях: A на входе в механизм внимания и C на входе в MLP, B на проекциях запросов, ключей и значений, а D на скрытом слое MLP. Один компонент передаёт информацию по глубине, другой — по последовательности. Совокупный прирост оказался немного выше суммы двух приростов, измеренных по отдельности, и это единственное по-настоящему новое архитектурное утверждение в отчёте.

• Компонент глубины — Full AttnRes: 23 группы, каждый слой читает предыдущие слои по отдельности, а не через блочные сводки

• Компонент последовательности — слои Canon в позициях A, B, C и D: каузальная свёртка шириной 4 по каждому токену и трём его предшественникам

• Затраты — 1,66× времени на одно обновление при обучении по сравнению с Block AttnRes, родительской архитектурой, которую он превзошёл

Если эта последняя строка звучит как запоздалая мысль, то именно её поиск так и не принял в расчёт, и к ней мы ещё вернёмся.

Линейка появилась раньше поиска.

Правила арены намеренно скучны. Обучающие данные, 46 875 обновлений и FLOPs на токен (в пределах ±1%) фиксированы; меняться может только архитектура; оценка — CORE-22 — среднее по 22 задачам, чем выше, тем лучше — плюс валидационные биты на байт, чем ниже, тем лучше; а во время поиска агент может смотреть только на обучающую функцию потерь и BPB на dev-сплите. Один полный запуск стоит более 1 400 GPU-часов, поэтому ни один поиск не может позволить себе обучить дюжину идей до завершения. Всё зависит от того, ранжирует ли короткий запуск идеи так же, как это сделал бы длинный.

Итак, первые ~152 GPU-часа ушли на калибровку этой линейки, а не на саму задачу. Очевидный обходной путь — ужать весь график изменения скорости обучения до 512 обновлений — оказался систематически ошибочным при ранжировании: при обучении на 11 методах, полные результаты которых уже были известны, он дал корреляцию Спирмена 0,40 с итоговым порядком при заранее установленной планке 0,85. Ошибки не были шумом. Все четыре архитектуры с циклами опустились в рейтинге, а все четыре архитектуры с линейным вниманием поднялись, потому что раннее снижение скорости обучения льстит быстро сходящимся моделям и ампутирует медленно стартующих.

Если вместо этого взять префикс реального расписания — то же расписание, остановленное раньше и затем продолженное настоящим полным прогоном, — это дало 0,72 на 500 обновлениях и 0,92 на 2 000. Именно это зафиксировало протокол: 512 обновлений — лишь нижняя граница для отсева кандидатов, которые явно не смогли обучиться, а все решения о ранжировании принимаются на обновлении 2 000, что составляет около 4% полного прогона. Та же калибровка дала уровень шума: два прогона с одинаковым seed различались примерно на 0,0004 по dev BPB, поэтому кандидат должен был превзойти своего родителя более чем на 0,001, чтобы считаться победителем.

Это более удачный экспериментальный план, чем тот, что обычно встречается в большинстве статей о человеческой архитектуре, и стоит прямо сказать: именно дизайн, а не модель, делает результат понятным.

Три раунда, двенадцать кандидатов, один мираж

В первом раунде опробовали пять одиночных изменений поверх Block AttnRes, каждое сопровождалось письменно сформулированной опровержимой гипотезой. Ни одно не перешагнуло порог −0.0010 на обновлении 2,000. Full AttnRes подошёл ближе всех с −0.0008; Canon на позициях A и C достиг −0.0006. Вариант с gated-attention был лучшим во всём поле на обновлении 512 с результатом −0.0027 и финишировал позади с +0.0006 — в отчёте его называют тем, чем он был, — миражом, и та же закономерность повторяется.

Второй раунд объединил почти прошедшие кандидаты и добавил два варианта mixture-of-experts при сопоставимых вычислениях. Порог прошли три кандидата: Canon на всех четырёх позициях (−0,0021, 1,47× времени шага), Full AttnRes плюс Canon-A/C (−0,0018, 1,30×) и Full AttnRes плюс гейт (−0,0010, чуть выше порога). Гейт почти ничего не давал, куда бы его ни добавляли, тогда как оба других изменения снижали dev BPB у каждого родительского варианта, на котором их пробовали. Два варианта MoE — включая конфигурацию с равными вычислениями, которую агент оценил выше всего, — заняли последнее и предпоследнее места.

И рейтинг резко перевернулся: четыре лучших кандидата на 512-м обновлении оказались в точности в обратном порядке на 2000-м обновлении.

Именно в третьем раунде поиск оправдывает себя. Вместо того чтобы во второй раз доверять порядку update-512, он дождался, пока прогоны второго раунда дойдут до update 1 536. Затем у двух кандидатов общим родителем был Canon-A/C: один сделал шаг в сторону Full AttnRes, другой добавил позиции Canon B и D; оба оказались примерно на 0,002 ниже этого общего родителя. Располагая бюджетом еще на одного кандидата, агент объединил этих двоих, вместо того чтобы дожидаться последних нескольких сотен обновлений. Объединенная модель достигла dev BPB 0,7965 — на 0,0038 ниже Block AttnRes и первое место во всем поиске — при времени шага в 1,66 раза больше.

Итого: 12 кандидатов, 3 раунда, 550 GPU-часов поиска.

Финальный заезд — и насколько сохранилось преимущество.

Короткие прогоны видят только плоскую часть графика скорости обучения. То, сохраняется ли раннее преимущество после затухания, нужно измерять, и именно этой части отчёта следует уделить наибольшее внимание.

AttnRes-Canon был перенесён в плагин формального метода и обучен с нуля на 49,152 млрд токенов на 32 GPU H20, с одним сидом.

• CORE-22 — AttnRes-Canon 35.99 против mHC 35.33 против Block AttnRes 34.00 против Dense Baseline 33.10

• BPB валидации — AttnRes-Canon 0.6605 против mHC 0.6617 против Block AttnRes 0.6630 против Dense Baseline 0.6672

Позиция в рейтинге — первое место среди 38 опубликованных результатов Arena v1 по обоим показателям, согласно собственной таблице арены.

• Вычисления — 152 GPU-часа на исследование, 550 на поиск, 1 433 на финальный запуск, 2 135 в сумме

Первый по обеим метрикам, и преимущество не огромно: на 2.0 балла CORE больше, чем у метода, на основе которого он был построен, и на 0.0025 BPB. Полезнее конечной точки является траектория. Разрыв с Block AttnRes составлял 0.0037 на обновлении 2 000, расширился до 0.0058, пока скорость обучения оставалась постоянной, а затем к концу сократился до 0.0024 — более половины преимущества было потеряно в хвосте. В отчёте это сопоставлено с внешним случаем: Dense Baseline с добавленным гейтом лидировал с отрывом 0.0012 на обновлении 2 000, уверенно превзошёл собственную победную отметку этого поиска и финишировал на 0.0002 позади. Это честный предел всего метода, сформулированный теми, кто его проводил: раннее лидерство покупает вам гипотезу, а не результат.

Что подтверждено, а что вы принимаете на веру

Запись о прогоне на удивление откровенно говорит о собственном происхождении, и эта откровенность — причина доверять описанию процесса больше, чем главной цифре.

• Независимое воспроизведение — отсутствует. Арена помечает эту запись как «самоотчёт», а в нижнем колонтитуле отчёта указано: «Arena v1 · single-seed results»

• Сиды — один. В отчёте среди четырёх ошибок агента указано «ни разу не запустил второй сид»

• Участие человека — план, правила и бюджет GPU каждого этапа были утверждены оператором, в зафиксированной роли которого указано, что он не выбрал ни одного кандидата и не написал код метода.

• Проверка — в записи указана вторая модель, GPT-6 Astra с высоким уровнем рассуждений, которая проверяет код третьего этапа и скрипты запуска перед любым GPU-заданием, а не выбирает архитектуры.

• Материалы для воспроизводимости — публичный код метода под лицензией MIT, контрольная точка и журналы на Hugging Face, а также трассировка, предназначенная для воспроизведения каждой инструкции и результата; на момент написания у контрольной точки было ноль загрузок

• Сигнал выбора — только dev-split BPB; агент не видел CORE-22 при выборе

Последний пункт важнее, чем кажется. Агент мог читать опубликованные результаты других методов, но выбирал кандидатов, используя только dev-разбиение, — а это разница между поиском и подглядыванием.

Список неудач — это другая половина ценности. Четыре дня контекста, сжатые семь раз, с заметками о кандидатах, записанными в файлы, чтобы поток можно было возобновить. Агент планировал принять решение по третьему раунду на обновлении 1 536, но установил напоминания только на 512 и 2 000, поэтому остановился в промежутке и возобновил работу только после того, как человек подтолкнул его. Оно поставило наивысшую оценку mixture-of-experts с равными вычислениями, а оба варианта финишировали последними. Оно перепутало вариацию от запуска к запуску с вариацией от сида к сиду. И оно оптимизировало качество без ограничения по скорости — именно так модель в 1,66 раза медленнее выиграла конкурс с сопоставимыми вычислениями только за счёт качества.

Ничто из этого не экзотика. Это те самые режимы отказа, которые уже известны каждому, кто запускает длинный цикл агента: план без таймера, априорное предположение, не выдерживающее соприкосновения с реальностью, модель дисперсии, не соответствующая той дисперсии, что у вас есть, и целевая функция с дырой. Новое здесь — увидеть, как их перечислили по пунктам люди, наблюдавшие, как они происходили, с трассировкой на GitHub.

Что это меняет для того, кто выбирает модель

Ничего о тарифах, контекстном окне или бенчмарках Claude Opus 5.5. Полезный сдвиг уже и практичнее: это одна из первых публичных, воспроизводимых демонстраций того, что универсальная фронтирная модель при наличии фиксированного стенда оценки и одобрения бюджета человеком может провести многораундовый экспериментальный поиск и создать нечто, что команда действительно стала бы обучать.

Это имеет конкретное следствие для того, как вы будете это использовать. Если вы рассматриваете возможность направить агента на собственную поисковую задачу, переносимая часть отчёта — это протокол, а не архитектура: откалибруйте свой дешёвый суррогатный показатель по известным полным результатам, прежде чем потратить хотя бы один GPU-час; заранее задайте порог шума и порог победы на основе повторных запусков; меняйте только один элемент у каждого кандидата относительно явно указанного родителя; и определяйте победы на горизонте, который, как вы показали, обладает прогностической силой. Эти четыре правила стоят около 7% общих вычислений здесь и являются причиной того, что остальные 93% не были потрачены впустую.

Архитектурный результат сложнее использовать на практике. AttnRes-Canon — это исследовательский метод, а не модель, предоставляемая в эксплуатации. Он существует в виде плагина метода и чекпоинта на 49.152B токенов, с единственным сидом, и любой, кто захочет строить на его основе, начинает с попытки воспроизведения. Рассматривайте показатель CORE-22 как зацепку, заслуживающую второго сида, а не как установившееся свойство остаточных механизмов внимания.

OrcaRouter занимает место в той части рабочего процесса, которая окружает поиск, а не в самом поиске. Claude Opus 5.5 есть в нашем каталоге по опубликованной A​nthropic прейскурантной цене, переданной без наценки (0%) — $4.00 за миллион входных токенов, $20.00 за миллион выходных, $0.20 за чтение из кэша, контекст 1M токенов — а модели, между которыми обычно распределяется поисковый цикл, доступны через один и тот же ключ: Claude Fable 5.2 по $8.00/$40.00 с 9 ноября, GPT-6 Astra по $10.00/$50.00 до 272K токенов и $20.00/$75.00 сверх этого, Claude Opus 5 по $5.00/$25.00. Четырёхдневная исследовательская сессия, которая семь раз уплотняет свой контекст, — это долгий, дорогой и подверженный сбоям разговор; запуск через одну конечную точку с автоматическим переключением при сбое означает, что сбой у провайдера будет стоить повторной попытки, а не целой ночи, а DSL маршрутизации позволяет поручить рутинный анализ более дешёвой модели и сохранить Claude Opus 5.5 для решений, определяющих следующий раунд.

Что посмотреть дальше

Три вещи превратили бы это из любопытного самоотчёта в результат, на который можно опереться. Второй seed — в отчёте сказано, что его не было, — который показал бы, реальна ли цифра 0.0025 BPB. Повторный запуск с ограничением по скорости, поскольку время шага 1.66× — это треть ценности, если вам важна пропускная способность на GPU-час, а не на токен. И Arena v2, которая, по словам авторов, будет работать в закрытом контейнере с фиксированным лимитом вычислений, так что агент вообще не сможет видеть формальный валидационный набор или CORE-22 — именно в этой версии фраза «исследование выполнил агент» перестаёт нуждаться в человеке в контуре, чтобы быть убедительной.

До тех пор справедливое резюме таково: агент, получивший хорошо построенную линейку, за четыре дня нашёл реальное, скромное, в принципе воспроизводимое улучшение архитектуры примерно за 2 100 GPU-часов и записал всё, в чём ошибался по пути. Последняя часть — это то, что эта область обычно опускает.