Claude Opus 5.5 znalazł AttnRes-Canon: co tak naprawdę udowodniły cztery dni poszukiwań architektury

Dnia 6 listopada 2026 r. grupa badawcza o nazwie IAAI opublikowała zapis przebiegu Arena v1, w którym wskazano Claude Opus 5.5 jako agenta, który zaprojektował architekturę Transformer o nazwie AttnRes-Canon, a także checkpoint, odtwarzalny ślad i dziesięciominutowe opracowanie autorstwa Yi Ge wyjaśniające, jak do tego doszło. Sam Claude Opus 5.5 nie jest nowy — Anthropic udostępnił go 22 września 2026 r. w cenie 4 USD za milion tokenów wejściowych i 20 USD za milion tokenów wyjściowych, a w tym miesiącu nie zmieniły się cena, okno kontekstowe ani opublikowane wyniki benchmarków tego modelu. Nowe jest to, co pochodzi z ostatniego tygodnia: publiczny, weryfikowalny zapis tego, jak model z czołówki samodzielnie przeprowadził całe przeszukiwanie architektury, w tym gałęzie, które się nie powiodły, oraz pobieralny model, który z tego wyszedł. To węższe twierdzenie, niż sugeruje oś czasu, i ciekawsze niż wiersz w benchmarku.

Ten rekord jest też powodem, dla którego to tekst w rodzaju „oto, co faktycznie ustalono”, a nie wpis premierowy. Arena sama oznacza swój wpis jako samodzielnie zgłoszony. Jest jedno ziarno. Nikt spoza operatora nie odtworzył tej liczby, a w chwili pisania checkpoint na Hugging Face został pobrany zero razy. Czytaj poniższe sekcje z tym na uwadze — nie jako powody, by odrzucić wynik, lecz jako dokładny kształt dowodów.

Czym właściwie jest AttnRes-Canon

Dwie istniejące idee połączone razem, plus jedna rzecz, której żadna z nich nie robi sama.

Pierwszy pomysł to Attention Residuals, z artykułu zespołu Kimi opublikowanego na arXiv w marcu 2026 r. (2603.15031). Standardowe połączenia rezydualne PreNorm dodają wynik każdej warstwy z ustaloną wagą równą jeden, więc stan ukryty rośnie wraz z głębokością, a wkład każdej warstwy ulega rozcieńczeniu. Attention Residuals zastępuje tę ustaloną sumę uwagą softmax nad wcześniejszymi warstwami, dzięki czemu wagi mieszania zależą od danych wejściowych. Tańsza wersja, Block AttnRes, grupuje warstwy w bloki i wykonuje uwagę nad podsumowaniami bloków; droższa wersja pozwala każdej warstwie czytać bezpośrednio każdą wcześniejszą warstwę. W baseline'ie areny 23 warstwy tworzą 8 grup, więc warstwa może odczytać sumę wyników wcześniejszej grupy — streszczenia rozdziałów, w metaforze autora, a nie same rozdziały.

Drugie to warstwy Canon, z pracy Zeyuana Allen-Zhu „Physics of Language Models, Part 4.1” (arXiv:2512.17351, grudzień 2025 r. z poprawioną wersją z lipca 2026 r.). Warstwa Canon to mała konwolucja o szerokości 4: podczas przetwarzania bieżącego tokenu miesza również trzy tokeny bezpośrednio przed nim.

AttnRes-Canon to Full Attention Residuals — 23 grupy zamiast 8, przy czym każda warstwa niezależnie odczytuje dowolną wcześniejszą warstwę — z warstwami Canon w czterech pozycjach: A na wejściu do attention i C na wejściu do MLP, B na projekcjach query, key i value oraz D na warstwie ukrytej MLP. Jeden komponent przenosi informację wzdłuż głębokości, a drugi wzdłuż sekwencji. Łączny zysk okazał się nieco większy niż suma obu zysków zmierzonych osobno, co jest jedynym naprawdę nowym twierdzeniem architektonicznym w raporcie.

• Komponent głębokości — Full AttnRes: 23 grupy, każda warstwa odczytuje wcześniejsze warstwy indywidualnie, a nie poprzez podsumowania bloków

• Komponent sekwencyjny — warstwy Canon w A, B, C i D: konwolucja przyczynowa o szerokości 4 na każdym tokenie i jego trzech poprzednikach

• Koszt — 1,66× czasu na aktualizację treningową w Block AttnRes, swojej architekturze nadrzędnej, którą pokonał

Jeśli ta ostatnia linijka brzmi jak coś dodanego na końcu, to właśnie ona nigdy nie została uwzględniona w poszukiwaniach — i jeszcze do niej wrócimy.

Linijka pojawiła się przed wyszukiwaniem.

Zasady tej areny są celowo nudne. Dane treningowe, 46 875 aktualizacji i FLOPs na token (w granicach ±1%) są ustalone; zmieniać można wyłącznie architekturę; punktacja to CORE-22 — średnia z 22 zadań, im wyższa, tym lepiej — plus walidacyjne bity na bajt, im niższe, tym lepiej; a podczas wyszukiwania agent może patrzeć wyłącznie na stratę treningową i BPB na podziale deweloperskim. Pojedyncze pełne uruchomienie kosztuje ponad 1400 godzin GPU, więc żadne wyszukiwanie nie może sobie pozwolić na wytrenowanie kilkunastu pomysłów do końca. Wszystko zależy od tego, czy krótkie uruchomienie uszereguje pomysły tak, jak zrobiłoby to długie.

Zatem pierwsze ~152 godzin GPU poświęcono na kalibrację tej miarki, a nie na sam problem. Oczywiste skrócenie — wciśnięcie całego harmonogramu współczynnika uczenia w 512 aktualizacji — okazało się systematycznie błędnie szeregować: wytrenowane na 11 metodach, których pełne wyniki były już znane, dało korelację Spearmana 0,40 względem końcowego uporządkowania, wobec ustalonego z góry progu 0,85. Błędy nie były szumem. Wszystkie cztery architektury z pętlami spadły w rankingu, a wszystkie cztery architektury z liniową uwagą wzrosły, ponieważ wczesne obcięcie współczynnika uczenia schlebi modelom szybko zbiegającym i odcina wolno startujące.

Zamiast tego wzięcie początkowego fragmentu rzeczywistego harmonogramu — tego samego harmonogramu, zatrzymanego wcześniej, a następnie kontynuowanego jako rzeczywisty pełny przebieg — osiągnęło 0,72 przy 500 aktualizacjach i 0,92 przy 2000. To właśnie ustaliło protokół: 512 aktualizacji to tylko dolna granica do eliminowania kandydatów, którzy wyraźnie nie dali się wytrenować, a każda decyzja rankingowa jest podejmowana przy aktualizacji 2000, czyli około 4% pełnego przebiegu. Ta sama kalibracja wyznaczyła poziom szumu: dwa przebiegi z tym samym ziarnem różniły się o około 0,0004 w dev BPB, więc kandydat musiał pobić swojego rodzica o więcej niż 0,001, aby zostać uznanym za wygraną.

To lepszy projekt eksperymentalny, niż zwykle zadają sobie trud w większości artykułów o architekturze autorstwa ludzi, i warto powiedzieć wprost, że to projekt, a nie model, sprawia, iż wynik jest czytelny.

Trzy rundy, dwunastu kandydatów, jeden miraż

Pierwsza runda wypróbowała pięć pojedynczych zmian na bazie Block AttnRes, z których każda miała zapisaną, falsyfikowalną hipotezę. Żadna nie osiągnęła progu −0,0010 przy aktualizacji 2 000. Pełny AttnRes był najbliżej, osiągając −0,0008; Canon na pozycjach A i C osiągnął −0,0006. Wariant z bramkowaną uwagą prowadził przy aktualizacji 512 z przewagą −0,0027 nad całym zestawieniem i zakończył z tyłu na poziomie +0,0006 — raport nazywa to, czym było: mirażem, i ten sam wzorzec powraca.

Druga runda połączyła bliskie trafienia i dodała dwa warianty mieszaniny ekspertów przy dopasowanym nakładzie obliczeniowym. Trzy kandydatury przekroczyły próg: Canon na wszystkich czterech pozycjach (−0.0021, 1.47× czas kroku), Full AttnRes plus Canon-A/C (−0.0018, 1.30×) oraz Full AttnRes plus bramka (−0.0010, tuż powyżej progu). Bramka wnosiła prawie nic, gdziekolwiek ją dodano, podczas gdy obie pozostałe zmiany obniżały dev BPB w każdym rodzicu, na którym je wypróbowano. Dwa warianty MoE — w tym konfiguracja o równym nakładzie obliczeniowym, którą agent ocenił najwyżej — zajęły ostatnie i przedostatnie miejsce.

A ranking odwrócił się gwałtownie: czterech najlepszych kandydatów przy aktualizacji 512 uplasowało się w dokładnie odwrotnej kolejności przy aktualizacji 2000.

Trzecia runda to moment, w którym wyszukiwanie zaczyna na siebie zarabiać. Zamiast po raz drugi ufać kolejności aktualizacji co 512, poczekało, aż przebiegi drugiej rundy osiągnęły aktualizację 1 536. Dwóch kandydatów miało wtedy wspólnego rodzica Canon-A/C: jeden robił krok w stronę Full AttnRes, a drugi dodawał pozycje B i D w Canon; oba plasowały się około 0,002 poniżej tego wspólnego rodzica. Mając budżet na jeszcze jednego kandydata, agent połączył tych dwóch, zamiast przeczekać ostatnie kilkaset aktualizacji. Połączony model osiągnął dev BPB na poziomie 0,7965 — o 0,0038 poniżej Block AttnRes i pierwsze miejsce w całym wyszukiwaniu — przy 1,66-krotności czasu kroku.

Łącznie: 12 kandydatów, 3 rundy, 550 godzin GPU na wyszukiwanie.

Ostatni przejazd i ile z przewagi przetrwało

Krótkie przebiegi widzą jedynie płaską część harmonogramu współczynnika uczenia. To, czy wczesna przewaga przetrwa wygaszanie, trzeba zmierzyć — i to jest ta część raportu, która zasługuje na najwięcej uwagi.

AttnRes-Canon został przeniesiony do wtyczki formalnej metody i wytrenowany od zera na 49,152 mld tokenów na 32 GPU H20, z pojedynczym ziarnem losowości.

• CORE-22 — AttnRes-Canon 35,99 vs mHC 35,33 vs Block AttnRes 34,00 vs Dense Baseline 33,10

• Walidacja BPB — AttnRes-Canon 0.6605 vs mHC 0.6617 vs Block AttnRes 0.6630 vs Dense Baseline 0.6672

• Pozycja w rankingu — pierwsze miejsce spośród 38 opublikowanych wyników Arena v1 w obu metrykach, według własnej tablicy wyników areny

• Obliczenia — 152 godzin GPU na eksplorację, 550 na wyszukiwanie, 1 433 na końcowe uruchomienie, łącznie 2 135

Pierwsze miejsce w obu metrykach, a przewaga nie jest ogromna: 2,0 punktu CORE nad metodą, na której go zbudowano, 0,0025 BPB. Bardziej użyteczna niż wynik końcowy jest trajektoria. Luka do Block AttnRes wynosiła 0,0037 przy aktualizacji 2000, poszerzyła się do 0,0058, gdy tempo uczenia pozostawało stałe, a następnie zmalała do 0,0024 pod koniec — ponad połowa przewagi została utracona w ogonie. Raport zestawia to z przypadkiem zewnętrznym: Dense Baseline z dodaną bramką prowadził różnicą 0,0012 przy aktualizacji 2000, znacznie powyżej własnej zwycięskiej linii tego przeszukiwania, i zakończył 0,0002 za. To uczciwa granica całej metody, wskazana przez ludzi, którzy ją przeprowadzili: wczesna przewaga daje hipotezę, nie wynik.

Co jest zweryfikowane, a co przyjmujesz na wiarę

Zapis przebiegu jest niezwykle szczery w kwestii własnego pochodzenia, a ta szczerość to powód, by bardziej ufać opisowi procesu niż liczbie z nagłówka.

• Niezależna reprodukcja — brak. Arena oznacza wpis jako „zgłoszony samodzielnie”, a stopka opracowania mówi: „Arena v1 · wyniki z pojedynczego ziarna”.

• Ziarna — jedno. Raport wymienia „nigdy nie uruchomił drugiego ziarna” wśród czterech niepowodzeń agenta.

• Udział człowieka — plan każdego etapu, zasady i budżet GPU zostały zatwierdzone przez operatora, którego zapisana rola wskazuje, że nie wybrał żadnego kandydata i nie napisał kodu metody

• Przegląd — w zapisie wymieniono drugi model, GPT-6 Astra o wysokim poziomie wysiłku rozumowania, który przegląda kod trzeciego etapu i skrypty uruchomieniowe przed wykonaniem jakiegokolwiek zadania na GPU, a nie dokonuje wyboru architektur

• Materiały dotyczące powtarzalności — publiczna ścieżka kodu na licencji MIT dla tej metody, checkpoint i logi na Hugging Face oraz ślad mający odtworzyć każdą instrukcję i wynik; w momencie pisania tego tekstu checkpoint miał zero pobrań

• Sygnał wyboru — tylko BPB na podziale deweloperskim; agent nie widział CORE-22 podczas dokonywania wyboru

Ten ostatni punkt ma większe znaczenie, niż się wydaje. Agent mógł czytać opublikowane wyniki innych metod, ale kandydatów wybierał wyłącznie na podstawie zbioru deweloperskiego, co stanowi różnicę między poszukiwaniem a podglądaniem.

Lista niepowodzeń to druga połowa wartości. Cztery dni kontekstu, siedem razy skompaktowane, z notatkami kandydatów zapisywanymi do plików, aby można było wznowić wątek. Agent planował podjąć decyzję w trzeciej rundzie przy aktualizacji 1,536, ale ustawił przypomnienia tylko przy 512 i 2,000, więc zatrzymał się w luce i wznowił działanie dopiero wtedy, gdy człowiek go popchnął. Najwyżej ocenił mixture-of-experts o równym nakładzie obliczeniowym, a oba warianty zajęły ostatnie miejsce. Pomylił zmienność między uruchomieniami ze zmiennością między ziarnami losowymi. I optymalizował jakość bez żadnego ograniczenia szybkości, dlatego model wolniejszy 1,66× wygrał konkurs o dopasowanym nakładzie obliczeniowym wyłącznie pod względem jakości.

Żaden z nich nie jest egzotyczny. To tryby awarii, które zna już każdy, kto prowadzi długą pętlę agenta: plan bez timera, prior, który nie przetrwa kontaktu z rzeczywistością, model wariancji, który nie jest wariancją, którą masz, oraz funkcja celu z dziurą w środku. Nowe jest to, że widzi się je wyszczególnione przez ludzi, którzy obserwowali, jak do nich dochodzi, z zapisem przebiegu na GitHubie.

Co to zmienia dla osoby wybierającej model

Nic o cenniku, kontekście czy benchmarkach Claude Opus 5.5. Przydatna zmiana jest węższa i bardziej praktyczna: to jedna z pierwszych publicznych, odtwarzalnych demonstracji, że model czołowy ogólnego przeznaczenia, wyposażony w ustalony harness ewaluacyjny i zatwierdzenie budżetu przez człowieka, może prowadzić wielorundowe poszukiwania eksperymentalne i wytworzyć coś, na czym zespół faktycznie by trenował.

Ma to konkretną konsekwencję dla tego, jak byś tego używał. Jeśli rozważasz skierowanie agenta na własny problem wyszukiwania, przenośną częścią raportu jest protokół, a nie architektura: skalibruj swój tani proxy względem znanych pełnych wyników, zanim wydasz choćby jedną godzinę GPU, ustal z góry poziom szumu i próg zwycięstwa na podstawie powtórzonych przebiegów, zmieniaj jedną rzecz na kandydata względem określonego rodzica i rozstrzygaj zwycięstwa na horyzoncie, który wykazałeś jako predykcyjny. Te cztery zasady kosztowały tutaj około 7% całkowitego nakładu obliczeniowego i są powodem, dla którego pozostałe 93% nie zostało zmarnowane.

Wynik architektoniczny trudniej przekuć w działania. AttnRes-Canon to metoda badawcza, a nie model udostępniany w trybie produkcyjnym. Istnieje jako wtyczka metody i checkpoint 49,152 mld tokenów, pojedynczy seed, a każdy, kto chce na nim budować, zaczyna od próby reprodukcji. Liczbę CORE-22 traktuj jako trop wart drugiego seeda, a nie jako ustaloną właściwość reszt uwagi.

OrcaRouter wpisuje się w tę część przepływu pracy, która otacza wyszukiwanie, a nie samo wyszukiwanie. Claude Opus 5.5 jest w naszym katalogu w opublikowanej cenie katalogowej A​nthropic, przekazywanej bez marży (0%) — 4,00 USD za milion tokenów wejściowych, 20,00 USD za milion tokenów wyjściowych, 0,20 USD za odczyt z pamięci podręcznej, kontekst 1 mln tokenów — a modele, na które zwykle rozkłada się pętla wyszukiwania, stoją za tym samym kluczem: Claude Fable 5.2 w cenie 8,00/40,00 USD od 9 listopada, GPT-6 Astra w cenie 10,00/50,00 USD do 272 tys. tokenów i 20,00/75,00 USD powyżej, Claude Opus 5 w cenie 5,00/25,00 USD. Czterodniowa sesja badawcza, która siedem razy kompaktuje kontekst, to długa, kosztowna, podatna na awarie rozmowa; uruchamianie jej przez jeden punkt końcowy z automatycznym przełączaniem awaryjnym oznacza, że chwilowa awaria dostawcy kosztuje ponowną próbę, a nie całą noc, a DSL routingu pozwala przypisać tańszy model do rutynowej analizy i zachować Claude Opus 5.5 do decyzji, które wyznaczają następną rundę.

Co obejrzeć dalej

Trzy rzeczy przeniosłyby to z ciekawego self-reportu do wyniku, na którym można się oprzeć. Drugi seed, który według raportu nie wystąpił, a który powiedziałby, czy 0,0025 BPB jest prawdziwe. Ponowne uruchomienie z ograniczeniem szybkości, ponieważ czas kroku 1,66× to jedna trzecia wartości, jeśli zależy ci na przepustowości na GPU-godzinę, a nie na token. Oraz Arena v2, która według autorów będzie działać w szczelnym kontenerze ze stałym przydziałem obliczeń, tak aby agent w ogóle nie widział formalnego zbioru walidacyjnego ani CORE-22 — to jest wersja, w której „agent przeprowadził badanie” przestaje potrzebować człowieka w pętli, by być wiarygodne.

Do tego czasu uczciwe podsumowanie brzmi tak: agent wyposażony w dobrze skonstruowaną miarkę znalazł w ciągu czterech dni prawdziwą, skromną, możliwą do odtworzenia co do zasady poprawę architektury, za około 2100 godzin GPU, i zapisał wszystko, co po drodze zrobił źle. Ten ostatni element to właśnie to, co ta dziedzina zwykle pomija.