Claude Opus 5.5 fand AttnRes-Canon: Was vier Tage Architektursuche tatsächlich bewiesen haben

Am 6. November 2026 veröffentlichte eine Forschungsgruppe namens IAAI einen Arena-v1-Laufdatensatz, der Claude Opus 5.5 als den Agenten nennt, der eine Transformer-Architektur namens AttnRes-Canon entworfen hat, sowie einen Checkpoint, eine wiedergabefähige Ablaufverfolgung und eine zehnminütige schriftliche Darstellung von Yi Ge, die erklärt, wie es dazu kam. Claude Opus 5.5 selbst ist nicht neu — Anthropic brachte es am 22. September 2026 zu 4 US-Dollar pro Million Eingabe-Tokens und 20 US-Dollar pro Million Ausgabe-Tokens auf den Markt, und weder der Preis noch das Kontextfenster noch die veröffentlichten Benchmarks dieses Modells haben sich in diesem Monat geändert. Neu ist, was auf die letzte Woche datiert ist: eine öffentliche, nachprüfbare Aufzeichnung eines Frontier-Modells, das eine vollständige Architektursuche eigenständig durchgeführt hat, einschließlich der fehlgeschlagenen Zweige, sowie ein herunterladbares Modell, das am anderen Ende herauskam. Das ist eine engere Aussage, als die Zeitlinie nahelegt, und sie ist interessanter als eine Benchmark-Zeile.

Der Rekord ist auch der Grund, warum dies ein Artikel im Sinne von „hier steht, was tatsächlich belegt ist“ ist und kein Launch-Post. Die Arena kennzeichnet ihren eigenen Eintrag als selbst gemeldet. Es gibt einen Seed. Niemand außerhalb des Betreibers hat die Zahl reproduziert, und zum Zeitpunkt des Schreibens war der Hugging-Face-Checkpoint null Mal heruntergeladen worden. Lesen Sie die folgenden Abschnitte mit diesem Gedanken im Hinterkopf — nicht als Gründe, das Ergebnis abzutun, sondern als die genaue Beschaffenheit der Belege.

Was AttnRes-Canon tatsächlich ist

Zwei bestehende Ideen, kombiniert, plus eine Sache, die keine von beiden allein leistet.

Die erste Idee sind Attention Residuals, aus einem Paper des Kimi Team, das im März 2026 auf arXiv veröffentlicht wurde (2603.15031). Standard-PreNorm-Residualverbindungen addieren die Ausgabe jeder Schicht mit einem festen Gewicht von eins, sodass der verborgene Zustand mit der Tiefe wächst und der Beitrag jeder Schicht verwässert wird. Attention Residuals ersetzt diese feste Summe durch Softmax-Attention über frühere Schichten, sodass die Mischgewichte von der Eingabe abhängen. Die günstige Variante, Block AttnRes, gruppiert Schichten in Blöcke und richtet Attention über Blockzusammenfassungen aus; die teure Variante lässt jede Schicht jede frühere Schicht direkt lesen. In der Baseline der Arena sind 23 Schichten in 8 Gruppen angeordnet, sodass eine Schicht die Summe der Ausgaben einer früheren Gruppe zurücklesen kann – Kapitelzusammenfassungen, im Bild des Autors, nicht die Kapitel.

Das zweite sind Canon-Schichten, aus Zeyuan Allen-Zhus „Physics of Language Models, Part 4.1“ (arXiv:2512.17351, Dezember 2025 mit einer Überarbeitung vom Juli 2026). Eine Canon-Schicht ist eine kleine Faltung der Breite 4: Während sie das aktuelle Token verarbeitet, mischt sie auch die drei unmittelbar davorstehenden Tokens ein.

AttnRes-Canon ist Full Attention Residuals – 23 Gruppen statt 8, wobei jede Schicht jede frühere Schicht eigenständig liest –, mit Canon-Schichten an vier Positionen: A am Eingang der Attention und C am Eingang des MLP, B an den Query-, Key- und Value-Projektionen und D an der verborgenen MLP-Schicht. Eine Komponente trägt Informationen entlang der Tiefe, die andere entlang der Sequenz. Der kombinierte Gewinn lag etwas über der Summe der beiden separat gemessenen Gewinne, was die einzige wirklich neue architektonische Aussage im Bericht ist.

• Tiefenkomponente — Full AttnRes: 23 Gruppen, wobei jede Schicht frühere Schichten einzeln statt über Blockzusammenfassungen liest

• Sequenzkomponente — Canon-Schichten bei A, B, C und D: eine kausale Faltung der Breite 4 über jedes Token und seine drei Vorgänger

• Kosten — 1,66× der Zeit pro Trainings-Update von Block AttnRes, dem Elternmodell, das es übertroffen hat

Wenn diese letzte Zeile wie ein nachträglicher Gedanke klingt, dann ist sie der Punkt, den die Suche nie eingepreist hat, und wir werden darauf zurückkommen.

Der Herrscher kam vor der Suche.

Die Regeln der Arena sind absichtlich langweilig. Trainingsdaten, 46.875 Updates und FLOPs pro Token (innerhalb von ±1 %) sind festgelegt; nur die Architektur darf sich ändern; die Bewertung erfolgt über CORE-22 – den Mittelwert über 22 Aufgaben, höher ist besser – plus Validierungs-Bits-pro-Byte, niedriger ist besser; und während der Suche darf der Agent nur den Trainingsverlust und den Dev-Split-BPB betrachten. Ein einzelner vollständiger Lauf kostet mehr als 1.400 GPU-Stunden, daher kann sich keine Suche leisten, ein Dutzend Ideen bis zum Abschluss zu trainieren. Alles hängt davon ab, ob ein kurzer Lauf Ideen so einordnet, wie es ein langer Lauf täte.

Also gingen die ersten ~152 GPU-Stunden in die Kalibrierung dieses Maßstabs statt in das Problem. Die naheliegende Abkürzung – den gesamten Learning-Rate-Zeitplan in 512 Updates zu quetschen – erwies sich als systematisch falsch bei der Rangfolge: Trainiert an 11 Methoden, deren vollständige Ergebnisse bereits bekannt waren, ergab sie eine Spearman-Korrelation von 0,40 gegenüber der endgültigen Reihenfolge – bei einer vorab festgelegten Messlatte von 0,85. Die Fehler waren kein Rauschen. Alle vier Loop-Architekturen fielen im Ranking und alle vier Linear-Attention-Architekturen stiegen, weil ein frühes Absenken der Lernrate schnell konvergierende Modelle begünstigt und langsame Starter abschneidet.

Die Verwendung eines Präfixes des echten Zeitplans stattdessen – derselbe Zeitplan, früh abgebrochen und dann mit einem echten vollständigen Lauf fortgesetzt – erreichte 0,72 bei 500 Updates und 0,92 bei 2.000. Damit wurde das Protokoll festgelegt: 512 Updates sind nur eine Untergrenze, um Kandidaten auszusortieren, die eindeutig nicht trainiert werden konnten, und jede Ranking-Entscheidung erfolgt bei Update 2.000, etwa 4 % eines vollständigen Laufs. Dieselbe Kalibrierung ergab die Rauschuntergrenze: Zwei Läufe mit demselben Seed unterschieden sich um etwa 0,0004 im Dev-BPB, sodass ein Kandidat seinen Elternkandidaten um mehr als 0,001 übertreffen musste, um als Gewinn zu zählen.

Das ist ein besseres experimentelles Design, als sich die meisten von Menschen verfassten Architektur-Papers die Mühe machen, und es lohnt sich, klar zu sagen, dass das Design und nicht das Modell dafür sorgt, dass das Ergebnis lesbar ist.

Drei Runden, zwölf Kandidaten, ein Trugbild

Runde eins testete fünf einzelne Änderungen zusätzlich zu Block AttnRes, jede mit einer schriftlich festgehaltenen, widerlegbaren Hypothese. Keine erreichte bei Update 2.000 die −0,0010-Grenze. Full AttnRes kam mit −0,0008 am nächsten; Canon an den Positionen A und C erreichte −0,0006. Eine Gated-Attention-Variante führte bei Update 512 mit −0,0027 das gesamte Feld an und lag am Ende hinter bei +0,0006 — der Bericht nennt es, was es war: eine Fata Morgana, und dasselbe Muster wiederholt sich.

Runde zwei kombinierte die knapp verfehlten Ansätze und ergänzte zwei Mixture-of-Experts-Varianten bei identischem Rechenaufwand. Drei Kandidaten überschritten die Schwelle: Canon an allen vier Positionen (−0,0021; 1,47× Schrittzeit), Full AttnRes plus Canon-A/C (−0,0018; 1,30×) und Full AttnRes plus das Gate (−0,0010; knapp darüber). Das Gate trug so gut wie nichts bei, egal wo es hinzugefügt wurde, während die beiden anderen Änderungen den Dev-BPB bei jedem Ausgangsmodell senkten, an dem sie getestet wurden. Die beiden MoE-Varianten – einschließlich der Konfiguration mit gleichem Rechenaufwand, die der Agent am höchsten bewertet hatte – belegten den letzten und den vorletzten Platz.

Und das Ranking kippte stark: Die vier besten Kandidaten bei Update 512 landeten bei Update 2.000 in genau umgekehrter Reihenfolge.

In Runde drei macht sich die Suche bezahlt. Statt der Update-512-Reihenfolge ein zweites Mal zu vertrauen, wartete sie, bis die Läufe der zweiten Runde Update 1.536 erreichten. Zwei Kandidaten hatten dann Canon-A/C als gemeinsames Elternteil, wobei einer einen Schritt in Richtung Full AttnRes machte und einer Canon-Positionen B und D hinzufügte; beide lagen etwa 0,002 unter diesem gemeinsamen Elternteil. Da noch Budget für einen weiteren Kandidaten vorhanden war, fusionierte der Agent die beiden, anstatt die letzten paar hundert Updates abzuwarten. Das fusionierte Modell erreichte einen Dev-BPB von 0,7965 – 0,0038 unter Block AttnRes und damit den ersten Platz in der gesamten Suche – bei 1,66× der Schrittzeit.

Insgesamt: 12 Kandidaten, 3 Runden, 550 GPU-Stunden Suche.

Der finale Lauf – und wie viel vom Vorsprung übrig blieb

Kurze Läufe sehen nur den flachen Teil des Learning-Rate-Zeitplans. Ob ein früher Vorsprung den Decay übersteht, muss gemessen werden, und das ist der Teil des Berichts, der die meiste Aufmerksamkeit verdient.

AttnRes-Canon wurde in ein formales Methoden-Plugin portiert und von Grund auf mit 49,152 Milliarden Tokens auf 32 H20-GPUs mit einem einzigen Seed trainiert.

• CORE-22 — AttnRes-Canon 35,99 vs. mHC 35,33 vs. Block AttnRes 34,00 vs. Dense-Baseline 33,10

• Validierung BPB — AttnRes-Canon 0,6605 vs. mHC 0,6617 vs. Block AttnRes 0,6630 vs. Dense Baseline 0,6672

• Ranglistenposition – bei beiden Kennzahlen Erster von 38 veröffentlichten Arena-v1-Ergebnissen, laut der eigenen Rangliste der Arena

• Rechenleistung — 152 GPU-Stunden für die Exploration, 550 für die Suche, 1.433 für den finalen Lauf, 2.135 insgesamt

Bei beiden Metriken vorn, und der Vorsprung ist nicht enorm: 2,0 CORE-Punkte gegenüber der Methode, auf der es aufbaut, 0,0025 BPB. Nützlicher als der Endpunkt ist der Verlauf. Der Abstand zu Block AttnRes betrug 0,0037 bei Update 2.000, weitete sich auf 0,0058, während die Lernrate konstant blieb, und verringerte sich bis zum Ende auf 0,0024 — mehr als die Hälfte des Vorteils ging im Endverlauf verloren. Der Bericht stellt dem einen externen Fall gegenüber: Ein Dense Baseline mit hinzugefügtem Gate lag bei Update 2.000 mit 0,0012 vorn, deutlich über der eigenen Siegerlinie dieser Suche, und endete 0,0002 dahinter. Das ist die ehrliche Grenze der gesamten Methode, formuliert von den Leuten, die sie durchgeführt haben: Ein früher Vorsprung kauft dir eine Hypothese, kein Ergebnis.

Was verifiziert ist und was Sie im Vertrauen annehmen

Der Laufbericht ist ungewöhnlich offen bezüglich seiner eigenen Herkunft, und diese Offenheit ist der Grund, der Prozessbeschreibung mehr zu trauen als der Kennzahl aus der Überschrift.

• Unabhängige Reproduktion — keine. Die Arena kennzeichnet den Eintrag als „selbst gemeldet“, und in der Fußzeile des Berichts heißt es: „Arena v1 · Single-Seed-Ergebnisse“

• Seeds — eins. Der Bericht führt „nie einen zweiten Seed ausgeführt“ unter den vier Fehlern des Agenten auf.

• Menschliche Beteiligung — Plan, Regeln und GPU-Budget jeder Stufe wurden vom Operator genehmigt; in dessen dokumentierter Rolle steht, dass er keinen Kandidaten ausgewählt und keinen Methodencode geschrieben hat.

• Prüfung — im Datensatz ist ein zweites Modell aufgeführt, GPT-6 Astra mit hohem Reasoning-Aufwand, das den Code der dritten Stufe und die Startskripte vor jedem GPU-Job überprüft und nicht die Architekturen auswählt

• Reproduzierbarkeitsmaterial — ein öffentlicher, MIT-lizenzierter Codepfad für die Methode, ein Checkpoint und Logs auf Hugging Face sowie ein Trace, der dazu gedacht ist, jede Anweisung und jedes Ergebnis nachzuspielen; der Checkpoint hatte zum Zeitpunkt der Erstellung null Downloads

• Auswahlsignal — nur Dev-Split-BPB; der Agent hat CORE-22 während der Auswahl nicht gesehen

Der letzte Punkt ist wichtiger, als er aussieht. Der Agent konnte die veröffentlichten Ergebnisse anderer Methoden lesen, wählte Kandidaten aber ausschließlich anhand des Dev-Splits aus – das ist der Unterschied zwischen Suchen und Spähen.

Die Fehlerliste ist die andere Hälfte des Werts. Vier Tage Kontext, siebenmal verdichtet, mit Kandidatennotizen in Dateien geschrieben, damit der Thread wieder aufgenommen werden konnte. Der Agent plante, seine Entscheidung in Runde drei bei Update 1.536 zu treffen, setzte aber Erinnerungen nur bei 512 und 2.000, sodass er in der Lücke stoppte und erst wieder aufgenommen wurde, als ein Mensch ihm einen Anstoß gab. Er bewertete Mixture-of-Experts mit gleichem Rechenbudget am höchsten, und beide Varianten landeten auf dem letzten Platz. Er verwechselte Lauf-zu-Lauf-Schwankung mit Seed-zu-Seed-Schwankung. Und er optimierte Qualität ohne Geschwindigkeitsbeschränkung, weshalb ein 1,66× langsameres Modell einen Wettbewerb mit identischem Rechenbudget allein über die Qualität gewann.

Nichts davon ist exotisch. Es sind die Fehlermodi, die jeder kennt, der eine lange Agentenschleife laufen lässt: ein Plan ohne Timer, ein Prior, der den Kontakt mit der Realität nicht übersteht, ein Varianzmodell, das nicht die Varianz ist, die man hat, und eine Zielfunktion mit einem Loch. Neu ist, sie von den Leuten aufgelistet zu sehen, die sie haben geschehen sehen, mit dem Trace auf GitHub.

Was sich dadurch für jemanden ändert, der ein Modell auswählt

Nichts zu Claude Opus 5.5' Preisliste, Kontext oder Benchmarks. Die nützliche Verschiebung ist enger und praktischer: Dies ist eine der ersten öffentlichen, reproduzierbaren Demonstrationen dafür, dass ein Allzweck-Frontiermodell – mit einem festgelegten Evaluations-Harness und menschlicher Budgetfreigabe – eine mehrrundige experimentelle Suche durchführen und etwas hervorbringen kann, das ein Team tatsächlich trainieren würde.

Das hat eine konkrete Konsequenz dafür, wie Sie es verwenden würden. Wenn Sie erwägen, einen Agenten auf ein eigenes Suchproblem anzusetzen, ist der übertragbare Teil des Berichts das Protokoll, nicht die Architektur: Kalibrieren Sie Ihren kostengünstigen Proxy an bekannten vollständigen Ergebnissen, bevor Sie eine einzige GPU-Stunde ausgeben, legen Sie im Voraus anhand wiederholter Läufe einen Rauschpegel und eine Gewinnschwelle fest, ändern Sie pro Kandidat eine Sache gegenüber einem angegebenen Elternkandidaten und entscheiden Sie über Gewinne an einem Horizont, dessen Vorhersagekraft Sie nachgewiesen haben. Diese vier Regeln kosten hier etwa 7 % des gesamten Rechenaufwands und sind der Grund, warum die anderen 93 % nicht verschwendet wurden.

Das architektonische Ergebnis ist schwerer in Handlungen umzusetzen. AttnRes-Canon ist eine Forschungsmethode, kein bereitgestelltes Modell. Es existiert als Methoden-Plugin und als Checkpoint mit 49,152B Tokens, einzelner Seed, und wer darauf aufbauen möchte, beginnt mit einem Reproduktionsversuch. Behandle den CORE-22-Wert als einen Hinweis, der einen zweiten Seed wert ist, nicht als eine gesicherte Eigenschaft von Attention-Residuals.

OrcaRouter gehört zu dem Teil des Workflows, der die Suche umgibt, nicht zur Suche selbst. Claude Opus 5.5 steht in unserem Katalog zum veröffentlichten Listenpreis von Anthropic, durchgereicht mit 0 % Aufschlag — 4,00 $ pro Million Eingabe, 20,00 $ pro Million Ausgabe, 0,20 $ für Cache-Lesevorgänge, 1M-Token-Kontext — und die Modelle, auf die eine Suchschleife üblicherweise aufgeteilt wird, liegen hinter demselben Schlüssel: Claude Fable 5.2 zu 8,00 $/40,00 $ seit dem 9. November, GPT-6 Astra zu 10,00 $/50,00 $ bis 272K Token und 20,00 $/75,00 $ darüber, Claude Opus 5 zu 5,00 $/25,00 $. Eine viertägige Research-Session, die ihren Kontext sieben Mal komprimiert, ist eine lange, teure, fehleranfällige Unterhaltung; sie gegen einen einzigen Endpoint mit automatischem Failover laufen zu lassen, bedeutet, dass ein Aussetzer eines Anbieters einen Retry statt einer Nacht kostet, und die Routing-DSL ermöglicht es Ihnen, ein günstigeres Modell für die Routineanalyse einzusetzen und Claude Opus 5.5 für die Entscheidungen zu reservieren, die die nächste Runde bestimmen.

Was als Nächstes ansehen

Drei Dinge würden daraus statt eines interessanten Selbstberichts ein Ergebnis machen, auf dem man aufbauen kann. Ein zweiter Seed, der laut Bericht nicht stattgefunden hat und der zeigen würde, ob 0,0025 BPB real sind. Ein erneuter Lauf unter Geschwindigkeitsbeschränkung, denn eine Schrittzeit von 1,66× ist nur ein Drittel des Werts, wenn Ihnen der Durchsatz pro GPU-Stunde statt pro Token wichtig ist. Und Arena v2, das laut den Autoren in einem versiegelten Container mit einem festen Rechenbudget laufen soll, sodass der Agent den formalen Validierungsdatensatz oder CORE-22 überhaupt nicht sehen kann — das ist die Version, in der „ein Agent hat die Forschung gemacht“ keinen Menschen mehr in der Schleife braucht, um glaubwürdig zu sein.

Bis dahin lautet die faire Zusammenfassung: Ein Agent, dem ein gut gebauter Maßstab an die Hand gegeben wurde, fand in vier Tagen für rund 2.100 GPU-Stunden eine echte, bescheidene, im Prinzip reproduzierbare Architekturverbesserung – und schrieb alles auf, was dabei schiefging. Der letzte Teil ist der Teil, den das Feld üblicherweise weglässt.