Claude Opus 5.5 vond AttnRes-Canon: wat vier dagen architectuurzoektocht daadwerkelijk hebben bewezen

Op 6 november 2026 publiceerde een onderzoeksgroep genaamd IAAI een Arena v1-runrecord waarin Claude Opus 5.5 wordt genoemd als de agent die een Transformer-architectuur genaamd AttnRes-Canon ontwierp, plus een checkpoint, een replaybare trace en een uiteenzetting van tien minuten door Yi Ge waarin wordt uitgelegd hoe het daartoe kwam. Claude Opus 5.5 is zelf niet nieuw — A​nthropic bracht het op 22 september 2026 uit voor $4 per miljoen input- en $20 per miljoen outputtokens, en niets aan de prijs, het contextvenster of de gepubliceerde benchmarks van dat model is deze maand veranderd. Wat nieuw is, dateert van binnen de afgelopen week: een openbaar, controleerbaar verslag van een frontiermodel dat zelfstandig een volledige architectuurzoektocht uitvoerde, inclusief de takken die mislukten, en een downloadbaar model dat er aan de andere kant uitkwam. Dat is een beperktere bewering dan de tijdlijn suggereert, en het is interessanter dan een benchmarkrij.

Het record is ook de reden dat dit een stuk is van het type "dit is wat daadwerkelijk vaststaat" in plaats van een lanceringsbericht. De arena bestempelt zijn eigen inzending als zelfgerapporteerd. Er is één seed. Niemand buiten de operator heeft het getal gereproduceerd, en op het moment van schrijven was het Hugging Face-checkpoint nul keer gedownload. Lees de onderstaande secties met dat in gedachten — niet als redenen om het resultaat af te wijzen, maar als de exacte vorm van het bewijs.

Wat AttnRes-Canon eigenlijk is

Twee bestaande ideeën, gecombineerd, plus één ding dat geen van beide alleen doet.

Het eerste idee is Attention Residuals, afkomstig uit een paper van het Kimi Team die in maart 2026 op arXiv is gepost (2603.15031). Standaard PreNorm-residuele verbindingen tellen de output van elke laag op met een vast gewicht van één, waardoor de verborgen toestand met de diepte groeit en de bijdrage van elke laag verwatert. Attention Residuals vervangt die vaste som door softmax-attentie over eerdere lagen, zodat de menggewichten afhangen van de invoer. De goedkope versie, Block AttnRes, groepeert lagen in blokken en gebruikt attention over bloksamenvattingen; de dure versie laat elke laag rechtstreeks elke eerdere laag lezen. In de baseline van de arena zitten 23 lagen in 8 groepen, dus een laag kan de som van de outputs van een eerdere groep teruglezen — hoofdstuksamenvattingen, in het beeld van de auteur, niet de hoofdstukken.

Ten tweede zijn er de Canon-lagen, uit Zeyuan Allen-Zhu's "Physics of Language Models, Part 4.1" (arXiv:2512.17351, december 2025 met een herziening uit juli 2026). Een Canon-laag is een kleine convolutie met breedte 4: terwijl de laag het huidige token verwerkt, mengt ze er ook de drie tokens die er onmiddellijk aan voorafgaan in.

AttnRes-Canon is Full Attention Residuals — 23 groepen in plaats van 8, waarbij elke laag elke eerdere laag afzonderlijk leest — met Canon-lagen op vier posities: A bij de invoer naar attention en C bij de invoer naar de MLP, B op de query-, key- en value-projecties, en D op de verborgen laag van de MLP. De ene component draagt informatie voort langs de diepte, de andere langs de sequentie. De gecombineerde winst kwam iets boven de som van de twee afzonderlijk gemeten winsten uit, wat de enige werkelijk nieuwe architectuurclaim in het rapport is.

• Dieptecomponent — Full AttnRes: 23 groepen, elke laag leest eerdere lagen afzonderlijk in plaats van via bloksamenvattingen

• Sequentiecomponent — Canon-lagen op A, B, C en D: een causale convolutie met breedte 4 over elke token en de drie voorgangers ervan

• Kosten — 1,66× de tijd per trainingsupdate van Block AttnRes, de bovenliggende variant die het versloeg

Als die laatste regel als een bijzaak klinkt, is het juist die ene waarmee de zoektocht nooit rekening heeft gehouden, en daar komen we op terug.

De heerser kwam vóór de zoektocht

De regels van de arena zijn opzettelijk saai. Trainingsdata, 46.875 updates en FLOPs per token (binnen ±1%) liggen vast; alleen de architectuur mag veranderen; de score is CORE-22 — het gemiddelde over 22 taken, hoger is beter — plus validatie-bits-per-byte, lager is beter; en tijdens de zoektocht mag de agent alleen naar trainingsverlies en BPB op de dev-split kijken. Een enkele volledige run kost meer dan 1.400 GPU-uren, dus geen enkele zoektocht kan het zich veroorloven een dozijn ideeën volledig uit te trainen. Alles hangt ervan af of een korte run ideeën op dezelfde manier rangschikt als een lange run zou doen.

Dus de eerste ~152 GPU-uren gingen naar het kalibreren van die meetlat in plaats van naar het probleem. De voor de hand liggende snelkoppeling — het hele learning-rate-schema in 512 updates proppen — bleek systematisch verkeerd te rangschikken: getraind op 11 methoden waarvan de volledige resultaten al bekend waren, leverde het een Spearman-correlatie van 0,40 op tegenover de uiteindelijke ordening, tegen een vooraf vastgestelde drempel van 0,85. De fouten waren geen ruis. Alle vier de architecturen met loops zakten in de rangorde en alle vier de lineaire-attentiearchitecturen stegen, omdat het vroegtijdig verlagen van de learning rate snel convergerende modellen voortrekt en langzame starters afkapt.

Door in plaats daarvan een prefix van het werkelijke schema te nemen — hetzelfde schema, vroegtijdig gestopt en vervolgens doorgegaan met een echte volledige run — werd 0,72 bereikt bij 500 updates en 0,92 bij 2.000. Dat is wat het protocol bepaalde: 512 updates is slechts een ondergrens om kandidaten af te wijzen die duidelijk niet konden trainen, en elke rangschikkingsbeslissing wordt genomen bij update 2.000, ongeveer 4% van een volledige run. Dezelfde calibratie leverde de ruisvloer op: twee runs met dezelfde seed verschilden ongeveer 0,0004 in dev BPB, dus een kandidaat moest zijn ouder met meer dan 0,001 verslaan om als winst te tellen.

Dat is een beter experimenteel ontwerp dan de meeste door mensen geschreven architectuurpapers zich getroosten, en het is de moeite waard om ronduit te zeggen dat het ontwerp, niet het model, ervoor zorgt dat het resultaat navolgbaar is.

Drie rondes, twaalf kandidaten, één luchtspiegeling

In ronde één werden vijf afzonderlijke wijzigingen bovenop Block AttnRes geprobeerd, elk met een opgeschreven, weerlegbare hypothese. Geen enkele haalde de grens van −0,0010 bij update 2.000. Full AttnRes kwam het dichtst in de buurt met −0,0008; Canon op posities A en C bereikte −0,0006. Een gated-attentionvariant leidde bij update 512 het hele veld met −0,0027 en eindigde achteraan op +0,0006 — het rapport noemt het wat het was, een luchtspiegeling, en hetzelfde patroon keert terug.

Ronde twee combineerde de net-niet-kandidaten en voegde twee mixture-of-experts-varianten toe bij gelijke compute. Drie kandidaten haalden de lat: Canon op alle vier posities (−0,0021, 1,47× staptijd), Full AttnRes plus Canon-A/C (−0,0018, 1,30×), en Full AttnRes plus de gate (−0,0010, net erover). De gate droeg vrijwel niets bij waar hij ook werd toegevoegd, terwijl beide andere wijzigingen de dev-BPB verlaagden bij elke parent waarop ze werden geprobeerd. De twee MoE-varianten — inclusief de configuratie met gelijke compute die de agent het hoogst had beoordeeld — eindigden als laatste en op één na laatste.

En de rangorde sloeg hard om: de vier beste kandidaten bij update 512 eindigden precies in omgekeerde volgorde bij update 2.000.

Ronde drie is waar de zoektocht zijn waarde bewijst. In plaats van de update-512-ordening een tweede keer te vertrouwen, wachtte hij tot de runs van ronde twee update 1.536 bereikten. Twee kandidaten hadden toen Canon-A/C als hun ouder, de ene zette een stap richting Full AttnRes en de andere voegde Canon-posities B en D toe; beide zaten ongeveer 0,002 onder die gedeelde ouder. Met budget voor nog één kandidaat voegde de agent de twee samen in plaats van de laatste paar honderd updates af te wachten. Het samengevoegde model bereikte een dev-BPB van 0,7965 — 0,0038 onder Block AttnRes en eerste in de hele zoektocht — tegen 1,66× de staptijd.

Totaal: 12 kandidaten, 3 rondes, 550 GPU-uur aan zoekwerk.

De laatste run, en hoeveel van de voorsprong er nog over was

Korte runs zien alleen het vlakke deel van het learning-rate-schema. Of een vroege voorsprong de decay overleeft, moet worden gemeten, en dit is het deel van het rapport dat de meeste aandacht verdient.

AttnRes-Canon werd overgezet naar een formele methode-plugin en vanaf nul getraind op 49,152 miljard tokens op 32 H20-GPU's, met één seed.

• CORE-22 — AttnRes-Canon 35,99 vs. mHC 35,33 vs. Block AttnRes 34,00 vs. Dense Baseline 33,10

• Validatie-BPB — AttnRes-Canon 0.6605 vs mHC 0.6617 vs Block AttnRes 0.6630 vs Dense-baseline 0.6672

• Ranglijstpositie — eerste van 38 gepubliceerde Arena v1-resultaten op beide maatstaven, volgens de eigen ranglijst van de arena

• Rekenkracht — 152 GPU-uren verkenning, 550 voor zoeken, 1.433 voor de definitieve run, 2.135 in totaal

Eerste op beide maatstaven, en de marge is niet enorm: 2,0 CORE-punten ten opzichte van de methode waarop het is gebouwd, 0,0025 BPB. Nuttiger dan het eindpunt is het traject. De kloof met Block AttnRes was 0,0037 bij update 2.000, werd groter tot 0,0058 terwijl de learning rate constant bleef, en nam tegen het einde af tot 0,0024 — meer dan de helft van het voordeel verloren in de staart. Het rapport plaatst er een buitenstaander naast: een Dense Baseline met de toegevoegde gate had bij update 2.000 een voorsprong van 0,0012, ruim voorbij de eigen winnende grens van deze zoektocht, en eindigde 0,0002 achter. Dat is de eerlijke beperking van de hele methode, zoals verwoord door de mensen die haar uitvoerden: een vroege voorsprong levert je een hypothese op, geen resultaat.

Wat is geverifieerd, en wat neem je op goed vertrouwen aan?

Het record van de run is ongewoon openhartig over zijn eigen herkomst, en die openhartigheid is juist de reden om de procesbeschrijving meer te vertrouwen dan het getal in de kop.

• Onafhankelijke reproductie — geen. De arena bestempelt de inzending als 'zelfgerapporteerd' en in de voettekst van het verslag staat 'Arena v1 · resultaten met één seed'.

• Seeds — één. Het rapport noemt "nooit een tweede seed uitgevoerd" onder de vier fouten van de agent.

{{1}}Menselijke betrokkenheid{{/1}} — het plan, de regels en het GPU-budget van elke fase werden goedgekeurd door de operator, wiens geregistreerde rol aangeeft dat deze geen kandidaat heeft gekozen en geen methodecode heeft geschreven

• Beoordeling — het record vermeldt een tweede model, GPT-6 Astra met hoge reasoning-inspanning, dat de code van fase drie en de launchscripts beoordeelt vóór elke GPU-taak, en niet de architecturen kiest

• Reproduceerbaarheidsmateriaal — een openbaar codepad onder MIT-licentie voor de methode, een checkpoint en logs op Hugging Face, en een trace bedoeld om elke instructie en elk resultaat opnieuw af te spelen; het checkpoint had nul downloads toen dit werd geschreven

• Selectiesignaal — alleen dev-split-BPB; de agent zag CORE-22 niet tijdens het kiezen

Dat laatste punt is belangrijker dan het lijkt. De agent kon de gepubliceerde resultaten van andere methoden lezen, maar koos kandidaten uitsluitend op basis van de dev-split, en dat is het verschil tussen zoeken en spieken.

De lijst met mislukkingen is de andere helft van de waarde. Vier dagen context, zeven keer samengeperst, met notities over kandidaten die naar bestanden werden geschreven zodat de thread hervat kon worden. De agent was van plan zijn beslissing voor de derde ronde bij update 1.536 te nemen, maar stelde alleen herinneringen in bij 512 en 2.000, dus stopte hij in de tussenliggende periode en hervatte pas toen een mens hem een zetje gaf. Hij beoordeelde mixture-of-experts met gelijke rekenkracht het hoogst, en beide varianten eindigden als laatste. Hij verwarde variatie van run tot run met variatie van seed tot seed. En hij optimaliseerde kwaliteit zonder beperking op snelheid, waardoor een 1,66× langzamer model een wedstrijd met gelijke rekenkracht uitsluitend op kwaliteit won.

Geen daarvan is exotisch. Het zijn de faalmodi die iedereen die een lange agentlus draait al kent: een plan zonder timer, een prior die het contact niet overleeft, een variantiemodel dat niet de variantie is die je hebt, en een doelfunctie met een gat erin. Wat nieuw is, is ze puntsgewijs opgesomd te zien door de mensen die ze hebben zien gebeuren, met de trace op GitHub.

Wat dit verandert voor iemand die een model kiest

Niets over de tariefkaart, context of benchmarks van Claude Opus 5.5. De nuttige verschuiving is smaller en praktischer: dit is een van de eerste openbare, herspeelbare demonstraties dat een algemeen inzetbaar frontiermodel, met een vaste evaluatieharness en menselijke goedkeuring van het budget, een experimentele zoektocht over meerdere rondes kan uitvoeren en iets kan produceren dat een team daadwerkelijk zou trainen.

Dat heeft een specifieke consequentie voor hoe je het zou gebruiken. Als je overweegt een agent op een eigen zoekprobleem te richten, is het overdraagbare deel van het rapport het protocol, niet de architectuur: kalibreer je goedkope proxy tegen bekende volledige resultaten voordat je één GPU-uur uitgeeft, stel vooraf een ruisvloer en een winstdrempel in op basis van herhaalde runs, wijzig per kandidaat één ding ten opzichte van een expliciet genoemde ouder, en beslis over winst op een horizon waarvan je hebt aangetoond dat die voorspellend is. Die vier regels kosten hier ongeveer 7% van de totale compute en zijn de reden dat de andere 93% niet verspild was.

Het architecturale resultaat is moeilijker om er iets mee te doen. AttnRes-Canon is een onderzoeksmethode, geen geserveerd model. Het bestaat als een methodeplug-in en een checkpoint van 49,152 miljard tokens, met één seed, en iedereen die erop wil voortbouwen, begint bij een reproductiepoging. Behandel het CORE-22-getal als een aanwijzing die een tweede seed waard is, niet als een vaststaande eigenschap van attention-residualen.

Waar OrcaRouter past, is het deel van de workflow dat de zoekopdracht omringt in plaats van de zoekopdracht zelf. Claude Opus 5.5 staat in onze catalogus tegen de door A​nthropic gepubliceerde lijstprijs, doorberekend met 0% opslag — $4,00 per miljoen inputtokens, $20,00 per miljoen outputtokens, $0,20 per cache-leesactie, context van 1M tokens — en de modellen waarover een zoeklus doorgaans wordt verdeeld, zitten achter dezelfde sleutel: Claude Fable 5.2 voor $8,00/$40,00 sinds 9 november, GPT-6 Astra voor $10,00/$50,00 tot 272K tokens en $20,00/$75,00 daarboven, Claude Opus 5 voor $5,00/$25,00. Een onderzoekssessie van vier dagen die haar context zeven keer compacteert, is een lang, duur en foutgevoelig gesprek; als je dat tegen één endpoint laat draaien met automatische failover betekent een hapering bij een provider je alleen een nieuwe poging in plaats van een nacht, en de routerings-DSL laat je een goedkoper model inzetten voor de routineanalyse en Claude Opus 5.5 bewaren voor de beslissingen die de volgende ronde bepalen.

Wat nu te kijken

Drie dingen zouden dit van een interessante zelfrapportage naar een resultaat maken waarop je kunt voortbouwen. Een tweede seed, waarvan het rapport zegt dat die niet heeft plaatsgevonden en die je zou vertellen of 0,0025 BPB echt is. Een herhaling met snelheidsbeperking, aangezien een staptijd van 1,66× maar een derde van de waarde is als je geeft om doorvoer per GPU-uur in plaats van per token. En Arena v2, waarvan de auteurs zeggen dat die in een verzegelde container met een vast rekenbudget zal draaien, zodat de agent de formele validatieset of CORE-22 helemaal niet kan zien — dat is de versie waarin 'een agent heeft het onderzoek gedaan' geen mens in de lus meer nodig heeft om geloofwaardig te zijn.

Tot dan is de eerlijke samenvatting deze: een agent die een goed gebouwde meetlat kreeg, vond in vier dagen een echte, bescheiden, in principe reproduceerbare architectuurverbetering voor ongeveer 2.100 GPU-uren, en schreef alles op wat hij onderweg fout deed. Het laatste deel is het deel dat het vakgebied meestal weglaat.