Claude Opus 5.5, AttnRes-Canon을 발견하다: 4일간의 아키텍처 탐색이 실제로 입증한 것

2026년 11월 6일, IAAI라는 연구 그룹은 Arena v1 실행 기록을 공개하며 Claude Opus 5.5를 AttnRes-Canon이라는 Transformer 아키텍처를 설계한 에이전트로 지목했다. 여기에는 체크포인트, 재생 가능한 트레이스, 그리고 그것이 어떻게 그곳에 도달했는지 설명하는 Yi Ge의 10분 분량 글이 포함된다. Claude Opus 5.5 자체는 새로운 것이 아니다 — Anthropic은 2026년 9월 22일 입력 100만 토큰당 4달러, 출력 100만 토큰당 20달러에 이를 출시했으며, 그 모델의 가격, 컨텍스트 윈도우, 공개된 벤치마크는 이번 달에 아무것도 바뀌지 않았다. 새로운 것은 지난주 이내로 날짜가 찍힌 것들이다: 프런티어 모델이 실패한 분기들까지 포함해 전체 아키텍처 탐색을 스스로 수행한 공개적이고 검증 가능한 기록, 그리고 그 반대편 끝에서 나온 다운로드 가능한 모델이다. 이는 타임라인이 시사하는 것보다 좁은 주장이며, 벤치마크 한 행보다 더 흥미롭다.

이 기록은 또한 이것이 출시 글이 아니라 "실제로 무엇이 확립되었는지"를 다루는 글인 이유이기도 합니다. 아레나는 자체 항목을자체 보고로 표시합니다. 시드는 하나입니다. 운영자 외에는 아무도 이 수치를 재현하지 못했으며, 작성 시점에 Hugging Face 체크포인트는 다운로드된 횟수가 0회였습니다. 아래 섹션들은 그 점을 염두에 두고 읽어 주세요 — 결과를 일축할 이유가 아니라, 증거의 정확한 형태로 말입니다.

AttnRes-Canon이 실제로 무엇인지

기존의 두 아이디어를 결합한 것, 그리고 그 둘 중 어느 것도 단독으로는 하지 못하는 한 가지를 더한 것.

첫 번째 아이디어는 Attention Residuals로, 2026년 3월 arXiv(2603.15031)에 게시된 Kimi Team 논문에서 나왔다. 표준 PreNorm 잔차 연결은 모든 레이어의 출력을 고정 가중치 1로 더하기 때문에, 은닉 상태가 깊이에 따라 커지고 각 레이어의 기여도가 희석된다. Attention Residuals는 이 고정 합을 이전 레이어들에 대한 소프트맥스 어텐션으로 대체하여, 혼합 가중치가 입력에 의존하게 한다. 저렴한 버전인 Block AttnRes는 레이어를 블록으로 그룹화하고 블록 요약에 대해 어텐션을 수행하며, 비싼 버전은 모든 레이어가 모든 이전 레이어를 직접 읽을 수 있게 한다. 아레나의 베이스라인에서는 23개 레이어가 8개 그룹에 속해 있어, 한 레이어가 이전 그룹 출력의 합을 다시 읽을 수 있다. 저자의 비유를 빌리면 챕터가 아니라 챕터 요약인 셈이다.

두 번째는 Canon 레이어로, Zeyuan Allen-Zhu의 Physics of Language Models, Part 4.1(arXiv:2512.17351, 2025년 12월, 2026년 7월 개정판)에서 나온 것입니다. Canon 레이어는 작은 너비 4 컨볼루션으로, 현재 토큰을 처리하면서 바로 앞의 세 토큰도 함께 섞습니다.

AttnRes-Canon은 Full Attention Residuals입니다. 8개 대신 23개 그룹으로, 모든 레이어가 자체적으로 임의의 이전 레이어를 읽는 방식이며, Canon 레이어는 네 위치에 있습니다. A는 어텐션 입력에, C는 MLP 입력에, B는 쿼리, 키, 값 프로젝션에, D는 MLP 은닉 레이어에 있습니다. 한 구성 요소는 깊이 방향으로, 다른 구성 요소는 시퀀스 방향으로 정보를 전달합니다. 결합 이득은 각각 따로 측정한 두 이득의 합보다 약간 높게 나왔으며, 이는 보고서에서 유일하게 진정으로 새로운 아키텍처 주장입니다.

• 깊이 구성 요소 — Full AttnRes: 23개 그룹, 각 레이어는 블록 요약을 거치지 않고 이전 레이어들을 개별적으로 읽습니다

• 시퀀스 구성 요소 — A, B, C, D의 Canon 레이어: 각 토큰과 그 이전 세 토큰에 대한 너비 4의 인과적 합성곱

• 비용 — 이 모델이 능가한 모체인 Block AttnRes의 학습 업데이트당 시간의 1.66배

그 마지막 줄이 나중에 덧붙인 생각처럼 들린다면, 그것은 바로 그 탐색이 결코 값을 매기지 못한 줄이며, 우리는 그것으로 다시 돌아올 것이다.

통치자는 검색보다 먼저 왔다.

아레나의 규칙은 의도적으로 지루합니다. 학습 데이터, 46,875회의 업데이트, 토큰당 FLOPs(±1% 이내)는 고정되어 있고, 바뀔 수 있는 것은 아키텍처뿐입니다. 점수는 CORE-22 — 22개 과제에 대한 평균, 높을수록 좋음 — 와 검증 bits-per-byte, 낮을수록 좋음으로 계산되며, 탐색 중 에이전트는 학습 손실과 dev 분할 BPB만 볼 수 있습니다. 전체 실행 한 번에 1,400 GPU-hours가 넘게 들기 때문에, 어떤 탐색도 열두 가지 아이디어를 끝까지 학습시킬 여유가 없습니다. 모든 것은 짧은 실행이 긴 실행과 같은 방식으로 아이디어의 순위를 매기는지에 달려 있습니다.

그래서 처음 약 152 GPU-시간은 문제 자체보다 그 척도를 보정하는 데 들어갔다. 뻔한 지름길, 즉 전체 학습률 스케줄을 512회 업데이트로 압축하는 방식은 체계적으로 순위를 잘못 매기는 것으로 드러났다. 전체 결과가 이미 알려진 11개 방법으로 훈련시켰을 때 최종 순서에 대한 스피어만 상관계수는 0.40이었고, 이는 사전에 정한 기준치 0.85에 한참 못 미쳤다. 오류는 잡음이 아니었다. 루프 구조 네 개는 모두 순위가 내려갔고 선형 어텐션 구조 네 개는 모두 순위가 올라갔는데, 학습률을 일찍 낮추면 빠르게 수렴하는 모델은 좋아 보이게 하고 느리게 시작하는 모델은 잘라내기 때문이다.

대신 실제 스케줄의 접두부를 사용하는 방식 — 동일한 스케줄을 일찍 중단한 뒤 실제 전체 실행으로 이어가는 방식 — 은 500 업데이트에서 0.72, 2,000 업데이트에서 0.92에 도달했다. 프로토콜을 확정한 것은 바로 이것이다. 512 업데이트는 명백히 학습에 실패한 후보를 탈락시키기 위한 최소 기준일 뿐이며, 모든 순위 결정은 전체 실행의 약 4%인 2,000 업데이트에서 이루어진다. 같은 보정으로 노이즈 플로어도 산출되었다. 동일한 시드로 두 번 실행했을 때 dev BPB 차이가 약 0.0004였으므로, 후보가 승리로 인정받으려면 부모보다 0.001 넘게 앞서야 했다.

그것은 대부분의 사람이 쓴 아키텍처 논문들이 굳이 신경 쓰지 않는 것보다 더 나은 실험 설계이며, 결과를 읽을 수 있게 만드는 것은 모델이 아니라 설계라는 점을 분명히 말할 가치가 있다.

세 라운드, 열두 후보, 하나의 신기루

1라운드에서는 Block AttnRes 위에 다섯 가지 단일 변경을 시도했으며, 각 변경에는 서면으로 된 반증 가능한 가설이 따랐다. 업데이트 2,000에서 어느 것도 −0.0010 기준선을 넘지 못했다. Full AttnRes가 −0.0008로 가장 근접했고, 위치 A와 C의 Canon은 −0.0006에 도달했다. 게이트 어텐션 변형은 업데이트 512에서 −0.0027만큼 전체 필드를 앞섰고, 결과는 뒤처져 +0.0006으로 마무리됐다 — 보고서는 그것을 있는 그대로 신기루라고 부르며, 같은 패턴이 반복된다.

2라운드는 아깝게 미달했던 후보들을 결합하고 동일 연산량에서 두 가지 전문가 혼합(MoE) 변형을 추가했다. 세 후보가 기준을 통과했다: 네 위치 모두의 Canon(−0.0021, 스텝 시간 1.47×), Full AttnRes에 Canon-A/C를 더한 구성(−0.0018, 1.30×), 그리고 Full AttnRes에 게이트를 더한 구성(−0.0010, 간신히 통과). 게이트는 추가된 모든 곳에서 거의 아무것도 기여하지 않았지만, 다른 두 변경은 시도된 모든 부모에서 dev BPB를 낮췄다. 두 MoE 변형은 — 에이전트가 가장 높게 평가했던 동일 연산량 구성을 포함해 — 최하위와 차하위로 마쳤다.

그리고 순위는 크게 뒤집혔습니다. 업데이트 512에서 상위 4개 후보는 업데이트 2,000에서 정확히 역순으로 마무리했습니다.

3라운드는 탐색이 제값을 하는 단계다. update-512 순서를 두 번째로 신뢰하는 대신, 2라운드 실행들이 update 1,536에 도달할 때까지 기다렸다. 그런 다음 두 후보가 Canon-A/C를 부모로 공유했는데, 하나는 Full AttnRes 쪽으로 한 걸음 나아갔고 다른 하나는 Canon positions B와 D를 추가했다. 둘 다 그 공유 부모보다 약 0.002 낮았다. 후보를 하나 더 만들 예산이 있었기에, 에이전트는 마지막 수백 회의 업데이트를 기다리는 대신 두 후보를 병합했다. 병합된 모델은 dev BPB 0.7965에 도달했다 — Block AttnRes보다 0.0038 낮고 전체 탐색에서 1위 — 스텝 시간은 1.66배였다.

총계: 후보 12개, 3라운드, 550 GPU시간의 탐색.

{{1}}마지막 런{{/1}}, 그리고 그 리드가 얼마나 버텼는지

짧은 실행은 학습률 스케줄의 평탄한 구간만 보게 된다. 초기의 우위가 감쇠를 견디고 살아남는지는 측정해야 하며, 바로 이 부분이 보고서에서 가장 주목해야 할 부분이다.

AttnRes-Canon은 정식 메서드 플러그인으로 이식되어 32대의 H20 GPU에서 49.152B 토큰으로 처음부터 학습되었으며, 단일 시드로 진행되었습니다.

• CORE-22 — AttnRes-Canon 35.99 vs mHC 35.33 vs Block AttnRes 34.00 vs Dense 기준선 33.10

• 검증 BPB — AttnRes-Canon 0.6605 vs mHC 0.6617 vs Block AttnRes 0.6630 vs Dense Baseline 0.6672

• 리더보드 순위 — 아레나 자체 게시판 기준, 두 지표 모두에서 공개된 Arena v1 결과 38개 중 1위

• 컴퓨팅 — 탐색 152 GPU 시간, 검색 550 GPU 시간, 최종 실행 1,433 GPU 시간, 총 2,135 GPU 시간

두 지표 모두에서 1위이며, 격차가 엄청나지는 않습니다. 기반이 된 방법보다 CORE 2.0포인트, BPB 0.0025 앞선 수준입니다. 끝값보다 더 유용한 것은 궤적입니다. 업데이트 2,000에서 Block AttnRes와의 격차는 0.0037이었고, 학습률이 일정하게 유지되는 동안 0.0058로 벌어졌다가, 끝무렵에는 0.0024로 줄었습니다. 우위의 절반 이상이 꼬리 구간에서 사라진 것입니다. 보고서는 이를 외부 사례와 함께 제시합니다. 게이트를 추가한 Dense Baseline은 업데이트 2,000에서 0.0012 앞섰고, 이 탐색 자체의 우승 기준선을 여유 있게 넘어섰지만, 최종적으로는 0.0002 뒤처졌습니다. 그것이 이 방법 전체의 정직한 한계이며, 이를 실행한 사람들이 말한 것입니다. 초반의 우위는 가설을 사 줄 뿐, 결과를 사 주지는 않습니다.

무엇이 검증되었고, 무엇을 신뢰하고 있는가

이 실행 기록은 자신의 출처에 관해 이례적으로 솔직하며, 그 솔직함이야말로 헤드라인 수치보다 프로세스 설명을 더 신뢰해야 하는 이유다.

• 독립적 재현 — 없음. 아레나는 해당 항목에 "자체 보고"라는 라벨을 붙이며, 글의 하단에는 "Arena v1 · 단일 시드 결과"라고 적혀 있습니다.

• 시드 — 하나. 보고서는 에이전트의 네 가지 실패 중 하나로 "두 번째 시드를 실행한 적 없음"을 꼽는다.

• 인간의 개입 — 각 단계의 계획, 규칙 및 GPU 예산은 운영자가 승인했으며, 기록된 역할에는 운영자가 어떤 후보도 선택하지 않았고 어떤 방법 코드도 작성하지 않았다고 명시되어 있습니다.

• 검토 — 기록에는 두 번째 모델인 GPT-6 Astra가 높은 추론 노력으로 3단계 코드와 실행 스크립트를 검토하며, GPU 작업 전에 이를 수행하고 아키텍처를 선택하지 않는다고 명시되어 있습니다.

• 재현성 자료 — 해당 방법에 대한 공개 MIT 라이선스 코드 경로, Hugging Face의 체크포인트와 로그, 그리고 모든 지시와 결과를 재현하기 위한 트레이스; 이 글을 작성할 당시 체크포인트의 다운로드 수는 0이었다

• 선택 신호 — dev-split BPB만 사용; 에이전트는 선택하는 동안 CORE-22를 보지 못했습니다.

마지막 항목은 보기보다 더 중요하다. 에이전트는 다른 방법들의 공개된 결과를 읽을 수 있었지만, 오직 dev 분할만을 사용해 후보를 골랐다. 이는 탐색과 엿보기의 차이다.

실패 목록은 가치의 나머지 절반이다. 나흘치 컨텍스트가 일곱 번 압축되었고, 후보 노트는 스레드를 재개할 수 있도록 파일에 기록되었다. 에이전트는 업데이트 1,536에서 3라운드 결정을 내릴 계획이었지만 알림은 512와 2,000에만 설정해 두었기 때문에, 그 사이 구간에서 멈췄고 사람이 재촉해야만 다시 시작했다. 동일 연산량의 전문가 혼합(MoE)을 가장 높게 평가했지만 두 변형 모두 최하위로 마감했다. 실행 간 변동을 시드 간 변동과 혼동했다. 그리고 속도 제약 없이 품질을 최적화했는데, 그렇게 해서 1.66배 느린 모델이 연산량을 맞춘 경쟁에서 품질만으로 이겼다.

그중 생소한 것은 없다. 그것들은 긴 에이전트 루프를 돌리는 사람이라면 누구나 이미 아는 실패 모드들이다. 타이머 없는 계획, 현실과 맞닥뜨리면 살아남지 못하는 사전(prior), 여러분이 실제로 가진 분산이 아닌 분산 모델, 구멍이 뚫린 목적 함수. 새로운 것은 그것들을 직접 목격한 사람들이 GitHub의 트레이스와 함께 항목별로 정리한 것을 보는 것이다.

모델을 선택하는 사람에게 이것이 어떤 변화를 가져오는가

Claude Opus 5.5의 요금표, 컨텍스트, 벤치마크에 관한 내용은 아니다. 유용한 변화는 더 좁고 더 실용적이다. 이는 범용 프런티어 모델이 고정된 평가 하네스와 인간의 예산 승인만 주어지면 여러 라운드의 실험적 탐색을 수행하고 팀이 실제로 학습시킬 만한 결과물을 만들어낼 수 있음을 보여주는, 최초의 공개적이고 재현 가능한 시연 중 하나다.

그것은 이를 사용하는 방식에 구체적인 함의가 있습니다. 자신의 탐색 문제에 에이전트를 투입하는 것을 고려하고 있다면, 보고서에서 전이 가능한 부분은 아키텍처가 아니라 프로토콜입니다. GPU 시간을 단 1시간도 쓰기 전에 저렴한 프록시를 알려진 전체 결과에 맞춰 보정하고, 반복 실행을 통해 노이즈 플로어와 승리 임계값을 미리 설정하며, 명시된 부모 대비 후보마다 한 가지씩만 변경하고, 예측력이 있음을 입증한 지평에서 승패를 결정하십시오. 이 네 가지 규칙은 여기서 전체 컴퓨트의 약 7%를 차지하며, 나머지 93%가 낭비되지 않은 이유입니다.

아키텍처 결과는 실행에 옮기기 더 어렵다. AttnRes-Canon은 서빙되는 모델이 아니라 연구 방법이다. 그것은 메서드 플러그인과 49.152B 토큰 체크포인트, 단일 시드로 존재하며, 이를 기반으로 구축하려는 사람은 누구나 재현 시도에서 출발하게 된다. CORE-22 수치는 어텐션 잔차의 확립된 속성으로 보지 말고, 두 번째 시드로 검증할 가치가 있는 단서로 취급하라.

OrcaRouter가 들어맞는 지점은 검색 자체가 아니라 검색을 둘러싼 워크플로의 일부입니다. Claude Opus 5.5는 0% 마크업으로 A​nthropic의 공개 정가를 그대로 적용해 저희 카탈로그에 올라와 있으며 — 입력 백만 토큰당 $4.00, 출력 백만 토큰당 $20.00, 캐시 읽기 $0.20, 100만 토큰 컨텍스트 — 그리고 검색 루프가 흔히 나눠 쓰는 모델들이 같은 키 뒤에 있습니다: Claude Fable 5.2는 11월 9일부터 $8.00/$40.00, GPT-6 Astra는 272K 토큰까지 $10.00/$50.00, 그 이상은 $20.00/$75.00, Claude Opus 5는 $5.00/$25.00입니다. 컨텍스트를 일곱 번 압축하는 나흘짜리 리서치 세션은 길고 비싸며 실패하기 쉬운 대화입니다. 이를 하나의 엔드포인트에서 자동 장애 조치와 함께 돌리면 공급자 쪽 일시적 문제가 밤을 날리는 대신 재시도 한 번으로 끝나고, 라우팅 DSL을 쓰면 일상적인 분석에는 더 저렴한 모델을 붙이고 다음 라운드를 결정하는 판단에는 Claude Opus 5.5를 남겨둘 수 있습니다.

다음에 볼 콘텐츠

세 가지가 이것을 흥미로운 자기 보고에서 여러분이 기반으로 삼을 수 있는 결과로 바꿔 놓을 것입니다. 보고서에서는 일어나지 않았다고 말하며, 0.0025 BPB가 실제인지 알려 줄 두 번째 시드. 토큰당이 아니라 GPU-hour당 처리량을 중시한다면 1.66× 스텝 시간은 가치의 3분의 1에 불과하므로, 속도 제약을 둔 재실행. 그리고 저자들이 에이전트가 공식 검증 세트나 CORE-22를 전혀 볼 수 없도록 고정된 컴퓨팅 허용량이 있는 밀폐 컨테이너 안에서 실행될 것이라고 말하는 Arena v2 — 바로 그 버전에서 “에이전트가 연구를 수행했다”는 말이 신뢰성을 갖추기 위해 인간을 루프 안에 둘 필요가 없어집니다.

그때까지 내릴 수 있는 공정한 요약은 이렇다. 잘 만들어진 척도를 쥐여준 에이전트가 나흘 만에 약 2,100 GPU 시간으로 실제적이고 소박하며 원칙적으로 재현 가능한 아키텍처 개선을 찾아냈고, 그 과정에서 자신이 틀린 모든 것을 기록으로 남겼다. 마지막 부분이야말로 이 분야가 흔히 빼먹는 부분이다.