Claude Opus 5.5 đã tìm ra AttnRes-Canon: Bốn ngày tìm kiếm kiến trúc đã thực sự chứng minh được điều gì

Ngày 6 tháng 11 năm 2026, một nhóm nghiên cứu tên là IAAI đã công bố một bản ghi lần chạy Arena v1, trong đó nêu tên Claude Opus 5.5 là tác nhân đã thiết kế một kiến trúc Transformer tên là AttnRes-Canon, cùng một checkpoint, một trace có thể phát lại và một bài viết mười phút của Yi Ge giải thích cách nó đi đến đó. Bản thân Claude Opus 5.5 không phải là mới — Anthropic đã phát hành nó vào ngày 22 tháng 9 năm 2026 với giá 4 USD mỗi triệu token đầu vào và 20 USD mỗi triệu token đầu ra, và không có gì về giá, cửa sổ ngữ cảnh hay các benchmark đã công bố của mô hình đó thay đổi trong tháng này. Điều mới là những thứ được ghi ngày trong tuần vừa qua: một bản ghi công khai, có thể kiểm chứng về một mô hình tiên phong tự mình chạy toàn bộ một quá trình tìm kiếm kiến trúc, bao gồm cả những nhánh thất bại, và một mô hình có thể tải xuống là thành quả ở đầu ra. Đó là một khẳng định hẹp hơn so với những gì dòng thời gian gợi ý, và nó thú vị hơn một dòng benchmark.

Bản ghi này cũng là lý do đây là một bài "đây là những gì thực sự đã được xác lập" chứ không phải một bài đăng ra mắt. Đấu trường tự gắn nhãn mục của chính nó là tự báo cáo. Chỉ có một seed. Không ai bên ngoài đơn vị vận hành đã tái lập được con số này, và tại thời điểm viết bài, checkpoint trên Hugging Face chưa từng được tải xuống lần nào. Hãy đọc các phần bên dưới với điều đó trong đầu — không phải như lý do để bác bỏ kết quả, mà như chính hình thái của bằng chứng.

AttnRes-Canon thực sự là gì

Hai ý tưởng đã có sẵn, được kết hợp lại, cộng thêm một điều mà cả hai đều không tự làm được.

Ý tưởng đầu tiên là Attention Residuals, từ một bài báo của Kimi Team đăng lên arXiv vào tháng 3 năm 2026 (2603.15031). Các kết nối phần dư PreNorm tiêu chuẩn cộng đầu ra của mọi lớp với trọng số cố định bằng một, nên trạng thái ẩn tăng theo độ sâu và đóng góp của mỗi lớp bị pha loãng. Attention Residuals thay phép cộng cố định đó bằng attention softmax trên các lớp trước đó, nhờ vậy trọng số trộn phụ thuộc vào đầu vào. Phiên bản nhẹ, Block AttnRes, nhóm các lớp thành từng khối và thực hiện attention trên các tóm tắt khối; phiên bản nặng cho phép mỗi lớp đọc trực tiếp mọi lớp trước đó. Trong đường cơ sở của arena, 23 lớp nằm trong 8 nhóm, nên một lớp có thể đọc lại tổng đầu ra của một nhóm trước đó — bản tóm tắt chương, theo hình ảnh của tác giả, chứ không phải các chương.

Thứ hai là các lớp Canon, từ bài "Physics of Language Models, Part 4.1" của Zeyuan Allen-Zhu (arXiv:2512.17351, tháng 12 năm 2025 với bản sửa đổi tháng 7 năm 2026). Một lớp Canon là một phép tích chập nhỏ có độ rộng 4: trong khi xử lý token hiện tại, nó cũng hòa trộn thêm ba token ngay trước nó.

AttnRes-Canon là Full Attention Residuals — 23 nhóm thay vì 8, mỗi lớp đọc bất kỳ lớp nào trước đó theo cách riêng của nó — với các lớp Canon ở bốn vị trí: A ở đầu vào của attention và C ở đầu vào của MLP, B trên các phép chiếu query, key và value, và D trên lớp ẩn của MLP. Một thành phần mang thông tin dọc theo chiều sâu, thành phần kia dọc theo chuỗi. Mức tăng khi kết hợp cao hơn một chút so với tổng của hai mức tăng đo riêng lẻ, và đây là tuyên bố kiến trúc thực sự mới duy nhất trong báo cáo.

• Thành phần độ sâu — Full AttnRes: 23 nhóm, mỗi tầng đọc từng tầng trước đó một cách riêng lẻ thay vì thông qua các bản tóm tắt theo khối

• Thành phần chuỗi — các lớp Canon tại A, B, C và D: một phép tích chập nhân quả có độ rộng 4 trên mỗi token và ba token đứng trước nó

• Chi phí — 1,66× thời gian mỗi lần cập nhật huấn luyện của Block AttnRes, mô hình gốc mà nó đã đánh bại

Nếu dòng cuối cùng đó nghe như một ý nghĩ thêm vào, thì đó chính là điều mà cuộc tìm kiếm chưa bao giờ tính đến, và chúng ta sẽ quay lại với nó.

Thước kẻ đến trước cuộc tìm kiếm.

Các quy tắc của đấu trường cố tình nhàm chán. Dữ liệu huấn luyện, 46.875 lần cập nhật và FLOPs mỗi token (trong khoảng ±1%) đều cố định; chỉ kiến trúc được phép thay đổi; cách tính điểm là CORE-22 — trung bình trên 22 tác vụ, càng cao càng tốt — cộng với bits-per-byte kiểm định, càng thấp càng tốt; và trong quá trình tìm kiếm, tác nhân chỉ được xem mất mát huấn luyện và BPB trên tập phát triển. Một lần chạy đầy đủ tốn hơn 1.400 giờ GPU, nên không cuộc tìm kiếm nào có thể đủ khả năng huấn luyện một tá ý tưởng đến hoàn tất. Mọi thứ phụ thuộc vào việc liệu một lần chạy ngắn có xếp hạng các ý tưởng theo cách một lần chạy dài sẽ làm hay không.

Vậy là ~152 giờ GPU đầu tiên đã dành cho việc hiệu chỉnh chiếc thước đó thay vì cho bài toán. Lối tắt hiển nhiên — ép toàn bộ lịch tốc độ học vào 512 bước cập nhật — hóa ra lại xếp hạng sai một cách có hệ thống: khi được huấn luyện trên 11 phương pháp mà kết quả đầy đủ đã biết trước, nó tạo ra tương quan Spearman 0,40 so với thứ tự cuối cùng, trong khi ngưỡng đặt ra trước là 0,85. Các sai số không phải là nhiễu. Cả bốn kiến trúc vòng lặp đều tụt hạng và cả bốn kiến trúc attention tuyến tính đều tăng hạng, vì việc cắt giảm tốc độ học sớm làm đẹp thành tích cho các mô hình hội tụ nhanh và chặt cụt những mô hình khởi đầu chậm.

Thay vào đó, lấy một tiền tố của lịch trình thực — vẫn cùng lịch trình, dừng sớm, rồi tiếp tục bằng một lần chạy đầy đủ thực sự — đã đạt 0,72 ở 500 cập nhật và 0,92 ở 2.000. Đó chính là điều đã chốt giao thức: 512 cập nhật chỉ là mức sàn để loại các ứng viên đã rõ ràng huấn luyện thất bại, và mọi quyết định xếp hạng đều được đưa ra tại cập nhật 2.000, khoảng 4% của một lần chạy đầy đủ. Cùng phép hiệu chuẩn đó đã tạo ra sàn nhiễu: hai lần chạy cùng một seed chênh nhau khoảng 0,0004 về BPB trên tập dev, nên một ứng viên phải vượt mô hình cha của nó hơn 0,001 mới được tính là thắng.

Đó là một thiết kế thực nghiệm tốt hơn mức mà hầu hết các bài báo kiến trúc của con người thường bận tâm, và đáng nói thẳng rằng chính thiết kế, chứ không phải mô hình, là thứ khiến kết quả trở nên rõ ràng.

Ba vòng, mười hai ứng viên, một ảo ảnh

Vòng một đã thử năm thay đổi đơn lẻ trên nền Block AttnRes, mỗi thay đổi kèm một giả thuyết được viết ra và có thể bị phản bác. Không thay đổi nào vượt qua mốc −0.0010 tại bước cập nhật 2,000. Full AttnRes tiến sát nhất với −0.0008; Canon tại các vị trí A và C đạt −0.0006. Một biến thể gated-attention dẫn đầu toàn bộ nhóm tại bước cập nhật 512 với −0.0027 và về đích phía sau với +0.0006 — báo cáo gọi nó đúng như bản chất: một ảo ảnh, và cùng một kiểu mẫu đó lặp lại.

Vòng hai đã kết hợp những phương án suýt đạt và bổ sung hai biến thể mixture-of-experts với mức tính toán tương đương. Ba ứng viên đã vượt ngưỡng: Canon ở cả bốn vị trí (−0.0021, thời gian bước 1.47×), Full AttnRes cộng Canon-A/C (−0.0018, 1.30×), và Full AttnRes cộng cổng (−0.0010, vừa vượt). Cổng hầu như không đóng góp gì ở bất cứ đâu nó được thêm vào, trong khi cả hai thay đổi còn lại đều làm giảm dev BPB trên mọi mô hình gốc mà chúng được thử. Hai biến thể MoE — bao gồm cấu hình tính toán ngang bằng mà agent đã đánh giá cao nhất — xếp cuối và áp chót.

Và thứ hạng đã đảo ngược mạnh mẽ: bốn ứng viên hàng đầu ở bản cập nhật 512 kết thúc theo đúng thứ tự đảo ngược ở bản cập nhật 2.000.

Vòng ba là lúc cuộc tìm kiếm chứng minh được giá trị của mình. Thay vì tin tưởng thứ tự update-512 thêm một lần nữa, nó đã chờ các lượt chạy vòng hai đạt tới update 1,536. Hai ứng viên sau đó có chung cha là Canon-A/C, một ứng viên tiến một bước về phía Full AttnRes và một ứng viên thêm các vị trí Canon B và D; cả hai đều thấp hơn cha chung đó khoảng 0,002. Với ngân sách cho thêm một ứng viên, tác nhân đã hợp nhất hai ứng viên thay vì chờ hết vài trăm update cuối. Mô hình hợp nhất đạt dev BPB 0,7965 — thấp hơn Block AttnRes 0,0038 và đứng đầu trong toàn bộ cuộc tìm kiếm — với thời gian mỗi bước gấp 1,66 lần.

Tổng cộng: 12 ứng viên, 3 vòng, 550 giờ GPU tìm kiếm.

Lần chạy cuối cùng, và lợi thế dẫn đầu còn trụ lại được bao nhiêu

Các lượt chạy ngắn chỉ nhìn thấy phần phẳng của lịch trình tốc độ học. Việc liệu lợi thế dẫn đầu ban đầu có sống sót qua giai đoạn suy giảm hay không thì phải được đo lường, và đây chính là phần của báo cáo đáng được chú ý nhất.

AttnRes-Canon đã được chuyển thành một plugin phương pháp chính thức và được huấn luyện từ đầu với 49,152 tỷ token trên 32 GPU H20, chỉ với một seed duy nhất.

• CORE-22 — AttnRes-Canon 35.99 so với mHC 35.33 so với Block AttnRes 34.00 so với Dense Baseline 33.10

• BPB xác thực — AttnRes-Canon 0.6605 so với mHC 0.6617 so với Block AttnRes 0.6630 so với Dense Baseline 0.6672

• Vị trí trên bảng xếp hạng — đứng đầu trong số 38 kết quả Arena v1 đã công bố trên cả hai chỉ số, theo chính bảng xếp hạng của arena

• Tính toán — 152 giờ GPU cho khám phá, 550 cho tìm kiếm, 1.433 cho lần chạy cuối cùng, tổng cộng 2.135

Đứng đầu ở cả hai chỉ số, và khoảng cách không quá lớn: hơn phương pháp mà nó được xây dựng dựa trên 2,0 điểm CORE, 0,0025 BPB. Hữu ích hơn điểm cuối cùng là quỹ đạo. Khoảng cách tới Block AttnRes là 0,0037 ở bước cập nhật 2.000, mở rộng lên 0,0058 trong khi tốc độ học giữ nguyên, rồi thu hẹp còn 0,0024 vào cuối — hơn một nửa lợi thế bị mất ở phần đuôi. Báo cáo ghép nó với một trường hợp bên ngoài: một Dense Baseline có thêm cổng dẫn trước 0,0012 ở bước cập nhật 2.000, vượt qua một cách thoải mái đường thắng cuộc của chính tìm kiếm này, và kết thúc sau 0,0002. Đó là giới hạn trung thực của toàn bộ phương pháp, do chính những người thực hiện nó nêu rõ: dẫn trước sớm chỉ mua được một giả thuyết, không phải một kết quả.

Những gì được xác minh và những gì bạn đang tin tưởng dựa trên niềm tin

Bản ghi lần chạy tỏ ra thẳng thắn một cách bất thường về nguồn gốc của chính nó, và chính sự thẳng thắn đó là lý do để tin phần mô tả quy trình hơn là con số ở tiêu đề.

• Tái lập độc lập — không có. Arena gắn nhãn cho mục này là “self-reported” và chân trang của bài viết ghi “Arena v1 · single-seed results”

• Seeds — một. Báo cáo liệt kê “chưa từng chạy seed thứ hai” trong số bốn thất bại của agent

• Sự tham gia của con người — kế hoạch, quy tắc và ngân sách GPU của từng giai đoạn đều đã được người vận hành phê duyệt, người mà vai trò được ghi nhận nêu rằng họ không chọn ứng viên nào và không viết mã phương pháp nào

• Đánh giá — hồ sơ liệt kê một mô hình thứ hai, GPT-6 Astra ở mức nỗ lực suy luận cao, đánh giá mã giai đoạn ba và các tập lệnh khởi chạy trước bất kỳ tác vụ GPU nào, chứ không phải chọn kiến trúc

• Tài liệu tái lập — một đường dẫn mã công khai được cấp phép MIT cho phương pháp, một checkpoint và nhật ký trên Hugging Face, cùng một bản dấu vết nhằm phát lại mọi chỉ dẫn và kết quả; checkpoint đó không có lượt tải xuống nào vào thời điểm bài viết này được viết

• Tín hiệu lựa chọn — chỉ BPB trên phần tách dev; tác nhân không thấy CORE-22 khi lựa chọn

Mục cuối cùng đó quan trọng hơn vẻ ngoài của nó. Tác nhân có thể đọc kết quả đã công bố của các phương pháp khác nhưng chỉ chọn ứng viên bằng cách dùng riêng tập dev, và đó chính là khác biệt giữa tìm kiếm và nhìn lén.

Danh sách thất bại là nửa còn lại của giá trị. Bốn ngày ngữ cảnh, được nén bảy lần, với các ghi chú ứng viên được ghi ra tệp để có thể tiếp tục luồng hội thoại. Tác nhân đã lên kế hoạch đưa ra quyết định vòng ba ở bản cập nhật 1.536 nhưng chỉ đặt lời nhắc ở 512 và 2.000, nên nó dừng lại trong khoảng trống và chỉ tiếp tục khi con người thúc đẩy. Nó đánh giá mixture-of-experts có cùng mức tính toán cao nhất và cả hai biến thể đều xếp cuối. Nó nhầm lẫn biến thiên giữa các lần chạy với biến thiên giữa các seed. Và nó tối ưu chất lượng mà không ràng buộc tốc độ, đó là cách một mô hình chậm hơn 1,66× thắng một cuộc thi có cùng mức tính toán chỉ dựa trên chất lượng.

Không có cái nào trong số đó là lạ lẫm. Chúng là những kiểu thất bại mà bất kỳ ai vận hành một vòng lặp agent dài đều đã biết: một kế hoạch không có bộ hẹn giờ, một prior không trụ nổi khi va chạm thực tế, một mô hình phương sai không phải là phương sai bạn đang có, và một hàm mục tiêu có lỗ hổng. Điều mới mẻ là thấy chúng được liệt kê từng mục bởi chính những người đã chứng kiến chúng xảy ra, cùng với dấu vết trên GitHub.

Điều này thay đổi gì đối với người đang chọn một mô hình

Không có gì về bảng giá, ngữ cảnh hay điểm chuẩn của Claude Opus 5.5. Thay đổi hữu ích thì hẹp hơn và thực tế hơn: đây là một trong những minh chứng công khai, có thể phát lại đầu tiên cho thấy một mô hình tiên tiến đa dụng, khi được cung cấp một khung đánh giá cố định và sự phê duyệt ngân sách từ con người, có thể chạy tìm kiếm thực nghiệm nhiều vòng và tạo ra thứ mà một đội thực sự sẽ huấn luyện.

Điều đó có một hệ quả cụ thể đối với cách bạn sẽ sử dụng nó. Nếu bạn đang cân nhắc hướng một agent vào một bài toán tìm kiếm của riêng mình, phần có thể chuyển giao của báo cáo là giao thức, không phải kiến trúc: hiệu chỉnh proxy rẻ của bạn dựa trên các kết quả đầy đủ đã biết trước khi tiêu tốn dù chỉ một giờ GPU, đặt mức nền nhiễu và ngưỡng thắng trước từ các lần chạy lặp lại, mỗi ứng viên chỉ thay đổi một thứ so với một parent đã nêu, và quyết định thắng ở một chân trời mà bạn đã chứng minh là có khả năng dự báo. Bốn quy tắc đó tốn khoảng 7% tổng lượng tính toán ở đây và là lý do 93% còn lại không bị lãng phí.

Kết quả kiến trúc khó để dựa vào hành động hơn. AttnRes-Canon là một phương pháp nghiên cứu, không phải một mô hình đang được phục vụ. Nó tồn tại dưới dạng một plugin phương pháp và một checkpoint 49.152B-token, với một seed duy nhất, và bất kỳ ai muốn xây dựng trên đó đều đang bắt đầu từ một nỗ lực tái lập. Hãy coi con số CORE-22 là một manh mối đáng để thử với seed thứ hai, chứ không phải là một thuộc tính đã ổn định của attention residual.

Vị trí của OrcaRouter là ở phần quy trình bao quanh việc tìm kiếm chứ không phải ở chính việc tìm kiếm. Claude Opus 5.5 có trong danh mục của chúng tôi với giá niêm yết do Anthropic công bố, được chuyển nguyên với phụ phí 0% — $4.00 mỗi triệu token đầu vào, $20.00 mỗi triệu token đầu ra, $0.20 mỗi lần đọc bộ nhớ đệm, ngữ cảnh 1M token — và các mô hình mà một vòng lặp tìm kiếm thường phải chia ra dùng đều nằm sau cùng một khóa: Claude Fable 5.2 ở mức $8.00/$40.00 kể từ ngày 9 tháng 11, GPT-6 Astra ở mức $10.00/$50.00 cho tối đa 272K token và $20.00/$75.00 cho phần vượt quá, Claude Opus 5 ở mức $5.00/$25.00. Một phiên nghiên cứu kéo dài bốn ngày mà nén ngữ cảnh bảy lần là một cuộc trò chuyện dài, tốn kém và dễ gặp lỗi; chạy nó trên một điểm cuối duy nhất với failover tự động nghĩa là một trục trặc của nhà cung cấp chỉ tốn một lần thử lại thay vì cả một đêm, và DSL định tuyến cho phép bạn đặt một mô hình rẻ hơn cho phần phân tích thường lệ và giữ Claude Opus 5.5 cho những quyết định định hình vòng tiếp theo.

Xem gì tiếp theo

Ba điều sẽ đưa thứ này từ một báo cáo tự thuật thú vị thành một kết quả mà bạn có thể xây dựng dựa trên đó. Một seed thứ hai, điều mà báo cáo nói đã không xảy ra và sẽ cho bạn biết liệu 0.0025 BPB có thật hay không. Một lần chạy lại có ràng buộc về tốc độ, vì thời gian mỗi bước 1,66× chỉ còn một phần ba giá trị nếu bạn quan tâm đến thông lượng trên mỗi giờ GPU thay vì trên mỗi token. Và Arena v2, phiên bản mà các tác giả nói sẽ chạy bên trong một container kín với hạn mức tính toán cố định để tác nhân hoàn toàn không thể thấy tập kiểm định chính thức hay CORE-22 — đó là phiên bản mà "một tác nhân đã làm nghiên cứu" không còn cần con người trong vòng lặp để trở nên đáng tin.

Cho đến lúc đó, một bản tóm tắt công bằng sẽ là thế này: một agent được trao cho một chiếc thước đo được xây dựng tốt đã tìm ra một cải tiến kiến trúc có thật, khiêm tốn, về nguyên tắc có thể tái lập, trong bốn ngày với khoảng 2.100 giờ GPU, và ghi lại mọi thứ nó làm sai trên đường đi. Phần cuối cùng chính là phần mà lĩnh vực này thường bỏ sót.