
GPT-6.2 Astra đứng đầu bảng xếp hạng robot SO-101: 22% thành công
- OrcaMỚIOrcaCyber: Hy4 Flash Abliterated / Uncensored2026-11-18$0.07 / $0.28 trên 1 triệu token · 184 tok/s
- tencentMỚITencent: Hy4 Flash2026-11-16$0.02 / $0.07 trên 1 triệu token · 494 tok/s
- AlibabaMỚIQwen: Qwen4 Max2026-11-16$1.50 / $4.50 trên 1 triệu token · 385 tok/s
- GoogleMỚIGoogle: Gemini 4 Carbon2026-11-10$2.00 / $10.00 trên 1 triệu token · 94 tok/s
- AnthropicMỚIAnthropic: Claude Fable 5.22026-11-09$8.00 / $40.00 trên 1 triệu token · 290 tok/s
- OrcaOrcaCyber: GLM 5.3 Abliterated / Uncensored2026-11-04$3.00 / $5.00 trên 1 triệu token · 99 tok/s
- OrcaOrcaCyber: Hy4 Abliterated / Uncensored2026-11-04$0.80 / $1.60 trên 1 triệu token · 132 tok/s
- OrcaOrcaCyber: Kimi K3.1 Pro Abliterated / Uncensored2026-11-04$2.00 / $5.00 trên 1 triệu token · 86 tok/s
- tencentTencent: Hy42026-11-04$0.83 / $2.50 trên 1 triệu token · 122 tok/s
- OrcaOrcaCyber: MiniMax M3.1 Flash Abliterated / Uncensored2026-10-29$0.80 / $1.60 trên 1 triệu token · 104 tok/s
- OrcaOrcaCyber: GLM 5.3 Flash Abliterated / Uncensored2026-10-27$0.80 / $1.60 trên 1 triệu token · 66 tok/s
- OrcaOrcaCyber: Qwen3.8 Flash Next Abliterated / Uncensored2026-10-26$0.80 / $1.60 trên 1 triệu token · 89 tok/s
- OrcaOrcaCyber: MiMo V2.6 Flash Abliterated / Uncensored2026-10-26$0.80 / $1.60 trên 1 triệu token · 41 tok/s
- MoonshotMoonshotAI: Kimi K3.1 Pro2026-10-2447Trí tuệ
- OrcaOrcaCyber: DeepSeek V4.1 Flash Abliterated / Uncensored2026-10-23$0.80 / $1.60 trên 1 triệu token · 215 tok/s
- minimaxMiniMax: M3.1 Flash2026-10-1929Trí tuệ
- OrcaOrca: OrcaCyber Ultra 1.02026-10-17$5.00 / $10.00 trên 1 triệu token · 109 tok/s
- deepseekDeepSeek: DeepSeek V4.1 Flash 10172026-10-1733Trí tuệ
- DeepSeekDeepSeek: DeepSeek V4.1 Flash 09102026-10-17$0.15 / $0.60 trên 1 triệu token · 160 tok/s
- DeepSeekDeepSeek: DeepSeek V4.1 Flash2026-10-1740Trí tuệ
Bảng xếp hạng SO-ARM101 của RoboColosseum có một vị trí đầu tiên mới, và thứ đang ngồi ở đó không phải là một policy robot. GPT-6.2 Astra vươn lên với 1.984 trên thang DCR của trang, Claude Fable 5.2 đứng thứ hai với 1.803, Claude Opus 5.5 thứ ba với 1.666, checkpoint tầm nhìn-ngôn ngữ-hành động được tinh chỉnh tốt nhất — pi0.5 của Physical Intelligence — thứ tư với 1.526, và thế hệ trước, GPT-6 Astra, thứ năm với 1.393. OpenAI phát hành GPT-6.2 Astra vào ngày 17 tháng 11 năm 2026; điểm đánh giá được tính vào ngày 20 tháng 11 lúc 19:46 UTC và Greg Brockman đã lan truyền nó trên X vào sáng sớm hôm sau. Đó là toàn bộ nội dung của thông báo. Điều mà câu trích dẫn không đề cập là phần còn lại của hàng: tỷ lệ thành công trên toàn tác vụ là 22%, mức dẫn đầu được bảng xếp hạng ghi nhận là nằm trong biên sai số, và một mẫu gồm 122 so sánh mù được thực hiện trong những cảnh mà mô hình chưa từng thấy.
Nếu đọc bảng xếp hạng như một kết quả cuối cùng, bạn sẽ hiểu sai. Hãy đọc nó như ảnh chụp nhanh của một quá trình đánh giá vẫn đang được tích lũy, trên bo mạch rẻ nhất và ít được vận hành nhất trong ba bo mạch robot chính của dự án, và nó cho biết một điều hữu ích hơn — về việc một mô hình đa dụng thu hẹp khoảng cách mà các chính sách thao tác chuyên biệt đã dành một năm để tạo ra nhanh đến mức nào, và mẫu hiện tại thực sự có thể chứng thực được ít đến mức nào trong khoảng cách đó.
RoboColosseum đo lường những gì và không đo lường những gì

RoboColosseum là một khung đánh giá phân tán chứ không phải một phòng thí nghiệm. Bài báo đằng sau nó, arXiv 2611.02497, được đăng vào ngày 2 tháng 11 năm 2026 bởi một nhóm đến từ NUS MAGIC Lab, Hugging Face, EAIC Singapore và BitRobot; danh sách tác giả gồm Dieter Fox, Siddhartha Srinivasa, Thomas Wolf, Harold Soh và David Hsu. Tiền đề là không thể đánh giá các chính sách robot từ một chiếc laptop, nên dự án chạy chúng trên phần cứng thật do các đối tác vận hành tại 124 địa điểm trong nghiên cứu ban đầu, trên 194 bối cảnh và 8.237 hướng dẫn riêng biệt được người đánh giá viết tại chỗ. Mọi lượt chạy đều được công bố trên Hugging Face ở định dạng LeRobot, kể cả các thất bại.
Chỉ số này là chỗ hầu hết các bài đưa tin đều sai, nên đáng nói rõ ràng. Trang lưu hai loại hồ sơ cho mỗi chính sách: một bản ghi W/T/L từ các so sánh cặp mù, trong đó người đánh giá xem hai lần chạy của cùng một chỉ dẫn trong cùng một cảnh và chọn lần tốt hơn hoặc tuyên bố hòa; và một xếp hạng DCR, được khớp từ các kết quả thành công của toàn bộ nhiệm vụ sau khi hiệu chỉnh theo độ khó mà mỗi nhiệm vụ hóa ra có. Bảng xếp hạng tự nói điều đó, trong một câu chưa từng lọt vào bất kỳ tweet nào về kết quả: DCR là "Xếp hạng Rasch được hiệu chỉnh theo độ khó (DCR) (thang Elo); không nên diễn giải nó như một xếp hạng Elo có được thông qua các cập nhật Elo tuần tự."
Sự khác biệt đó không phải là bắt bẻ chữ nghĩa. Một con số Elo thay đổi mỗi khi có trận đấu được diễn ra; một ước lượng Rasch là sự khớp đồng thời giữa năng lực của chính sách và độ khó của nhiệm vụ, và nó thay đổi khi một trong hai phía của sự khớp đó thay đổi. Việc mô tả bảng SO-101 là “xếp hạng Elo” — cách mà kết quả được trình bày trên X — tức là lấy một ước lượng hậu nghiệm rồi khoác cho nó vẻ ngoài của một bảng điểm đang chạy. Hai thứ trông giống nhau trên biểu đồ, và đó chính xác là lý do sự nhầm lẫn vẫn tồn tại. DCR cũng yêu cầu ít nhất 20 so sánh đủ điều kiện trước khi một chính sách được xếp hạng, và nó cố ý không sử dụng thành tích thắng-thua-hòa: hai chính sách có thể có các dòng W/T/L rất khác nhau mà vẫn được phân tách bằng phép khớp dựa trên tỷ lệ thành công. Hãy ghi nhớ điều đó khi các con số dưới đây có vẻ mâu thuẫn với nhau.
Bảng, từ trên xuống dưới

SO-ARM101 là cánh tay in 3D mã nguồn mở thuộc hệ sinh thái LeRobot — chiếc cánh tay mà bài báo mô tả là được thiết kế để có thể chế tạo lại giống hệt nhau ở những địa điểm khác nhau, sao cho một kết quả thu được ở Singapore có thể được tái tạo tại một phòng thí nghiệm ở nơi khác. Mười chính sách được xếp hạng trên đó. Tính đến bản cập nhật ngày 20 tháng 11:
• GPT-6.2 Astra — 1.984, 122 phép so sánh, 95 thắng / 18 hòa / 9 thua, 27 thành công hoàn toàn
• Claude Fable 5.2 — 1,803, 112 so sánh, 62 / 23 / 27, 21 thành công
• Claude Opus 5.5 — 1,666, 187 lượt so sánh, 98 / 57 / 32, 9 thành công
• pi0.5 — 1.526, 194 phép so sánh, 66 / 57 / 71, 9 thành công
• GPT-6 Astra — 1,393, 183 so sánh, 75 / 62 / 46, 5 lần thành công
• Grok 4.7 — 1,366, 181 phép so sánh, 37 / 79 / 65, 4 thành công
• LingBot-MolmoAct2 — 1,259, 214 phép so sánh, 42 / 92 / 80, 5 lần thành công
• GR00T N1.7 — 1,233, 219 lượt so sánh, 31 / 92 / 96, 3 lần thành công
• MolmoAct2 — 1,122, 216 lượt so sánh, 40 / 83 / 93, 3 lần thành công
• G0.5 — 1,095, 207 phép so sánh, 18 / 94 / 95, 1 thành công
Có hai điều rút ra ngay từ danh sách đó. Thứ nhất, ba vị trí dẫn đầu đều là các mô hình ngôn ngữ tiên phong được điều khiển qua một harness lập trình, chứ không phải các chính sách thao tác được tinh chỉnh; VLA chuyên dụng tốt nhất, pi0.5, đứng thứ tư. Thứ hai, Claude Opus 5.5 có nhiều chiến thắng tuyệt đối nhất trên bảng xếp hạng — 98, nhiều hơn Astra ba — và về đích thứ ba, vì nó cũng có 57 trận hòa và chỉ chín lần thành công trọn vẹn. Kết quả của Astra thì ngược lại: ít so sánh hơn, ít trận hòa hơn nhiều, và số nhiệm vụ hoàn thành gấp ba lần. Dù harness đang làm gì, nó đang chuyển tiến độ từng phần thành những lượt chạy hoàn chỉnh, và đó chính là điều DCR được xây dựng để thưởng.
Hai mươi hai phần trăm là con số.
Hai mươi bảy lần thành công trong 122 lần so sánh là 22.1%. Đó là tỷ lệ thành công toàn nhiệm vụ cao nhất trên bảng SO-ARM101, và điều đó có nghĩa là khoảng bốn trong năm lần thử không hoàn thành chỉ dẫn. Các nhiệm vụ không hề quá lạ — các rollout được công bố bao gồm "Đặt cốc vào trong chảo," "nhặt hộp màu vàng và đặt lên đĩa," "xoay bút đánh dấu 90 độ theo chiều kim đồng hồ," "chạm vào bút màu xanh dương," và "nhặt nĩa, rồi nhặt dao." Các cảnh là những chiếc bàn thông thường: NUS COM3, một chiếc bàn ngoài trời trên sân thượng, một vị trí bên ngoài MAGIC Lab.
Việc một hệ dẫn đầu thất bại bốn trong năm lần chạy là bối cảnh quan trọng nhất cho tiêu đề, và điều đó nhất quán với mọi thứ mà dự án đã công bố. Bài báo tháng 11 báo cáo rằng trên sáu hạng mục thao tác của mình, “không có hệ thống nào được đánh giá vượt quá 13% tỷ lệ thành công trong bất kỳ hạng mục nào”, và rằng MolmoAct2, VLA mạnh nhất theo điểm so sánh kỳ vọng, chỉ đạt 58% đến 77% trên thước đo tương đối trong khi tỷ lệ thành công tuyệt đối của nó nằm trong khoảng 6% đến 13%. Bảng bạn đang xem không phải là bảng của những robot có thể làm được nhiệm vụ. Đó là bảng của những hệ thống đang ngày càng giỏi hơn trong việc không thất bại hoàn toàn.
Tỷ lệ thành công cũng là con số duy nhất trên hàng đó mà không thể bị chỉ số thổi phồng. Điểm xếp hạng DCR phụ thuộc vào việc hiệu chuẩn độ khó, mà việc này lại phụ thuộc vào cách mô hình khớp tổng hợp các tác vụ trên các chính sách; còn số lượng thành công thì không. Hai mươi bảy là hai mươi bảy. Nếu bạn muốn so sánh GPT-6.2 Astra với bất kỳ thứ gì trong danh sách đó mà không phải tranh luận về các mô hình Rasch, hãy so sánh 27 với 21 với 9 với 5.
Lợi thế dẫn đầu nằm trong biên độ sai số.
RoboColosseum vẽ độ lệch chuẩn hậu nghiệm ±1 quanh mỗi xếp hạng, và nêu ngay trong cùng dòng rằng mức “Dẫn trước #2” +181 điểm của người đứng đầu nằm “trong các thanh sai số”. Đó là bản tóm tắt của chính trang web về kết quả của chính nó, được in bên cạnh con số thay vì bị chôn dưới đó.
Đặt các dải ±1 SD cạnh nhau và sự thận trọng trở nên hợp lý. Dải của Astra chạy từ khoảng 1.888 đến 2.080; của Claude Fable 5.2 từ khoảng 1.712 đến 1.894. Chúng chồng lấn trong một khoảng vài điểm quanh 1.890, và khoảng cách 181 điểm giữa hai ước tính là khoảng 1,4 độ lệch chuẩn kết hợp — chưa đạt đến mức cần thiết để gọi đó là một vị trí dẫn đầu thay vì một kết quả phân định hòa. 122 lượt so sánh của Astra đủ để xếp nó ở vị trí đầu, nhưng không đủ để nói một cách chắc chắn rằng nó tốt hơn mô hình đứng thứ hai. Khoảng cách giữa vị trí đầu và vị trí thứ ba rộng hơn và rõ ràng hơn — 1.984 so với 1.666 — nhưng đó cũng là so sánh giữa một mô hình có 122 lượt so sánh và một mô hình có 187 lượt, trên một bảng xếp hạng mà mọi policy khác đều có nhiều mẫu hơn mô hình dẫn đầu.
Đây không phải là khiếm khuyết riêng của kết quả này. Đó là bản chất của một bảng gồm 1.017 phép so sánh. Để so sánh, bảng Franka của cùng dự án có 5.643 phép so sánh và bảng Bimanual-YAM có 4.517; SO-ARM101 là bảng mỏng nhất trong ba bảng, chỉ bằng khoảng một phần năm, với 78 cảnh và 70,3 giờ robot phía sau. Một người mới có thể đạt vị trí đầu tiên ở đây nhanh hơn so với bất kỳ bảng nào khác trong bộ. Đó là thuộc tính của bảng, không phải của mô hình, và điều đó sẽ vẫn đúng vào lần tới khi một mô hình được phát hành.
Vì sao một mô hình ngôn ngữ lại nằm trên bo mạch robot
Sự thật cấu trúc thú vị nhất về bảng xếp hạng này là nó trộn hai loại hệ thống thường được tách riêng. Năm trong số mười policy là các checkpoint vision-language-action — pi0.5, GR00T N1.7, MolmoAct2, LingBot-MolmoAct2, G0.5 — được huấn luyện trên dữ liệu robot và, trong Fine-tune Track, được tinh chỉnh trên 100 mẫu trình diễn cho mỗi tác vụ. Năm cái còn lại là các agent tiên phong: GPT-6.2 Astra, GPT-6 Astra, Claude Fable 5.2, Claude Opus 5.5 và Grok 4.7, mỗi cái được kết nối qua một serving rig và được để tự viết mã chuyển động. Bài báo nói thẳng: các agent tiên phong "chỉ tham gia Open Track", trong khi các mô hình VLA sử dụng các checkpoint dành riêng cho từng embodiment.
Thiết kế đó chính là lý do khiến kết quả có thể hiểu được chút nào, và cũng là lý do không nên coi nó như một tuyên bố về các mô hình robot. GPT-6.2 Astra chưa được huấn luyện trên các quỹ đạo SO-101. Nó chưa được tinh chỉnh trên các nhiệm vụ. Nó được yêu cầu nhìn vào luồng camera, suy luận về một cái bàn và phát ra các lệnh chuyển động, đây là phép thử năng lực tổng quát được áp dụng vào một vòng lặp vật lý chứ không phải phép thử kỹ năng thao tác. Việc phương pháp này đánh bại một chính sách được huấn luyện riêng cho cánh tay chính là điểm đáng chú ý; tỷ lệ thành công 22% là cái giá phải trả khi làm theo cách đó.
Kiểm tra chéo giữa các dạng thân máy trong chính bài báo là yếu tố hiệu chỉnh. Bảng xếp hạng chính sách cho thấy "mức đồng thuận yếu giữa các bộ tác vụ đặc thù theo từng dạng thân máy", với Kendall's W bằng 0,24 — gần như không có đồng thuận nào cả. π0.5 đứng đầu trên Franka và Bimanual-YAM, đứng thứ tư trên humanoid G1; GR00T N1.7 dẫn đầu SO-ARM101 sau khi tinh chỉnh và xếp thứ tư trên hai nền tảng còn lại. Một con số đạt được trên một cánh tay không chuyển giao được sang cánh tay khác, và GPT-6.2 Astra mới chỉ được chạy trên đúng một nền tảng này. Nó hoàn toàn vắng mặt trên bảng Franka, nơi thế hệ trước, GPT-6 Astra, hiện đang dẫn đầu với 1.915.
Một ngày, 122 phép so sánh
Bài đăng khởi đầu câu chuyện này nói rằng mô hình đã được đưa qua “hàng trăm phép so sánh đối đầu trực tiếp ngoài đời thực” chỉ trong “MỘT NGÀY.” Bảng xếp hạng ghi nhận GPT-6.2 Astra với 122. Cả hai con số đều có thể đúng — đấu trường chạy so sánh trên mọi policy có trên đó, và thông lượng hằng ngày dễ dàng vượt mức hàng trăm — nhưng chỉ một trong hai là mẫu đằng sau con số 1.984, và đó là con số nhỏ hơn.
Cần xác định rõ mốc thời gian, vì “một ngày” đang mang chức năng tu từ. OpenAI đã phát hành GPT-6.2 Astra vào ngày 17 tháng 11. Điểm đánh giá trên bảng SO-ARM101 mang dấu thời gian tính toán là 20 tháng 11, 19:46 UTC, và so sánh gần nhất của đấu trường được ghi nhận cùng buổi sáng lúc 09:49 UTC. Vậy 122 so sánh tích lũy trong khoảng ba ngày của một bảng đang hoạt động, chứ không phải hai mươi bốn giờ của một lượt chạy chuyên dụng. Trang làm mới mỗi giờ, nghĩa là con số bạn thấy là một ước tính đang thay đổi chứ không phải kết quả cuối cùng — và điều đó cũng có nghĩa thay đổi thứ hạng một hai bậc nằm hoàn toàn trong khả năng mà lần làm mới tiếp theo có thể tạo ra.
Không điều nào trong số này khiến kết quả trở nên sai. Nó khiến kết quả mang tính tạm thời theo một cách cụ thể, có thể kiểm chứng: hướng thì rõ, độ lớn thì chưa được chốt, và bất kỳ ai trích dẫn 1,984 như một đại lượng cố định đều đang trích dẫn một kết quả khớp sẽ còn dịch chuyển.
Thứ hạng tốn bao nhiêu

Đây là lúc nhiễu trở thành một quyết định mua hàng chứ không còn chỉ là một chú thích phương pháp luận. Trên bảng xếp hạng SO-ARM101, hai mô hình đứng đầu được niêm yết ở cùng một mức giá. GPT-6.2 Astra có giá $8 mỗi triệu token đầu vào và $40 mỗi triệu token đầu ra; Claude Fable 5.2 là $8 và $40; GPT-6 Astra, xếp thấp hơn ba bậc, là $10 và $50. Claude Opus 5.5, đứng thứ ba, là $4 và $20 — bằng một nửa giá đầu vào và một nửa giá đầu ra của Astra — và pi0.5, policy chuyên biệt tốt nhất trên bảng xếp hạng, có trọng số mở và miễn phí để chạy trên phần cứng của riêng bạn.
• Hạng 1 — GPT-6.2 Astra, 1,984 DCR, $8 đầu vào / $40 đầu ra mỗi triệu token
• Hạng 2 — Claude Fable 5.2, 1,803 DCR, $8 / $40
• Hạng 3 — Claude Opus 5.5, 1.666 DCR, $4 / $20
• Hạng 4 — pi0.5, 1.526 DCR, trọng số mở
• Hạng 5 — GPT-6 Astra, 1,393 DCR, $10 / $50
Đọc đó như một đường cong chi phí thì thứ hạng không còn là phần thú vị nữa. Đi từ vị trí thứ ba lên thứ nhất làm hóa đơn trên mỗi token tăng gấp đôi và đổi lấy một lợi thế dẫn đầu mà chính bảng xếp hạng nói rằng nằm trong biên sai số. Đi từ thứ năm lên thứ nhất tiết kiệm 20% và đổi lấy 591 điểm DCR, đây là bước nhảy lớn nhất giữa hai thế hệ liên tiếp trên bảng — nhưng nó cũng có nghĩa thế hệ trước giờ lại là lựa chọn đắt hơn, kiểu đảo ngược chỉ lộ ra khi bạn nhìn vào cột giá bên cạnh thứ hạng.
Đối với bất kỳ thứ gì chạy trong vòng lặp, phép tính đó sẽ cộng dồn. Một lượt thao tác không phải là một yêu cầu duy nhất; đó là một chuỗi dài các lệnh gọi, phần lớn mang theo khung hình camera và một bản ghi ngày càng dài, và giá trên mỗi token nhân lên qua từng bước. Một mô hình hoàn thành 22% nhiệm vụ với chi phí $8 cho mỗi triệu token đầu vào là một lựa chọn mua khác với một mô hình hoàn thành 5% với chi phí $10, và sự khác biệt này hoàn toàn không hiện rõ trên bảng xếp hạng.
GPT-6.2 Astra chưa có trên danh mục OrcaRouter, nên câu trả lời trung thực cho bất kỳ ai muốn gọi nó chính là API của nhà cung cấp. Điều danh mục thực sự có là phần còn lại của cột đó: GPT-6 Astra ở mức $10 và $50, GPT-6.1 Sol ở mức $2 và $10, và Claude Opus 5.5 ở mức $4 và $20, tất cả đều 0% markup so với giá niêm yết của nhà cung cấp, đó là lý do vì sao khi nhà cung cấp giảm giá, bên chúng tôi cũng áp dụng cùng ngày như bên họ. Chạy cùng một tác vụ trên ba trong số đó và so sánh các lần chạy đã hoàn tất là thử nghiệm rẻ nhất trên trang này, và đó là việc bảng xếp hạng đang yêu cầu bạn làm chứ không phải việc nó đang báo cáo.
Điều gì sẽ làm thay đổi phán quyết
Ba điều sẽ biến một vị trí dẫn đầu tạm thời thành một vị trí vững chắc, và cả ba đều có thể quan sát được.
Đầu tiên là mẫu. SO-ARM101 cần vài trăm so sánh cho mỗi chính sách trước khi các khoảng tin cậy của nó thu hẹp bằng độ rộng của bảng Franka. Dải của GPT-6.2 Astra rộng 376 điểm ở độ tin cậy 95%; người dẫn đầu của Franka, GPT-6 Astra thế hệ trước, nằm trong dải rộng khoảng 185 điểm trên 194 so sánh. Khi mẫu của Astra tăng gần gấp đôi, câu hỏi liệu nó có thực sự dẫn trước Claude Fable 5.2 sẽ tự trả lời.
Điều thứ hai là một embodiment thứ hai. Một mô hình dẫn đầu trên một cánh tay robot và chưa từng được chạy trên một cánh tay khác chỉ là một điểm dữ liệu, không phải một tuyên bố về năng lực, và chỉ số Kendall's W bằng 0,24 trong bài báo chính là lời thừa nhận của dự án rằng các thứ hạng không chuyển giao được. Nếu GPT-6.2 Astra xuất hiện trên bảng Franka hoặc Bimanual-YAM ở một thứ hạng tương tự, kết quả SO-101 sẽ không còn là hiện tượng giả tạo do một bảng xếp hạng quá mỏng nữa.
Thứ ba là Hạng mục Tinh chỉnh. Bài báo báo cáo rằng sau khi tinh chỉnh trên 100 bản trình diễn cho mỗi tác vụ, GR00T N1.7 dẫn trước SO-101 — và GR00T N1.7 hiện đứng thứ tám trên bảng xếp hạng mở với tỷ lệ thành công 1,37% và 219 lượt so sánh. Đó là dòng hữu ích nhất trong toàn bộ tập dữ liệu: chính sách giành chiến thắng khi mọi người đều nhận được cùng các bản trình diễn lại ở gần cuối bảng khi không ai có được chúng, còn tác nhân tiên phong giành chiến thắng ở hạng mục mở không phải là thứ ai cũng sẽ chọn để triển khai. Hai câu hỏi khác nhau, hai người thắng khác nhau, và chỉ một trong số đó là điều mà một nhóm robot thực sự cần trả lời trước khi đưa sản phẩm ra thị trường.
Cho đến lúc đó, bản tóm tắt công bằng về ngày 20 tháng 11 vẫn hẹp và đáng được nêu thật chính xác. Một mô hình đa dụng, mới bốn ngày tuổi, đã vươn lên đứng đầu một bảng xếp hạng robot thực tế nhờ hoàn thành 22% nhiệm vụ của mình, trên 122 phép so sánh mù, trước một nhóm đối thủ bao gồm các policy chuyên dụng được xây dựng cho cánh tay đó — và chính trang web công bố bảng xếp hạng là bên đầu tiên nói rằng vị trí dẫn đầu nằm trong phạm vi nhiễu.
So sánh trong bài viết này1
Phát hiện từ bài viết này · Benchmark: Artificial Analysis · cập nhật hằng ngày
