Kartu judul yang dihasilkan berjudul 'GPT-6.2 Astra Menduduki Puncak Papan Peringkat Robot SO-101' dengan subjudul '1.984 DCR · 22,1% keberhasilan tugas penuh · 122 perbandingan buta' dan keterangan 'RoboColosseum SO-ARM101 Open Track · peringkat dihitung 20 November 2026', di samping lengan robot bergaris tipis dan diagram batang menanjak. Logo OrcaRouter dikomposisikan di sudut kanan bawah.
Guides & Insights

GPT-6.2 Astra Memuncaki Papan Robot SO-101: Tingkat Keberhasilan 22%

Penulis

Elias Hawthorne

Tanggal Terbit

Model terbaru · 20Lihat semua model →
Benchmark: Artificial Analysis · diperbarui setiap hari
Kembali ke semua artikel

Papan peringkat SO-ARM101 RoboColosseum punya tempat pertama baru, dan yang menempatinya bukanlah kebijakan robot. GPT-6.2 Astra naik ke 1,984 pada skala DCR situs tersebut, dengan Claude Fable 5.2 di posisi kedua pada 1,803, Claude Opus 5.5 ketiga pada 1,666, checkpoint vision-language-action hasil fine-tuning terbaik — pi0.5 dari Physical Intelligence — keempat pada 1,526, dan generasi sebelumnya, GPT-6 Astra, kelima pada 1,393. O​penAI merilis GPT-6.2 Astra pada 17 November 2026; peringkatnya dihitung pada 20 November pukul 19:46 UTC dan Greg Brockman menggemakannya di X pagi-pagi keesokan harinya. Itulah keseluruhan pengumumannya. Yang tidak dibawa kutipan itu adalah sisa barisnya: tingkat keberhasilan tugas penuh sebesar 22%, keunggulan yang dicatat papan peringkat sebagai berada di dalam batas galat, dan sampel berisi 122 perbandingan buta yang diambil dalam adegan yang belum pernah dilihat model.

Baca peringkat itu sebagai hasil akhir, dan Anda akan salah membacanya. Bacalah sebagai potret evaluasi yang masih terus terisi, pada papan robot termurah dan paling jarang diuji di antara tiga papan robot utama proyek, dan peringkat itu mengatakan sesuatu yang lebih berguna — tentang seberapa cepat model serbaguna menutup kesenjangan yang dibangun kebijakan manipulasi terspesialisasi selama setahun, dan betapa sedikit dari kesenjangan itu yang benar-benar dapat disertifikasi oleh sampel saat ini.

Apa yang diukur RoboColosseum, dan apa yang tidak.

A screenshot of the RoboColosseum arXiv abstract page for 'RoboColosseum: Evaluating Physical Intelligence at Scale In-The-Wild', 34 pages, version 1 posted 2 November 2026, listing the author affiliations and the abstract describing distributed real-world evaluation across partner sites and scenes.

RoboColosseum adalah kerangka evaluasi terdistribusi, bukan laboratorium. Makalah di baliknya, arXiv 2611.02497, dipublikasikan pada 2 November 2026 oleh kelompok yang mencakup NUS MAGIC Lab, Hugging Face, EAIC Singapore, dan BitRobot; daftar penulisnya mencakup Dieter Fox, Siddhartha Srinivasa, Thomas Wolf, Harold Soh, dan David Hsu. Premisnya adalah bahwa kebijakan robot tidak dapat dijadikan benchmark dari laptop, sehingga proyek ini menjalankannya pada perangkat keras nyata yang dioperasikan oleh mitra di 124 lokasi dalam studi awalnya, dengan lebih dari 194 adegan dan 8.237 instruksi berbeda yang ditulis langsung di tempat oleh evaluator. Setiap rollout dipublikasikan di Hugging Face dalam format LeRobot, termasuk kegagalan.

Metriknya adalah titik utama kesalahan sebagian besar liputan, jadi layak dinyatakan secara terang-terangan. Situs ini menyimpan dua catatan untuk setiap kebijakan: catatan W/T/L dari perbandingan berpasangan buta, di mana evaluator manusia menonton dua eksekusi instruksi yang sama dalam scene yang sama dan memilih yang lebih baik atau menyatakan seri; dan peringkat DCR, yang diestimasi dari hasil keberhasilan tugas penuh setelah dikalibrasi terhadap seberapa sulit setiap tugas ternyata. Papan peringkat sendiri menyatakannya, dalam sebuah kalimat yang belum masuk ke satu pun tweet tentang hasil tersebut: DCR adalah "Rating Rasch Terkalibrasi Kesulitan (DCR) (skala Elo); ini tidak boleh ditafsirkan sebagai rating Elo yang diperoleh melalui pembaruan Elo berurutan."

Perbedaan itu bukan sekadar formalitas berlebihan. Angka Elo berubah setiap kali pertandingan dimainkan; estimasi Rasch adalah kecocokan bersama antara kemampuan kebijakan dan tingkat kesulitan tugas, dan berubah ketika salah satu sisi kecocokan itu berubah. Melaporkan papan SO-101 sebagai "peringkat Elo" — yang merupakan cara hasil tersebut dijelaskan di X — mengambil estimasi posterior dan membalutnya sebagai papan skor yang terus diperbarui. Keduanya terlihat mirip pada grafik, dan itulah tepatnya sebabnya kebingungan itu tetap bertahan. DCR juga mensyaratkan setidaknya 20 perbandingan yang memenuhi syarat sebelum sebuah kebijakan diperingkat sama sekali, dan dengan sengaja tidak menggunakan catatan menang-kalah-seri: dua kebijakan dapat memiliki catatan W/T/L yang sangat berbeda dan tetap dipisahkan oleh kecocokan berbasis keberhasilan. Ingatlah hal itu ketika angka-angka di bawah tampak saling bertentangan.

Papan, dari atas ke bawah

A screenshot of the RoboColosseum SO-ARM101 leaderboard, Open track, headed 'SO-ARM101 · Open track' with the leader's DCR rating of 1,984, a ±96 posterior interval, a +181 lead over second place marked as inside the error bars, and ten ranked policies with their comparison counts and win/tie/loss records.

SO-ARM101 adalah lengan cetak 3D sumber terbuka dari ekosistem LeRobot — yang dalam makalah dijelaskan dirancang untuk dapat dibangun kembali secara identik di berbagai lokasi, sehingga hasil yang dikumpulkan di Singapura dapat direproduksi di laboratorium di tempat lain. Sepuluh kebijakan diperingkatkan pada platform ini. Per pembaruan 20 November:

• GPT-6.2 Astra — 1,984, 122 perbandingan, 95 kemenangan / 18 seri / 9 kekalahan, 27 keberhasilan penuh

• Claude Fable 5.2 — 1,803, 112 perbandingan, 62 / 23 / 27, 21 keberhasilan

Claude Opus 5.5 — 1,666, 187 perbandingan, 98 / 57 / 32, 9 keberhasilan

pi0.5 — 1,526, 194 perbandingan, 66 / 57 / 71, 9 keberhasilan

• GPT-6 Astra — 1,393, 183 perbandingan, 75 / 62 / 46, 5 keberhasilan

• Grok 4.7 — 1,366, 181 perbandingan, 37 / 79 / 65, 4 keberhasilan

• LingBot-MolmoAct2 — 1,259, 214 perbandingan, 42 / 92 / 80, 5 keberhasilan

• GR00T N1.7 — 1,233, 219 perbandingan, 31 / 92 / 96, 3 keberhasilan

• MolmoAct2 — 1,122, 216 perbandingan, 40 / 83 / 93, 3 keberhasilan

• G0.5 — 1,095, 207 perbandingan, 18 / 94 / 95, 1 keberhasilan

Ada dua hal yang langsung terlihat dari daftar itu. Pertama, tiga teratas semuanya adalah model bahasa frontier yang dijalankan melalui coding harness, bukan kebijakan manipulasi yang di-fine-tune; VLA spesialis terbaik, pi0.5, berada di peringkat keempat. Kedua, Claude Opus 5.5 memiliki kemenangan mutlak terbanyak di papan — 98, tiga lebih banyak daripada Astra — dan finis ketiga, karena ia juga memiliki 57 seri dan hanya sembilan keberhasilan penuh. Catatan Astra justru sebaliknya: lebih sedikit perbandingan, jauh lebih sedikit seri, dan tiga kali lipat tugas yang diselesaikan. Apa pun yang dilakukan harness itu, ia mengubah kemajuan parsial menjadi run yang selesai, dan itulah yang dirancang DCR untuk diberi imbalan.

Dua puluh dua persen adalah angkanya

Dua puluh tujuh keberhasilan dari 122 perbandingan adalah 22,1%. Itu adalah tingkat keberhasilan tugas penuh tertinggi pada papan SO-ARM101, dan itu berarti sekitar empat dari lima percobaan tidak menyelesaikan instruksi. Tugas-tugasnya tidak eksotis — rollout yang dipublikasikan mencakup “Letakkan cangkir di dalam wajan,” “ambil kotak kuning dan letakkan di piring,” “Putar spidol 90 derajat searah jarum jam,” “sentuh pena biru,” dan “ambil garpu, lalu ambil pisau.” Adegannya adalah meja biasa: NUS COM3, meja di luar di teras, tempat di luar MAGIC Lab.

Bahwa seorang pemimpin gagal dalam empat dari lima percobaan adalah konteks terpenting bagi judul itu, dan hal ini konsisten dengan semua yang telah diterbitkan proyek tersebut. Makalah November melaporkan bahwa di enam kategori manipulasi, "tidak ada sistem yang dievaluasi yang melampaui 13% keberhasilan dalam kategori apa pun," dan bahwa MolmoAct2, VLA terkuat berdasarkan skor perbandingan yang diharapkan, hanya mencapai 58% hingga 77% pada ukuran relatif, sementara tingkat keberhasilan absolutnya berada di antara 6% dan 13%. Papan yang Anda lihat bukanlah papan berisi robot yang dapat mengerjakan tugas itu. Ini adalah papan berisi sistem yang semakin baik dalam tidak gagal sepenuhnya.

Tingkat keberhasilan juga merupakan satu-satunya angka pada baris itu yang tidak dapat digelembungkan oleh metrik. Rating DCR bergantung pada kalibrasi kesulitan, yang bergantung pada cara fit menggabungkan tugas di berbagai kebijakan; jumlah keberhasilan tidak. Dua puluh tujuh tetap dua puluh tujuh. Jika Anda ingin membandingkan GPT-6.2 Astra dengan apa pun dalam daftar itu tanpa berdebat tentang model Rasch, bandingkan 27 dengan 21 dengan 9 dengan 5.

Keunggulannya berada di dalam error bar.

RoboColosseum menggambarkan simpangan baku posterior ±1 di sekitar setiap peringkat, dan menyatakan pada baris yang sama bahwa "Lead over #2" dari pemimpin sebesar +181 poin berada "di dalam batas kesalahan." Itu adalah ringkasan situs itu sendiri atas hasilnya sendiri, tercetak di samping angka tersebut, bukan terkubur di bawahnya.

Letakkan pita ±1 SD berdampingan, dan kehati-hatiannya pun masuk akal. Astra berkisar dari sekitar 1.888 hingga 2.080; Claude Fable 5.2 berkisar dari sekitar 1.712 hingga 1.894. Keduanya tumpang tindih dalam jendela beberapa poin di sekitar 1.890, dan selisih 181 poin antara kedua estimasi itu sekitar 1,4 simpangan baku gabungan — kurang dari yang diperlukan untuk menyebutnya sebagai keunggulan, bukan sekadar pemecah seri. 122 perbandingan Astra cukup untuk menempatkannya di peringkat pertama, tetapi tidak cukup untuk mengatakan dengan keyakinan apa pun bahwa ia lebih baik daripada model di peringkat kedua. Selisih antara peringkat pertama dan ketiga lebih lebar dan lebih bersih — 1.984 berbanding 1.666 — tetapi ini juga perbandingan antara model dengan 122 perbandingan dan model dengan 187, pada papan di mana setiap policy lain memiliki lebih banyak sampel daripada sang pemimpin.

Ini bukanlah kekurangan yang unik pada hasil tersebut. Inilah tampilan papan dengan 1.017 perbandingan. Sebagai perbandingan, papan Franka dari proyek yang sama memiliki 5.643 perbandingan dan papan Bimanual-YAM 4.517; SO-ARM101 adalah yang paling tipis di antara ketiganya dengan faktor sekitar lima, dengan 78 adegan dan 70,3 jam-robot di belakangnya. Pendatang baru dapat mencapai peringkat pertama di sini lebih cepat daripada di papan mana pun dalam kumpulan ini. Itu adalah sifat papannya, bukan modelnya, dan hal itu akan tetap benar saat model berikutnya dirilis.

Mengapa model bahasa berada di papan robot

Fakta struktural paling menarik tentang papan peringkat ini adalah bahwa papan tersebut mencampur dua jenis sistem yang biasanya dipisahkan. Lima dari sepuluh kebijakan adalah checkpoint vision-language-action — pi0.5, GR00T N1.7, MolmoAct2, LingBot-MolmoAct2, G0.5 — yang dilatih pada data robot dan, dalam Fine-tune Track, di-fine-tune pada 100 demonstrasi per tugas. Lima lainnya adalah agen frontier: GPT-6.2 Astra, GPT-6 Astra, Claude Fable 5.2, Claude Opus 5.5, dan Grok 4.7, yang masing-masing dihubungkan melalui rig penyajian dan dibiarkan menulis kode gerak sendiri. Makalah tersebut menyatakannya secara langsung: agen frontier "hanya berpartisipasi di Open Track," sementara model VLA menggunakan checkpoint khusus perwujudan.

Desain itulah yang membuat hasilnya dapat dipahami, dan mengapa hasil tersebut tidak semestinya dibaca sebagai klaim tentang model robotika. GPT-6.2 Astra belum dilatih pada lintasan SO-101. Model ini belum disesuaikan secara khusus pada tugas-tugas tersebut. Model ini diminta melihat umpan kamera, bernalar tentang sebuah meja, dan mengeluarkan perintah gerak, yang merupakan uji kompetensi umum yang diterapkan pada lingkar fisik, bukan uji keterampilan manipulasi. Fakta bahwa ini mengalahkan kebijakan yang dilatih khusus untuk lengan tersebut adalah inti ceritanya; tingkat keberhasilan 22% adalah harga dari melakukan cara itu.

Pemeriksaan lintas-embodi dari makalah itu sendiri merupakan korektifnya. Peringkat kebijakan menunjukkan “kesepakatan yang lemah antar rangkaian tugas yang spesifik untuk masing-masing embodi,” dengan Kendall’s W sebesar 0,24 — yang mendekati tidak ada kesepakatan sama sekali. π0.5 menempati peringkat pertama pada Franka dan Bimanual-YAM serta peringkat keempat pada humanoid G1; GR00T N1.7 memimpin SO-ARM101 setelah fine-tuning dan menempati peringkat keempat pada dua lainnya. Angka yang diperoleh pada satu lengan tidak dapat ditransfer, dan GPT-6.2 Astra baru dijalankan pada yang ini. Ia sama sekali tidak hadir di papan peringkat Franka, tempat generasi sebelumnya, GPT-6 Astra, saat ini memimpin dengan 1.915.

Suatu hari, 122 perbandingan

Postingan yang memulai ini mengatakan bahwa model tersebut menjalani "ratusan perbandingan head-to-head di dunia nyata" dalam "hanya SATU HARI." Papan peringkat mencatat 122 untuk GPT-6.2 Astra. Kedua angka itu bisa sama-sama benar — arena menjalankan perbandingan di seluruh policy yang ada di dalamnya, dan laju hariannya sudah jauh menembus ratusan — tetapi hanya salah satunya yang menjadi sampel di balik 1.984, dan itu adalah angka yang lebih kecil.

Garis waktunya layak dipastikan, karena "satu hari" berfungsi secara retoris. OpenAI merilis GPT-6.2 Astra pada 17 November. Rating di papan SO-ARM101 membawa stempel waktu komputasi 20 November, 19:46 UTC, dan perbandingan terbaru arena tercatat pada pagi yang sama pukul 09:49 UTC. Jadi, 122 perbandingan itu terakumulasi selama sekitar tiga hari pada papan yang aktif, bukan selama dua puluh empat jam dari suatu proses khusus. Situs ini menyegarkan setiap jam, yang berarti angka yang Anda lihat adalah perkiraan yang bergerak, bukan hasil final — dan itu berarti perubahan peringkat satu atau dua posisi masih sangat mungkin dihasilkan oleh penyegaran berikutnya.

Tidak ada dari semua ini yang membuat hasilnya salah. Hal ini membuatnya bersifat sementara dengan cara yang spesifik dan dapat diperiksa: arahnya jelas, besarnya belum final, dan siapa pun yang mengutip 1,984 sebagai kuantitas tetap sedang mengutip hasil fit yang akan berubah.

Berapa biaya peringkat tersebut

A generated single-model scoreboard titled 'GPT-6.2 Astra — the scoreboard' with the rows 'DCR rating: 1,984', 'Full-task success rate: 22.1%', 'Blind comparisons: 122', 'Win / tie / loss: 95 / 18 / 9', 'Lead over #2: +181, inside the error bars' and 'Price: $8 in / $40 out per million tokens', over the footer 'Figures per the RoboColosseum SO-ARM101 board, rating computed 20 November 2026 19:46 UTC.' The OrcaRouter logo is composited in the bottom-right corner.

Di sinilah noise menjadi keputusan pembelian alih-alih catatan kaki metodologis. Di papan SO-ARM101, dua model teratas tercantum dengan harga yang sama. GPT-6.2 Astra adalah $8 per juta token input dan $40 per juta token output; Claude Fable 5.2 adalah $8 dan $40; GPT-6 Astra, tiga peringkat di bawahnya, adalah $10 dan $50. Claude Opus 5.5, di peringkat ketiga, adalah $4 dan $20 — setengah dari harga input Astra dan setengah dari harga outputnya — dan pi0.5, policy khusus terbaik di papan tersebut, berbobot terbuka dan gratis untuk dijalankan di perangkat keras Anda sendiri.

• Peringkat 1 — GPT-6.2 Astra, 1,984 DCR, $8 masuk / $40 keluar per juta token

• Peringkat 2 — Claude Fable 5.2, 1.803 DCR, $8 / $40

• Peringkat 3 — Claude Opus 5.5, 1.666 DCR, $4 / $20

Peringkat 4 — pi0.5, 1.526 DCR, bobot terbuka

• Peringkat 5 — GPT-6 Astra, 1,393 DCR, $10 / $50

Jika dibaca sebagai kurva biaya, peringkatnya tidak lagi menjadi bagian yang menarik. Berpindah dari peringkat ketiga ke pertama menggandakan biaya per token dan membeli keunggulan yang menurut papan peringkat itu sendiri berada di dalam batas galat. Berpindah dari peringkat kelima ke pertama menghemat 20% dan membeli 591 poin DCR, yang merupakan lompatan satu generasi terbesar di papan peringkat — tetapi itu juga berarti generasi sebelumnya kini menjadi opsi yang lebih mahal, semacam inversi yang hanya muncul ketika Anda melihat kolom harga di sebelah peringkat.

Untuk apa pun yang berjalan dalam loop, aritmetika itu akan terus berlipat. Satu proses manipulasi bukanlah satu permintaan; itu adalah rangkaian panggilan yang panjang, sebagian besar membawa frame kamera dan transkrip yang terus bertambah, dan harga per token berlipat di setiap langkah. Model yang menyelesaikan 22% tugas dengan biaya $8 per juta token input adalah pembelian yang berbeda dari model yang menyelesaikan 5% tugas dengan biaya $10, dan perbedaannya sama sekali tidak terlihat di papan peringkat.

GPT-6.2 Astra belum ada di katalog OrcaRouter, jadi jawaban jujur bagi siapa pun yang ingin memanggilnya adalah API milik vendor itu sendiri. Yang memang tersedia di katalog adalah sisa kolom tersebut: GPT-6 Astra dengan harga $10 dan $50, GPT-6.1 Sol dengan harga $2 dan $10, serta Claude Opus 5.5 dengan harga $4 dan $20, semuanya dengan markup 0% atas harga daftar penyedia, itulah sebabnya penurunan harga dari vendor berlaku di sisi kami pada hari yang sama saat berlaku di sisi mereka. Menjalankan tugas yang sama pada tiga dari model tersebut dan membandingkan hasil akhirnya adalah eksperimen termurah di halaman ini, dan itulah yang diminta papan peringkat untuk Anda lakukan alih-alih yang dilaporkannya.

Apa yang akan mengubah putusan?

Tiga hal akan mengubah posisi pertama yang sementara menjadi posisi yang mapan, dan ketiganya dapat diamati.

Yang pertama adalah sampel. SO-ARM101 membutuhkan beberapa ratus perbandingan per kebijakan sebelum intervalnya menyempit hingga selebar interval papan Franka. Pita GPT-6.2 Astra selebar 376 poin pada kredibilitas 95%; pemimpin Franka, GPT-6 Astra generasi sebelumnya, berada dalam pita selebar sekitar 185 poin berdasarkan 194 perbandingan. Ketika sampel Astra kurang lebih berlipat ganda, pertanyaan apakah Astra benar-benar berada di depan Claude Fable 5.2 akan terjawab dengan sendirinya.

Yang kedua adalah embodiment kedua. Model yang memimpin peringkat untuk satu lengan dan belum pernah dijalankan pada lengan lain hanyalah satu titik data, bukan klaim kemampuan, dan Kendall's W sebesar 0,24 dalam makalah itu adalah pengakuan proyek sendiri bahwa peringkat tidak berlaku lintas konteks. Jika GPT-6.2 Astra muncul di papan Franka atau Bimanual-YAM pada peringkat serupa, hasil SO-101 tidak lagi menjadi artefak dari papan yang tipis.

Yang ketiga adalah Fine-tune Track. Makalah tersebut melaporkan bahwa setelah fine-tuning pada 100 demonstrasi per tugas, GR00T N1.7 mengungguli SO-101 — dan GR00T N1.7 saat ini berada di peringkat kedelapan di open board dengan tingkat keberhasilan 1,37% dan 219 perbandingan. Itu adalah baris paling berguna di seluruh dataset: kebijakan yang menang ketika semua orang mendapat demonstrasi yang sama berada di near the bottom ketika tidak ada yang mendapatkannya, dan agen frontier yang menang di open track bukanlah yang akan dipilih siapa pun untuk diterapkan. Dua pertanyaan berbeda, dua pemenang berbeda, dan hanya salah satunya yang benar-benar perlu dijawab tim robotika sebelum merilis produk.

Sampai saat itu, ringkasan yang adil untuk 20 November bersifat sempit dan layak dinyatakan secara tepat. Sebuah model serbaguna yang baru berusia empat hari menduduki puncak papan peringkat robot nyata dengan menyelesaikan 22% tugasnya, dalam 122 perbandingan buta, mengungguli sebuah bidang peserta yang mencakup kebijakan-kebijakan khusus yang dibangun untuk lengan tersebut — dan situs yang menerbitkan peringkat itu adalah yang pertama mengatakan bahwa keunggulannya berada di dalam derau.

Dibandingkan dalam artikel ini1

Terdeteksi dari artikel ini · Benchmark: Artificial Analysis · diperbarui setiap hari