Wygenerowana plansza tytułowa z nagłówkiem „GPT-6.2 Astra przewodzi rankingowi robotów SO-101”, podtytułem „1 984 DCR · 22,1% skuteczności pełnego zadania · 122 porównania w ciemno” i podpisem „RoboColosseum SO-ARM101 Open Track · ocena wyliczona 20 listopada 2026”, obok cienkoliniowego ramienia robota i rosnącego wykresu słupkowego. Logo OrcaRouter jest nałożone w prawym dolnym rogu.
Guides & Insights

GPT-6.2 Astra na czele rankingu robotów SO-101: 22% skuteczności

Autor

Elias Hawthorne

Data publikacji

Najnowsze modele · 20Zobacz wszystkie modele →
Benchmarki: Artificial Analysis · aktualizowane codziennie
Powrót do wszystkich wpisów

Tabela liderów SO-ARM101 w RoboColosseum ma nowe pierwsze miejsce, a to, co zajmuje szczyt, nie jest polityką robota. GPT-6.2 Astra pojawił się z wynikiem 1984 w skali DCR serwisu, przy czym Claude Fable 5.2 jest drugi z 1803, Claude Opus 5.5 trzeci z 1666, najlepszy dostrojony checkpoint vision-language-action — pi0.5 od Physical Intelligence — czwarty z 1526, a poprzednia generacja, GPT-6 Astra, piąta z 1393. O​penAI udostępnił GPT-6.2 Astra 17 listopada 2026 r.; ocena została obliczona 20 listopada o 19:46 UTC, a Greg Brockman nagłośnił ją na X wczesnym rankiem następnego dnia. To wszystko, co zawiera ogłoszenie. Czego cytat nie przekazuje, to reszta wiersza: 22-procentowy wskaźnik sukcesu w pełnym zadaniu, przewaga, którą tabela liderów kwalifikuje jako mieszczącą się w granicach błędu, oraz próba 122 ślepych porównań przeprowadzonych w scenach, których model nigdy nie widział.

Jeśli odczytasz ranking jako wynik, odczytasz go błędnie. Odczytaj go jako migawkę oceny, która wciąż się zapełnia, na najtańszej i najmniej wykorzystywanej z trzech głównych płyt robotycznych projektu, a powie ci coś bardziej użytecznego — o tym, jak szybko model ogólnego przeznaczenia zamyka lukę, którą wyspecjalizowane polityki manipulacji budowały przez rok, oraz jak niewiele z tej luki obecna próbka może faktycznie poświadczyć.

Co mierzy RoboColosseum, a czego nie

A screenshot of the RoboColosseum arXiv abstract page for 'RoboColosseum: Evaluating Physical Intelligence at Scale In-The-Wild', 34 pages, version 1 posted 2 November 2026, listing the author affiliations and the abstract describing distributed real-world evaluation across partner sites and scenes.

RoboColosseum to rozproszony framework ewaluacyjny, a nie laboratorium. Artykuł, na którym się opiera, arXiv 2611.02497, został opublikowany 2 listopada 2026 r. przez zespół obejmujący NUS MAGIC Lab, Hugging Face, EAIC Singapore i BitRobot; lista autorów obejmuje Dieter Fox, Siddhartha Srinivasa, Thomas Wolf, Harold Soh i David Hsu. Założenie jest takie, że polityk robotycznych nie można testować benchmarkowo z laptopa, dlatego projekt uruchamia je na prawdziwym sprzęcie obsługiwanym przez partnerów w 124 lokalizacjach w ramach wstępnego badania, w ponad 194 scenach i z 8237 odrębnymi instrukcjami zapisanymi na miejscu przez ewaluatora. Każdy rollout jest publikowany na Hugging Face w formacie LeRobot, łącznie z niepowodzeniami.

To na tym wskaźniku najczęściej myli się większość omówień, więc warto powiedzieć to wprost. Serwis prowadzi dwa rejestry dla każdej polityki: rekord W/T/L z zaślepionych porównań parami, w których człowiek-oceniający obserwuje dwa przebiegi tej samej instrukcji w tej samej scenie i wybiera lepszy albo orzeka remis; oraz ocenę DCR, dopasowywaną na podstawie wyników sukcesu całego zadania po skalibrowaniu względem tego, jak trudne okazało się każde zadanie. Tabela wyników mówi to sama, w zdaniu, które nie trafiło do ani jednego tweeta o wyniku: DCR to „Difficulty-Calibrated Rasch (DCR) Rating (Elo scale); nie należy go interpretować jako ratingu Elo uzyskanego przez sekwencyjne aktualizacje Elo”.

Ta różnica nie jest pedanterią. Liczba Elo zmienia się przy każdym rozegranym meczu; oszacowanie Rascha jest łącznym dopasowaniem zdolności polityki i trudności zadania i zmienia się, gdy zmienia się którakolwiek strona tego dopasowania. Przedstawianie tablicy SO-101 jako „rankingu Elo” — tak właśnie opisano wynik na X — bierze oszacowanie a posteriori i ubiera je w bieżącą tablicę wyników. Na wykresie oba wyglądają podobnie i dokładnie dlatego to zamieszanie się utrzymuje. DCR wymaga też co najmniej 20 kwalifikujących się porównań, zanim jakakolwiek polityka zostanie w ogóle sklasyfikowana, i celowo nie korzysta z rekordu wygranych-przegranych-remisów: dwie polityki mogą mieć bardzo różne linie W/T/L, a mimo to zostać rozdzielone przez dopasowanie oparte na sukcesach. Miej to na uwadze, gdy poniższe liczby wydają się sobie przeczyć.

Tablica, od góry do dołu

A screenshot of the RoboColosseum SO-ARM101 leaderboard, Open track, headed 'SO-ARM101 · Open track' with the leader's DCR rating of 1,984, a ±96 posterior interval, a +181 lead over second place marked as inside the error bars, and ten ranked policies with their comparison counts and win/tie/loss records.

SO-ARM101 to otwartoźródłowe, drukowane w 3D ramię z ekosystemu LeRobot — to, które w artykule opisano jako zaprojektowane do identycznego odtworzenia w różnych lokalizacjach, tak aby wynik uzyskany w Singapurze można było odtworzyć w laboratorium w innym miejscu. Uszeregowano na nim dziesięć polityk. Na dzień aktualizacji z 20 listopada:

• GPT-6.2 Astra — 1,984, 122 porównania, 95 zwycięstw / 18 remisów / 9 porażek, 27 pełnych sukcesów

• Claude Fable 5.2 — 1,803, 112 porównań, 62 / 23 / 27, 21 sukcesów

• Claude Opus 5.5 — 1,666, 187 porównań, 98 / 57 / 32, 9 sukcesów

• pi0.5 — 1,526, 194 porównania, 66 / 57 / 71, 9 sukcesów

• GPT-6 Astra — 1,393, 183 porównania, 75 / 62 / 46, 5 sukcesów

• Grok 4.7 — 1 366, 181 porównań, 37 / 79 / 65, 4 sukcesy

• LingBot-MolmoAct2 — 1,259, 214 porównań, 42 / 92 / 80, 5 sukcesów

• GR00T N1.7 — 1,233, 219 porównań, 31 / 92 / 96, 3 sukcesy

• MolmoAct2 — 1 122 216 porównań, 40 / 83 / 93, 3 sukcesy

• G0.5 — 1,095, 207 porównań, 18 / 94 / 95, 1 sukces

Z tej listy od razu wynikają dwie rzeczy. Po pierwsze, pierwsza trójka to modele językowe klasy frontier uruchamiane przez harness kodujący, a nie dostrojone polityki manipulacji; najlepszy specjalistyczny VLA, pi0.5, jest czwarty. Po drugie, Claude Opus 5.5 ma najwięcej zdecydowanych zwycięstw na tablicy — 98, o trzy więcej niż Astra — i kończy trzeci, ponieważ ma też 57 remisów i tylko dziewięć pełnych sukcesów. Wynik Astry jest odwrotnością: mniej porównań, znacznie mniej remisów i trzy razy więcej ukończonych zadań. Cokolwiek robi harness, zamienia częściowy postęp w ukończone przebiegi, i właśnie to DCR ma nagradzać.

Dwadzieścia dwa procent to ta liczba.

Dwadzieścia siedem sukcesów z 122 porównań daje 22,1%. To najwyższy wskaźnik sukcesu dla pełnego zadania na tablicy SO-ARM101, co oznacza, że około cztery na pięć prób nie kończą się wykonaniem instrukcji. Zadania nie są egzotyczne — opublikowane przebiegi obejmują „Włóż kubek do patelni”, „podnieś żółte pudełko i połóż je na talerzu”, „Obróć marker o 90 stopni zgodnie z ruchem wskazówek zegara”, „dotknij niebieskiego pióra” oraz „podnieś widelec, a następnie podnieś nóż”. Sceny to zwykłe stoły: NUS COM3, stół na zewnątrz na tarasie, miejsce przed laboratorium MAGIC Lab.

To, że lider przegrywa cztery na pięć prób, jest najważniejszym kontekstem dla nagłówka i jest spójne ze wszystkim, co projekt opublikował. Listopadowa praca podaje, że w sześciu kategoriach manipulacji „żaden oceniany system nie przekracza 13% skuteczności w żadnej kategorii”, a MolmoAct2, najsilniejszy VLA pod względem oczekiwanego wyniku porównawczego, osiągnął jedynie 58%–77% w miarze względnej, podczas gdy jego bezwzględne wskaźniki skuteczności wynosiły od 6% do 13%. Tablica, na którą patrzysz, nie jest tablicą robotów, które potrafią wykonać zadanie. To tablica systemów, którym coraz lepiej wychodzi unikanie całkowitej porażki.

Wskaźnik sukcesu jest także jedyną liczbą w tym wierszu, której nie da się zawyżyć za pomocą metryki. Ocena DCR zależy od kalibracji trudności, a ta zależy od tego, jak dopasowanie łączy zadania w ramach różnych polityk; liczba sukcesów już nie. Dwadzieścia siedem to dwadzieścia siedem. Jeśli chcesz porównać GPT-6.2 Astra z czymkolwiek z tej listy bez spierania się o modele Rascha, porównaj 27 z 21, 9 i 5.

Przewaga mieści się w granicach błędu.

RoboColosseum rysuje ±1 odchylenie standardowe posterioru wokół każdej oceny i w tej samej linii stwierdza, że „przewaga lidera nad #2” wynosząca +181 punktów mieści się „w granicach błędu”. To własne podsumowanie serwisu dotyczące jego własnego wyniku, wydrukowane obok liczby, a nie ukryte pod nią.

Postaw pasma ±1 SD obok siebie, a ostrożność ma sens. Wyniki Astry mieszczą się w przedziale od około 1888 do 2080; Claude Fable 5.2 — od około 1712 do 1894. Pokrywają się w oknie kilku punktów w okolicach 1890, a 181-punktowa różnica między obiema estymacjami to około 1,4 łącznego odchylenia standardowego — za mało, by nazwać to przewagą, a nie rozstrzygnięciem remisu. 122 porównania Astry wystarczają, by uplasować ją na pierwszym miejscu, ale nie wystarczają, by z jakąkolwiek pewnością stwierdzić, że jest lepsza od modelu z drugiego miejsca. Różnica między pierwszym a trzecim miejscem jest większa i czystsza — 1984 przeciwko 1666 — ale to także porównanie między modelem z 122 porównaniami a modelem ze 187, na tablicy, na której każda inna polityka ma więcej próbek niż lider.

To nie jest wada specyficzna dla tego wyniku. Tak wygląda tablica z 1017 porównaniami. Dla porównania tablica Franka tego samego projektu ma 5643 porównania, a tablica Bimanual-YAM — 4517; SO-ARM101 jest najcieńsza z trzech, około pięciokrotnie, mając za sobą 78 scen i 70,3 roboczogodziny. Nowicjusz może tutaj dotrzeć na pierwsze miejsce szybciej niż na każdej innej tablicy w zestawie. To cecha tablicy, a nie modelu, i pozostanie prawdą przy następnym wydaniu modelu.

Dlaczego model językowy jest na płytce robota

Najciekawszym faktem strukturalnym dotyczącym tego rankingu jest to, że łączy on dwa rodzaje systemów, które zwykle trzyma się osobno. Pięć z dziesięciu polityk to checkpointy vision-language-action — pi0.5, GR00T N1.7, MolmoAct2, LingBot-MolmoAct2, G0.5 — wytrenowane na danych robotycznych i, w Fine-tune Track, dostrojone na 100 demonstracjach na zadanie. Pozostałe pięć to agenci frontierowi: GPT-6.2 Astra, GPT-6 Astra, Claude Fable 5.2, Claude Opus 5.5 i Grok 4.7, z których każdy jest podłączony przez środowisko serwujące i pozostawiony samemu sobie, by napisał kod ruchu. Artykuł ujmuje to wprost: agenci frontierowi „uczestniczą wyłącznie w Open Track”, podczas gdy modele VLA używają checkpointów specyficznych dla konkretnego embodimentu.

To właśnie ta konstrukcja sprawia, że wynik jest w ogóle czytelny i że nie należy go odczytywać jako twierdzenia o modelach robotyki. GPT-6.2 Astra nie był trenowany na trajektoriach SO-101. Nie był dostrajany do tych zadań. Prosi się go, aby patrzył na strumienie z kamer, rozumował o stole i wysyłał polecenia ruchu, co jest testem ogólnych kompetencji zastosowanych w pętli fizycznej, a nie testem umiejętności manipulacji. Fakt, że przewyższa to politykę wytrenowaną specjalnie dla ramienia, jest sednem historii; 22% wskaźnika sukcesu to cena takiego podejścia.

Kontrola cross-embodiment przeprowadzona w samym artykule jest tu korektą. Rankingi polityk pokazują „słabą zgodność między zestawami zadań specyficznymi dla danej platformy”, ze współczynnikiem W Kendalla wynoszącym 0,24 — co oznacza niemal całkowity brak zgodności. π0.5 zajmuje pierwsze miejsce w przypadku Franka i Bimanual-YAM, a czwarte na humanoidzie G1; GR00T N1.7 prowadzi na SO-ARM101 po dostrajaniu i kończy na czwartym miejscu na pozostałych dwóch. Wynik uzyskany na jednym ramieniu nie przenosi się, a GPT-6.2 Astra uruchomiono wyłącznie na tym jednym. Całkowicie nie ma go na tablicy Franka, gdzie poprzednia generacja, GPT-6 Astra, obecnie prowadzi z wynikiem 1,915.

Pewnego dnia, 122 porównania

Post, który to zapoczątkował, twierdzi, że model poddano „setkom porównań jeden na jeden w rzeczywistych warunkach” w „zaledwie JEDEN DZIEŃ”. Ranking przyznaje GPT-6.2 Astra 122. Obie liczby mogą być prawdziwe — arena przeprowadza porównania dla każdej polityki w niej, a dzienna przepustowość znacznie przekracza setki — ale tylko jedna z nich jest próbą stojącą za 1,984, i jest to ta mniejsza.

Warto ustalić oś czasu, ponieważ „jeden dzień” pełni tu funkcję retoryczną. OpenAI udostępniło GPT-6.2 Astra 17 listopada. Ocena na tablicy SO-ARM101 ma znacznik czasu obliczeń 20 listopada, 19:46 UTC, a najnowsze porównanie areny zostało zarejestrowane tego samego ranka o 09:49 UTC. Zatem 122 porównania narosły w ciągu około trzech dni działającej tablicy, a nie w ciągu dwudziestu czterech godzin dedykowanego przebiegu. Strona odświeża się co godzinę, co oznacza, że widoczna liczba jest ruchomym szacunkiem, a nie gotowym wynikiem — i oznacza też, że zmiana pozycji o jedno lub dwa miejsca jest całkowicie w zasięgu tego, co może przynieść następne odświeżenie.

Nic z tego nie sprawia, że wynik jest błędny. Czyni go tymczasowym w konkretny, możliwy do sprawdzenia sposób: kierunek jest jasny, wielkość nie została jeszcze ustalona, a każdy, kto podaje 1,984 jako stałą wartość, powołuje się na dopasowanie, które ulegnie zmianie.

Ile kosztuje ranga

A generated single-model scoreboard titled 'GPT-6.2 Astra — the scoreboard' with the rows 'DCR rating: 1,984', 'Full-task success rate: 22.1%', 'Blind comparisons: 122', 'Win / tie / loss: 95 / 18 / 9', 'Lead over #2: +181, inside the error bars' and 'Price: $8 in / $40 out per million tokens', over the footer 'Figures per the RoboColosseum SO-ARM101 board, rating computed 20 November 2026 19:46 UTC.' The OrcaRouter logo is composited in the bottom-right corner.

I tu właśnie szum staje się decyzją zakupową, a nie metodologicznym przypisem. Na tablicy SO-ARM101 dwa najlepsze modele mają tę samą cenę. GPT-6.2 Astra kosztuje 8 USD za milion tokenów wejściowych i 40 USD za milion tokenów wyjściowych; Claude Fable 5.2 — 8 i 40 USD; GPT-6 Astra, trzy miejsca niżej — 10 i 50 USD. Claude Opus 5.5, na trzecim miejscu, kosztuje 4 i 20 USD — połowę ceny wejściowej Astry i połowę jej ceny wyjściowej — a pi0.5, najlepsza wyspecjalizowana polityka na tablicy, ma otwarte wagi i można ją bezpłatnie uruchamiać na własnym sprzęcie.

• Pozycja 1 — GPT-6.2 Astra, 1,984 DCR, $8 za milion tokenów wejściowych / $40 za milion tokenów wyjściowych

• Miejsce 2 — Claude Fable 5.2, 1,803 DCR, $8 / $40

• Miejsce 3 — Claude Opus 5.5, 1,666 DCR, $4 / $20

• Miejsce 4 — pi0.5, 1,526 DCR, otwarte wagi

• Miejsce 5 — GPT-6 Astra, 1 393 DCR, $10 / $50

Odczytaj to jako krzywą kosztów, a ranking przestaje być interesującą częścią. Przejście z trzeciego na pierwsze miejsce podwaja koszt na token i daje przewagę, o której sama tablica wyników mówi, że mieści się w granicach błędu. Przejście z piątego na pierwsze miejsce oszczędza 20% i daje 591 punktów DCR, co jest największym skokiem między generacjami na tablicy — ale oznacza też, że poprzednia generacja jest teraz droższą opcją, czyli rodzajem inwersji, który ujawnia się dopiero wtedy, gdy spojrzysz na kolumnę ceny obok pozycji w rankingu.

W przypadku czegokolwiek w pętli ta arytmetyka się kumuluje. Przebieg manipulacji to nie jedno żądanie; to długi ciąg wywołań, z których większość przenosi klatki z kamery i rosnący zapis, a cena za token mnoży się na każdym kroku. Model, który kończy 22% zadań i kosztuje 8 dolarów za milion tokenów wejściowych, to inny zakup niż ten, który kończy 5% i kosztuje 10 dolarów, a różnicy w ogóle nie widać w rankingu.

GPT-6.2 Astra nie ma jeszcze w katalogu OrcaRouter, więc uczciwą odpowiedzią dla każdego, kto chce go wywołać, jest własne API dostawcy. Katalog zawiera natomiast resztę tej kolumny: GPT-6 Astra w cenie $10 i $50, GPT-6.1 Sol w cenie $2 i $10 oraz Claude Opus 5.5 w cenie $4 i $20, wszystko przy 0% marży względem ceny katalogowej dostawcy, dlatego obniżka ceny dostawcy trafia do nas tego samego dnia, w którym trafia do nich. Uruchomienie tego samego zadania na trzech z nich i porównanie ukończonych przebiegów to najtańszy eksperyment na tej stronie i to ten, o którego wykonanie prosi ranking, a nie ten, który ranking raportuje.

Co zmieniłoby werdykt?

Trzy rzeczy zamieniłyby tymczasowe pierwsze miejsce w ustalone, a wszystkie trzy są obserwowalne.

Pierwszą kwestią jest próba. SO-ARM101 potrzebuje kilkuset porównań na politykę, zanim jego przedziały zacieśnią się do szerokości przedziałów tablicy Franka. Pasmo GPT-6.2 Astra ma szerokość 376 punktów przy 95% wiarygodności; lider Franka, GPT-6 Astra poprzedniej generacji, mieści się w paśmie o szerokości około 185 punktów na 194 porównaniach. Kiedy próba Astry mniej więcej się podwoi, pytanie, czy rzeczywiście wyprzedza Claude Fable 5.2, odpowie samo na siebie.

Drugi to drugie ucieleśnienie. Model, który przewodzi na jednym ramieniu i nigdy nie był uruchamiany na innym, jest punktem danych, a nie twierdzeniem o możliwościach, a współczynnik Kendall W równy 0,24 z artykułu jest własnym przyznaniem projektu, że rankingi się nie przenoszą. Jeśli GPT-6.2 Astra pojawi się na tablicy Franka lub Bimanual-YAM na podobnej pozycji, wynik SO-101 przestaje być artefaktem ubogiej tablicy.

Trzecia jest Ścieżka dostrajania. Praca donosi, że po dostrojeniu na 100 demonstracjach na zadanie GR00T N1.7 wyprzedza SO-101 — a GR00T N1.7 obecnie zajmuje ósme miejsce w otwartym rankingu z 1,37% skuteczności i 219 porównaniami. To najbardziej użyteczne zdanie w całym zbiorze danych: polityka, która wygrywa, gdy wszyscy dostają te same demonstracje, jest blisko dna, gdy nikt ich nie dostaje, a agent czołówki, który wygrywa otwarty tor, nie jest tym, którego ktokolwiek wybrałby do wdrożenia. Dwa różne pytania, dwóch różnych zwycięzców, i tylko jeden z nich jest tym, na co zespół robotyki faktycznie musi odpowiedzieć przed wdrożeniem.

Do tego czasu rzetelne podsumowanie 20 listopada jest wąskie i warte precyzyjnego przedstawienia. Model ogólnego przeznaczenia, mający cztery dni, wszedł na szczyt rankingu robotów rzeczywistych, kończąc 22% swoich zadań, na podstawie 122 ślepych porównań, wyprzedzając konkurencję obejmującą wyspecjalizowane polityki zbudowane dla tego ramienia — a strona, która opublikowała ranking, jako pierwsza przyznaje, że przewaga mieści się w szumie.

Porównane w tym artykule1

Wykryto na podstawie tego artykułu · Benchmarki: Artificial Analysis · aktualizowane codziennie