
GPT-6.2 Astra toppar SO-101-robotlistan: 22 % framgång
- OrcaNYOrcaCyber: Hy4 Flash Abliterated / Uncensored2026-11-18$0.07 / $0.28 per 1M tokens · 184 tok/s
- tencentNYTencent: Hy4 Flash2026-11-16$0.02 / $0.07 per 1M tokens · 494 tok/s
- AlibabaNYQwen: Qwen4 Max2026-11-16$1.50 / $4.50 per 1M tokens · 385 tok/s
- GoogleNYGoogle: Gemini 4 Carbon2026-11-10$2.00 / $10.00 per 1M tokens · 94 tok/s
- AnthropicNYAnthropic: Claude Fable 5.22026-11-09$8.00 / $40.00 per 1M tokens · 290 tok/s
- OrcaOrcaCyber: GLM 5.3 Abliterated / Uncensored2026-11-04$3.00 / $5.00 per 1M tokens · 99 tok/s
- OrcaOrcaCyber: Hy4 Abliterated / Uncensored2026-11-04$0.80 / $1.60 per 1M tokens · 132 tok/s
- OrcaOrcaCyber: Kimi K3.1 Pro Abliterated / Uncensored2026-11-04$2.00 / $5.00 per 1M tokens · 86 tok/s
- tencentTencent: Hy42026-11-04$0.83 / $2.50 per 1M tokens · 122 tok/s
- OrcaOrcaCyber: MiniMax M3.1 Flash Abliterated / Uncensored2026-10-29$0.80 / $1.60 per 1M tokens · 104 tok/s
- OrcaOrcaCyber: GLM 5.3 Flash Abliterated / Uncensored2026-10-27$0.80 / $1.60 per 1M tokens · 66 tok/s
- OrcaOrcaCyber: Qwen3.8 Flash Next Abliterated / Uncensored2026-10-26$0.80 / $1.60 per 1M tokens · 89 tok/s
- OrcaOrcaCyber: MiMo V2.6 Flash Abliterated / Uncensored2026-10-26$0.80 / $1.60 per 1M tokens · 41 tok/s
- MoonshotMoonshotAI: Kimi K3.1 Pro2026-10-2447Intelligens
- OrcaOrcaCyber: DeepSeek V4.1 Flash Abliterated / Uncensored2026-10-23$0.80 / $1.60 per 1M tokens · 215 tok/s
- minimaxMiniMax: M3.1 Flash2026-10-1929Intelligens
- OrcaOrca: OrcaCyber Ultra 1.02026-10-17$5.00 / $10.00 per 1M tokens · 109 tok/s
- deepseekDeepSeek: DeepSeek V4.1 Flash 10172026-10-1733Intelligens
- DeepSeekDeepSeek: DeepSeek V4.1 Flash 09102026-10-17$0.15 / $0.60 per 1M tokens · 160 tok/s
- DeepSeekDeepSeek: DeepSeek V4.1 Flash2026-10-1740Intelligens
RoboColosseums SO-ARM101-topplista har en ny etta, och det som sitter där är inte en robotpolicy. GPT-6.2 Astra gick upp till 1 984 på sajtens DCR-skala, med Claude Fable 5.2 som tvåa på 1 803, Claude Opus 5.5 som trea på 1 666, den bästa finjusterade vision-language-action-checkpointen – Physical Intelligences pi0.5 – som fyra på 1 526, och den tidigare generationen, GPT-6 Astra, som femma på 1 393. OpenAI släppte GPT-6.2 Astra den 17 november 2026; betyget beräknades den 20 november kl. 19:46 UTC och Greg Brockman lyfte fram det på X tidigt nästa morgon. Det är hela tillkännagivandet. Det citatet inte förmedlar är resten av raden: en framgångsgrad på 22 % för hela uppgifter, en ledning som topplistan registrerar som inom felmarginalerna, och ett urval på 122 blinda jämförelser gjorda i scener som modellen aldrig hade sett.
Om du läser rangordningen som ett resultat misstolkar du den. Läs den som en ögonblicksbild av en utvärdering som fortfarande fylls på, på det billigaste och minst använda av projektets tre huvudsakliga robotkort, och den säger något mer användbart – om hur snabbt en modell för allmänna ändamål stänger ett försprång som specialiserade manipulationspolicyer ägnade ett år åt att bygga upp, och hur lite av det försprånget det aktuella urvalet faktiskt kan styrka.
Vad RoboColosseum mäter, och vad det inte mäter

RoboColosseum är ett distribuerat utvärderingsramverk snarare än ett laboratorium. Artikeln bakom det, arXiv 2611.02497, publicerades den 2 november 2026 av en grupp som spänner över NUS MAGIC Lab, Hugging Face, EAIC Singapore och BitRobot; författarlistan omfattar Dieter Fox, Siddhartha Srinivasa, Thomas Wolf, Harold Soh och David Hsu. Premissen är att robotpolicyer inte kan benchmarkas från en laptop, så projektet kör dem på riktig hårdvara som drivs av partner på 124 platser i den inledande studien, över 194 scener och 8 237 distinkta instruktioner som skrivits på plats av en utvärderare. Varje rollout publiceras på Hugging Face i LeRobot-format, även misslyckanden.
Måttet är där bevakningen oftast går fel, så det är värt att säga rakt ut. Sajten håller två register för varje policy: ett W/T/L-register från blinda parvisa jämförelser, där en mänsklig utvärderare tittar på två körningar av samma instruktion i samma scen och väljer den bättre eller dömer oavgjort; och ett DCR-betyg, som skattas utifrån utfall för fullständig uppgiftsframgång efter kalibrering för hur svår varje uppgift visade sig vara. Topplistan säger det själv, i en mening som inte har hamnat i en enda tweet om resultatet: DCR är "en Difficulty-Calibrated Rasch (DCR) Rating (Elo-skala); den bör inte tolkas som ett Elo-betyg som erhållits genom sekventiella Elo-uppdateringar."
Den distinktionen är inte pedanteri. Ett Elo-tal ändras varje gång en match spelas; en Rasch-skattning är en gemensam anpassning av policyförmåga och uppgiftssvårighet, och den ändras när endera sidan av den anpassningen ändras. Att rapportera SO-101-tavlan som ”Elo-rankningar” – vilket är hur resultatet beskrevs på X – tar en posterior skattning och klär den som en löpande resultattavla. De två ser lika ut i ett diagram, vilket är precis därför förvirringen består. DCR kräver också minst 20 kvalificerade jämförelser innan en policy över huvud taget rankas, och den använder medvetet inte vinst–förlust–oavgjort-resultatet: två policyer kan ha mycket olika W/T/L-rader och ändå skiljas åt av den framgångsbaserade anpassningen. Ha det i åtanke när siffrorna nedan verkar motsäga varandra.
Styrelsen, uppifrån och ned

SO-ARM101 är den öppna, 3D-utskrivna armen från LeRobot-ekosystemet – den som artikeln beskriver som utformad för att byggas om identiskt på olika platser, så att ett resultat som samlats in i Singapore kan reproduceras i ett laboratorium någon annanstans. Tio policyer rangordnas utifrån den. I och med uppdateringen den 20 november:
GPT-6.2 Astra – 1 984 122 jämförelser, 95 vinster / 18 oavgjorda / 9 förluster, 27 fullständiga framgångar
• Claude Fable 5.2 — 1 803 112 jämförelser, 62 / 23 / 27, 21 framgångar
• Claude Opus 5.5 — 1,666, 187 jämförelser, 98 / 57 / 32, 9 framgångar
• pi0.5 — 1,526, 194 jämförelser, 66 / 57 / 71, 9 framgångar
• GPT-6 Astra — 1 393, 183 jämförelser, 75 / 62 / 46, 5 framgångar
• Grok 4.7 — 1 366, 181 jämförelser, 37 / 79 / 65, 4 lyckade resultat
• LingBot-MolmoAct2 — 1,259, 214 jämförelser, 42 / 92 / 80, 5 framgångar
• GR00T N1.7 — 1 233 219 jämförelser, 31 / 92 / 96, 3 framgångar
• MolmoAct2 — 1,122, 216 jämförelser, 40 / 83 / 93, 3 framgångar
• G0.5 — 1,095, 207 jämförelser, 18 / 94 / 95, 1 framgång
Två saker framgår omedelbart av listan. Det första är att de tre bästa alla är frontier-språkmodeller som drivs via en kodningsharness, inte finjusterade manipulationspolicyer; den bästa specialiserade VLA:n, pi0.5, ligger fyra. Det andra är att Claude Opus 5.5 har flest rena segrar på resultattavlan – 98, tre fler än Astra – och slutar trea, eftersom den också har 57 oavgjorda och bara nio fullständiga framgångar. Astras rad är det omvända: färre jämförelser, långt färre oavgjorda och tre gånger så många slutförda uppgifter. Oavsett vad harness gör, så omvandlar det delvisa framsteg till slutförda körningar, och det är vad DCR är byggt för att belöna.
Tjugotvå procent är siffran
Tjugosju lyckade försök av 122 jämförelser är 22,1 %. Det är den högsta framgångsgraden för hela uppgiften på SO-ARM101-tavlan, och det innebär att ungefär fyra av fem försök inte slutför instruktionen. Uppgifterna är inte exotiska – de publicerade körningarna omfattar "Ställ koppen i pannan", "plocka upp den gula lådan och lägg den på tallriken", "Rotera markören 90 grader medurs", "rör vid den blå pennan" och "plocka upp gaffeln och plocka sedan upp kniven". Miljöerna är vanliga bord: NUS COM3, ett bord utomhus på en terrass, en plats utanför MAGIC Lab.
Att en ledare misslyckas i fyra av fem körningar är det enskilt viktigaste sammanhanget för rubriken, och det stämmer överens med allt som projektet har publicerat. Novemberrapporten rapporterar att ”inget utvärderat system överskrider 13 % framgång i någon kategori” bland sina sex manipulationskategorier, och att MolmoAct2, den starkaste VLA:n enligt förväntad jämförelsepoäng, bara nådde 58 % till 77 % på det relativa måttet medan dess absoluta framgångsfrekvenser låg mellan 6 % och 13 %. Resultattavlan du tittar på är inte en tavla över robotar som klarar uppgiften. Det är en tavla över system som blir bättre på att inte misslyckas helt.
{{1}}Framgångsgraden{{/1}} är också den enda siffran på raden som {{2}}inte kan blåsas upp av måttet{{/2}}. {{3}}Ett DCR-betyg{{/3}} beror på {{4}}svårighetskalibreringen{{/4}}, som i sin tur beror på hur anpassningen slår samman uppgifter över policyer; {{5}}det gör inte antalet lyckade{{/5}}. {{6}}Tjugosju är tjugosju{{/6}}. Om du vill {{7}}jämföra GPT-6.2 Astra med vad som helst på den listan{{/7}} utan att {{8}}argumentera om Rasch-modeller{{/8}}, {{9}}jämför 27 med 21 med 9 med 5{{/9}}.
Ledningen ligger inom felmarginalen
RoboColosseum visar ±1 posterior standardavvikelse kring varje betyg och anger på samma rad att ledarens "Ledning över #2" på +181 poäng ligger "inom felstaplarna". Det är sajtens egen sammanfattning av sitt eget resultat, tryckt bredvid siffran i stället för gömd under den.
Placerar man ±1 SD-intervallen bredvid varandra blir försiktigheten begriplig. Astras intervall sträcker sig från ungefär 1 888 till 2 080; Claude Fable 5.2:s från ungefär 1 712 till 1 894. De överlappar i ett fönster på några punkter kring 1 890, och gapet på 181 punkter mellan de två skattningarna är omkring 1,4 kombinerade standardavvikelser – mindre än vad som krävs för att kalla det ett försprång snarare än ett särskiljningskriterium. Astras 122 jämförelser räcker för att ranka den som etta, men inte för att med någon säkerhet säga att den är bättre än modellen på andra plats. Gapet mellan första och tredje plats är större och tydligare – 1 984 mot 1 666 – men det är också en jämförelse mellan en modell med 122 jämförelser och en med 187, på en resultattavla där varje annan policy har fler sampel än ledaren.
Detta är inte en brist som är unik för resultatet. Det är så en resultattavla med 1 017 jämförelser ser ut. Som jämförelse har samma projekts Franka-tavla 5 643 jämförelser och Bimanual-YAM-tavlan 4 517; SO-ARM101 är den tunnaste av de tre med en faktor på ungefär fem, med 78 scener och 70,3 robottimmar bakom sig. En nykomling kan nå förstaplatsen här snabbare än på någon annan tavla i uppsättningen. Det är en egenskap hos tavlan, inte hos modellen, och det kommer att fortsätta gälla nästa gång en modell släpps.
Varför en språkmodell finns på ett robotkort
Det mest intressanta strukturella faktumet med den här leaderboarden är att den blandar två slags system som vanligtvis hålls åtskilda. Fem av de tio policyerna är vision-language-action-checkpoints – pi0.5, GR00T N1.7, MolmoAct2, LingBot-MolmoAct2, G0.5 – tränade på robotdata och, i Fine-tune Track, finjusterade på 100 demonstrationer per uppgift. De övriga fem är frontier-agenter: GPT-6.2 Astra, GPT-6 Astra, Claude Fable 5.2, Claude Opus 5.5 och Grok 4.7, som var och en är ansluten via en serving-rigg och lämnas att själv skriva rörelsekoden. Artikeln formulerar det rakt ut: frontier-agenter "deltar uteslutande i Open Track", medan VLA-modeller använder embodimentsspecifika checkpoints.
Den konstruktionen är anledningen till att resultatet överhuvudtaget går att tyda, och till att det inte bör läsas som ett påstående om robotikmodeller. GPT-6.2 Astra har inte tränats på SO-101-banor. Det har inte finjusterats på uppgifterna. Det ombeds titta på kameraströmmar, resonera kring ett bord och sända ut rörelsekommandon, vilket är ett test av allmän kompetens tillämpad på en fysisk slinga snarare än ett test av manipuleringsskicklighet. Att detta slår en policy som tränats specifikt för armen är själva historien; framgångsgraden på 22 % är priset för att göra det på det sättet.
Papprets egen kontroll mellan embodimenter är korrigeringen. Policyrankningar visar "svag överensstämmelse mellan uppgiftssviter som är specifika för respektive embodiment", med Kendalls W på 0,24 – vilket ligger nära ingen överensstämmelse alls. π0.5 ligger först på Franka och Bimanual-YAM och på fjärde plats på G1-humanoiden; GR00T N1.7 leder SO-ARM101 efter finjustering och hamnar på fjärde plats på de andra två. Ett resultat som uppnåtts på en arm överförs inte, och GPT-6.2 Astra har bara körts på den här. Den finns inte alls med på Franka-tavlan, där den tidigare generationen, GPT-6 Astra, för närvarande ligger först med 1 915.
En dag, 122 jämförelser
Inlägget som startade det här säger att modellen genomgick "hundratals head-to-head-jämförelser i verklig miljö" under "bara EN DAG." Tavlan tillskriver GPT-6.2 Astra 122. Båda siffrorna kan vara sanna – arenan kör jämförelser över varje policy på den, och det dagliga genomflödet ligger väl uppe i hundratalet – men bara en av dem är urvalet bakom 1 984, och det är den mindre.
Tidslinjen är värd att fastställa, eftersom "en dag" gör retoriskt arbete. OpenAI släppte GPT-6.2 Astra den 17 november. Betyget på SO-ARM101-tavlan har en beräkningstidsstämpel på 20 november, 19:46 UTC, och arenans senaste jämförelse loggades samma morgon kl. 09:49 UTC. Så de 122 jämförelserna ackumulerades under ungefär tre dagar på en levande tavla, inte under tjugofyra timmar av en dedikerad körning. Webbplatsen uppdateras varje timme, vilket innebär att siffran du ser är en rörlig uppskattning snarare än ett färdigt resultat – och det innebär att en rangändring på en eller två placeringar väl ligger inom vad nästa uppdatering kan åstadkomma.
Inget av detta gör resultatet fel. Det gör det preliminärt på ett specifikt, kontrollerbart sätt: riktningen är klar, storleken är ännu inte fastställd, och den som citerar 1,984 som en fast kvantitet citerar en anpassning som kommer att förändras.
Vad ranken kostar

Det är här som bruset blir ett inköpsbeslut i stället för en metodologisk fotnot. På SO-ARM101-listan listas de två toppmodellerna till samma pris. GPT-6.2 Astra kostar 8 USD per miljon indatatoken och 40 USD per miljon utdatatoken; Claude Fable 5.2 kostar 8 och 40 USD; GPT-6 Astra, tre placeringar längre ned, kostar 10 och 50 USD. Claude Opus 5.5, på tredje plats, kostar 4 och 20 USD – hälften av Astras inputpris och hälften av dess outputpris – och pi0.5, den bästa specialiserade policyn på listan, har öppna vikter och är gratis att köra på din egen hårdvara.
• Rang 1 — GPT-6.2 Astra, 1 984 DCR, 8 USD in / 40 USD ut per miljon tokens
• Rang 2 — Claude Fable 5.2, 1 803 DCR, 8 $ / 40 $
• Rang 3 — Claude Opus 5.5, 1 666 DCR, $4 / $20
• Rang 4 — pi0.5, 1 526 DCR, öppna vikter
• Rang 5 — GPT-6 Astra, 1 393 DCR, $10 / $50
Läs det som en kostnadskurva, och rangordningen slutar vara det intressanta. Att gå från tredje till första plats fördubblar notan per token och ger en ledning som tavlan själv säger ligger inom felmarginalerna. Att gå från femte till första plats sparar 20 % och ger 591 DCR-poäng, vilket är det största hoppet mellan två generationer på tavlan – men det innebär också att den föregående generationen nu är det dyrare alternativet, vilket är den sorts inversion som bara visar sig när man tittar på priskolumnen bredvid placeringen.
För allt som körs i en loop förstärks den aritmetiken. En manipulationskörning är inte en enda begäran; det är en lång sekvens av anrop, varav de flesta bär kamerabilder och ett växande transkript, och priset per token multipliceras över varje steg. En modell som slutför 22 % av uppgifterna och kostar $8 per miljon input-token är ett annat köp än en som slutför 5 % och kostar $10, och skillnaden syns inte alls i topplistan.
GPT-6.2 Astra finns ännu inte i OrcaRouter-katalogen, så det ärliga svaret för alla som vill anropa den är leverantörens eget API. Det som katalogen faktiskt har är resten av den kolumnen: GPT-6 Astra för $10 och $50, GPT-6.1 Sol för $2 och $10, och Claude Opus 5.5 för $4 och $20, alla med 0 % påslag på leverantörens listpris, vilket är anledningen till att en prissänkning från leverantören slår igenom hos oss samma dag som den slår igenom hos dem. Att köra samma uppgift på tre av dem och jämföra färdiga körningar är det billigaste experimentet på den här sidan, och det är det som topplistan ber dig göra snarare än det den rapporterar.
Vad skulle ändra domen?
Tre saker skulle göra en preliminär förstaplats till en avgjord sådan, och alla tre är observerbara.
Det första är {{1}}stickprov{{/1}}. SO-ARM101 behöver flera hundra jämförelser per policy innan dess intervall krymper till samma bredd som Franka-tavlans. GPT-6.2 Astras band är 376 punkter brett vid 95 % trovärdighet; Frankas ledare, den tidigare generationens GPT-6 Astra, ligger i ett band som är cirka 185 punkter brett över 194 jämförelser. När Astras {{2}}stickprov{{/2}} ungefär fördubblas, besvarar frågan om den verkligen ligger före Claude Fable 5.2 sig själv.
Det andra är en andra utföringsform. En modell som toppar en arm och aldrig har körts på en annan är en datapunkt, inte ett påstående om förmåga, och artikelns Kendall's W på 0,24 är projektets eget erkännande att rangordningar inte överförs. Om GPT-6.2 Astra dyker upp på resultattavlan för Franka eller Bimanual-YAM på en liknande placering, upphör SO-101-resultatet att vara en artefakt av en tunn resultattavla.
Det tredje är Fine-tune-spåret. Artikeln rapporterar att GR00T N1.7 efter finjustering på 100 demonstrationer per uppgift leder över SO-101 — och GR00T N1.7 ligger för närvarande åttonde på den öppna resultattavlan med 1,37 % framgång och 219 jämförelser. Det är den mest användbara raden i hela datamängden: policyn som vinner när alla får samma demonstrationer ligger nära botten när ingen får det, och den frontier-agent som vinner det öppna spåret är inte den som någon skulle välja att driftsätta. Två olika frågor, två olika vinnare, och bara en av dem är vad ett robotikteam faktiskt behöver svara på innan det levererar.
Fram till dess är den rättvisande sammanfattningen av den 20 november snäv och värd att formulera exakt. En allmänmodell, fyra dagar gammal, gick till toppen av en resultattavla för verkliga robotar genom att slutföra 22 % av sina uppgifter, i 122 blinda jämförelser, före ett fält som inkluderar de specialiserade policyer som byggts för den armen — och webbplatsen som publicerade rankingen är den första att säga att ledningen ligger inom bruset.
Jämförda i den här artikeln1
Identifierat från den här artikeln · Benchmarks: Artificial Analysis · uppdateras dagligen
