
GPT-6.2 Astra voert de SO-101 Robot Board aan: 22% succes
- OrcaNIEUWOrcaCyber: Hy4 Flash Abliterated / Uncensored2026-11-18$0.07 / $0.28 per 1 mln tokens · 184 tok/s
- tencentNIEUWTencent: Hy4 Flash2026-11-16$0.02 / $0.07 per 1 mln tokens · 494 tok/s
- AlibabaNIEUWQwen: Qwen4 Max2026-11-16$1.50 / $4.50 per 1 mln tokens · 385 tok/s
- GoogleNIEUWGoogle: Gemini 4 Carbon2026-11-10$2.00 / $10.00 per 1 mln tokens · 94 tok/s
- AnthropicNIEUWAnthropic: Claude Fable 5.22026-11-09$8.00 / $40.00 per 1 mln tokens · 290 tok/s
- OrcaOrcaCyber: GLM 5.3 Abliterated / Uncensored2026-11-04$3.00 / $5.00 per 1 mln tokens · 99 tok/s
- OrcaOrcaCyber: Hy4 Abliterated / Uncensored2026-11-04$0.80 / $1.60 per 1 mln tokens · 132 tok/s
- OrcaOrcaCyber: Kimi K3.1 Pro Abliterated / Uncensored2026-11-04$2.00 / $5.00 per 1 mln tokens · 86 tok/s
- tencentTencent: Hy42026-11-04$0.83 / $2.50 per 1 mln tokens · 122 tok/s
- OrcaOrcaCyber: MiniMax M3.1 Flash Abliterated / Uncensored2026-10-29$0.80 / $1.60 per 1 mln tokens · 104 tok/s
- OrcaOrcaCyber: GLM 5.3 Flash Abliterated / Uncensored2026-10-27$0.80 / $1.60 per 1 mln tokens · 66 tok/s
- OrcaOrcaCyber: Qwen3.8 Flash Next Abliterated / Uncensored2026-10-26$0.80 / $1.60 per 1 mln tokens · 89 tok/s
- OrcaOrcaCyber: MiMo V2.6 Flash Abliterated / Uncensored2026-10-26$0.80 / $1.60 per 1 mln tokens · 41 tok/s
- MoonshotMoonshotAI: Kimi K3.1 Pro2026-10-2447Intelligentie
- OrcaOrcaCyber: DeepSeek V4.1 Flash Abliterated / Uncensored2026-10-23$0.80 / $1.60 per 1 mln tokens · 215 tok/s
- minimaxMiniMax: M3.1 Flash2026-10-1929Intelligentie
- OrcaOrca: OrcaCyber Ultra 1.02026-10-17$5.00 / $10.00 per 1 mln tokens · 109 tok/s
- deepseekDeepSeek: DeepSeek V4.1 Flash 10172026-10-1733Intelligentie
- DeepSeekDeepSeek: DeepSeek V4.1 Flash 09102026-10-17$0.15 / $0.60 per 1 mln tokens · 160 tok/s
- DeepSeekDeepSeek: DeepSeek V4.1 Flash2026-10-1740Intelligentie
De SO-ARM101-leaderboard van RoboColosseum heeft een nieuwe eerste plaats, en wat daar bovenaan staat is geen robotbeleid. GPT-6.2 Astra staat nu op 1.984 op de DCR-schaal van de site, met Claude Fable 5.2 als tweede op 1.803, Claude Opus 5.5 als derde op 1.666, de beste fijn afgestemde vision-language-action-checkpoint — pi0.5 van Physical Intelligence — als vierde op 1.526, en de vorige generatie, GPT-6 Astra, als vijfde op 1.393. OpenAI bracht GPT-6.2 Astra uit op 17 november 2026; de score werd berekend op 20 november om 19:46 UTC en Greg Brockman deelde die vroeg in de ochtend van de volgende dag op X. Dat is de hele aankondiging. Wat het citaat niet vermeldt, is de rest van de rij: een succespercentage van 22% voor de volledige taak, een voorsprong die het leaderboard als binnen de foutmarge bestempelt, en een steekproef van 122 blinde vergelijkingen in scènes die het model nog nooit had gezien.
Als je de ranglijst als een resultaat leest, lees je hem verkeerd. Lees hem als een momentopname van een evaluatie die zich nog vult, op het goedkoopste en minst gebruikte van de drie belangrijkste robotboards van het project, en hij zegt iets nuttigers — over hoe snel een algemeen inzetbaar model een kloof dicht die gespecialiseerde manipulatiebeleidsregels in een jaar hebben opgebouwd, en hoe weinig van die kloof de huidige steekproef daadwerkelijk kan certificeren.
Wat RoboColosseum meet, en wat het niet meet

{{1}}RoboColosseum{{/1}} is een gedistribueerd evaluatieraamwerk in plaats van een lab. De paper erachter, {{2}}arXiv 2611.02497{{/2}}, werd op 2 november 2026 geplaatst door een groep met vertegenwoordigers van {{3}}NUS MAGIC Lab{{/3}}, {{4}}Hugging Face{{/4}}, {{5}}EAIC Singapore{{/5}} en {{6}}BitRobot{{/6}}; de auteurslijst bevat {{7}}Dieter Fox{{/7}}, {{8}}Siddhartha Srinivasa{{/8}}, {{9}}Thomas Wolf{{/9}}, {{10}}Harold Soh{{/10}} en {{11}}David Hsu{{/11}}. Het uitgangspunt is dat robotbeleid niet vanaf een laptop kan worden gebenchmarkt, dus voert het project ze uit op echte hardware die door partners wordt bediend op {{12}}124 locaties{{/12}} in de initiële studie, over {{13}}194 scènes{{/13}} en {{14}}8.237 verschillende instructies{{/14}} die ter plekke door een evaluator zijn geschreven. Elke rollout wordt gepubliceerd op {{15}}Hugging Face{{/15}} in {{16}}LeRobot-formaat{{/16}}, inclusief mislukkingen.
De metriek is waar de meeste berichtgeving de fout in gaat, dus het is de moeite waard om het ronduit te zeggen. De site houdt voor elke policy twee registraties bij: een W/T/L-record uit blinde paarsgewijze vergelijkingen, waarbij een menselijke beoordelaar twee runs van dezelfde instructie in dezelfde scène bekijkt en de betere kiest of het gelijkspel noemt; en een DCR-rating, die wordt gefit op succesuitkomsten van de volledige taak, na kalibratie voor hoe moeilijk elke taak bleek te zijn. Het leaderboard zegt het zelf, in een zin die in geen enkele tweet over de uitslag is beland: DCR is "een Difficulty-Calibrated Rasch (DCR) Rating (Elo-schaal); deze mag niet worden geïnterpreteerd als een Elo-rating die via opeenvolgende Elo-updates is verkregen."
Dat onderscheid is geen muggenzifterij. Een Elo-getal verandert elke keer dat een wedstrijd wordt gespeeld; een Rasch-schatting is een gezamenlijke fit van beleidsvaardigheid en taakmoeilijkheid, en verandert wanneer een van beide kanten van die fit verandert. Het SO-101-bord rapporteren als "Elo-ranglijsten" — zoals het resultaat op X werd beschreven — neemt een posteriorschatting en kleedt die aan als een doorlopend scorebord. De twee lijken op een grafiek op elkaar, en dat is precies waarom de verwarring blijft voortbestaan. DCR vereist bovendien minstens 20 in aanmerking komende vergelijkingen voordat een beleid überhaupt wordt gerangschikt, en gebruikt opzettelijk niet het winst-verlies-gelijkspelrecord: twee beleidsregels kunnen heel verschillende W/T/L-reeksen hebben en toch door de op succes gebaseerde fit worden gescheiden. Houd dat in gedachten wanneer de onderstaande cijfers elkaar lijken tegen te spreken.
Het bord, van boven naar beneden

De SO-ARM101 is de open-source, 3D-geprinte arm uit het LeRobot-ecosysteem — degene die in het artikel wordt beschreven als ontworpen om identiek op verschillende locaties opnieuw te worden gebouwd, zodat een resultaat dat in Singapore is verzameld, in een lab ergens anders kan worden gereproduceerd. Er worden tien policies op gerangschikt. Met de update van 20 november:
GPT-6.2 Astra — 1.984, 122 vergelijkingen, 95 overwinningen / 18 gelijkspelen / 9 nederlagen, 27 volledige successen
• Claude Fable 5.2 — 1,803, 112 vergelijkingen, 62 / 23 / 27, 21 successen
Claude Opus 5.5 — 1.666, 187 vergelijkingen, 98 / 57 / 32, 9 successen
• pi0.5 — 1.526.194 vergelijkingen, 66 / 57 / 71, 9 successen
GPT-6 Astra — 1.393, 183 vergelijkingen, 75 / 62 / 46, 5 successen
• Grok 4.7 — 1.366, 181 vergelijkingen, 37 / 79 / 65, 4 successen
LingBot-MolmoAct2 — 1,259, 214 vergelijkingen, 42 / 92 / 80, 5 successen
• GR00T N1.7 — 1,233, 219 vergelijkingen, 31 / 92 / 96, 3 successen
• MolmoAct2 — 1.122.216 vergelijkingen, 40 / 83 / 93, 3 successen
• G0.5 — 1.095.207 vergelijkingen, 18 / 94 / 95, 1 succes
Twee dingen vallen onmiddellijk op uit die lijst. Het eerste is dat de top drie allemaal frontier-taalmodellen zijn die via een coding-harness worden aangestuurd, geen fijngetunede manipulation policies; de beste gespecialiseerde VLA, pi0.5, staat vierde. Het tweede is dat Claude Opus 5.5 de meeste onbetwiste overwinningen op het bord heeft — 98, drie meer dan Astra — en als derde eindigt, omdat het ook 57 gelijkspelen en slechts negen volledige successen heeft. Astra's lijn is het omgekeerde: minder vergelijkingen, veel minder gelijkspelen en drie keer zoveel voltooide taken. Wat de harness ook doet, hij zet gedeeltelijke voortgang om in afgeronde runs, en dat is waar DCR op is gebouwd om te belonen.
Tweeëntwintig procent is het cijfer.
Zevenentwintig successen uit 122 vergelijkingen is 22,1%. Dat is het hoogste succespercentage voor de volledige taak op het SO-ARM101-bord, en het betekent dat ongeveer vier op de vijf pogingen de instructie niet voltooien. De taken zijn niet exotisch — de gepubliceerde rollouts omvatten "Plaats de beker in de pan", "pak de gele doos op en zet die op het bord", "draai de stift 90 graden met de klok mee", "raak de blauwe pen aan" en "pak de vork op en pak dan het mes op". De scènes zijn gewone tafels: NUS COM3, een tafel buiten op een terras, een plek buiten het MAGIC Lab.
Dat een koploper in vier van de vijf runs faalt, is de allerbelangrijkste context voor de kop, en het komt overeen met alles wat het project heeft gepubliceerd. Het artikel van november meldt dat geen enkel geëvalueerd systeem in de zes manipulatiecategorieën in welke categorie dan ook meer dan 13% succes haalt, en dat MolmoAct2, de sterkste VLA op basis van de verwachte vergelijkingsscore, op de relatieve maatstaf slechts 58% tot 77% haalde, terwijl de absolute succespercentages tussen 6% en 13% lagen. Het bord waar u naar kijkt is geen bord van robots die de taak kunnen uitvoeren. Het is een bord van systemen die steeds beter worden in niet volledig falen.
Het slagingspercentage is ook het enige cijfer in de rij dat niet door de metriek kan worden opgeblazen. Een DCR-beoordeling hangt af van de moeilijkheidskalibratie, die weer afhangt van hoe de fit taken over policies heen poolt; een succesaantal niet. Zevenentwintig is zevenentwintig. Als je GPT-6.2 Astra wilt vergelijken met iets op die lijst zonder te discussiëren over Rasch-modellen, vergelijk dan 27 met 21, 9 en 5.
De voorsprong ligt binnen de foutmarges
RoboColosseum trekt een posterieure standaardafwijking van ±1 rond elke score en vermeldt op dezelfde regel dat de leider met een "Voorsprong op #2" van +181 punten "binnen de foutmarges" zit. Dat is de eigen samenvatting die de site van haar eigen resultaat geeft, naast het getal afgedrukt in plaats van eronder verstopt.
Zet de ±1 SD-banden naast elkaar en de waarschuwing is terecht. Astra loopt van ongeveer 1.888 tot 2.080; Claude Fable 5.2 van ongeveer 1.712 tot 1.894. Ze overlappen in een venster van een paar punten rond 1.890, en het verschil van 181 punten tussen de twee schattingen is ongeveer 1,4 gecombineerde standaarddeviaties — minder dan nodig om het een voorsprong te noemen in plaats van een tiebreak. Astra's 122 vergelijkingen zijn genoeg om het op de eerste plaats te rangschikken, maar niet genoeg om met enige zekerheid te zeggen dat het beter is dan het model op de tweede plaats. Het verschil tussen de eerste en de derde plaats is groter en schoner — 1.984 tegenover 1.666 — maar het is ook een vergelijking tussen een model met 122 vergelijkingen en een met 187, op een ranglijst waar elke andere policy meer samples heeft dan de koploper.
Dit is geen tekortkoming die uniek is voor het resultaat. Zo ziet een leaderboard met 1.017 vergelijkingen eruit. Ter vergelijking: het Franka-leaderboard van hetzelfde project heeft 5.643 vergelijkingen en het Bimanual-YAM-leaderboard 4.517; SO-ARM101 is met 78 scènes en 70,3 roboturen erachter het dunst bezette van de drie, ongeveer een factor vijf minder. Een nieuwkomer kan hier sneller de eerste plaats bereiken dan op elk ander leaderboard in de set. Dat is een eigenschap van het leaderboard, niet van het model, en dat zal ook blijven gelden de volgende keer dat er een model wordt uitgebracht.
Waarom een taalmodel in een robotbestuur zit
Het meest interessante structurele feit aan deze ranglijst is dat hij twee soorten systemen mengt die gewoonlijk gescheiden worden gehouden. Vijf van de tien policies zijn vision-language-action-checkpoints — pi0.5, GR00T N1.7, MolmoAct2, LingBot-MolmoAct2, G0.5 — getraind op robotdata en, in de Fine-tune Track, gefinetuned op 100 demonstraties per taak. De andere vijf zijn frontier agents: GPT-6.2 Astra, GPT-6 Astra, Claude Fable 5.2, Claude Opus 5.5 en Grok 4.7, elk verbonden via een serving-opstelling en eraan overgelaten zelf de bewegingscode te schrijven. Het paper zegt het direct: frontier agents "nemen uitsluitend deel aan de Open Track", terwijl VLA-modellen embodiment-specifieke checkpoints gebruiken.
Dat ontwerp is de reden waarom het resultaat überhaupt leesbaar is, en waarom het niet moet worden gelezen als een bewering over robotmodellen. GPT-6.2 Astra is niet getraind op SO-101-trajectorieën. Het is niet fine-tuned op de taken. Er wordt gevraagd naar camerabeelden te kijken, over een tafel te redeneren en bewegingscommando's uit te zenden, wat een test is van algemene competentie toegepast op een fysieke lus in plaats van een test van manipulatievaardigheid. Het feit dat dit een beleid verslaat dat specifiek voor de arm is getraind, is het verhaal; de succesratio van 22% is de prijs van die aanpak.
De eigen cross-embodimentcontrole van het paper is de correctie. Uit de policy-ranglijsten blijkt "zwakke overeenstemming tussen embodimentspecifieke taaksuites", met een Kendall's W van 0,24 — wat neerkomt op vrijwel geen overeenstemming. π0.5 staat eerste op Franka en Bimanual-YAM en vierde op de G1-humanoïde; GR00T N1.7 leidt SO-ARM101 na fine-tuning en eindigt vierde op de andere twee. Een resultaat dat op één arm wordt behaald, is niet overdraagbaar, en GPT-6.2 Astra is alleen op deze arm getest. Het ontbreekt volledig op de Franka-ranglijst, waar de vorige generatie, GPT-6 Astra, momenteel bovenaan staat met 1.915.
Op een dag, 122 vergelijkingen
De post waarmee dit begon, zegt dat het model "honderden onderlinge vergelijkingen in de praktijk" heeft ondergaan in "slechts ÉÉN DAG." Het scorebord schrijft GPT-6.2 Astra 122 toe. Beide getallen kunnen waar zijn — de arena voert vergelijkingen uit voor elk beleid dat erop staat, en de dagelijkse doorvoer ligt ruim in de honderden — maar slechts één ervan is de steekproef achter de 1.984, en het is de kleinere.
Het is de moeite waard de tijdlijn precies vast te leggen, want 'één dag' vervult een retorische functie. OpenAI bracht GPT-6.2 Astra uit op 17 november. De score op de SO-ARM101-ranglijst heeft een berekeningstijdstempel van 20 november, 19:46 UTC, en de meest recente vergelijking in de arena werd diezelfde ochtend om 09:49 UTC geregistreerd. De 122 vergelijkingen zijn dus opgebouwd over ongeveer drie dagen van een live ranglijst, niet over vierentwintig uur van een gerichte run. De site ververst elk uur, wat betekent dat het getal dat je ziet een voortschrijdende schatting is in plaats van een eindresultaat — en dat een rangverandering van een of twee plaatsen ruim binnen wat de volgende verversing kan opleveren, valt.
Niets hiervan maakt het resultaat onjuist. Het maakt het voorlopig op een specifieke, controleerbare manier: de richting is duidelijk, de grootte is nog niet vastgesteld, en iedereen die 1,984 als een vaste hoeveelheid citeert, citeert een fit die zal verschuiven.
Wat de rang kost

Hier wordt de ruis een aankoopbeslissing in plaats van een methodologische voetnoot. Op het SO-ARM101-board staan de twee beste modellen voor dezelfde prijs vermeld. GPT-6.2 Astra kost $8 per miljoen inputtokens en $40 per miljoen outputtokens; Claude Fable 5.2 kost $8 en $40; GPT-6 Astra, drie plaatsen lager, kost $10 en $50. Claude Opus 5.5, op de derde plaats, kost $4 en $20 — de helft van Astra's inputprijs en de helft van zijn outputprijs — en pi0.5, de beste gespecialiseerde policy op het board, heeft open weights en is gratis te serveren op je eigen hardware.
• Rang 1 — GPT-6.2 Astra, 1.984 DCR, $8 invoer / $40 uitvoer per miljoen tokens
• Rang 2 — Claude Fable 5.2, 1.803 DCR, $8 / $40
• Rang 3 — Claude Opus 5.5, 1.666 DCR, $4 / $20
• Rang 4 — pi0.5, 1.526 DCR, open gewichten
• Rang 5 — GPT-6 Astra, 1.393 DCR, $10 / $50
Lees dat als een kostencurve, en de rangschikking is niet langer het interessante deel. Van derde naar eerste gaan verdubbelt de kosten per token en levert een voorsprong op waarvan het bord zelf zegt dat die binnen de foutmarges valt. Van vijfde naar eerste gaan bespaart 20% en levert 591 DCR-punten op, de grootste sprong tussen opeenvolgende generaties op het bord — maar het betekent ook dat de vorige generatie nu de duurdere optie is, precies het soort inversie dat alleen zichtbaar wordt als je de prijskolom naast de rang bekijkt.
Voor alles in een lus loopt die rekensom op. Een manipulatierun is niet één verzoek; het is een lange reeks aanroepen, waarvan de meeste camerabeelden en een groeiend transcript bevatten, en de prijs per token vermenigvuldigt zich bij elke stap. Een model dat 22% van de taken voltooit en $8 per miljoen invoertokens kost, is een andere aankoop dan een model dat 5% voltooit en $10 kost, en het verschil is helemaal niet zichtbaar op het leaderboard.
GPT-6.2 Astra staat nog niet in de OrcaRouter-catalogus, dus het eerlijke antwoord voor iedereen die het wil aanroepen is de eigen API van de leverancier. Wat de catalogus wel bevat, is de rest van die kolom: GPT-6 Astra voor $10 en $50, GPT-6.1 Sol voor $2 en $10, en Claude Opus 5.5 voor $4 en $20, allemaal tegen 0% opslag op de lijstprijs van de provider, en daarom komt een prijsverlaging van een leverancier bij ons op dezelfde dag aan als bij hen. Dezelfde taak op drie daarvan uitvoeren en de afgeronde runs vergelijken is het goedkoopste experiment op deze pagina, en het is degene die het leaderboard je vraagt te doen in plaats van degene die het rapporteert.
Wat zou het vonnis veranderen?
Drie dingen zouden van een voorlopige eerste plaats een definitieve maken, en alle drie zijn waarneembaar.
Het eerste is de steekproef. SO-ARM101 heeft enkele honderden vergelijkingen per beleid nodig voordat zijn intervallen krimpen tot de breedte van die van het Franka-board. De band van GPT-6.2 Astra is 376 punten breed bij 95% geloofwaardigheid; de leider van Franka, de GPT-6 Astra van de vorige generatie, bevindt zich in een band van ongeveer 185 punten breed bij 194 vergelijkingen. Wanneer de steekproef van Astra ongeveer verdubbelt, beantwoordt de vraag of het echt voorloopt op Claude Fable 5.2 zichzelf.
Het tweede is een tweede embodiment. Een model dat bovenaan staat bij de ene arm en nooit op een andere is gedraaid, is een datapunt, geen bewering over capaciteiten, en de Kendall's W van 0,24 in het artikel is de eigen erkenning van het project dat rangordes niet overdraagbaar zijn. Als GPT-6.2 Astra op de Franka- of Bimanual-YAM-ranglijst op een vergelijkbare positie verschijnt, is het SO-101-resultaat niet langer een artefact van een dunne ranglijst.
De derde is de Fine-tune Track. Het paper meldt dat GR00T N1.7 na fine-tuning op 100 demonstraties per taak SO-101 voorbijstreeft — en GR00T N1.7 staat momenteel achtste op het open board met 1,37% succes en 219 vergelijkingen. Dat is de nuttigste regel in de hele dataset: het beleid dat wint wanneer iedereen dezelfde demonstraties krijgt, staat bijna onderaan wanneer niemand die krijgt, en de frontier-agent die de open track wint, is niet degene die iemand zou kiezen om te deployen. Twee verschillende vragen, twee verschillende winnaars, en slechts één daarvan is wat een roboticateam daadwerkelijk moet beantwoorden voordat het iets uitbrengt.
Tot die tijd is de eerlijke samenvatting van 20 november beperkt en het waard om precies te verwoorden. Een algemeen model, vier dagen oud, kwam bovenaan een ranglijst voor echte robots door 22% van zijn taken te voltooien, op basis van 122 blinde vergelijkingen, voor een deelnemersveld dat de gespecialiseerde policies omvat die voor die arm zijn gebouwd — en de site die de ranglijst publiceerde, zegt als eerste dat de voorsprong binnen de ruis valt.
Vergeleken in dit artikel1
Herkend uit dit artikel · Benchmarks: Artificial Analysis · dagelijks bijgewerkt
