
GPT-6.2 Astra, SO-101 로봇 보드 1위: 성공률 22%
- OrcaNEWOrcaCyber: Hy4 Flash Abliterated / Uncensored2026-11-18$0.07 / $0.28 100만 토큰당 · 184 tok/s
- tencentNEWTencent: Hy4 Flash2026-11-16$0.02 / $0.07 100만 토큰당 · 494 tok/s
- AlibabaNEWQwen: Qwen4 Max2026-11-16$1.50 / $4.50 100만 토큰당 · 385 tok/s
- GoogleNEWGoogle: Gemini 4 Carbon2026-11-10$2.00 / $10.00 100만 토큰당 · 94 tok/s
- AnthropicNEWAnthropic: Claude Fable 5.22026-11-09$8.00 / $40.00 100만 토큰당 · 290 tok/s
- OrcaOrcaCyber: GLM 5.3 Abliterated / Uncensored2026-11-04$3.00 / $5.00 100만 토큰당 · 99 tok/s
- OrcaOrcaCyber: Hy4 Abliterated / Uncensored2026-11-04$0.80 / $1.60 100만 토큰당 · 132 tok/s
- OrcaOrcaCyber: Kimi K3.1 Pro Abliterated / Uncensored2026-11-04$2.00 / $5.00 100만 토큰당 · 86 tok/s
- tencentTencent: Hy42026-11-04$0.83 / $2.50 100만 토큰당 · 122 tok/s
- OrcaOrcaCyber: MiniMax M3.1 Flash Abliterated / Uncensored2026-10-29$0.80 / $1.60 100만 토큰당 · 104 tok/s
- OrcaOrcaCyber: GLM 5.3 Flash Abliterated / Uncensored2026-10-27$0.80 / $1.60 100만 토큰당 · 66 tok/s
- OrcaOrcaCyber: Qwen3.8 Flash Next Abliterated / Uncensored2026-10-26$0.80 / $1.60 100만 토큰당 · 89 tok/s
- OrcaOrcaCyber: MiMo V2.6 Flash Abliterated / Uncensored2026-10-26$0.80 / $1.60 100만 토큰당 · 41 tok/s
- MoonshotMoonshotAI: Kimi K3.1 Pro2026-10-2447지능
- OrcaOrcaCyber: DeepSeek V4.1 Flash Abliterated / Uncensored2026-10-23$0.80 / $1.60 100만 토큰당 · 215 tok/s
- minimaxMiniMax: M3.1 Flash2026-10-1929지능
- OrcaOrca: OrcaCyber Ultra 1.02026-10-17$5.00 / $10.00 100만 토큰당 · 109 tok/s
- deepseekDeepSeek: DeepSeek V4.1 Flash 10172026-10-1733지능
- DeepSeekDeepSeek: DeepSeek V4.1 Flash 09102026-10-17$0.15 / $0.60 100만 토큰당 · 160 tok/s
- DeepSeekDeepSeek: DeepSeek V4.1 Flash2026-10-1740지능
RoboColosseum의 SO-ARM101 리더보드에 새로운 1위가 등장했는데, 그 자리에 올라 있는 것은 로봇 정책이 아니다. GPT-6.2 Astra가 사이트의 DCR 척도에서 1,984로 1위에 올랐고, Claude Fable 5.2가 1,803으로 2위, Claude Opus 5.5가 1,666으로 3위, 최고의 미세 조정된 시각-언어-행동 체크포인트인 Physical Intelligence의 pi0.5가 1,526으로 4위, 이전 세대인 GPT-6 Astra가 1,393으로 5위를 차지했다. OpenAI는 2026년 11월 17일 GPT-6.2 Astra를 출시했으며, 평가 점수는 11월 20일 19:46 UTC에 산출되었고 Greg Brockman이 다음 날 이른 아침 X에서 이를 더 널리 알렸다. 그것이 발표의 전부다. 인용문이 전하지 않는 것은 그 행의 나머지다: 22%의 전체 작업 성공률, 리더보드가 오차 범위 안으로 기록한 선두, 그리고 모델이 한 번도 본 적 없는 장면에서 수행한 122건의 블라인드 비교 표본이다.
순위를 결과로 읽으면 오독하게 된다. 아직 채워지는 중인 평가의 스냅샷으로, 프로젝트의 세 가지 주요 로봇 보드 중 가장 저렴하고 가장 적게 활용된 보드에서 읽으면 더 유용한 것을 말해준다 — 범용 모델이 특화된 매니퓰레이션 정책이 1년 동안 구축해 온 격차를 얼마나 빠르게 좁히는지, 그리고 현재 표본이 그 격차 중 실제로 입증할 수 있는 부분이 얼마나 적은지에 대해.
RoboColosseum이 측정하는 것과 측정하지 않는 것

RoboColosseum은 실험실이라기보다 분산 평가 프레임워크입니다. 그 배경이 되는 논문 arXiv 2611.02497은 2026년 11월 2일 NUS MAGIC Lab, Hugging Face, EAIC Singapore, BitRobot에 걸친 그룹이 게시했습니다. 저자 목록에는 Dieter Fox, Siddhartha Srinivasa, Thomas Wolf, Harold Soh, David Hsu가 포함됩니다. 전제는 로봇 정책을 노트북에서 벤치마킹할 수 없다는 것이며, 그래서 이 프로젝트는 초기 연구에서 124개 사이트의 파트너들이 운영하는 실제 하드웨어에서 이를 실행했고, 194개 이상의 장면과 평가자가 즉석에서 작성한 8,237개의 서로 다른 지시를 다뤘습니다. 모든 롤아웃은 실패를 포함해 LeRobot 형식으로 Hugging Face에 공개됩니다.
지표는 대부분의 보도가 잘못 짚는 지점이므로 분명히 말해 둘 가치가 있다. 이 사이트는 모든 정책에 대해 두 가지 기록을 유지한다. 하나는 블라인드 쌍대 비교에서 나온 W/T/L 기록으로, 인간 평가자가 동일한 장면에서 같은 지시를 수행한 두 실행을 보고 더 나은 쪽을 고르거나 무승부로 판정한다. 다른 하나는 DCR 등급으로, 각 과제가 실제로 얼마나 어려웠는지 보정한 뒤 전체 과제 성공 결과에 맞춰 산출된다. 리더보드 자체가 결과에 관한 단 한 건의 트윗에도 들어가지 않은 문장으로 이를 밝히고 있다. DCR은 "난이도 보정 라쉬(DCR) 등급(Elo 척도)이며, 순차적 Elo 업데이트를 통해 얻은 Elo 등급으로 해석해서는 안 된다."
그 구분은 단순한 현학이 아니다. Elo 숫자는 경기가 치러질 때마다 매번 달라진다. Rasch 추정치는 정책 능력과 과제 난이도의 결합 적합이며, 그 적합도의 어느 한쪽이 바뀌면 함께 바뀐다. SO-101 보드를 "Elo 순위"라고 보고하는 것 — X에서 결과가 설명된 방식이 바로 그것이다 — 은 사후 추정치를 가져다가 계속 갱신되는 점수판으로 포장하는 것이다. 차트 위에서는 둘이 비슷해 보이며, 혼동이 사라지지 않는 이유도 바로 여기에 있다. DCR은 또한 정책이 순위에 오르려면 최소 20개의 적격 비교를 요구하며, 승-패-무 기록을 의도적으로 사용하지 않는다. 두 정책은 W/T/L 라인이 크게 달라도 성공 기반 적합도에 의해 분리될 수 있다. 아래 숫자들이 서로 맞지 않는 것처럼 보일 때 이 점을 기억하라.
보드, 위에서 아래로

SO-ARM101은 LeRobot 생태계의 오픈소스 3D 프린팅 로봇 팔로, 논문에서 서로 다른 위치에서도 동일하게 재제작할 수 있도록 설계되었다고 설명하는 바로 그 로봇 팔입니다. 그래서 싱가포르에서 수집한 결과를 다른 곳의 실험실에서도 재현할 수 있습니다. 여기에는 10개의 정책이 순위로 매겨져 있습니다. 11월 20일 새로 고침 기준:
• GPT-6.2 Astra — 1,984, 122회 비교, 95승 / 18무 / 9패, 27회 완전 성공
• Claude Fable 5.2 — 1,803, 112회 비교, 62 / 23 / 27, 21회 성공
• Claude Opus 5.5 — 1,666, 187개 비교, 98 / 57 / 32, 9회 성공
• pi0.5 — 1,526, 194개 비교, 66 / 57 / 71, 9개 성공
• GPT-6 Astra — 1,393, 183개 비교, 75 / 62 / 46, 5회 성공
• Grok 4.7 — 1,366, 181개 비교, 37 / 79 / 65, 성공 4회
• LingBot-MolmoAct2 — 1,259, 214개 비교, 42 / 92 / 80, 5개 성공
GR00T N1.7 — 1,233, 219건 비교, 31 / 92 / 96, 성공 3건
• MolmoAct2 — 1,122, 216개 비교, 40 / 83 / 93, 3회 성공
• G0.5 — 1,095, 207회 비교, 18 / 94 / 95, 성공 1회
그 목록에서 즉시 두 가지가 드러난다. 첫째, 상위 세 개는 모두 코딩 하네스를 통해 구동되는 프런티어 언어 모델이지, 미세 조정된 조작 정책이 아니다. 최고의 전문 VLA인 pi0.5는 4위다. 둘째, Claude Opus 5.5는 보드에서 단연 가장 많은 승리를 기록했고 — 98승으로 Astra보다 3승 더 많다 — 3위로 마무리했는데, 57번의 동점과 단 9번의 완전 성공도 있기 때문이다. Astra의 행보는 정반대다: 더 적은 비교, 훨씬 적은 동점, 그리고 세 배 많은 완료 작업. 하네스가 무엇을 하고 있든, 그것은 부분적 진전을 완료된 실행으로 전환하고 있으며, DCR은 바로 그것을 보상하도록 설계되었다.
22퍼센트가 그 숫자입니다.
122회 비교 중 27회 성공은 22.1%입니다. 이는 SO-ARM101 보드에서 가장 높은 전체 작업 성공률이며, 시도 다섯 번 중 약 네 번은 지시를 완료하지 못한다는 뜻입니다. 과제들은 생소한 것도 아닙니다. 공개된 롤아웃에는 "컵을 팬 안에 놓기", "노란 상자를 집어 접시 위에 올려놓기", "마커를 시계 방향으로 90도 회전시키기", "파란 펜 만지기", "포크를 집은 다음 나이프를 집기"가 포함되어 있습니다. 장면은 평범한 테이블들입니다: NUS COM3, 테라스의 야외 테이블, MAGIC Lab 밖의 한 장소.
선두 주자가 다섯 번의 실행 중 네 번 실패한다는 것은 이 헤드라인에 가장 중요한 맥락이며, 이는 프로젝트가 발표한 모든 내용과 일치합니다. 11월 논문은 여섯 가지 조작 범주 전반에서 “평가된 어떤 시스템도 어떤 범주에서도 13% 성공률을 넘지 못한다”고 보고하며, 기대 비교 점수 기준 가장 강력한 VLA인 MolmoAct2는 상대 측정에서 58%에서 77%에 도달했을 뿐이고 절대 성공률은 6%에서 13% 사이에 머물렀습니다. 지금 보고 있는 보드는 그 작업을 할 수 있는 로봇들의 보드가 아닙니다. 그것은 완전히 실패하지 않는 데 점점 더 능숙해지는 시스템들의 보드입니다.
성공률은 또한 그 행에서 지표로 부풀릴 수 없는 유일한 수치다. DCR 등급은 난이도 보정에 달려 있고, 난이도 보정은 적합도 모형이 정책 전반에 걸쳐 과제를 어떻게 풀링하는지에 달려 있다. 성공 횟수는 그렇지 않다. 27은 27이다. Rasch 모델에 대해 논쟁하지 않고 GPT-6.2 Astra를 그 목록의 무엇과든 비교하고 싶다면, 27을 21, 9, 5와 비교하라.
우세는 오차 범위 안에 있습니다
RoboColosseum은 각 평점을 중심으로 ±1 사후 표준편차를 표시하며, 같은 줄에서 선두의 +181점이라는 "#2에 대한 우위"가 "오차 막대 안에" 있다고 밝힌다. 이는 해당 사이트가 자신의 결과를 스스로 요약한 것으로, 숫자 아래에 묻어 두지 않고 숫자 옆에 인쇄한 것이다.
±1 표준편차 구간을 나란히 놓으면 그 주의가 타당하다. Astra는 약 1,888에서 2,080까지, Claude Fable 5.2는 약 1,712에서 1,894까지 걸쳐 있다. 두 구간은 약 1,890 근처의 몇 포인트 폭 창에서 겹치며, 두 추정치 사이의 181포인트 격차는 합동 표준편차의 약 1.4배로, 이를 타이브레이크가 아니라 우위라고 부르기에는 부족하다. Astra의 122개 비교는 1위로 순위를 매기기에는 충분하지만, 2위 모델보다 더 낫다고 어떤 확신을 가지고 말하기에는 충분하지 않다. 1위와 3위 사이의 격차는 더 넓고 더 깔끔하다 — 1,984 대 1,666 — 그러나 이것 역시 122개 비교를 가진 모델과 187개 비교를 가진 모델 사이의 비교이며, 이 리더보드에서는 다른 모든 정책이 선두보다 더 많은 표본을 갖고 있다.
이것은 이 결과물에만 고유한 결함이 아니다. 그것은 1,017개의 비교가 있는 보드의 모습일 뿐이다. 비교하자면, 같은 프로젝트의 Franka 보드에는 5,643개의 비교가 있고 Bimanual-YAM 보드에는 4,517개가 있다. SO-ARM101은 세 보드 중 가장 빈약하며, 대략 5배나 적은 비교 수를 가지고 그 뒤에는 78개 장면과 70.3 로봇 시간이 있다. 신규 참가자는 이 세트의 다른 어떤 보드보다 여기서 더 빨리 1위에 도달할 수 있다. 그것은 모델이 아니라 보드의 속성이며, 다음에 모델이 출시될 때도 계속 사실일 것이다.
언어 모델이 로봇 보드에 있는 이유
이 리더보드의 가장 흥미로운 구조적 특징은 보통 분리해 두는 두 종류의 시스템을 함께 섞어 놓았다는 점이다. 열 개 정책 중 다섯 개는 시각-언어-행동 체크포인트, 즉 pi0.5, GR00T N1.7, MolmoAct2, LingBot-MolmoAct2, G0.5로, 로봇 데이터로 학습되었고 Fine-tune Track에서는 과제당 100개의 시연으로 미세 조정되었다. 나머지 다섯 개는 프런티어 에이전트로, GPT-6.2 Astra, GPT-6 Astra, Claude Fable 5.2, Claude Opus 5.5, Grok 4.7이며, 각각 서빙 리그를 통해 연결되어 운동 코드를 스스로 작성하도록 되어 있다. 논문은 이를 직접적으로 말한다. 프런티어 에이전트는 "오로지 Open Track에만 참여"하는 반면, VLA 모델은 구현체별 체크포인트를 사용한다.
그 설계 덕분에 결과가 그나마 읽힐 수 있으며, 이는 로봇공학 모델에 대한 주장으로 읽혀서는 안 된다. GPT-6.2 Astra는 SO-101 궤적에 대해 학습되지 않았다. 해당 작업들에 대해 미세 조정되지도 않았다. 카메라 피드를 보고, 테이블에 대해 추론하고, 동작 명령을 출력하도록 요청받고 있는데, 이는 조작 기술에 대한 시험이 아니라 물리적 루프에 적용된 일반 역량에 대한 시험이다. 이것이 해당 팔을 위해 특별히 훈련된 정책을 능가한다는 사실이 핵심이며, 22%의 성공률은 그런 방식으로 하는 데 따르는 대가다.
논문 자체의 교차 구현체 검증이 바로 그 시정 장치다. 정책 순위는 "구현체별 과제 스위트 전반에서 약한 일치"를 보여 주며, Kendall's W는 0.24로 — 이는 사실상 전혀 일치하지 않는 것에 가깝다. π0.5는 Franka와 Bimanual-YAM에서 1위, G1 휴머노이드에서 4위를 차지한다. GR00T N1.7은 미세 조정 후 SO-ARM101에서 선두를 차지하고 나머지 두 곳에서는 4위로 마친다. 한 로봇 팔에서 얻은 수치는 전이되지 않으며, GPT-6.2 Astra는 이 로봇 팔에서만 실행되었다. 이는 Franka 보드에 전혀 없으며, 그 보드에서는 이전 세대인 GPT-6 Astra가 현재 1,915로 선두를 달리고 있다.
어느 날, 122번의 비교
이 게시물을 시작으로 한 글에서는 해당 모델이 "단 하루 만에" "실제 환경에서 수백 번의 일대일 비교"를 거쳤다고 말합니다. 리더보드에서는 GPT-6.2 Astra에 122를 부여합니다. 두 숫자 모두 사실일 수 있습니다 — 아레나는 그 위의 모든 정책에 걸쳐 비교를 실행하며, 일일 처리량은 수백 건에 충분히 이르지만 — 1,984의 근거가 되는 표본은 그중 하나뿐이며, 그것은 더 작은 쪽입니다.
타임라인은 짚고 넘어갈 가치가 있다. "하루"가 수사적 역할을 하고 있기 때문이다. OpenAI는 11월 17일에 GPT-6.2 Astra를 출시했다. SO-ARM101 보드의 평점에는 11월 20일 19:46 UTC라는 계산 타임스탬프가 붙어 있고, 아레나의 가장 최근 비교는 같은 날 오전 09:49 UTC에 기록되었다. 따라서 122건의 비교는 전용 실행 24시간이 아니라, 라이브 보드 약 3일 동안 누적된 것이다. 사이트는 매시간 새로고침되므로, 보이는 숫자는 완료된 결과가 아니라 계속 움직이는 추정치다. 그리고 이는 한두 계단의 순위 변동이 다음 새로고침에서 충분히 나올 수 있는 범위 안에 있음을 뜻한다.
이 중 어느 것도 결과를 틀리게 만들지는 않는다. 그것은 결과를 특정하고 검증 가능한 방식으로 잠정적인 것으로 만든다. 방향은 분명하지만 크기는 아직 확정되지 않았으며, 1,984를 고정된 양으로 인용하는 사람은 누구든 앞으로 달라질 적합값을 인용하는 것이다.
랭크 비용은 얼마인가요?

바로 여기서 노이즈는 방법론적 각주가 아니라 구매 결정이 된다. SO-ARM101 보드에서는 상위 두 모델이 같은 가격으로 등재되어 있다. GPT-6.2 Astra는 백만 입력 토큰당 8달러, 백만 출력 토큰당 40달러이고, Claude Fable 5.2도 8달러와 40달러이다. 세 순위 아래인 GPT-6 Astra는 10달러와 50달러이다. 3위인 Claude Opus 5.5는 4달러와 20달러로, Astra의 입력 가격과 출력 가격의 절반이며, 보드에서 최고의 특화 정책인 pi0.5는 오픈 웨이트로 자체 하드웨어에서 무료로 서빙할 수 있다.
• 1위 — GPT-6.2 Astra, 1,984 DCR, 백만 토큰당 입력 $8 / 출력 $40
• 2위 — Claude Fable 5.2, 1,803 DCR, $8 / $40
• 3위 — Claude Opus 5.5, 1,666 DCR, $4 / $20
• 4위 — pi0.5, 1,526 DCR, 오픈 웨이트
• 5위 — GPT-6 Astra, 1,393 DCR, $10 / $50
이를 비용 곡선으로 읽으면 순위는 더 이상 흥미로운 부분이 아니다. 3위에서 1위로 가면 토큰당 비용이 두 배가 되고, 보드 자체가 오차 범위 안에 있다고 말하는 우위를 얻는다. 5위에서 1위로 가면 20%를 절약하고 591 DCR 포인트를 얻는데, 이는 보드에서 단일 세대 최대 상승폭이다 — 하지만 이는 또한 이전 세대가 이제 더 비싼 옵션이 되었다는 뜻이며, 이는 순위 옆의 가격 열을 볼 때만 드러나는 일종의 역전이다.
루프 안의 모든 작업에서는 그 계산이 복리처럼 불어난다. 조작 실행은 요청 하나가 아니라 긴 호출 시퀀스이며, 대부분은 카메라 프레임과 점점 길어지는 대화 기록을 담고 있어 토큰당 가격이 모든 단계에서 배로 늘어난다. 작업의 22%를 완료하고 백만 입력 토큰당 $8이 드는 모델은 5%를 완료하고 $10이 드는 모델과는 다른 구매이며, 그 차이는 리더보드에서는 전혀 보이지 않는다.
GPT-6.2 Astra는 아직 OrcaRouter 카탈로그에 없으므로, 이를 호출하려는 사람에게 정직한 답은 벤더 자체 API입니다. 카탈로그에 실제로 있는 것은 해당 열의 나머지입니다: GPT-6 Astra는 $10 및 $50, GPT-6.1 Sol은 $2 및 $10, Claude Opus 5.5는 $4 및 $20, 모두 공급자 정가 대비 0% 마크업이며, 그렇기 때문에 벤더의 가격 인하가 그쪽에 적용되는 같은 날 우리 쪽에도 적용됩니다. 그중 세 가지에서 동일한 작업을 실행하고 완료된 실행을 비교하는 것이 이 페이지에서 가장 저렴한 실험이며, 그것은 리더보드가 보고하는 실험이 아니라 여러분이 하기를 요청하는 실험입니다.
무엇이 판결을 바꿀까요?
세 가지가 잠정적인 1위를 확정된 1위로 바꿔 줄 것이며, 그 세 가지 모두 관찰 가능하다.
첫 번째는 표본이다. SO-ARM101은 구간이 Franka 보드의 폭까지 좁혀지려면 정책당 수백 번의 비교가 필요하다. GPT-6.2 Astra의 구간은 95% 신뢰도에서 376포인트 폭이며, Franka의 선두인 이전 세대 GPT-6 Astra는 194개 비교에서 약 185포인트 폭의 구간에 위치한다. Astra의 표본이 대략 두 배로 늘어나면, 그것이 Claude Fable 5.2보다 진정으로 앞서는지에 대한 질문은 저절로 답이 나온다.
두 번째는 두 번째 구현체다. 한 팔에서 선두를 차지했지만 다른 팔에서는 한 번도 실행된 적이 없는 모델은 하나의 데이터 포인트일 뿐, 능력에 대한 주장이 아니며, 논문의 Kendall's W 0.24는 순위가 전이되지 않는다는 프로젝트 스스로의 인정이다. GPT-6.2 Astra가 Franka 또는 Bimanual-YAM 보드에서 비슷한 순위로 등장한다면, SO-101 결과는 더 이상 빈약한 보드의 인공물이 아니게 된다.
세 번째는 파인튜닝 트랙입니다. 논문에 따르면 작업당 100개의 시연으로 파인튜닝한 후 GR00T N1.7이 SO-101을 앞서며, GR00T N1.7은 현재 1.37%의 성공률과 219회의 비교로 오픈 보드에서 8위에 올라 있습니다. 이는 전체 데이터셋에서 가장 유용한 대목입니다. 모두가 동일한 시연을 받을 때 이기는 정책은 아무도 동일한 시연을 받지 못할 때 거의 최하위에 머뭅니다. 그리고 오픈 트랙에서 이기는 프런티어 에이전트는 누구도 배포용으로 선택하지 않을 대상입니다. 서로 다른 두 질문, 서로 다른 두 승자이며, 그중 하나만이 로봇 팀이 실제로 제품을 출시하기 전에 답해야 하는 질문입니다.
그때까지, 11월 20일에 대한 공정한 요약은 좁은 범위에 머물며 정확히 밝힐 가치가 있다. 나흘 된 범용 모델이 122건의 블라인드 비교에서 과제의 22%를 완료하며 실제 로봇 리더보드 정상에 올랐다. 그 경쟁 무대에는 해당 로봇 팔을 위해 만들어진 특화 정책들도 포함되어 있었으며, 그 순위를 게시한 사이트는 이 선두가 오차 범위 안에 있다고 가장 먼저 말한 곳이었다.
이 글에서 비교한 모델1
이 글에서 자동 인식 · 벤치마크: Artificial Analysis · 매일 업데이트
