
GPT-6.2 Astra возглавляет таблицу лидеров роботов SO-101: 22% успешных попыток
- OrcaНОВИНКАOrcaCyber: Hy4 Flash Abliterated / Uncensored2026-11-18$0.07 / $0.28 за 1 млн токенов · 184 tok/s
- tencentНОВИНКАTencent: Hy4 Flash2026-11-16$0.02 / $0.07 за 1 млн токенов · 494 tok/s
- AlibabaНОВИНКАQwen: Qwen4 Max2026-11-16$1.50 / $4.50 за 1 млн токенов · 385 tok/s
- GoogleНОВИНКАGoogle: Gemini 4 Carbon2026-11-10$2.00 / $10.00 за 1 млн токенов · 94 tok/s
- AnthropicНОВИНКАAnthropic: Claude Fable 5.22026-11-09$8.00 / $40.00 за 1 млн токенов · 290 tok/s
- OrcaOrcaCyber: GLM 5.3 Abliterated / Uncensored2026-11-04$3.00 / $5.00 за 1 млн токенов · 99 tok/s
- OrcaOrcaCyber: Hy4 Abliterated / Uncensored2026-11-04$0.80 / $1.60 за 1 млн токенов · 132 tok/s
- OrcaOrcaCyber: Kimi K3.1 Pro Abliterated / Uncensored2026-11-04$2.00 / $5.00 за 1 млн токенов · 86 tok/s
- tencentTencent: Hy42026-11-04$0.83 / $2.50 за 1 млн токенов · 122 tok/s
- OrcaOrcaCyber: MiniMax M3.1 Flash Abliterated / Uncensored2026-10-29$0.80 / $1.60 за 1 млн токенов · 104 tok/s
- OrcaOrcaCyber: GLM 5.3 Flash Abliterated / Uncensored2026-10-27$0.80 / $1.60 за 1 млн токенов · 66 tok/s
- OrcaOrcaCyber: Qwen3.8 Flash Next Abliterated / Uncensored2026-10-26$0.80 / $1.60 за 1 млн токенов · 89 tok/s
- OrcaOrcaCyber: MiMo V2.6 Flash Abliterated / Uncensored2026-10-26$0.80 / $1.60 за 1 млн токенов · 41 tok/s
- MoonshotMoonshotAI: Kimi K3.1 Pro2026-10-2447Интеллект
- OrcaOrcaCyber: DeepSeek V4.1 Flash Abliterated / Uncensored2026-10-23$0.80 / $1.60 за 1 млн токенов · 215 tok/s
- minimaxMiniMax: M3.1 Flash2026-10-1929Интеллект
- OrcaOrca: OrcaCyber Ultra 1.02026-10-17$5.00 / $10.00 за 1 млн токенов · 109 tok/s
- deepseekDeepSeek: DeepSeek V4.1 Flash 10172026-10-1733Интеллект
- DeepSeekDeepSeek: DeepSeek V4.1 Flash 09102026-10-17$0.15 / $0.60 за 1 млн токенов · 160 tok/s
- DeepSeekDeepSeek: DeepSeek V4.1 Flash2026-10-1740Интеллект
В лидерборде RoboColosseum SO-ARM101 появился новый лидер, и на первом месте вовсе не политика робота. GPT-6.2 Astra набрала 1 984 по шкале DCR сайта, Claude Fable 5.2 — на втором месте с 1 803, Claude Opus 5.5 — на третьем с 1 666, лучший дообученный чекпоинт vision-language-action — pi0.5 от Physical Intelligence — на четвёртом с 1 526, а предыдущее поколение, GPT-6 Astra, — на пятом с 1 393. OpenAI выпустила GPT-6.2 Astra 17 ноября 2026 года; рейтинг был рассчитан 20 ноября в 19:46 UTC, а Грег Брокман растиражировал его в X ранним утром следующего дня. Вот и всё объявление. Цитата не передаёт остальные данные из этой строки: 22%-ную долю успешного выполнения полной задачи, преимущество, которое лидерборд классифицирует как находящееся в пределах погрешности, и выборку из 122 слепых сравнений, проведённых в сценах, которых модель никогда не видела.
Прочитайте рейтинг как итоговый результат — и вы прочитаете его неверно. Прочитайте его как снимок оценки, которая всё ещё пополняется, на самой дешёвой и наименее задействованной из трёх основных робототехнических плат проекта, — и он скажет нечто более полезное: о том, как быстро модель общего назначения закрывает разрыв, который специализированные политики манипуляции создавали в течение года, и какую малую долю этого разрыва текущая выборка действительно способна подтвердить.
Что измеряет RoboColosseum, а что — нет

RoboColosseum — это распределённая среда оценки, а не лаборатория. Статья о ней, arXiv 2611.02497, была опубликована 2 ноября 2026 года группой, объединяющей NUS MAGIC Lab, Hugging Face, EAIC Singapore и BitRobot; в список авторов входят Dieter Fox, Siddhartha Srinivasa, Thomas Wolf, Harold Soh и David Hsu. Исходная предпосылка такова: политики роботов нельзя оценивать с ноутбука, поэтому в рамках проекта они запускаются на реальном оборудовании, которым управляют партнёры в 124 точках в ходе первоначального исследования, охватывающего 194 сцены и 8 237 различных инструкций, написанных оценщиком прямо на месте. Каждый прогон публикуется на Hugging Face в формате LeRobot, включая неудачи.
Именно с метрикой чаще всего ошибаются в освещении, поэтому стоит сказать прямо. Сайт хранит две записи для каждой политики: запись W/T/L по слепым попарным сравнениям, где человек-оценщик смотрит два прогона одной и той же инструкции в одной и той же сцене и выбирает лучший или фиксирует ничью; и рейтинг DCR, который подгоняется по исходам успешности выполнения задач целиком после калибровки с учётом того, насколько сложной оказалась каждая задача. Таблица лидеров сама это говорит, в предложении, которое не попало ни в один твит о результате: DCR — это «рейтинг Difficulty-Calibrated Rasch (DCR) (шкала Elo); его не следует интерпретировать как рейтинг Elo, полученный посредством последовательных обновлений Elo».
Это различие — не педантизм. Число Эло меняется каждый раз, когда проводится матч; оценка Раша — это совместная подгонка способности политики и сложности задачи, и она меняется, когда меняется любая из сторон этой подгонки. Представлять таблицу SO-101 как «рейтинги Эло» — именно так результат описали в X — значит взять апостериорную оценку и подать её как текущую таблицу счёта. На графике они выглядят одинаково, и именно поэтому путаница сохраняется. DCR также требует как минимум 20 допустимых сравнений, прежде чем политика вообще будет ранжирована, и он намеренно не использует запись побед-поражений-ничьих: две политики могут иметь очень разные строки W/T/L и всё равно различаться по подгонке на основе успеха. Держите это в уме, когда приведённые ниже числа, как может показаться, противоречат друг другу.
Доска, сверху вниз

SO-ARM101 — это напечатанная на 3D-принтере рука с открытым исходным кодом из экосистемы LeRobot — та самая, которую в статье описывают как разработанную для идентичной пересборки в разных местах, чтобы результат, полученный в Сингапуре, можно было воспроизвести в лаборатории где-либо ещё. На ней ранжируются десять политик. По состоянию на обновление от 20 ноября:
• GPT-6.2 Astra — 1,984, 122 сравнения, 95 побед / 18 ничьих / 9 поражений, 27 полных успехов
• Claude Fable 5.2 — 1,803, 112 сравнений, 62 / 23 / 27, 21 успех
• Claude Opus 5.5 — 1,666, 187 сравнений, 98 / 57 / 32, 9 успехов
• pi0.5 — 1,526, 194 сравнения, 66 / 57 / 71, 9 успехов
• GPT-6 Astra — 1 393, 183 сравнения, 75 / 62 / 46, 5 успехов
• Grok 4.7 — 1,366, 181 сравнение, 37 / 79 / 65, 4 успеха
LingBot-MolmoAct2 — 1,259, 214 сравнений, 42 / 92 / 80, 5 успехов
• GR00T N1.7 — 1 233 219 сравнений, 31 / 92 / 96, 3 успеха
• MolmoAct2 — 1,122, 216 сравнений, 40 / 83 / 93, 3 успеха
• G0.5 — 1,095, 207 сравнений, 18 / 94 / 95, 1 успех
Из этого списка сразу следуют две вещи. Первая: первые три места занимают исключительно передовые языковые модели, работающие через среду для кодинга, а не дообученные политики манипуляции; лучший специализированный VLA, pi0.5, — четвёртый. Вторая: у Claude Opus 5.5 больше всего явных побед в таблице — 98, на три больше, чем у Astra, — но он занимает третье место, потому что у него также 57 ничьих и лишь девять полных успехов. У Astra картина обратная: меньше сравнений, гораздо меньше ничьих и в три раза больше выполненных задач. Что бы ни делала эта обвязка, она превращает частичный прогресс в завершённые прогоны, и именно это DCR призвана вознаграждать.
Двадцать два процента — вот это число
Двадцать семь успешных исходов из 122 сравнений — это 22,1%. Это самая высокая доля успешных выполнений полного задания на доске SO-ARM101, и это означает, что примерно четыре из пяти попыток не выполняют инструкцию до конца. Задания не экзотические — опубликованные прогоны включают «Поставьте чашку в сковороду», «поднимите жёлтую коробку и положите её на тарелку», «Поверните маркер на 90 градусов по часовой стрелке», «коснитесь синей ручки» и «поднимите вилку, а затем поднимите нож». Сцены — это обычные столы: NUS COM3, стол на улице на террасе, место снаружи MAGIC Lab.
То, что лидер терпит неудачу в четырёх прогонах из пяти, — важнейший контекст для заголовка, и это согласуется со всем, что проект опубликовал. В ноябрьской статье сообщается, что во всех шести категориях манипуляций «ни одна оценённая система не превышает 13% успеха ни в одной категории», а MolmoAct2, самый сильный VLA по ожидаемой оценке сравнения, достиг лишь 58%–77% по относительной метрике, тогда как его абсолютные показатели успеха находились между 6% и 13%. Таблица лидеров, на которую вы смотрите, — это не таблица роботов, которые умеют выполнять задачу. Это таблица систем, которые становятся лучше в том, чтобы не проваливаться полностью.
Доля успешных попыток — это также единственная цифра в строке, которую нельзя завысить самой метрикой. Рейтинг DCR зависит от калибровки сложности, а она зависит от того, как подгонка объединяет задания по политикам; число успехов — нет. Двадцать семь — это двадцать семь. Если вы хотите сравнить GPT-6.2 Astra с чем-либо из этого списка, не споря о моделях Раша, сравните 27 с 21, с 9 и с 5.
Преимущество находится в пределах погрешности
RoboColosseum откладывает ±1 стандартное отклонение апостериорного распределения вокруг каждого рейтинга и в той же строке указывает, что «Преимущество над №2» лидера в +181 балл находится «внутри планок погрешности». Это собственная сводка сайта о собственном результате, напечатанная рядом с числом, а не спрятанная под ним.
Если поставить полосы ±1 стандартного отклонения рядом друг с другом, предостережение обретает смысл. Диапазон Astra — примерно от 1 888 до 2 080; у Claude Fable 5.2 — примерно от 1 712 до 1 894. Они перекрываются в окне в несколько пунктов около 1 890, а разрыв в 181 пункт между двумя оценками составляет около 1,4 объединённого стандартного отклонения — этого меньше, чем нужно, чтобы назвать это преимуществом, а не тай-брейком. 122 сравнения Astra достаточно, чтобы поставить её на первое место, но недостаточно, чтобы с какой-либо уверенностью утверждать, что она лучше модели на втором месте. Разрыв между первым и третьим местом шире и чище — 1 984 против 1 666 — но это также сравнение модели со 122 сравнениями и модели со 187 на табло, где у каждой другой политики больше выборок, чем у лидера.
Это не недостаток, присущий только этому результату. Так выглядит таблица с 1 017 сравнениями. Для сравнения: таблица Franka того же проекта содержит 5 643 сравнения, а таблица Bimanual-YAM — 4 517; SO-ARM101 — самая тонкая из трёх примерно в пять раз, за ней стоят 78 сцен и 70,3 робото-часа. Новичок может достичь здесь первого места быстрее, чем на любой другой таблице из набора. Это свойство таблицы, а не модели, и оно останется верным, когда в следующий раз будет выпущена новая модель.
Почему языковая модель находится на плате робота
Самое интересное структурное обстоятельство в этой таблице лидеров состоит в том, что она смешивает два типа систем, которые обычно держат раздельно. Пять из десяти политик — это чекпоинты vision-language-action: pi0.5, GR00T N1.7, MolmoAct2, LingBot-MolmoAct2, G0.5, — обученные на роботизированных данных и, в треке дообучения, дообученные на 100 демонстрациях на задачу. Остальные пять — это frontier-агенты: GPT-6.2 Astra, GPT-6 Astra, Claude Fable 5.2, Claude Opus 5.5 и Grok 4.7, каждый из которых подключён через serving-стенд и предоставлен самому себе писать код движения. В статье это сказано прямо: frontier-агенты «участвуют исключительно в открытом треке», тогда как VLA-модели используют чекпоинты под конкретное воплощение.
Именно этот дизайн делает результат вообще интерпретируемым и объясняет, почему его не следует воспринимать как утверждение о робототехнических моделях. GPT-6.2 Astra не обучалась на траекториях SO-101. Она не дообучалась под эти задачи. Её просят смотреть на видеопотоки с камер, рассуждать о столе и выдавать команды движения — это проверка общей компетентности, применённой к физическому контуру, а не проверка навыков манипуляции. То, что это превосходит политику, обученную специально для этого манипулятора, и есть главная история; успешность 22% — цена такого подхода.
Исправляет ситуацию собственная проверка статьи на разных воплощениях. Рейтинги политик показывают «слабое согласие между наборами задач, специфичными для воплощений», при W Кендалла = 0,24 — что близко к полному отсутствию согласия. π0.5 занимает первое место на Franka и Bimanual-YAM и четвёртое — на гуманоиде G1; GR00T N1.7 лидирует на SO-ARM101 после дообучения и занимает четвёртое место на двух других. Результат, полученный на одной руке, не переносится, а GPT-6.2 Astra запускалась только на этой. Её полностью нет в таблице Franka, где предыдущее поколение, GPT-6 Astra, сейчас лидирует с результатом 1,915.
Однажды, 122 сравнения
Пост, с которого всё началось, утверждает, что модель прошла «сотни прямых сравнений один на один в реальных условиях» «всего за ОДИН ДЕНЬ». Лидерборд присуждает GPT-6.2 Astra 122. Оба числа могут быть верны — арена проводит сравнения по всем политикам, представленным на ней, а ежедневная пропускная способность уверенно исчисляется сотнями, — но только одно из них является выборкой, лежащей в основе 1 984, и это меньшее.
Хронологию стоит уточнить, потому что «один день» здесь выполняет риторическую функцию. OpenAI выпустила GPT-6.2 Astra 17 ноября. Рейтинг на табло SO-ARM101 имеет отметку времени вычисления 20 ноября, 19:46 UTC, а последнее сравнение на арене было зафиксировано в то же утро в 09:49 UTC. Таким образом, 122 сравнения накопились примерно за три дня работы живого табло, а не за двадцать четыре часа специального запуска. Сайт обновляется ежечасно, а значит, число, которое вы видите, — это подвижная оценка, а не окончательный результат; и это означает, что изменение рейтинга на одну-две позиции вполне может произойти при следующем обновлении.
Ничто из этого не делает результат неверным. Это делает его предварительным в конкретном, проверяемом смысле: направление ясно, величина ещё не установлена, и любой, кто называет 1,984 фиксированной величиной, ссылается на подгонку, которая ещё изменится.
Сколько стоит ранг

Именно здесь шум превращается в решение о покупке, а не в методологическую сноску. На доске SO-ARM101 две верхние модели указаны по одинаковой цене. GPT-6.2 Astra стоит $8 за миллион входных токенов и $40 за миллион выходных; Claude Fable 5.2 — $8 и $40; GPT-6 Astra, находящаяся на три позиции ниже, — $10 и $50. Claude Opus 5.5, занимающая третье место, стоит $4 и $20 — половина входной цены Astra и половина выходной, — а pi0.5, лучшая специализированная политика на доске, имеет открытые веса и бесплатна для запуска на собственном оборудовании.
• Место 1 — GPT-6.2 Astra, 1 984 DCR, $8 за вход / $40 за выход за миллион токенов
• Ранг 2 — Claude Fable 5.2, 1 803 DCR, $8 / $40
• 3-е место — Claude Opus 5.5, 1 666 DCR, $4 / $20
• 4-е место — pi0.5, 1 526 DCR, открытые веса
• 5-е место — GPT-6 Astra, 1 393 DCR, $10 / $50
Если рассматривать это как кривую затрат, рейтинг перестаёт быть самой интересной частью. Переход с третьего места на первое удваивает стоимость за токен и даёт преимущество, которое, по словам самой таблицы, находится в пределах погрешности. Переход с пятого места на первое экономит 20% и даёт 591 балл DCR — крупнейший скачок за одно поколение в таблице, — но это также означает, что предыдущее поколение теперь стало более дорогим вариантом; такая инверсия видна, только если смотреть на столбец цены рядом с рейтингом.
Для всего, что выполняется в цикле, эта арифметика накапливается. Прогон манипуляции — это не один запрос, а длинная последовательность вызовов, большинство из которых передают кадры с камеры и растущий транскрипт, и цена за токен умножается на каждом шаге. Модель, которая завершает 22% задач и стоит $8 за миллион входных токенов, — это другая покупка, нежели модель, завершающая 5% и стоящая $10, и эта разница вообще не видна в лидерборде.
GPT-6.2 Astra пока отсутствует в каталоге OrcaRouter, поэтому честный ответ для любого, кто хочет вызвать её, — собственный API поставщика. А вот остальная часть этого столбца в каталоге действительно есть: GPT-6 Astra за $10 и $50, GPT-6.1 Sol за $2 и $10 и Claude Opus 5.5 за $4 и $20, всё с наценкой 0% к прейскурантной цене провайдера, поэтому снижение цены поставщиком доходит до нас в тот же день, когда доходит до них. Запуск одной и той же задачи на трёх из них и сравнение завершённых прогонов — самый дешёвый эксперимент на этой странице, и именно его таблица лидеров просит вас провести, а не тот, о котором она сообщает.
Что изменило бы вердикт
Три вещи превратили бы предварительное первое место в окончательное, и все три можно наблюдать.
Первое — выборка. SO-ARM101 требуется несколько сотен сравнений на одну политику, прежде чем его интервалы сузятся до ширины интервалов Franka board. Диапазон GPT-6.2 Astra имеет ширину 376 пунктов при 95%-й достоверности; лидер Franka — GPT-6 Astra предыдущего поколения — находится в диапазоне шириной около 185 пунктов при 194 сравнениях. Когда выборка Astra увеличится примерно вдвое, вопрос о том, действительно ли она опережает Claude Fable 5.2, решится сам собой.
Второй — это второе воплощение. Модель, которая лидирует на одной руке и никогда не запускалась на другой, — это точка данных, а не заявление о возможностях, и Kendall's W, равный 0,24 в статье, — это собственное признание проекта, что рейтинги не переносятся. Если GPT-6.2 Astra появится в таблице Franka или Bimanual-YAM на сопоставимом месте, результат SO-101 перестанет быть артефактом скудной таблицы.
Третий — это трек тонкой настройки. В статье сообщается, что после тонкой настройки на 100 демонстрациях для каждой задачи GR00T N1.7 опережает SO-101, а GR00T N1.7 сейчас занимает восьмое место в открытом лидерборде с 1,37% успеха и 219 сравнениями. Это самая полезная строка во всём наборе данных: политика, которая выигрывает, когда все получают одинаковые демонстрации, оказывается почти внизу, когда их не получает никто, а передовой агент, побеждающий в открытом треке, — не тот, кого кто-либо выбрал бы для развёртывания. Два разных вопроса, два разных победителя, и только один из них — то, на что команде робототехников действительно нужно ответить перед выпуском.
До тех пор честное резюме 20 ноября остаётся узким и его стоит сформулировать точно. Универсальная модель, которой всего четыре дня, возглавила рейтинг реальных роботов, завершив 22% своих задач по результатам 122 слепых сравнений, впереди набора участников, включающего специализированные политики, созданные для этого манипулятора, — и сайт, опубликовавший рейтинг, первым признаёт, что лидерство находится в пределах шума.
Сравнение в этой статье1
Определено по этой статье · Бенчмарки: Artificial Analysis · обновляется ежедневно
