Сгенерированная титульная карточка с заголовком «GPT-6.2 Astra Tops Hospital-Bench» и подзаголовком «62,4% среднего балла, 14 из 48 задач выполнены без ошибок», тремя плашками с доказательствами: «Лучшая из 20 моделей», «Больница на 320 мест, 13 систем, 131 инструмент» и «Claude Opus 5.5 лидирует по полным прохождениям с 35,4%», а в нижнем колонтитуле отмечено, что результат опубликован 20 ноября 2026 года оценщиком при поддержке YC и что GPT-6.2 Astra выпущена 17 ноября 2026 года.
Guides & Insights

GPT-6.2 Astra возглавляет Hospital-Bench с 62,4%: 14 из 48 задач выполнены без ошибок

Автор

jinhao.song

Дата публикации

Новые модели · 20Все модели →
Бенчмарки: Artificial Analysis · обновляется ежедневно
Назад ко всем статьям

Оценка двадцати моделей, опубликованная в X 20 ноября 2026 года, ставит GPT-6.2 Astra на первое место в Hospital-bench со средним баллом 62,4% и долей полных прохождений 29,2% — четырнадцать из сорока восьми задач выполнены без ошибок. Claude Fable 5.2 занимает второе место с 60,3%, G​emini 4 Neon — третье с 59,8%, а Claude Opus 5.5 — пятое по баллам с 55,6%, при этом лидируя по всем моделям по полным прохождениям с 35,4%, то есть семнадцать из сорока восьми. Gemini 4 Argon занимает девятое место со средним баллом 46,9% и долей прохождений 16,7%. Вот такие цифры. А чего в треде нет, так это того, что решает, имеют ли эти цифры значение: названия стартапа, который проводил оценку, и страницы методологии, которую можно прочитать.

Этот пробел стоит назвать прежде всего остального, потому что это разница между таблицей лидеров и бенчмарком. В посте описывается компания, поддерживаемая Y Combinator, и даётся ссылка только на её собственный прикреплённый график; сокращатель ссылок ведёт обратно к изображению, а не к статье, репозиторию GitHub или странице с результатами. Нет набора задач для проверки, нет кода оценки для чтения, нет человеческого базового уровня для сравнения. Таким образом, всё ниже — это прочтение одной опубликованной таблицы и предложения, напечатанного над ней, и цитировать это следует именно так.

Ничто из этого не превращает результат в запуск. OpenAI выпустила GPT-6.2 Astra 17 ноября 2026 года — за три дня до появления ветки, — и это ещё одна независимая таблица, в которой модель с тех пор появилась. Новое 20 ноября — это сама таблица: Hospital-bench ранее публично не появлялась, а состав из двадцати моделей с опубликованной десяткой лучших — это огромный объём сигнала, поступивший в одном изображении. Причина, по которой её стоит внимательно прочитать, а не праздновать победу, заключается в том, что два столбца в ней расходятся в том, кто победил, и это расхождение — самое полезное на странице.

Что на самом деле измеряет Hospital-bench

Строка методологии на графике — это одно предложение: «Оценка того, насколько хорошо ИИ-агенты ведут административные операции больницы на 320 коек в 13 взаимосвязанных системах». В треде есть чуть больше деталей. Агентам выдают 131 инструмент, распределённый по этим тринадцати системам, и сорок восемь задач, взятых из бэк-офиса больницы, а не из её клинической части, — предварительные авторизации, отклонённые страховые требования, запросы на медицинские записи. Ни диагностики, ни триажа, ни визуализации. Измеряемая работа — это работа, которая порождает документооборот, на котором держится больница, и споры по циклу выручки, которые она проигрывает.

Выбор этой предметной области объясняет структуру табло результатов лучше, чем любое утверждение об общем интеллекте. Госпитальное администрирование — это в первую очередь задача выбора инструментов, а уже затем задача рассуждения. Предварительное разрешение — это проверка по правилам формуляра плательщика, форма, подача, последующее сопровождение и апелляция, и каждый из этих шагов находится в отдельной системе с отдельным интерфейсом. При 131 доступном инструменте и сорока восьми многошаговых задачах агент должен извлечь правильное подмножество, сохранять состояние дела корректным между ходами и избегать специфического сбоя, определяющего эту работу: выполнить одиннадцать шагов правильно, а затем отправить в неправильную очередь. Оценка, построенная таким образом, разделит модели по надёжности гораздо раньше, чем по сообразительности, — и именно это показывают два столбца.

Это также означает, что эти баллы нельзя перенести на что-либо другое. Модель, лидирующая в Hospital-bench, продемонстрировала кое-что о масштабных административных рабочих процессах с опорой на инструменты — и ровно ничего о том, умеет ли она писать код, сдавать юридический экзамен или поддерживать разговор. Воспринимайте этот рейтинг как утверждение об агентах, работающих с большим набором инструментов в рамках процедурных правил. Это реальная и недостаточно охваченная категория оценки, и она уже, чем «управляет больницей».

Табло в опубликованном виде, сверху вниз

Вот полный опубликованный список десяти лучших: сначала средний балл, затем доля полных прохождений:

• GPT-6.2 Astra — среднее значение 62,4%, доля успешных 29,2% (14 из 48)

• Claude Fable 5.2 — средний результат 60,3 %, успешных 29,2 % (14 из 48)

• G​emini 4 Neon — среднее 59,8 %, успешно 31,3 % (15 из 48)

• GPT-6.2 Sol — 57,6% в среднем, 25,0% прошли (12 из 48)

• Claude Opus 5.5 — среднее 55,6%, прохождение 35,4% (17 из 48)

• Muse Wonder — среднее 53,6%, прохождение 27,1% (13 из 48)

• GPT-6.1 Sol — среднее 50.0%, успешных 12.5% (6 из 48)

• Claude Sonnet 5.5 — средний балл 47,7%, прошли 29,2% (14 из 48)

• Gemini 4 Argon — 46,9% среднее, 16,7% прошли (8 из 48)

• GPT-6 Astra — средний результат 46,7%, прошли 8,3% (4 из 48)

The Hospital-bench leaderboard graphic attached to the 20 November 2026 X thread, headed 'Hospital-bench' with the methodology line 'Measuring how well AI agents run the administrative operations of a 320-bed hospital across 13 connected systems', labelled 'Top 10 of 20 models' with columns 'Mean score' and 'Pass rate'. Rows read GPT-6.2 Astra 62.4% / 29.2%, Claude Fable 5.2 60.3% / 29.2%, Gemini 4 Neon 59.8% / 31.3%, GPT-6.2 Sol 57.6% / 25.0%, Claude Opus 5.5 55.6% / 35.4%, Muse Wonder 53.6% / 27.1%, GPT-6.1 Sol 50.0% / 12.5%, Claude Sonnet 5.5 47.7% / 29.2%, Gemini 4 Argon 46.9% / 16.7% and GPT-6 Astra 46.7% / 8.3%, on an axis running 0% to 100%.

Два структурных факта об этом списке, прежде чем переходить к интерпретации. Первый: в выборке двадцать моделей, а показаны только десять, поэтому нижняя половина не видна — а в области, где интересна колонка с долей успешных прохождений, именно модели, проваливающие всё, могли бы показать, насколько суров нижний предел. Второй: весь разброс от первого до десятого места составляет 15,7 пункта среднего балла. На бенчмарке с сорока восемью задачами и без опубликованной дисперсии это не широкий разброс на вершине. Это кластер с лидером внутри.

Порядок поколений — самый чистый сигнал в таблице и тот, который меньше всего похож на артефакт. GPT-6.2 Astra с 62,4% находится на 15,7 пункта выше GPT-6 Astra с 46,7%, а доля успешных прохождений растёт с 8,3% до 29,2% — скачок в 3,5 раза по числу чисто выполненных задач. GPT-6.2 Sol с 57,6% находится на 7,6 пункта выше GPT-6.1 Sol с 50,0%, а его доля успешных прохождений удваивается с 12,5% до 25,0%. Что бы ни измерял этот бенчмарк, он измеряет нечто, что изменилось между поколениями — в обеих линейках O​penAI, в одном и том же направлении, с величиной, которая явно выходит за пределы ошибки округления.

Почему столбец pass-rate важнее

Средний балл — это среднее по всем сорока восьми задачам с частичным зачётом. Доля успешных выполнений — это доля задач, которые агент завершил полностью. Это разные показатели разных вещей, и разрыв между ними в этой таблице огромен: GPT-6.2 Astra в среднем набирает 62,4%, но полностью выполняет 29,2% задач, а значит, средняя задача оценивается примерно на две трети правильно, тогда как завершается менее одной из трёх. Это характерная черта агента, который выполняет большую часть рабочего процесса правильно, а затем срывается на каком-то шаге.

В большинстве бенчмарков это различие носит теоретический характер. В больничном администрировании это и есть весь продукт. Предварительное разрешение, поданное с правильными кодами не в ту очередь плательщика, получает хороший балл за частичное выполнение и приводит к отказу в оплате заявки. Запрос на медицинские записи, в котором собран правильный комплект документов, но пропущена запись в журнале раскрытия, — это замечание о несоответствии. Задачи в этой области устроены так, что решающим оказывается последний шаг; это значит, что столбец доли прохождений ближе к оценке того, можно ли доверить агенту рабочий процесс, чем средний балл, и именно этот столбец почти никто не цитировал.

Это также колонка с наименьшей статистической поддержкой. Сорок восемь задач — это малый знаменатель. Одна задача — это 2,08 процентных пункта доли прохождения, поэтому разница между Claude Fable 5.2 и GPT-6.2 Astra — обе на 29,2%, обе на четырнадцати задачах — равна нулю, а разница между G​emini 4 Neon с пятнадцатью задачами и двумя лидерами с четырнадцатью составляет одну задачу. Три модели разделены одной задачей из сорока восьми. Считайте первые три равными по выполнению и различающимися только по среднему значению, где разрывы составляют 2,1 и 0,5 пункта и столь же ненадёжны.

Opus 5.5 приходит первым там, где это важно

Claude Opus 5.5 — та модель, для выявления которой и была построена таблица. Она занимает пятое место по среднему баллу — 55,6%, отставая от лидера на 6,8 балла, и это не назовёшь близким отставанием, — и первое место по полным прохождениям с результатом 35,4%: семнадцать из сорока восьми, на три задачи больше, чем у следующей модели. Ни одна другая модель в таблице не переворачивает своё место подобным образом. Claude Sonnet 5.5 делает это умеренно: восьмое место по баллам и делит третье место по прохождениям. Gemini 4 Argon демонстрирует обратное: девятое место по баллам и девятое по прохождениям, что по крайней мере непротиворечиво.

Три задачи — это не большой запас, и стоит сказать это прямо: семнадцать против четырнадцати из сорока восьми — разница, которую способна стереть одна неоднозначная задача, а доверительный интервал не публикуется. Но направление согласуется у двух моделей Anthropic в таблице и указывает на реальный компромисс. Похоже, Opus 5.5 тратит больше ходов и больше вызовов инструментов на задачу, чтобы достичь завершённого состояния, что повышает его долю завершений и ограничивает его средний балл. Astra достигает более высокого среднего балла при меньшем числе чистых завершений. Если вы покупаете агента для рабочего процесса, где наполовину обработанная заявка хуже медленной, модель на пятом месте — более выгодная покупка, и никакое ранжирование по среднему баллу вам об этом не скажет.

Есть и второе прочтение, менее лестное для бенчмарка. Модель может повысить свою долю успешных прохождений, отказываясь браться за задачи, которые, вероятно, провалит, или завершая работу досрочно с частичным ответом, который оценщик засчитывает как полный. Без выходных данных на уровне задач — а тред их не публикует — невозможно отличить «завершает больше того, что начинает» от «завершает меньше того, что ей дают». Таблица поддерживает первое прочтение. Она не может исключить второе.

Какова стоимость 131 инструмента в расчёте на задачу

Hospital-bench — это дорогая в запуске оценка, и дорогая при повторных запусках, а в ветке вообще не публикуется ни одной цифры затрат. Сто тридцать одно определение инструмента — это уже большой системный промпт ещё до того, как агент совершит хотя бы одно действие; сорок восемь многошаговых задач на двадцати моделях — это очень много входных токенов и очень много ходов. Любая стоимость на задачу, которую вы вычислите по ценам на токены, будет нижней границей, а не оценкой, потому что она не учтёт извлечение данных, повторные попытки и неудачные вызовы инструментов, которые агентный цикл порождает сам по себе.

• Средний балл — GPT-6.2 Astra 62,4% против Gemini 4 Argon 46,9%

• Доля полных прохождений — Astra 29,2% против Argon 16,7%

• Цена входных данных за 1 млн — Argon $2.00 против Astra $8.00

• Цена за 1 млн выходных данных — Argon $10.00 против Astra $40.00

• Инструменты в рассматриваемом наборе — 131, одинаково для всех моделей на панели

• Стоимость одной задачи — не публикуется оценщиком

A generated three-panel comparison card titled 'What the lead costs', with panels reading 'Mean score: Astra 62.4% vs Argon 46.9%', 'Full passes: Astra 14 of 48 vs Argon 8 of 48' and 'Price per 1M: Astra $8 in / $40 out vs Argon $2 in / $10 out', over a footer noting the evaluator publishes no cost per completed task.

Если сопоставить эти два блока, интересное число здесь — не средний разрыв в 15,5 пункта. А то, что Argon стоит четверть Astra и по входу, и по выходу, при этом без ошибок выполняет чуть больше половины того количества задач, которое выполняет Astra, — и это укладывает две модели в двукратный разброс по стоимости одной успешно выполненной задачи, несмотря на 4-кратную разницу в цене. Расклад получается гораздо более близким, чем можно предположить по таблице лидеров, и это именно тот расчёт, который можно выполнить только на своей рабочей нагрузке, потому что соотношение целиком зависит от того, как часто ваши задачи завершаются досрочно.

Именно здесь слой маршрутизации оправдывает своё место, а не служит украшением. OrcaRouter передаёт цену из прайс-листа провайдера без наценки — 0 %, поэтому $8 и $40 выше — это то, что вы платите за миллион токенов, а не тариф поставщика с добавленной сверху маржой платформы; и поскольку сквозная передача цен действует в реальном времени, снижение цены поставщиком на любую из моделей отражается в вашем счёте в тот же день, когда о нём объявляют. Автоматическое переключение при сбое здесь важнее, чем при чат-нагрузке: агентская кампания из сорока восьми задач, работающая с 131 инструментом, где-нибудь да упрётся в ограничение частоты запросов, и маршрут, который переключается на вторую модель, вместо того чтобы умереть посреди прогона, ценнее одного пункта среднего балла.

Скажем прямо: GPT-6.2 Astra по состоянию на 20 ноября не представлена в нашем каталогеМодели OpenAI, которые мы предоставляем, — это GPT-6 Astra, набирающая 46.7% и 8.3% в этом рейтинге, и линейка GPT-6 Sol, где GPT-6.2 Sol показывает 57.6% и 25.0%. Gemini 4 Argon доступна для маршрутизации за $2 и $10. Пока Astra недоступна здесь, ближайшая к вершине этого рейтинга модель в нашем каталоге — GPT-6.2 Sol, а самая дешёвая модель, превосходящая предыдущее поколение OpenAI, — Argon.

Что могло бы изменить это чтение?

Четыре вещи — примерно в порядке того, насколько сильно они изменили бы картину. Первая — страница методологии. С бенчмарком, который публикует свой набор задач, правила оценки и журналы запусков, можно спорить; с тем, который публикует лишь картинку с топ-10, — нельзя. Одно предложение над таблицей делает огромную работу, и каждое утверждение в этой статье ограничено им.

Второе — это недостающие десять моделей. Оценили двадцать, а показали десять, и в области, где частичное засчитывание завышает средний показатель, именно модели внизу калибруют задачу. Если у модели на одиннадцатом месте средний балл 45% и 6% прохождений, то табло — это разброс. Если у неё 44% и 2%, то табло — это обрыв, и только первые десять моделей вообще способны выполнить работу.

Третье — это человеческий базовый уровень. Hospital-bench не публикует показатель для человека, а без него нет ответа на единственный вопрос, который действительно волнует покупателя: хорошо ли 35,4% завершения. Специалист по медицинскому биллингу с теми же 131 инструментами и сорока восемью задачами задал бы таблице масштаб. У неё его нет.

Четвёртый — это второй прогон. Модели четыре дня, а оценка — это одна кампания, и агентные бенчмарки с длинными цепочками инструментов имеют больше вариативности между прогонами, чем одношаговые оценки, — и именно такую вариативность разрыв в 2,1 пункта между первым и вторым местами поглотить не может. Если Astra и Fable 5.2 трижды окажутся в одном и том же порядке, преимущество реально. Один раз — это просто строчка в таблице лидеров.

То, что остаётся после всех четырёх оговорок, уже, чем рамка обсуждения в треде, и полезнее, чем просто отмахнуться. GPT-6.2 Astra — лучшая модель, представленная на бенчмарке агентного администрирования из двадцати моделей, с отрывом, который укладывается в шум по показателю завершения и выходит за его пределы по среднему баллу. Межпоколенческий скачок — это то, что труднее всего списать со счетов: 15,7 пункта среднего балла и улучшение чистых завершений в 3,5 раза по сравнению с GPT-6 Astra, на табло, у которого нет причин отдавать предпочтение одному вендору. Это реальный результат по административной работе с опорой на инструменты, опубликованный оценщиком, которого пока никто не может проверить, через четыре дня после выхода модели. Обе половины этого предложения должны звучать в одном дыхании.

A generated single-column scoreboard titled 'Hospital-bench, top of the board' with six rows reading 'GPT-6.2 Astra 62.4% mean / 29.2% pass', 'Claude Fable 5.2 60.3% / 29.2%', 'Gemini 4 Neon 59.8% / 31.3%', 'GPT-6.2 Sol 57.6% / 25.0%', 'Claude Opus 5.5 55.6% / 35.4%' and 'Gemini 4 Argon 46.9% / 16.7%', with column headers 'Mean score' and 'Pass rate' and the footer '48 tasks, 20 models evaluated, top 10 published'.

Сравнение в этой статье1

Определено по этой статье · Бенчмарки: Artificial Analysis · обновляется ежедневно