Wygenerowana karta tytułowa z nagłówkiem „GPT-6.2 Astra na czele Hospital-Bench”, podtytułem „62,4% średniego wyniku, 14 z 48 zadań ukończonych bezbłędnie” oraz trzema znacznikami dowodowymi o treści „Najlepszy z 20 modeli”, „Szpital na 320 łóżek, 13 systemów, 131 narzędzi” i „Claude Opus 5.5 prowadzi w pełnych przejściach z 35,4%”, a poniżej stopka informująca, że wynik opublikował 20 listopada 2026 r. ewaluator wspierany przez YC oraz że GPT-6.2 Astra został wydany 17 listopada 2026 r.
Guides & Insights

GPT-6.2 Astra na czele Hospital-Bench z wynikiem 62,4%: 14 z 48 zadań zaliczonych bezbłędnie

Autor

jinhao.song

Data publikacji

Najnowsze modele · 20Zobacz wszystkie modele →
Benchmarki: Artificial Analysis · aktualizowane codziennie
Powrót do wszystkich wpisów

Ewaluacja dwudziestu modeli opublikowana na X 20 listopada 2026 r. stawia GPT-6.2 Astra na pierwszym miejscu w Hospital-bench ze średnim wynikiem 62,4% i wskaźnikiem pełnych zaliczeń wynoszącym 29,2% — czternaście z czterdziestu ośmiu zadań ukończonych bezbłędnie. Claude Fable 5.2 jest drugi z 60,3%, Gemini 4 Neon trzeci z 59,8%, a Claude Opus 5.5 piąty pod względem wyniku z 55,6%, jednocześnie prowadząc w całym zestawieniu pod względem pełnych zaliczeń z 35,4%, czyli siedemnastu z czterdziestu ośmiu. Gemini 4 Argon kończy na dziewiątym miejscu ze średnią 46,9% i wskaźnikiem zaliczeń 16,7%. To są liczby. Wątek nie podaje jednak rzeczy, która decyduje, czy one cokolwiek znaczą: nazwy startupu, który przeprowadził ewaluację, ani strony metodologii, którą można przeczytać.

Tę lukę warto nazwać, zanim przejdziemy do czegokolwiek innego, ponieważ to różnica między tabelą liderów a benchmarkiem. Wpis opisuje firmę wspieraną przez Y Combinator i linkuje wyłącznie do własnej załączonej grafiki; skracacz prowadzi z powrotem do obrazu, a nie do artykułu, repozytorium GitHub ani strony z wynikami. Nie ma żadnego zestawu zadań do sprawdzenia, kodu oceniającego do przeczytania ani ludzkiego punktu odniesienia do porównania. Wszystko poniżej jest zatem odczytem jednej opublikowanej tabeli i zdania wydrukowanego nad nią, i tak też należy to cytować.

Nic z tego nie czyni tego wyniku premierą. OpenAI wydało GPT-6.2 Astra 17 listopada 2026 r., trzy dni przed pojawieniem się wątku, a to kolejny niezależny ranking, na którym model pojawił się od tego czasu. Nowością z 20 listopada jest sam ranking — Hospital-bench nie pojawił się wcześniej publicznie, a zestaw dwudziestu modeli z opublikowaną pierwszą dziesiątką to duża porcja sygnału docierająca w jednym obrazie. Powód, dla którego zasługuje on na uważną lekturę, a nie na triumfalne świętowanie, jest taki, że dwie kolumny na nim nie zgadzają się co do tego, kto wygrał, a ta niezgodność jest najcenniejszą rzeczą na stronie.

Co tak naprawdę mierzy Hospital-bench

Wiersz metodologii na grafice to jedno zdanie: „Pomiar tego, jak dobrze agenci AI obsługują operacje administracyjne szpitala na 320 łóżek w 13 połączonych systemach”. Wątek dodaje nieco więcej szczegółów. Agentom przekazuje się 131 narzędzi rozproszonych w tych trzynastu systemach oraz czterdzieści osiem zadań zaczerpniętych z zaplecza administracyjnego szpitala, a nie z jego strony klinicznej — wstępne autoryzacje, odrzucone roszczenia, wnioski o udostępnienie dokumentacji. Żadnej diagnozy, żadnego triażu, żadnego obrazowania. Mierzona praca to praca, która generuje dokumentację, na której opiera się funkcjonowanie szpitala, oraz spory w cyklu przychodów, które przegrywa.

Ten wybór dziedziny wyjaśnia kształt tabeli wyników lepiej niż jakiekolwiek twierdzenie o ogólnej inteligencji. Administracja szpitalna jest problemem wyboru narzędzi, zanim staje się problemem rozumowania. Uzyskanie wcześniejszej zgody to sprawdzenie reguł formularyjnych płatnika, wypełnienie formularza, złożenie wniosku, kontrola statusu i odwołanie, a każdy z tych kroków funkcjonuje w innym systemie z innym interfejsem. Mając do dyspozycji 131 narzędzi i czterdzieści osiem wieloetapowych zadań, agent musi pobrać właściwy podzbiór, utrzymać spójny stan sprawy w kolejnych turach i uniknąć konkretnego błędu, który definiuje tę pracę: wykonania jedenastu kroków poprawnie, a następnie złożenia wniosku do niewłaściwej kolejki. Ewaluacja zbudowana w ten sposób będzie odróżniać modele pod względem niezawodności znacznie wcześniej niż pod względem błyskotliwości, co dokładnie pokazują dwie kolumny.

Oznacza to również, że wyniki nie są przenośne na nic innego. Model, który prowadzi w Hospital-bench, pokazał coś na temat opartych na narzędziach przepływów pracy administracyjnej na dużą skalę, ale nic zupełnie na temat tego, czy potrafi pisać kod, zdać egzamin prawniczy lub prowadzić rozmowę. Odczytuj tę tablicę jako stwierdzenie o agentach obsługujących duży zestaw narzędzi w ramach reguł proceduralnych. To realna i niedostatecznie zagospodarowana kategoria ewaluacji, węższa niż „prowadzenie szpitala”.

Tablica w takiej postaci, w jakiej została opublikowana, od góry do dołu

Oto pełna opublikowana dziesiątka najlepszych, najpierw średni wynik, a następnie wskaźnik pełnych zaliczeń:

• GPT-6.2 Astra — 62,4% średniej, 29,2% zdawalności (14 z 48)

• Claude Fable 5.2 — średnia 60,3%, zaliczenia 29,2% (14 z 48)

• G​emini 4 Neon — średnia 59.8%, zdawalność 31.3% (15 z 48)

• GPT-6.2 Sol — średnia 57,6%, zdawalność 25,0% (12 z 48)

• Claude Opus 5.5 — 55,6% średniej, 35,4% zdawalności (17 z 48)

• Muse Wonder — średnia 53,6%, zdawalność 27,1% (13 z 48)

• GPT-6.1 Sol — średnia 50,0%, 12,5% zdanych (6 z 48)

• Claude Sonnet 5.5 — średnia 47,7%, zdawalność 29,2% (14 z 48)

• Gemini 4 Argon — średnia 46,9%, zdawalność 16,7% (8 z 48)

• GPT-6 Astra — średnia 46,7%, zdawalność 8,3% (4 z 48)

The Hospital-bench leaderboard graphic attached to the 20 November 2026 X thread, headed 'Hospital-bench' with the methodology line 'Measuring how well AI agents run the administrative operations of a 320-bed hospital across 13 connected systems', labelled 'Top 10 of 20 models' with columns 'Mean score' and 'Pass rate'. Rows read GPT-6.2 Astra 62.4% / 29.2%, Claude Fable 5.2 60.3% / 29.2%, Gemini 4 Neon 59.8% / 31.3%, GPT-6.2 Sol 57.6% / 25.0%, Claude Opus 5.5 55.6% / 35.4%, Muse Wonder 53.6% / 27.1%, GPT-6.1 Sol 50.0% / 12.5%, Claude Sonnet 5.5 47.7% / 29.2%, Gemini 4 Argon 46.9% / 16.7% and GPT-6 Astra 46.7% / 8.3%, on an axis running 0% to 100%.

Dwa fakty strukturalne dotyczące tej listy, zanim przejdziemy do jakiejkolwiek interpretacji. Pierwszy: stawka liczy dwadzieścia modeli, a pokazano tylko dziesięć, więc dolna połowa pozostaje niewidoczna — a w dziedzinie, w której interesującą kolumną jest odsetek zaliczeń, modele, które nie zaliczają niczego, właśnie pokazałyby, jak wymagający jest dolny poziom. Drugi: cały rozrzut od pierwszego do dziesiątego miejsca to 15,7 punktu średniego wyniku. W benchmarku z czterdziestoma ośmioma zadaniami i bez opublikowanej wariancji to nie jest szeroka czołówka. To skupisko z liderem.

Uporządkowanie według generacji to najczystszy sygnał w tabeli i ten, który najmniej prawdopodobnie jest artefaktem. GPT-6.2 Astra z wynikiem 62,4% jest o 15,7 punktu procentowego wyżej niż GPT-6 Astra z 46,7%, a odsetek zaliczeń rośnie z 8,3% do 29,2% — to 3,5-krotny skok liczby zadań ukończonych bezbłędnie. GPT-6.2 Sol z wynikiem 57,6% jest o 7,6 punktu procentowego wyżej niż GPT-6.1 Sol z 50,0%, a jego odsetek zaliczeń podwaja się z 12,5% do 25,0%. Cokolwiek mierzy ten benchmark, mierzy coś, co zmieniło się między generacjami, w obu liniach OpenAI, w tym samym kierunku, w skali znacznie wykraczającej poza błąd zaokrąglenia.

Dlaczego kolumna ze współczynnikiem zdawalności ma większe znaczenie

Średni wynik to średnia ze wszystkich czterdziestu ośmiu zadań z częściową punktacją. Wskaźnik zaliczeń to udział zadań, które agent ukończył w całości. To są różne miary różnych rzeczy, a różnica między nimi w tym zestawieniu jest ogromna: GPT-6.2 Astra osiąga średnio 62,4%, ale ukańcza 29,2% zadań, co oznacza, że przeciętne zadanie jest oceniane na około dwie trzecie poprawnie, podczas gdy mniej niż jedno na trzy jest ukańczane. To znak rozpoznawczy agenta, który dobrze wykonuje większość przepływu pracy, a potem gubi się na jednym kroku.

W większości benchmarków to rozróżnienie ma charakter akademicki. W administracji szpitalnej stanowi o całym produkcie. Wcześniejsza autoryzacja złożona z właściwymi kodami do niewłaściwej kolejki płatnika uzyskuje dobrą punktację częściową i kończy się odrzuconym roszczeniem. Wniosek o dokumentację, który kompletuje właściwy zestaw dokumentów, ale pomija wpis w rejestrze ujawnień, jest stwierdzeniem niezgodności. Zadania w tej dziedzinie są skonstruowane tak, że liczy się ostatni krok, co oznacza, że kolumna wskaźnika zaliczeń jest bliższa pomiarowi tego, czy agentowi można powierzyć ten przepływ pracy, niż średni wynik — i to właśnie tę kolumnę prawie nikt nie przytaczał.

To także kolumna z najmniejszym wsparciem statystycznym. Czterdzieści osiem zadań to mały mianownik. Jedno zadanie odpowiada 2,08 punktu procentowego zdawalności, więc różnica między Claude Fable 5.2 a GPT-6.2 Astra — oba na poziomie 29,2%, oba przy czternastu zadaniach — wynosi zero, a różnica między G​emini 4 Neon przy piętnastu zadaniach a dwoma liderami przy czternastu to jedno zadanie. Trzy modele dzieli jedno zadanie z czterdziestu ośmiu. Traktuj trzy najlepsze jako ex aequo pod względem ukończenia i różniące się tylko średnią, gdzie różnice wynoszą 2,1 i 0,5 punktu i są równie kruche.

Opus 5.5 zajmuje pierwsze miejsce tam, gdzie to się liczy

Claude Opus 5.5 to model, którego ujawnienie miała na celu ta tabela. Zajmuje piąte miejsce pod względem średniego wyniku na poziomie 55,6% — 6,8 punktu za liderem, co nie jest blisko — i pierwsze pod względem pełnych zaliczeń na poziomie 35,4%, siedemnaście z czterdziestu ośmiu, o trzy zadania przed następnym modelem. Żaden inny model w zestawieniu nie odwraca w taki sposób swojej pozycji. Claude Sonnet 5.5 robi to łagodnie: ósmy pod względem wyniku i ex aequo trzeci pod względem zaliczeń. Gemini 4 Argon prezentuje odwrotny przypadek: dziewiąty pod względem wyniku i dziewiąty pod względem zaliczeń, co jest przynajmniej spójne.

Trzy zadania to niewielka przewaga i warto powiedzieć to wprost: siedemnaście do czternastu na czterdzieści osiem to różnica, którą jedno niejednoznaczne zadanie mogłoby zniwelować, a żaden przedział ufności nie jest publikowany. Kierunek jest jednak spójny w przypadku dwóch modeli Anthropic na liście i wskazuje na realny kompromis. Wygląda na to, że Opus 5.5 zużywa więcej tur i wywołań narzędzi na zadanie, aby osiągnąć stan ukończenia, co podnosi jego współczynnik ukończenia i ogranicza średnią. Astra osiąga wyższą średnią przy mniejszej liczbie czystych ukończeń. Jeśli kupujesz agenta do przepływu pracy, w którym na wpół ukończone zgłoszenie jest gorsze niż wolne, model z piątego miejsca jest lepszym zakupem, a żaden ranking według średniego wyniku ci tego nie powie.

Istnieje druga interpretacja, mniej pochlebna dla benchmarku. Model może podnieść swój odsetek zaliczeń, odmawiając podejmowania zadań, które prawdopodobnie oblałby, albo kończąc wcześniej z częściową odpowiedzią, którą oceniający uznaje za kompletną. Bez wyników na poziomie zadań — których wątek nie publikuje — nie ma sposobu, by odróżnić „kończy więcej tego, co zaczyna” od „kończy mniej tego, co dostaje”. Tabela przemawia za pierwszą interpretacją. Nie może wykluczyć drugiej.

Jaki jest koszt 131 narzędzi na zadanie?

Hospital-bench to kosztowna ewaluacja do przeprowadzenia i kosztowna do wielokrotnego przeprowadzania, a w wątku nie podano żadnej wartości kosztu. Sto trzydzieści jeden definicji narzędzi to duży prompt systemowy, zanim agent podejmie jakiekolwiek działanie; czterdzieści osiem wieloetapowych zadań w dwudziestu modelach to dużo tokenów wejściowych i dużo tur. Każdy koszt przypadający na zadanie obliczony na podstawie cen tokenów będzie dolną granicą, a nie szacunkiem, ponieważ pominie wyszukiwanie, ponowienia i nieudane wywołania narzędzi, które pętla agentowa generuje samodzielnie.

• Średni wynik — GPT-6.2 Astra 62,4% vs Gemini 4 Argon 46,9%

• Wskaźnik pełnego zaliczenia — Astra 29,2% vs Argon 16,7%

• Cena wejściowa za 1 mln — Argon $2.00 vs Astra $8.00

• Cena tokenów wyjściowych za 1 mln — Argon 10,00 USD vs Astra 40,00 USD

• Narzędzia w zakresie — 131, identyczne dla każdego modelu na tablicy

• Koszt na zadanie — nie jest publikowany przez oceniającego

A generated three-panel comparison card titled 'What the lead costs', with panels reading 'Mean score: Astra 62.4% vs Argon 46.9%', 'Full passes: Astra 14 of 48 vs Argon 8 of 48' and 'Price per 1M: Astra $8 in / $40 out vs Argon $2 in / $10 out', over a footer noting the evaluator publishes no cost per completed task.

Przeczytaj te dwa bloki w zestawieniu — ciekawą liczbą nie jest średnia różnica wynosząca 15,5 punktu. Jest nią to, że Argon kosztuje jedną czwartą tego co Astra w obu kierunkach i wykonuje bezbłędnie nieco ponad połowę tylu zadań, co plasuje oba modele w granicach dwukrotności względem siebie pod względem kosztu na ukończone zadanie, mimo czterokrotnej różnicy cen. To znacznie bliższy wynik, niż sugeruje ranking, i jest to rodzaj obliczenia, które można wykonać tylko na własnym zestawie zadań, ponieważ stosunek zależy wyłącznie od tego, jak często Twoje zadania kończą się przedwcześnie.

To tutaj warstwa routingu zasługuje na swoje miejsce, zamiast być jedynie ozdobą. OrcaRouter udostępnia cennik katalogowy dostawców bez narzutu (0% marży), więc powyższe 8 i 40 USD to kwota, którą płacisz za milion tokenów, a nie stawka dostawcy z doliczoną marżą platformy — a ponieważ przekazywanie cen odbywa się na bieżąco, obniżka ceny przez dostawcę któregokolwiek z modeli pojawia się na Twoim rachunku tego samego dnia, w którym zostanie ogłoszona. Automatyczne przełączanie awaryjne ma tu większe znaczenie niż w przypadku obciążenia czatowego: kampania agentowa z czterdziestoma ośmioma zadaniami na 131 narzędzi gdzieś natrafi na limit szybkości, a trasa, która przechodzi do drugiego modelu, zamiast kończyć się w połowie przebiegu, jest warta więcej niż jeden punkt średniego wyniku.

Warto powiedzieć wprost: GPT-6.2 Astra nie znajduje się w naszym katalogu na dzień 20 listopada. Modele O​penAI, które obsługujemy, to GPT-6 Astra, który uzyskuje 46,7% i 8,3% w tym rankingu, oraz linia GPT-6 Sol, w której GPT-6.2 Sol osiąga 57,6% i 25,0%. Gemini 4 Argon jest dostępny w routingu w cenie 2 USD i 10 USD. Zanim Astra będzie tu dostępna, modelem z naszego katalogu położonym najbliżej szczytu tej tabeli jest GPT-6.2 Sol, a najtańszym modelem, który przewyższa poprzednią generację O​penAI, jest Argon.

Co zmieniłoby ten odczyt?

Cztery rzeczy, z grubsza w kolejności, w jakiej wpłynęłyby na obraz sytuacji. Pierwsza to strona metodologiczna. Z benchmarkiem, który publikuje swój zestaw zadań, zasady punktacji i dzienniki uruchomień, można polemizować; z tym, który publikuje obrazek z pierwszą dziesiątką, nie. To jedno zdanie nad tabelą wykonuje ogromną pracę i każde twierdzenie w tym artykule jest przez nie ograniczane.

Drugi to brakujące dziesięć modeli. Oceniono dwadzieścia, a pokazano dziesięć, i w dziedzinie, w której częściowe punkty zawyżają średnią, to modele na dole kalibrują zadanie. Jeśli model na jedenastym miejscu ma 45% średniej i 6% zdawalności, tablica wyników jest rozrzutem. Jeśli ma 44% i 2%, tablica wyników jest klifem, a pierwsza dziesiątka to jedyne modele, które w ogóle potrafią wykonać tę pracę.

Trzeci to punkt odniesienia dla człowieka. Hospital-bench nie publikuje wyniku człowieka, a bez niego nie ma odpowiedzi na jedyne pytanie, jakie kupujący naprawdę ma: czy ukończenie na poziomie 35,4% jest dobre. Specjalista ds. rozliczeń medycznych mający te same 131 narzędzi i czterdzieści osiem zadań nadałby tabeli skalę. Tabela jej nie ma.

Czwarty punkt to drugie uruchomienie. Model ma cztery dni, a ocena to pojedyncza kampania, a benchmarki agentowe z długimi łańcuchami narzędzi mają większą wariancję między uruchomieniami niż ewaluacje jednokrotne — i to dokładnie ta wariancja, której różnica 2,1 punktu między pierwszym a drugim miejscem nie jest w stanie pochłonąć. Jeśli Astra i Fable 5.2 trzy razy wypadną w tej samej kolejności, przewaga jest realna. Raz — to tylko wpis w rankingu.

To, co przetrwało wszystkie cztery zastrzeżenia, jest węższe niż sposób ujęcia w wątku i bardziej użyteczne niż odrzucenie. GPT-6.2 Astra to najlepszy model opublikowany w benchmarku administracji agentowej obejmującym dwadzieścia modeli, z przewagą, która mieści się w szumie w przypadku ukończeń i wykracza poza niego w przypadku średniej. Skok międzypokoleniowy to część, którą trudno wyjaśnić — 15,7 punktu średniego wyniku i 3,5-krotna poprawa w czystych ukończeniach względem GPT-6 Astra, na tablicy, która nie ma powodu faworyzować jednego dostawcy. To realny wynik dotyczący pracy administracyjnej opartej na narzędziach, opublikowany przez ewaluatora, którego nikt jeszcze nie może zweryfikować, cztery dni po wydaniu modelu. Obie połowy tego zdania należą do tego samego oddechu.

A generated single-column scoreboard titled 'Hospital-bench, top of the board' with six rows reading 'GPT-6.2 Astra 62.4% mean / 29.2% pass', 'Claude Fable 5.2 60.3% / 29.2%', 'Gemini 4 Neon 59.8% / 31.3%', 'GPT-6.2 Sol 57.6% / 25.0%', 'Claude Opus 5.5 55.6% / 35.4%' and 'Gemini 4 Argon 46.9% / 16.7%', with column headers 'Mean score' and 'Pass rate' and the footer '48 tasks, 20 models evaluated, top 10 published'.

Porównane w tym artykule1

Wykryto na podstawie tego artykułu · Benchmarki: Artificial Analysis · aktualizowane codziennie