Genererat titelkort med rubriken 'GPT-6.2 Astra toppar Hospital-Bench' och underrubriken '62,4 % medelpoäng, 14 av 48 uppgifter slutförda helt korrekt' samt tre bevischips med texterna 'Bäst av 20 modeller', '320-sängars sjukhus, 13 system, 131 verktyg' och 'Claude Opus 5.5 leder på fullständiga pass med 35,4 %', över en sidfot som anger att resultatet publicerades den 20 november 2026 av en YC-stödd utvärderare och att GPT-6.2 Astra släpptes den 17 november 2026.
Guides & Insights

GPT-6.2 Astra toppar Hospital-Bench med 62,4 %: 14 av 48 uppgifter felfria

Författare

jinhao.song

Publiceringsdatum

Senaste modellerna · 20Visa alla modeller →
Benchmarks: Artificial Analysis · uppdateras dagligen
Tillbaka till alla inlägg

En utvärdering av tjugo modeller som publicerades på X den 20 november 2026 placerar GPT-6.2 Astra först på Hospital-bench med en medelpoäng på 62,4 % och en andel fullständiga godkännanden på 29,2 % – fjorton av de fyrtioåtta uppgifterna klarades helt. Claude Fable 5.2 ligger tvåa på 60,3 %, Gemini 4 Neon trea på 59,8 % och Claude Opus 5.5 femma i poäng på 55,6 % samtidigt som den leder hela fältet i fullständiga godkännanden med 35,4 %, vilket är sjutton av fyrtioåtta. Gemini 4 Argon slutar nia med 46,9 % i medelpoäng och 16,7 % i godkännandegrad. Det är siffrorna. Det som tråden inte ger dig är det som avgör om de betyder något: namnet på startupen som körde utvärderingen, och en metodiksida du kan läsa.

Det gapet är värt att namnge innan något annat, eftersom det är skillnaden mellan en topplista och ett benchmark. Inlägget beskriver ett företag som backas av Y Combinator och länkar bara till sin egen bifogade grafik; länkförkortaren leder tillbaka till bilden, inte till en artikel, ett GitHub-förråd eller en resultatsida. Det finns ingen uppgiftsuppsättning att granska, ingen poängsättningskod att läsa och ingen mänsklig baslinje att jämföra med. Allt nedan är därför en läsning av en enda publicerad tabell och meningen som står tryckt ovanför den, och det bör citeras på det sättet.

Inget av detta gör resultatet till en lansering. OpenAI lanserade GPT-6.2 Astra den 17 november 2026, tre dagar innan tråden publicerades, och detta är ännu en oberoende resultattavla som modellen har dykt upp på sedan dess. Det som är nytt den 20 november är själva tavlan — Hospital-bench hade inte dykt upp offentligt tidigare, och ett fält med tjugo modeller med en publicerad topp tio är en stor mängd signal att komma i en enda bild. Anledningen till att den förtjänar en noggrann läsning snarare än ett segervarv är att de två kolumnerna på den är oense om vem som vann, och oenigheten är det mest användbara på sidan.

Vad Hospital-bench faktiskt mäter

Metodraden i grafiken är en enda mening: "Att mäta hur väl AI-agenter sköter de administrativa operationerna på ett sjukhus med 320 vårdplatser över 13 sammankopplade system." Tråden fyller i lite mer. Agenterna tilldelas 131 verktyg utspridda över dessa tretton system och fyrtioåtta uppgifter hämtade från ett sjukhus backoffice i stället för dess kliniska sida – förhandsgodkännanden, nekade anspråk, journalförfrågningar. Ingen diagnos, ingen triage, ingen bilddiagnostik. Arbetet som mäts är arbetet som genererar pappersarbetet som ett sjukhus drivs av och de kamper i intäktscykeln som det förlorar.

Det valet av domän förklarar formen på resultattavlan bättre än något påstående om allmän intelligens. Sjukhusadministration är ett verktygsvalsproblem innan det är ett resonemangsproblem. Ett förhandsgodkännande är en uppslagning mot betalarens formularieregler, ett formulär, en inlämning, en uppföljning och en överklagan, och vart och ett av dessa steg ligger i ett annat system med ett annat gränssnitt. Med 131 tillgängliga verktyg och fyrtioåtta flerstegsuppgifter måste en agent hämta rätt delmängd, hålla ärendets tillstånd konsekvent över turerna och undvika det specifika fel som definierar arbetet: att utföra elva steg korrekt och sedan skicka in till fel kö. En utvärdering byggd på det sättet kommer att skilja modeller åt vad gäller tillförlitlighet långt innan den skiljer dem åt vad gäller smarthet, vilket är precis vad de två kolumnerna visar.

Det innebär också att poängen inte är överförbara till något annat. En modell som toppar Hospital-bench har visat något om verktygsgrundade administrativa arbetsflöden i stor skala, och ingenting alls om huruvida den kan skriva kod, klara ett juridiskt prov eller föra en konversation. Läs resultattavlan som ett uttalande om agenter som hanterar en stor verktygsyta under procedurregler. Det är en verklig och underbetjänad utvärderingskategori, och den är snävare än "driver ett sjukhus".

Tavlan såsom den sattes upp, uppifrån och ned

Här är hela den publicerade tio-i-topp-listan, med medelpoäng först och andelen fullständigt godkända sedan:

• GPT-6.2 Astra — 62,4 % medelvärde, 29,2 % godkända (14 av 48)

• Claude Fable 5.2 — 60,3 % medelvärde, 29,2 % godkända (14 av 48)

• Gemini 4 Neon — medelvärde 59,8 %, 31,3 % godkända (15 av 48)

• GPT-6.2 Sol — 57,6 % medelvärde, 25,0 % godkända (12 av 48)

• Claude Opus 5.5 — 55,6 % i medelvärde, 35,4 % godkända (17 av 48)

Muse Wonder — medelvärde 53,6 %, godkända 27,1 % (13 av 48)

• GPT-6.1 Sol — 50,0 % medelvärde, 12,5 % godkända (6 av 48)

• Claude Sonnet 5.5 — 47,7 % medelvärde, 29,2 % godkända (14 av 48)

• Gemini 4 Argon — 46,9 % i genomsnitt, 16,7 % godkända (8 av 48)

• GPT-6 Astra — 46,7 % i medelvärde, 8,3 % godkända (4 av 48)

The Hospital-bench leaderboard graphic attached to the 20 November 2026 X thread, headed 'Hospital-bench' with the methodology line 'Measuring how well AI agents run the administrative operations of a 320-bed hospital across 13 connected systems', labelled 'Top 10 of 20 models' with columns 'Mean score' and 'Pass rate'. Rows read GPT-6.2 Astra 62.4% / 29.2%, Claude Fable 5.2 60.3% / 29.2%, Gemini 4 Neon 59.8% / 31.3%, GPT-6.2 Sol 57.6% / 25.0%, Claude Opus 5.5 55.6% / 35.4%, Muse Wonder 53.6% / 27.1%, GPT-6.1 Sol 50.0% / 12.5%, Claude Sonnet 5.5 47.7% / 29.2%, Gemini 4 Argon 46.9% / 16.7% and GPT-6 Astra 46.7% / 8.3%, on an axis running 0% to 100%.

Två strukturella fakta om den listan innan man gör någon tolkning. Det första är att fältet omfattar tjugo modeller och bara tio visas, så den nedre halvan är osynlig — och i en domän där godkännandegraden är den intressanta kolumnen är det modellerna som misslyckas med allt som skulle tala om hur svårt golvet är. Det andra är att hela spridningen från första till tionde plats är 15,7 poäng i medelvärde. I ett benchmark med fyrtioåtta uppgifter och ingen publicerad varians är det inte en bred topp. Det är ett kluster med en ledare i.

Ordningen mellan generationerna är den tydligaste signalen i tabellen och den som minst sannolikt är en artefakt. GPT-6.2 Astra på 62,4 % ligger 15,7 punkter över GPT-6 Astra på 46,7 %, och godkännandegraden går från 8,3 % till 29,2 % – en 3,5-faldig ökning av uppgifter som slutförts felfritt. GPT-6.2 Sol på 57,6 % ligger 7,6 punkter över GPT-6.1 Sol på 50,0 %, med en godkännandegrad som fördubblas från 12,5 % till 25,0 %. Vad benchmarken än mäter, så mäter den något som förändrades mellan generationerna, i båda OpenAI-linjerna, i samma riktning, i en storleksordning som ligger väl utanför ett avrundningsfel.

Varför kolumnen för godkännandegrad är viktigare

Medelpoängen är genomsnittet över alla fyrtioåtta uppgifter med delpoäng. Godkännandegraden är andelen uppgifter som agenten slutförde helt. Det är olika mått på olika saker, och gapet mellan dem i den här resultattavlan är enormt: GPT-6.2 Astra har i genomsnitt 62,4 % men slutför 29,2 % av uppgifterna, vilket innebär att den genomsnittliga uppgiften bedöms vara ungefär två tredjedelar korrekt medan färre än en av tre blir slutförd. Det är kännetecknet för en agent som får större delen av ett arbetsflöde rätt och sedan tappar det vid ett steg.

I de flesta benchmarkar är åtskillnaden akademisk. Inom sjukhusadministration är den hela produkten. Ett förhandsgodkännande som skickas in med rätt koder till fel betalarkö får bra delpoäng och leder till ett avslaget anspråk. En begäran om journalhandlingar som sammanställer rätt dokumentuppsättning men missar posten i utlämnandeloggen är en compliance-anmärkning. Uppgifterna i den här domänen är konstruerade så att det sista steget är det som spelar roll, vilket innebär att kolumnen för godkännandegrad ligger närmare ett mått på om agenten kan betros med arbetsflödet än vad medelpoängen gör, och det är den kolumn som nästan ingen citerade.

Det är också kolumnen med minst statistiskt stöd. Fyrtioåtta uppgifter är en liten nämnare. En uppgift är 2,08 procentenheter av godkännandegraden, så skillnaden mellan Claude Fable 5.2 och GPT-6.2 Astra – båda på 29,2 %, båda på fjorton uppgifter – är noll, och skillnaden mellan G​emini 4 Neon på femton uppgifter och de två ledarna på fjorton är en uppgift. Tre modeller skiljs åt av en enda uppgift av fyrtioåtta. Betrakta de tre bästa som lika på slutförande och åtskilda endast på medelvärdet, där skillnaderna är 2,1 och 0,5 punkter och lika sköra.

Opus 5.5 går i mål först där det räknas

Claude Opus 5.5 är modellen som tabellen byggdes för att synliggöra. Den rankas femma på medelpoäng med 55,6 % – 6,8 punkter bakom ledaren, vilket inte är nära – och etta på fullständiga passeringar med 35,4 %, sjutton av fyrtioåtta, tre uppgifter före nästa modell. Ingen annan modell på tavlan vänder sin placering så där. Claude Sonnet 5.5 gör det milt, åtta på poäng och delad trea på passeringar. Gemini 4 Argon gör det omvända, nia på poäng och nia på passeringar, vilket åtminstone är konsekvent.

En marginal på tre uppgifter är inte stor, och det är värt att säga rakt ut: sjutton mot fjorton av fyrtioåtta är en skillnad som en enda tvetydig uppgift skulle kunna utradera, och inget konfidensintervall publiceras. Men riktningen är konsekvent mellan de två Anthropic-modellerna på resultattavlan, och den pekar på en verklig avvägning. Opus 5.5 verkar lägga fler turer och fler verktygsanrop per uppgift för att nå ett slutfört tillstånd, vilket höjer dess slutförandegrad och begränsar dess genomsnittspoäng. Astra når ett högre genomsnitt med färre rena slutföranden. Om du köper en agent för ett arbetsflöde där ett halvfärdigt ärende är värre än ett långsamt, är den femteplacerade modellen det bättre köpet, och ingen rankning efter medelpoäng kommer att berätta det för dig.

Det finns en andra tolkning, mindre smickrande för benchmarken. En modell kan höja sin godkännandegrad genom att avstå från att försöka lösa uppgifter som den sannolikt misslyckas med, eller genom att avsluta tidigt med ett ofullständigt svar som bedömaren räknar som fullständigt. Utan resultatet på uppgiftsnivå – som tråden inte publicerar – går det inte att skilja på "slutför mer av det den påbörjar" och "slutför mindre av det den får". Tabellen stöder den första tolkningen. Den kan inte utesluta den andra.

Vad 131 verktyg kostar per uppgift

Hospital-bench är en dyr utvärdering att köra och en dyr utvärdering att köra upprepade gånger, och tråden publicerar ingen kostnadssiffra alls. Hundratrettioen verktygsdefinitioner är en stor systemprompt innan agenten vidtar en enda åtgärd; fyrtioåtta flerstegsuppgifter över tjugo modeller är många indatatoken och många vändor. Eventuell kostnad per uppgift som du beräknar utifrån tokenpriser blir en undre gräns, inte en uppskattning, eftersom den missar hämtningen, omförsöken och de misslyckade verktygsanropen som en agentisk loop genererar på egen hand.

• Medelpoäng — GPT-6.2 Astra 62,4 % vs Gemini 4 Argon 46,9 %

• Fullständig godkännandegrad — Astra 29,2 % mot Argon 16,7 %

• Pris för indata per 1M — Argon $2.00 mot Astra $8.00

• Pris för utdata per 1M — Argon $10.00 vs Astra $40.00

• Verktyg i urvalet – 131, identiska för varje modell på tavlan

• Kostnad per uppgift – publiceras inte av utvärderaren

A generated three-panel comparison card titled 'What the lead costs', with panels reading 'Mean score: Astra 62.4% vs Argon 46.9%', 'Full passes: Astra 14 of 48 vs Argon 8 of 48' and 'Price per 1M: Astra $8 in / $40 out vs Argon $2 in / $10 out', over a footer noting the evaluator publishes no cost per completed task.

Jämför de två blocken med varandra, och det intressanta talet är inte den genomsnittliga skillnaden på 15,5 punkter. Det är att Argon kostar en fjärdedel av Astra i båda riktningarna och slutför drygt hälften så många uppgifter felfritt, vilket placerar de två modellerna inom en faktor två från varandra vad gäller kostnad per slutförd uppgift trots en 4x prisskillnad. Det är ett mycket jämnare avgörande än topplistan antyder, och det är den typen av beräkning som du bara kan göra på din egen arbetsbelastning, eftersom förhållandet helt beror på hur ofta dina uppgifter avslutas i förtid.

Det är här ett routinglager förtjänar sin plats i stället för att bara vara dekoration. OrcaRouter för vidare leverantörens listpris med 0 % påslag, så de 8 och 40 dollar som nämns ovan är vad du betalar per miljon tokens i stället för ett leverantörspris med en plattformsmarginal ovanpå — och eftersom vidarebefordran sker i realtid syns en leverantörs prissänkning på endera modellen på din faktura samma dag som den tillkännages. Automatisk failover spelar större roll här än vid en chattarbetsbelastning: en agentisk kampanj med fyrtioåtta uppgifter mot 131 verktyg kommer att stöta på en hastighetsbegränsning någonstans, och en route som växlar till den andra modellen i stället för att dö mitt i körningen är värd mer än en poäng i medelvärde.

Det tål att sägas rakt ut: GPT-6.2 Astra finns inte i vår katalog per den 20 november. De OpenAI-modeller vi erbjuder är GPT-6 Astra, som får 46,7 % och 8,3 % på den här resultattavlan, och GPT-6 Sol-serien, där GPT-6.2 Sol får 57,6 % och 25,0 %. Gemini 4 Argon är routbar till $2 och $10. Tills Astra finns tillgänglig här är GPT-6.2 Sol den modell i vår katalog som ligger närmast toppen av den här tabellen, och den billigaste modellen som slår den tidigare OpenAI-generationen är Argon.

Vad skulle ändra den här avläsningen?

Fyra saker, ungefär i ordning efter hur mycket de skulle förändra bilden. Den första är en metodsida. Ett benchmark som publicerar sin uppsättning uppgifter, sina poängsättningsregler och sina körloggar går att argumentera med; ett som publicerar en topp tio-bild går inte. Den enda meningen ovanför tabellen gör ett enormt arbete, och varje påstående i den här artikeln begränsas av den.

Det andra är de tio saknade modellerna. Tjugo utvärderades och tio visades, och i en domän där delpoäng blåser upp medelvärdet är det modellerna längst ner som kalibrerar uppgiften. Om modellen på elfte plats ligger på 45 % i medelvärde och 6 % godkända, är resultattavlan en spridning. Om den ligger på 44 % och 2 %, är resultattavlan ett brant stup och de tio bästa är de enda modellerna som överhuvudtaget kan utföra arbetet.

Den tredje är en mänsklig baslinje. Hospital-bench publicerar inget mänskligt resultat, och utan ett sådant finns det inget svar på den enda fråga en köpare faktiskt har, nämligen om 35,4 % slutförande är bra. En specialist på medicinsk fakturering med samma 131 verktyg och fyrtioåtta uppgifter skulle ge tabellen en skala. Det har den inte.

Det fjärde är en andra körning. Modellen är fyra dagar gammal och utvärderingen är en enda kampanj, och agentbaserade benchmarkar med långa verktygskedjor har större varians mellan körningar än enkeltskottsutvärderingar – vilket är exakt den varians som en skillnad på 2,1 punkter mellan första och andra plats inte kan absorbera. Om Astra och Fable 5.2 hamnar i samma ordning tre gånger är ledningen verklig. En gång är det en post på en resultattavla.

Det som återstår efter alla fyra förbehåll är snävare än trådens ram och mer användbart än en avfärdning. GPT-6.2 Astra är den bästa modellen som publicerats på ett benchmark för agentisk administration med tjugo modeller, med en marginal som ligger inom bruset för slutföranden och utanför det i genomsnitt. Det generationsmässiga språnget är den del som är svår att förklara bort — 15,7 poängs genomsnittlig poäng och en 3,5 gångers förbättring av felfria slutföranden jämfört med GPT-6 Astra, på en resultattavla som inte har någon anledning att gynna en leverantör. Det är ett verkligt resultat om verktygsgrundat administrativt arbete, publicerat av en utvärderare som ingen ännu kan granska, fyra dagar efter att modellen släpptes. Båda halvorna av den meningen hör hemma i samma andetag.

A generated single-column scoreboard titled 'Hospital-bench, top of the board' with six rows reading 'GPT-6.2 Astra 62.4% mean / 29.2% pass', 'Claude Fable 5.2 60.3% / 29.2%', 'Gemini 4 Neon 59.8% / 31.3%', 'GPT-6.2 Sol 57.6% / 25.0%', 'Claude Opus 5.5 55.6% / 35.4%' and 'Gemini 4 Argon 46.9% / 16.7%', with column headers 'Mean score' and 'Pass rate' and the footer '48 tasks, 20 models evaluated, top 10 published'.

Jämförda i den här artikeln1

Identifierat från den här artikeln · Benchmarks: Artificial Analysis · uppdateras dagligen