제목이 'GPT-6.2 Astra, Hospital-Bench 1위'인 타이틀 카드가 생성되었으며, 부제는 '평균 점수 62.4%, 48개 작업 중 14개를 깔끔하게 완료'이고, 세 개의 근거 칩은 '20개 모델 중 최상위', '320병상 병원, 13개 시스템, 131개 도구', 'Claude Opus 5.5, 전체 통과율 35.4%로 선두'를 표시하며, 푸터에는 결과가 YC 지원 평가기관에 의해 2026년 11월 20일 발표되었고 GPT-6.2 Astra가 2026년 11월 17일 출시되었다는 점이 적혀 있습니다.
Guides & Insights

GPT-6.2 Astra, 62.4%로 Hospital-Bench 1위: 48개 작업 중 14개 클린

작성자

jinhao.song

게시일

최신 모델 · 20모든 모델 보기 →
벤치마크: Artificial Analysis · 매일 업데이트
모든 게시물로 돌아가기

2026년 11월 20일 X에 게시된 20개 모델 평가에서는 GPT-6.2 Astra가 Hospital-bench에서 평균 점수 62.4%, 완전 통과율 29.2%로 1위를 차지했습니다. 48개 과제 중 14개를 깔끔하게 완료한 것입니다. Claude Fable 5.2가 60.3%로 2위, Gemini 4 Neon이 59.8%로 3위, Claude Opus 5.5는 점수에서 55.6%로 5위이지만 완전 통과에서는 35.4%로 전체 참가진을 앞섰으며, 이는 48개 중 17개입니다. Gemini 4 Argon은 평균 46.9%, 통과율 16.7%로 9위를 차지합니다. 숫자는 이렇습니다. 이 스레드가 여러분에게 제공하지 않는 것은 이 숫자들이 의미가 있는지를 판가름하는 바로 그것입니다. 즉, 평가를 수행한 스타트업의 이름과 읽어볼 수 있는 방법론 페이지입니다.

그 간극은 무엇보다 먼저 이름 붙일 가치가 있습니다. 왜냐하면 그것이 리더보드와 벤치마크의 차이이기 때문입니다. 그 게시물은 Y Combinator의 지원을 받은 회사를 설명하며, 자사가 첨부한 그래픽으로만 연결합니다. 단축 링크는 논문이나 GitHub 저장소, 결과 페이지가 아니라 그 이미지로 되돌아갑니다. 검사할 과제 세트도, 읽을 채점 코드도, 비교할 인간 기준선도 없습니다. 따라서 아래의 모든 내용은 공개된 표 하나와 그 위에 인쇄된 문장을 읽은 것이며, 그렇게 인용되어야 합니다.

그렇다고 해서 이 결과가 출시가 되는 것은 아니다. O​penAI는 2026년 11월 17일, 해당 스레드가 게시되기 사흘 전에 GPT-6.2 Astra를 출시했으며, 이것은 그 이후 이 모델이 등장한 또 하나의 독립적인 리더보드다. 11월 20일에 새로운 것은 바로 그 리더보드 자체다 — Hospital-bench는 이전에 공개적으로 모습을 드러낸 적이 없었고, 상위 10위가 공개된 20개 모델 경쟁 구도는 한 장의 이미지에 담겨 나오기에는 상당한 양의 신호다. 이것이 승리 자축이 아니라 꼼꼼히 읽어볼 가치가 있는 이유는, 그 안의 두 열이 누가 이겼는지에 대해 서로 엇갈리고 있으며, 그 불일치가 바로 이 페이지에서 가장 유용한 부분이라는 점이다.

Hospital-bench가 실제로 측정하는 것

그래픽의 방법론 문구는 한 문장입니다: "AI 에이전트가 13개의 연결된 시스템 전반에서 320병상 병원의 행정 운영을 얼마나 잘 수행하는지 측정합니다." 스레드가 내용을 조금 더 채워 줍니다. 에이전트에게는 해당 13개 시스템에 걸쳐 분산된 131개의 도구와, 병원의 임상 부문이 아니라 백오피스에서 가져온 48개의 작업이 주어집니다 — 사전 승인, 거부된 청구, 기록 요청. 진단도, 중증도 분류도, 영상도 없습니다. 측정되는 작업은 병원이 운영되는 데 필요한 서류를 만들어 내고, 병원이 지고 있는 수익 주기 분쟁을 초래하는 작업입니다.

그 도메인 선택은 일반 지능에 대한 어떤 주장보다도 리더보드의 구도를 더 잘 설명한다. 병원 행정은 추론 문제이기 전에 도구 선택 문제다. 사전 승인은 지불자의 처방집 규칙에 대한 조회, 양식, 제출, 후속 조치, 이의 신청으로 이루어지며, 각 단계는 서로 다른 인터페이스를 가진 서로 다른 시스템에 존재한다. 131개의 도구와 48개의 다단계 작업이 주어지면, 에이전트는 올바른 하위 집합을 검색하고, 여러 턴에 걸쳐 사례 상태를 정확히 유지하며, 이 작업을 규정하는 특정 실패—열한 단계를 올바르게 수행한 뒤 잘못된 큐에 제출하는 것—를 피해야 한다. 그렇게 구성된 평가는 모델을 영리함으로 구분하기 훨씬 전에 신뢰성으로 구분할 것이며, 이는 바로 두 열이 보여주는 바다.

이는 또한 점수가 다른 무엇에도 이식 가능하지 않다는 뜻이다. Hospital-bench에서 선두를 달리는 모델은 대규모로 도구에 기반한 행정 워크플로에 관해 무엇인가를 입증한 것이며, 그 모델이 코드를 작성할 수 있는지, 법률 시험을 통과할 수 있는지, 또는 대화를 나눌 수 있는지에 관해서는 전혀 입증한 바가 없다. 이 보드를 절차적 규칙 아래에서 대규모 도구 표면을 운영하는 에이전트에 관한 진술로 읽어라. 이는 실재하지만 충분히 다뤄지지 않는 평가 범주이며, "병원을 운영한다"보다는 좁다.

게시된 보드, 위에서 아래로

다음은 공개된 전체 상위 10개입니다. 평균 점수가 먼저이고 전체 통과율이 그다음입니다:

• GPT-6.2 Astra — 평균 62.4%, 통과율 29.2% (48개 중 14개)

• Claude Fable 5.2 — 평균 60.3%, 통과율 29.2% (48개 중 14개)

• G​emini 4 Neon — 평균 59.8%, 통과 31.3%(48개 중 15개)

• GPT-6.2 Sol — 평균 57.6%, 통과율 25.0% (48개 중 12개)

• Claude Opus 5.5 — 평균 55.6%, 통과 35.4% (48개 중 17개)

• Muse Wonder — 평균 53.6%, 통과율 27.1%(48개 중 13개)

• GPT-6.1 Sol — 평균 50.0%, 통과율 12.5% (48개 중 6개)

• Claude Sonnet 5.5 — 평균 47.7%, 통과 29.2% (48개 중 14개)

• Gemini 4 Argon — 평균 46.9%, 통과율 16.7% (48개 중 8개)

• GPT-6 Astra — 평균 46.7%, 통과율 8.3% (48개 중 4개)

The Hospital-bench leaderboard graphic attached to the 20 November 2026 X thread, headed 'Hospital-bench' with the methodology line 'Measuring how well AI agents run the administrative operations of a 320-bed hospital across 13 connected systems', labelled 'Top 10 of 20 models' with columns 'Mean score' and 'Pass rate'. Rows read GPT-6.2 Astra 62.4% / 29.2%, Claude Fable 5.2 60.3% / 29.2%, Gemini 4 Neon 59.8% / 31.3%, GPT-6.2 Sol 57.6% / 25.0%, Claude Opus 5.5 55.6% / 35.4%, Muse Wonder 53.6% / 27.1%, GPT-6.1 Sol 50.0% / 12.5%, Claude Sonnet 5.5 47.7% / 29.2%, Gemini 4 Argon 46.9% / 16.7% and GPT-6 Astra 46.7% / 8.3%, on an axis running 0% to 100%.

그 목록을 해석하기에 앞서 두 가지 구조적 사실이 있습니다. 첫째, 이 분야는 모델이 스무 개나 되는데 열 개만 보여 주고 있어서 하위 절반은 보이지 않습니다 — 그리고 통과율이 흥미로운 열인 영역에서는, 모든 과제에서 실패하는 모델들이야말로 바닥이 얼마나 어려운지를 알려 줄 모델들입니다. 둘째, 1위부터 10위까지의 전체 폭은 평균 점수 15.7점입니다. 48개 과제에 공개된 분산도 없는 벤치마크에서 그것은 넓은 상단이 아닙니다. 그 안에 선두 주자가 있는 하나의 군집입니다.

세대 순서는 표에서 가장 명확한 신호이며 인공적 결과일 가능성이 가장 낮은 신호다. 62.4%의 GPT-6.2 Astra는 46.7%의 GPT-6 Astra보다 15.7포인트 높고, 통과율은 8.3%에서 29.2%로 올라 작업을 깔끔하게 완료한 비율이 3.5배 급증했다. 57.6%의 GPT-6.2 Sol은 50.0%의 GPT-6.1 Sol보다 7.6포인트 높으며, 통과율은 12.5%에서 25.0%로 두 배가 되었다. 벤치마크가 무엇을 측정하든, 그것은 두 O​penAI 계열 모두에서 세대 간에 같은 방향으로, 반올림 오차를 훨씬 벗어난 규모로 움직인 무언가를 측정하고 있다.

합격률 열이 더 중요한 이유

평균 점수는 부분 점수가 적용된 48개 과제 전체의 평균입니다. 통과율은 에이전트가 완전히 완료한 과제의 비율입니다. 이 둘은 서로 다른 대상을 측정하는 서로 다른 지표이며, 이 보드에서 그 격차는 매우 큽니다. GPT-6.2 Astra는 평균 62.4%이지만 과제의 29.2%만 완료합니다. 즉 평균적인 과제는 약 3분의 2가 정답으로 채점되는 반면, 완료되는 과제는 3개 중 1개 미만입니다. 이는 워크플로의 대부분을 제대로 처리한 뒤 특정 단계에서 무너지는 에이전트의 전형적인 모습입니다.

대부분의 벤치마크에서 그 구분은 학문적인 것입니다. 병원 행정에서는 그것이 제품의 전부입니다. 올바른 코드로 제출했지만 잘못된 지불자 큐로 간 사전 승인은 부분 점수에서는 좋은 점수를 받고 거부된 청구를 낳습니다. 올바른 문서 세트를 모았지만 공개 기록부 항목을 빠뜨린 기록 요청은 컴플라이언스 지적 사항입니다. 이 영역의 과제는 마지막 단계가 중요한 단계가 되도록 설계되어 있습니다. 즉 통과율 열은 평균 점수보다 에이전트가 해당 워크플로를 신뢰받을 수 있는지에 대한 척도에 더 가깝고, 거의 아무도 인용하지 않은 열입니다.

통계적 뒷받침이 가장 적은 열이기도 합니다. 48개 과제는 작은 분모입니다. 과제 하나는 통과율 2.08퍼센트포인트이므로, Claude Fable 5.2와 GPT-6.2 Astra의 차이—둘 다 29.2%, 둘 다 14개 과제—는 0이고, 15개 과제의 Gemini 4 Neon과 14개 과제의 두 선두 모델 간 차이는 과제 하나입니다. 세 모델은 48개 중 단 하나의 과제로 갈립니다. 상위 세 모델은 완료율에서는 동률로, 평균에서만 차이가 나는 것으로 보십시오. 그 격차는 2.1점과 0.5점이며 똑같이 취약합니다.

Opus 5.5는 중요한 순간에 가장 먼저 완주합니다

Claude Opus 5.5는 이 표가 드러내기 위해 만들어진 모델이다. 평균 점수 55.6%로 5위인데, 선두보다 6.8점 뒤로 근소한 차이가 아니다. 전체 통과율 35.4%로 1위이며, 48개 중 17개로 다음 모델보다 세 과제 앞선다. 보드의 다른 어떤 모델도 그렇게 순위가 뒤집히지 않는다. Claude Sonnet 5.5는 이를 완만하게 보여주는데, 점수 8위, 통과율 공동 3위다. Gemini 4 Argon은 반대로 점수 9위, 통과율 9위로 적어도 일관적이다.

세 개의 과제는 큰 차이가 아니며, 이를 분명히 말할 가치가 있다. 48개 중 17 대 14는 애매한 과제 하나로 지워질 수 있는 차이이고, 신뢰구간도 공개되지 않았다. 그러나 보드에 있는 두 Anthropic 모델 모두에서 방향은 일관되며, 이는 실제 트레이드오프를 가리킨다. Opus 5.5는 과제당 완료 상태에 도달하기 위해 더 많은 턴과 더 많은 도구 호출을 쓰는 것으로 보이며, 이는 완료율을 높이고 평균을 제한한다. Astra는 더 적은 깔끔한 완료로 더 높은 평균에 도달한다. 절반만 완료된 클레임이 느린 클레임보다 나쁜 워크플로를 위해 에이전트를 구매한다면, 5위 모델이 더 나은 구매이며, 어떤 평균 점수 순위도 그 사실을 알려주지 못한다.

벤치마크에 그다지 호의적이지 않은 두 번째 해석이 있다. 모델은 실패할 가능성이 높은 작업을 시도하지 않거나, 채점자가 완료로 간주하는 부분 답변으로 일찍 종료함으로써 통과율을 높일 수 있다. 스레드가 공개하지 않는 작업 수준 출력이 없으면 "시작한 일 중 더 많은 것을 끝낸다"와 "주어진 일 중 더 적은 것을 끝낸다"를 구분할 방법이 없다. 표는 첫 번째 해석을 뒷받침한다. 두 번째 해석을 배제할 수는 없다.

131개 도구의 작업당 비용은?

Hospital-bench는 실행하는 데도 비용이 많이 들고 반복해서 실행하는 데도 비용이 많이 드는 평가이며, 해당 스레드는 비용 수치를 전혀 공개하지 않습니다. 131개의 도구 정의는 에이전트가 단 한 번의 행동을 하기도 전에 이미 큰 시스템 프롬프트입니다. 20개 모델에 걸친 48개의 다단계 작업은 많은 입력 토큰과 많은 턴을 의미합니다. 토큰 가격으로 계산한 작업당 비용은 추정치가 아니라 하한값이 될 것입니다. 에이전트 루프가 스스로 생성하는 검색, 재시도, 실패한 도구 호출을 놓치기 때문입니다.

• 평균 점수 — GPT-6.2 Astra 62.4% 대 Gemini 4 Argon 46.9%

• 전체 통과율 — Astra 29.2% 대 Argon 16.7%

• 100만 개당 입력 가격 — Argon $2.00 vs Astra $8.00

• 1M당 출력 가격 — Argon $10.00 vs Astra $40.00

• 범위 내 도구 — 131개, 보드의 모든 모델에 대해 동일

• 작업당 비용 — 평가자가 공개하지 않음

A generated three-panel comparison card titled 'What the lead costs', with panels reading 'Mean score: Astra 62.4% vs Argon 46.9%', 'Full passes: Astra 14 of 48 vs Argon 8 of 48' and 'Price per 1M: Astra $8 in / $40 out vs Argon $2 in / $10 out', over a footer noting the evaluator publishes no cost per completed task.

두 블록을 서로 대조해 보면 흥미로운 숫자는 15.5점의 평균 격차가 아니다. Argon은 양방향 모두에서 Astra 비용의 4분의 1이 들고, 작업을 깔끔하게 완료하는 수는 절반을 조금 넘는데, 이로 인해 4배의 가격 차이에도 완료된 작업당 비용에서는 두 모델이 서로 2배 이내에 들어온다. 이는 리더보드가 시사하는 것보다 훨씬 박빙이며, 비율이 작업이 조기 종료되는 빈도에 전적으로 달려 있기 때문에 자신의 워크로드에서만 할 수 있는 종류의 계산이다.

이것이 라우팅 계층이 장식이 아니라 제 역할을 해내는 지점입니다. OrcaRouter는 공급자 정가를 0% 마크업으로 그대로 전달합니다. 따라서 위의 $8과 $40은 플랫폼 마진이 덧붙은 벤더 요율이 아니라 백만 토큰당 실제로 지불하는 금액이며, 이 전달이 실시간으로 이루어지기 때문에 두 모델 중 하나의 벤더 가격 인하가 발표되는 당일 청구서에 그대로 반영됩니다. 자동 장애 조치가 여기서는 채팅 워크로드보다 더 중요합니다: 131개 도구를 대상으로 하는 48개 작업의 에이전트 캠페인은 어딘가에서 속도 제한에 부딪히게 마련이며, 실행 중간에 죽는 대신 두 번째 모델로 넘어가는 경로는 평균 점수 1점보다 더 가치가 있습니다.

분명히 말씀드리자면: GPT-6.2 Astra는 11월 20일 기준 당사 카탈로그에 없습니다. 저희가 제공하는 O​penAI 모델은 이 보드에서 46.7%와 8.3%를 기록한 GPT-6 Astra와, GPT-6.2 Sol이 57.6%와 25.0%를 기록하는 GPT-6 Sol 라인입니다. Gemini 4 Argon은 $2 및 $10에 라우팅할 수 있습니다. Astra를 여기에서 사용할 수 있게 될 때까지, 이 표의 최상위에 가장 가까운 당사 카탈로그의 모델은 GPT-6.2 Sol이며, 이전 O​penAI 세대를 능가하는 가장 저렴한 모델은 Argon입니다.

무엇이 이 읽기를 바꿀까요?

네 가지입니다. 대략 전체 그림을 얼마나 크게 바꿀 수 있는지에 따른 순서입니다. 첫째는 방법론 페이지입니다. 과제 집합, 채점 규칙, 실행 로그를 공개하는 벤치마크는 논쟁할 수 있지만, 상위 10개 이미지만 공개하는 벤치마크는 그럴 수 없습니다. 표 위의 단 한 문장이 엄청난 역할을 하고 있으며, 이 글의 모든 주장은 그 문장에 의해 경계가 정해집니다.

두 번째는 빠진 열 개 모델입니다. 스무 개가 평가되었고 열 개가 공개되었으며, 부분 점수가 평균을 부풀리는 영역에서는 맨 아래 모델들이 바로 과제를 보정하는 역할을 합니다. 11위 모델이 평균 45%, 통과율 6%라면 이 보드는 넓게 퍼진 형태입니다. 44%, 2%라면 이 보드는 절벽이며 상위 10개만이 그 작업을 할 수 있습니다.

세 번째는 인간 기준선이다. Hospital-bench는 인간 수치를 공개하지 않으며, 그것이 없으면 구매자가 실제로 가진 유일한 질문, 즉 35.4% 완료율이 좋은 것인지에 대한 답이 없다. 동일한 131개 도구와 48개 과제를 가진 의료 청구 전문가라면 이 표에 척도를 부여했을 것이다. 그러나 그 척도는 없다.

네 번째는 두 번째 실행이다. 모델은 나흘밖에 되지 않았고 평가는 단일 캠페인이며, 긴 도구 체인을 사용하는 에이전트형 벤치마크는 단일 실행 평가보다 실행 간 변동성이 크다 — 이는 1위와 2위 사이의 2.1점 차이가 흡수할 수 없는 바로 그 변동성이다. Astra와 Fable 5.2가 세 번 모두 같은 순서로 나온다면 그 우위는 진짜다. 한 번뿐이라면 그것은 리더보드 항목일 뿐이다.

네 가지 유의점을 모두 감안하고도 살아남는 결론은 그 스레드의 프레이밍보다 좁지만, 일축해 버리기보다는 유용하다. GPT-6.2 Astra는 20개 모델을 대상으로 한 에이전틱 행정 벤치마크에서 공개된 최고 모델이며, 그 격차는 완료율에서는 노이즈 범위 안에 있고 평균 점수에서는 범위 밖에 있다. 세대 간 도약은 설명으로 넘기기 어려운 부분이다 — GPT-6 Astra 대비 평균 점수 15.7점, 클린 완료에서 3.5배 개선이며, 특정 벤더에 유리할 이유가 없는 평가 보드에서 나온 결과다. 이는 도구 기반 행정 업무에 관한 실제 결과로서, 모델이 출시된 지 나흘 뒤 아직 누구도 검증할 수 없는 평가자가 공개한 것이다. 그 문장의 두 반쪽은 같은 호흡에 담겨야 한다.

A generated single-column scoreboard titled 'Hospital-bench, top of the board' with six rows reading 'GPT-6.2 Astra 62.4% mean / 29.2% pass', 'Claude Fable 5.2 60.3% / 29.2%', 'Gemini 4 Neon 59.8% / 31.3%', 'GPT-6.2 Sol 57.6% / 25.0%', 'Claude Opus 5.5 55.6% / 35.4%' and 'Gemini 4 Argon 46.9% / 16.7%', with column headers 'Mean score' and 'Pass rate' and the footer '48 tasks, 20 models evaluated, top 10 published'.

이 글에서 비교한 모델2

이 글에서 자동 인식 · 벤치마크: Artificial Analysis · 매일 업데이트