「GPT-6.2 AstraがHospital-Benchで首位」という見出しのタイトルカードを生成。サブタイトルは「平均スコア62.4%、48タスク中14タスクをクリーンに完了」、3つの根拠チップは「20モデル中トップ」「320床の病院、13システム、131ツール」「Claude Opus 5.5が完全通過率35.4%で首位」で、フッターには、この結果が2026年11月20日にYC支援の評価機関によって公開され、GPT-6.2 Astraが2026年11月17日にリリースされたことが記されている。
Guides & Insights

GPT-6.2 AstraがHospital-Benchで62.4%を記録し首位:48タスク中14タスクがクリーン

著者

jinhao.song

公開日

最新モデル · 20すべてのモデルを見る →
ベンチマーク:Artificial Analysis · 毎日更新
すべての記事に戻る

2026年11月20日にXへ投稿された20モデル評価では、GPT-6.2 AstraがHospital-benchで平均スコア62.4%、完全合格率29.2%——48タスク中14タスクを問題なく完了——で1位となっています。Claude Fable 5.2が60.3%で2位、Gemini 4 Neonが59.8%で3位、Claude Opus 5.5はスコア55.6%で5位ながら、完全合格では35.4%(48件中17件)で全モデル中首位です。Gemini 4 Argonは平均46.9%、合格率16.7%で9位です。数字は以上です。このスレッドが示してくれないのは、それらに意味があるかどうかを左右するもの、つまり評価を実施したスタートアップの名前と、読むことのできる方法論ページです。

その隔たりは何よりも先に名づける価値がある。なぜならそれはリーダーボードとベンチマークの違いだからだ。その投稿はY Combinatorの支援を受けた企業を説明しており、リンク先は自社の添付画像だけである。URL短縮サービスは画像に解決されるのであって、論文やGitHubリポジトリ、結果ページには戻らない。調査できるタスクセットも、読める採点コードも、比較できる人間のベースラインもない。したがって以下はすべて、公開された一つの表とその上に印刷された一文を読んだものであり、そのように引用されるべきだ。

そのどれも、この結果をローンチに変えるものではない。OpenAIは2026年11月17日、スレッドが立つ3日前にGPT-6.2 Astraを出荷しており、これはその後モデルが登場した別の独立系ボードだ。11月20日に新しいのはボード自体である——Hospital-benchはこれまで公に姿を現しておらず、20モデルが参加して上位10位が公開されるというのは、1枚の画像で届くには大きな量のシグナルだ。これが勝利宣言ではなく注意深い読解に値するのは、その上の2つの列が誰の勝利かで食い違っており、その不一致こそがページ上で最も有用なものだからだ。

Hospital-benchが実際に測定しているもの

図中の方法論の行は、たった一文だ。「AIエージェントが、13の接続システムにまたがる320床の病院の管理業務をどれだけうまく遂行できるかを測定する」。スレッドではもう少し詳しく補足されている。エージェントには、これら13のシステムに分散する131のツールと、病院の臨床部門ではなくバックオフィスから抽出された48のタスクが与えられる——事前承認、拒否された請求、記録請求だ。診断も、トリアージも、画像診断もない。測定対象となるのは、病院の運営を支える書類を生み出し、レベニューサイクルで病院が落とす争いを生む業務である。

その領域の選択は、汎用知能に関するどんな主張よりも、ボードの形をよく説明する。病院管理は、推論の問題である前にツール選択の問題だ。事前承認とは、支払者のフォーミュラリ規則に対する照会であり、フォームであり、提出であり、フォローアップであり、異議申し立てであり、それらの各ステップは異なるインターフェースを持つ異なるシステムに存在する。131個の利用可能なツールと48個の多段階タスクがある状況で、エージェントは正しい部分集合を取得し、ターンをまたいでケース状態を正確に保ち、この作業を特徴づける特定の失敗を避けなければならない。つまり、11ステップを正しく行った後に誤ったキューに提出してしまうことだ。そのように構築された評価は、モデルを賢さで分けるよりずっと前に、信頼性で分ける。それがまさに2つの列が示していることだ。

また、これはスコアが他の何ものにも移植可能ではないということも意味する。Hospital-bench をリードするモデルは、ツールに基づく大規模な管理業務ワークフローについて何かを示したのであり、コードを書けるか、法律試験に合格できるか、会話ができるかについては何も示していない。このボードは、手続き規則の下で大規模なツールサーフェスを操作するエージェントについての表明として読むべきだ。それは現実的でありながら十分に扱われていない評価カテゴリーであり、「病院を運営する」よりも狭い。

掲示されたままのボードを、上から下へ。

以下が公開されているトップ10の全体です。最初が平均スコア、次が完全合格率です:

• GPT-6.2 Astra — 平均62.4%、合格率29.2%(48件中14件)

• Claude Fable 5.2 — 平均60.3%、合格率29.2%(48件中14件)

• G​emini 4 Neon — 平均59.8%、合格率31.3%(48件中15件)

• GPT-6.2 Sol — 平均57.6%、合格率25.0%(48件中12件)

• Claude Opus 5.5 — 平均55.6%、合格率35.4%(48件中17件)

• Muse Wonder — 平均53.6%、合格率27.1%(48件中13件)

• GPT-6.1 Sol — 平均 50.0%、合格 12.5%(48 件中 6 件)

• Claude Sonnet 5.5 — 平均47.7%、合格率29.2%(48件中14件)

Gemini 4 Argon — 平均46.9%、合格率16.7%(48件中8件)

• GPT-6 Astra — 平均46.7%、合格率8.3%(48件中4件)

The Hospital-bench leaderboard graphic attached to the 20 November 2026 X thread, headed 'Hospital-bench' with the methodology line 'Measuring how well AI agents run the administrative operations of a 320-bed hospital across 13 connected systems', labelled 'Top 10 of 20 models' with columns 'Mean score' and 'Pass rate'. Rows read GPT-6.2 Astra 62.4% / 29.2%, Claude Fable 5.2 60.3% / 29.2%, Gemini 4 Neon 59.8% / 31.3%, GPT-6.2 Sol 57.6% / 25.0%, Claude Opus 5.5 55.6% / 35.4%, Muse Wonder 53.6% / 27.1%, GPT-6.1 Sol 50.0% / 12.5%, Claude Sonnet 5.5 47.7% / 29.2%, Gemini 4 Argon 46.9% / 16.7% and GPT-6 Astra 46.7% / 8.3%, on an axis running 0% to 100%.

そのリストについて、解釈の前に二つの構造的な事実がある。第一に、この分野は20モデルの厚みがあり、表示されているのは10モデルだけなので、下位半分は見えない——そして合格率が興味深い列となる領域では、すべてに失敗するモデルこそが、下限がどれほど厳しいかを教えてくれる存在だ。第二に、1位から10位までの広がり全体は、平均スコア15.7点にすぎない。48タスクからなり、分散が公開されていないベンチマークでは、それは幅のあるトップではない。中にリーダーを抱えたクラスタなのだ。

世代ごとの順序は、この表の中で最も明確なシグナルであり、偶発的なアーティファクトである可能性が最も低い。GPT-6.2 Astra は 62.4% で、46.7% の GPT-6 Astra を 15.7 ポイント上回り、合格率は 8.3% から 29.2% へと、きれいに完了したタスクが 3.5 倍に増加している。GPT-6.2 Sol は 57.6% で、50.0% の GPT-6.1 Sol を 7.6 ポイント上回り、合格率は 12.5% から 25.0% へ倍増している。ベンチマークが何を測定していても、それは世代間で動いた何かを、O​penAI の両系統において、同じ方向に、丸め誤差をはるかに超える規模で測定している。

なぜ合格率の列がより重要なのか

平均スコアは、部分点を含めた全48タスクの平均です。合格率は、エージェントが完全に完了したタスクの割合です。これらは異なるものの異なる測定指標であり、このボード上での両者の差は極めて大きくなっています。GPT-6.2 Astraは平均62.4%ですが、タスクの29.2%しか完了していません。つまり、平均的なタスクはおよそ3分の2正しく採点されている一方で、完了しているのは3件に1件未満です。これは、ワークフローの大部分を正しく進めながら、あるステップでつまずいてしまうエージェントの特徴です。

ほとんどのベンチマークでは、その区別は学術的なものだ。病院管理では、それが製品そのものだ。正しいコードを付けて誤った支払者キューに提出された事前承認は、部分点では高得点になり、請求拒否を生む。正しい文書一式を揃えながら開示ログへの記入を欠いた記録請求は、コンプライアンス上の指摘となる。この領域のタスクは、最後のステップこそが重要なように作られている。つまり合格率の列は、平均スコアよりも、エージェントにそのワークフローを任せられるかどうかを測る指標に近く、しかもほとんど誰も引用しなかった列なのだ。

これは統計的裏付けが最も乏しい列でもある。48タスクでは分母が小さい。1タスクは合格率の2.08ポイントに相当するため、Claude Fable 5.2とGPT-6.2 Astra——いずれも29.2%、いずれも14タスク——の差はゼロであり、15タスクのG​emini 4 Neonと、14タスクの首位2モデルとの差は1タスクである。3モデルは48タスクのうち1タスクだけで分かれている。上位3モデルは完了率では同点とみなし、平均値でのみ区別する。そこでの差は2.1ポイントと0.5ポイントで、どちらも同じように脆い。

Opus 5.5は、肝心な場面で一番乗りを果たす

Claude Opus 5.5は、この表が浮き彫りにするために作られたモデルだ。平均スコアでは55.6%で5位——首位から6.8ポイント差で、接戦とは言えない——一方、完全通過では35.4%、48件中17件で1位となり、次のモデルに3タスク差をつけている。ボード上でこれほど順位が逆転するモデルはほかにない。Claude Sonnet 5.5はそれを緩やかに行い、スコアでは8位、通過数では3位タイ。Gemini 4 Argonは逆で、スコア9位、通過数9位と、少なくとも一貫している。

3タスクという差は大きな余裕ではないし、率直にそう言うべきだろう。48回中17対14というのは、曖昧なタスク1つで消えかねない差であり、信頼区間も公表されていない。しかしその方向性は、ボード上の2つのAnthropicモデルで一貫しており、実際のトレードオフを示している。Opus 5.5は、完了状態に到達するためにタスクあたりより多くのターンとツール呼び出しを費やしているように見え、それが完了率を押し上げ、平均を頭打ちにしている。Astraはより少ないクリーンな完了でより高い平均に達している。半端に完了したクレームが遅いクレームより悪いようなワークフロー向けにエージェントを買うなら、5位のモデルのほうが良い買い物であり、平均スコアのランキングをどう並べてもそのことは教えてくれない。

もうひとつ、ベンチマークにとってあまり好ましくない解釈がある。モデルは、失敗しそうなタスクを試みずに回避したり、採点者が完了とみなす部分的な回答で早期に打ち切ったりすることで、合格率を上げることができる。スレッドが公開していないタスク単位の出力がなければ、「始めたもののより多くを完了している」のか「与えられたもののより少なくしか完了していない」のかを区別する方法はない。表は最初の解釈を支持している。第2の解釈を排除することはできない。

131個のツールはタスクあたりいくらかかりますか

Hospital-bench は実行するのにコストがかかり、繰り返し実行するとなおさらコストがかかる評価であり、そのスレッドではコストの数値が一切公表されていません。131 個のツール定義は、エージェントが一度の行動を起こす前の時点で大きなシステムプロンプトになります。20 モデルにわたる 48 個のマルチステップタスクは、大量の入力トークンと多数のターンを意味します。トークン単価から算出するタスクあたりのコストは、見積もりではなく下限値になります。なぜなら、エージェント型ループが自ら生成する検索、リトライ、失敗したツール呼び出しがそこに含まれないからです。

• 平均スコア — GPT-6.2 Astra 62.4% 対 Gemini 4 Argon 46.9%

• 完全合格率 — Astra 29.2% 対 Argon 16.7%

• 100万トークンあたりの入力料金 — Argon $2.00 対 Astra $8.00

• 出力価格 100万あたり — Argon $10.00 対 Astra $40.00

• 対象となるツール — 131、ボード上のすべてのモデルで同一

• タスクあたりのコスト — 評価者によって公開されていません

A generated three-panel comparison card titled 'What the lead costs', with panels reading 'Mean score: Astra 62.4% vs Argon 46.9%', 'Full passes: Astra 14 of 48 vs Argon 8 of 48' and 'Price per 1M: Astra $8 in / $40 out vs Argon $2 in / $10 out', over a footer noting the evaluator publishes no cost per completed task.

その2つのブロックを突き合わせて読むと、興味深い数字は15.5ポイントの平均差ではない。Argonは入力・出力の両方でAstraの4分の1のコストで済み、きれいに完了するタスク数は半分強であるにもかかわらず、4倍の価格差があるのに完了タスクあたりのコストでは両モデルが2倍以内に収まる、という点だ。これはリーダーボードが示唆するよりはるかに僅差の勝負であり、自分のワークロードでしかできない種類の計算だ。なぜなら、その比率はタスクが途中で終了する頻度に完全に左右されるからだ。

ここでこそ、ルーティング層は飾りではなく、その存在意義を発揮します。OrcaRouterはプロバイダーの定価を0%のマークアップでそのまま通すため、上記の$8と$40は、プラットフォームのマージンが上乗せされたベンダー料金ではなく、100万トークンあたりに実際に支払う金額です — しかもこのパススルーはリアルタイムなので、どちらかのモデルでベンダーが値下げを行えば、発表当日に請求書へ反映されます。自動フェイルオーバーは、チャットのワークロード以上にここで重要です。131のツールに対して48タスクのエージェント型キャンペーンを実行すれば、どこかでレート制限に当たります。実行途中で停止するのではなく2番目のモデルへ切り替わるルートは、平均スコア1ポイントよりも価値があります。

はっきり言っておきます:GPT-6.2 Astraは11月20日時点で当社のカタログにはありません。当社が提供するO​penAIモデルは、このボードで46.7%と8.3%を記録するGPT-6 Astraと、GPT-6.2 Solが57.6%と25.0%を記録するGPT-6 Sol系です。Gemini 4 Argonは$2と$10でルーティング可能です。ここでAstraが利用可能になるまで、当社のカタログの中でこの表の最上位に最も近いモデルはGPT-6.2 Solであり、前世代のO​penAIを上回る中で最も安価なモデルはArgonです。

何がこの読みを変えるだろうか

全体像を大きく変える順に、おおよそ四つあります。一つ目は方法論のページです。タスクセット、採点ルール、実行ログを公開するベンチマークは議論の対象にできますが、トップ10の画像だけを公開するベンチマークはそうできません。表の上にあるたった一文が非常に大きな役割を果たしており、この記事のすべての主張はその一文によって制約されています。

2つ目は、表示されていない10モデルだ。20モデルが評価され、10モデルだけが示された。部分点が平均を押し上げる領域では、下位のモデルこそがタスクを校正する。11位のモデルが平均45%、合格率6%なら、リーダーボードは広く分布している。平均44%、合格率2%なら、リーダーボードは崖であり、上位10モデルだけがそもそもこの作業をこなせるモデルだ。

第三は人間のベースラインだ。Hospital-benchは人間の数値を公表しておらず、それがなければ、購入者が実際に持つ唯一の問い、つまり35.4%の完了率が良いのかどうかに対する答えはない。同じ131のツールと48のタスクを備えた医療請求の専門家なら、この表に尺度を与えるだろう。この表にはそれが欠けている。

第四の点は、これが2回目の実行だということだ。モデルは公開からまだ4日で、評価は単一のキャンペーンにすぎず、長いツールチェーンを伴うエージェント型ベンチマークは単発評価よりも実行ごとの分散が大きい——そしてそれはまさに、1位と2位の2.1ポイント差では吸収できない分散だ。AstraとFable 5.2が3回とも同じ順序で並べば、そのリードは本物だ。1回だけなら、それはリーダーボード上の1項目にすぎない。

四つの留保をすべて生き延びるものは、スレッドの枠組みより狭く、切り捨てより有用だ。GPT-6.2 Astraは、20モデルのエージェント型管理ベンチマークで公開された最良モデルであり、その差は完了率ではノイズの内側、平均では外側にある。世代間の跳躍こそ説明しにくい部分だ——GPT-6 Astraと比べて平均スコア15.7ポイント、クリーンな完了で3.5倍の改善を、特定ベンダーを優遇する理由のないボード上で示している。これはツールに基づく管理業務についての実結果であり、まだ誰も検証できない評価者によって、モデル出荷から四日後に公表された。その文の両半分は、同じ息で語られるべきものだ。

A generated single-column scoreboard titled 'Hospital-bench, top of the board' with six rows reading 'GPT-6.2 Astra 62.4% mean / 29.2% pass', 'Claude Fable 5.2 60.3% / 29.2%', 'Gemini 4 Neon 59.8% / 31.3%', 'GPT-6.2 Sol 57.6% / 25.0%', 'Claude Opus 5.5 55.6% / 35.4%' and 'Gemini 4 Argon 46.9% / 16.7%', with column headers 'Mean score' and 'Pass rate' and the footer '48 tasks, 20 models evaluated, top 10 published'.

この記事で比較したモデル1

この記事から検出 · ベンチマーク:Artificial Analysis · 毎日更新