
GPT-6.2 Astra Memuncaki Hospital-Bench dengan 62,4%: 14 dari 48 Tugas Bersih
- OrcaBARUOrcaCyber: Hy4 Flash Abliterated / Uncensored2026-11-18$0.07 / $0.28 per 1 juta token · 184 tok/s
- tencentBARUTencent: Hy4 Flash2026-11-16$0.02 / $0.07 per 1 juta token · 675 tok/s
- AlibabaBARUQwen: Qwen4 Max2026-11-16$1.50 / $4.50 per 1 juta token · 385 tok/s
- GoogleBARUGoogle: Gemini 4 Carbon2026-11-10$2.00 / $10.00 per 1 juta token · 87 tok/s
- AnthropicBARUAnthropic: Claude Fable 5.22026-11-09$8.00 / $40.00 per 1 juta token · 150 tok/s
- OrcaOrcaCyber: GLM 5.3 Abliterated / Uncensored2026-11-04$3.00 / $5.00 per 1 juta token · 99 tok/s
- OrcaOrcaCyber: Hy4 Abliterated / Uncensored2026-11-04$0.80 / $1.60 per 1 juta token · 134 tok/s
- OrcaOrcaCyber: Kimi K3.1 Pro Abliterated / Uncensored2026-11-04$2.00 / $5.00 per 1 juta token · 84 tok/s
- tencentTencent: Hy42026-11-04$0.83 / $2.50 per 1 juta token · 121 tok/s
- OrcaOrcaCyber: MiniMax M3.1 Flash Abliterated / Uncensored2026-10-29$0.80 / $1.60 per 1 juta token · 107 tok/s
- OrcaOrcaCyber: GLM 5.3 Flash Abliterated / Uncensored2026-10-27$0.80 / $1.60 per 1 juta token · 67 tok/s
- OrcaOrcaCyber: Qwen3.8 Flash Next Abliterated / Uncensored2026-10-26$0.80 / $1.60 per 1 juta token · 91 tok/s
- OrcaOrcaCyber: MiMo V2.6 Flash Abliterated / Uncensored2026-10-26$0.80 / $1.60 per 1 juta token · 41 tok/s
- MoonshotMoonshotAI: Kimi K3.1 Pro2026-10-2447Kecerdasan
- OrcaOrcaCyber: DeepSeek V4.1 Flash Abliterated / Uncensored2026-10-23$0.80 / $1.60 per 1 juta token · 213 tok/s
- minimaxMiniMax: M3.1 Flash2026-10-1929Kecerdasan
- OrcaOrca: OrcaCyber Ultra 1.02026-10-17$5.00 / $10.00 per 1 juta token · 111 tok/s
- deepseekDeepSeek: DeepSeek V4.1 Flash 10172026-10-1733Kecerdasan
- DeepSeekDeepSeek: DeepSeek V4.1 Flash 09102026-10-17$0.15 / $0.60 per 1 juta token · 160 tok/s
- DeepSeekDeepSeek: DeepSeek V4.1 Flash2026-10-1740Kecerdasan
Evaluasi dua puluh model yang diposting ke X pada 20 November 2026 menempatkan GPT-6.2 Astra di posisi pertama Hospital-bench dengan skor rata-rata 62,4% dan tingkat lolos penuh 29,2% — empat belas dari empat puluh delapan tugas diselesaikan dengan bersih. Claude Fable 5.2 berada di posisi kedua pada 60,3%, Gemini 4 Neon ketiga pada 59,8%, dan Claude Opus 5.5 kelima dalam hal skor pada 55,6% sekaligus memimpin seluruh peserta dalam lolos penuh pada 35,4%, yakni tujuh belas dari empat puluh delapan. Gemini 4 Argon finis kesembilan dengan rata-rata 46,9% dan tingkat lolos 16,7%. Itulah angkanya. Yang tidak diberikan thread kepada Anda adalah hal yang menentukan apakah angka-angka itu berarti apa pun: nama startup yang menjalankan evaluasi, dan halaman metodologi yang dapat Anda baca.
Celah itu layak disebutkan sejak awal, karena inilah perbedaan antara papan peringkat dan tolok ukur. Tulisan tersebut menggambarkan perusahaan yang didukung Y Combinator dan hanya menautkan grafis terlampir miliknya sendiri; pemendek tautan mengarah kembali ke gambar itu, bukan ke makalah, repositori GitHub, atau halaman hasil. Tidak ada kumpulan tugas untuk diperiksa, tidak ada kode penilaian untuk dibaca, tidak ada baseline manusia untuk dibandingkan. Karena itu, semua yang berikut ini adalah pembacaan atas satu tabel yang diterbitkan dan kalimat yang tercetak di atasnya, dan seharusnya dikutip seperti itu.
Tidak satu pun dari itu menjadikan hasilnya sebuah peluncuran. OpenAI merilis GPT-6.2 Astra pada 17 November 2026, tiga hari sebelum thread itu diunggah, dan ini adalah papan independen lain tempat model tersebut muncul sejak saat itu. Yang baru pada 20 November adalah papan itu sendiri — Hospital-bench belum pernah muncul secara publik sebelumnya, dan bidang berisi dua puluh model dengan sepuluh besar yang dipublikasikan adalah sejumlah besar sinyal yang datang dalam satu gambar. Alasan papan itu layak dibaca dengan cermat alih-alih sekadar menjadi putaran kemenangan adalah bahwa dua kolom di dalamnya berbeda pendapat tentang siapa yang menang, dan ketidaksepakatan itu adalah hal paling berguna di halaman tersebut.
Apa yang sebenarnya diukur oleh Hospital-bench
Baris metodologi dalam grafik itu adalah satu kalimat: “Mengukur seberapa baik agen AI menjalankan operasi administratif sebuah rumah sakit berkapasitas 320 tempat tidur di 13 sistem yang terhubung.” Utas itu memberikan penjelasan sedikit lebih banyak. Agen diberi 131 alat yang tersebar di ketiga belas sistem tersebut dan empat puluh delapan tugas yang diambil dari bagian administrasi belakang rumah sakit, bukan dari sisi klinisnya — persetujuan sebelumnya, klaim yang ditolak, permintaan rekam medis. Tidak ada diagnosis, tidak ada triase, tidak ada pencitraan. Pekerjaan yang diukur adalah pekerjaan yang menghasilkan dokumen administratif yang menjadi landasan operasional rumah sakit dan pertarungan siklus pendapatan yang kalah dijalankannya.
Pilihan domain itu lebih menjelaskan bentuk papan peringkat daripada klaim apa pun tentang kecerdasan umum. Administrasi rumah sakit adalah masalah pemilihan alat sebelum menjadi masalah penalaran. Otorisasi sebelumnya adalah pencarian terhadap aturan formularium pihak pembayar, formulir, pengiriman, tindak lanjut, dan banding, dan setiap langkah tersebut berada dalam sistem berbeda dengan antarmuka berbeda. Dengan 131 alat yang tersedia dan empat puluh delapan tugas bertahap, agen harus mengambil subset yang tepat, menjaga status kasus tetap konsisten antar giliran, dan menghindari kegagalan spesifik yang mendefinisikan pekerjaan ini: melakukan sebelas langkah dengan benar lalu mengirimkan ke antrean yang salah. Evaluasi yang dibangun seperti itu akan memisahkan model berdasarkan keandalan jauh sebelum memisahkannya berdasarkan kepintaran, yang persis seperti yang ditunjukkan kedua kolom.
Ini juga berarti skornya tidak dapat dialihkan ke hal lain. Model yang memimpin Hospital-bench telah menunjukkan sesuatu tentang alur kerja administratif berbasis alat dalam skala besar, dan tidak menunjukkan apa pun tentang apakah model itu dapat menulis kode, lulus ujian hukum, atau mengobrol. Bacalah papan itu sebagai pernyataan tentang agen yang mengoperasikan permukaan alat yang luas di bawah aturan prosedural. Itu adalah kategori evaluasi yang nyata dan kurang terlayani, dan cakupannya lebih sempit daripada "menjalankan rumah sakit."
Papan sebagaimana dipasang, dari atas ke bawah
Berikut adalah daftar sepuluh besar lengkap yang dipublikasikan, skor rata-rata lebih dulu dan tingkat kelulusan penuh kedua:
• GPT-6.2 Astra — rata-rata 62,4%, kelulusan 29,2% (14 dari 48)
• Claude Fable 5.2 — 60,3% rata-rata, 29,2% lulus (14 dari 48)
• Gemini 4 Neon — rata-rata 59,8%, kelulusan 31,3% (15 dari 48)
• GPT-6.2 Sol — rata-rata 57,6%, tingkat kelulusan 25,0% (12 dari 48)
• Claude Opus 5.5 — rata-rata 55,6%, lulus 35,4% (17 dari 48)
• Muse Wonder — rata-rata 53,6%, 27,1% lulus (13 dari 48)
• GPT-6.1 Sol — rata-rata 50,0%, kelulusan 12,5% (6 dari 48)
• Claude Sonnet 5.5 — rata-rata 47,7%, kelulusan 29,2% (14 dari 48)
• Gemini 4 Argon — rata-rata 46,9%, lulus 16,7% (8 dari 48)
• GPT-6 Astra — rata-rata 46,7%, tingkat kelulusan 8,3% (4 dari 48)

Dua fakta struktural tentang daftar itu sebelum interpretasi apa pun. Pertama, bidang ini berisi dua puluh model dan hanya sepuluh yang ditampilkan, jadi separuh bawah tidak terlihat — dan dalam domain di mana tingkat kelulusan adalah kolom yang menarik, model-model yang gagal dalam segala hal justru adalah model yang dapat memberi tahu Anda seberapa sulit batas bawahnya. Kedua, seluruh rentang dari peringkat pertama hingga kesepuluh adalah 15,7 poin skor rata-rata. Pada benchmark dengan empat puluh delapan tugas dan tanpa varians yang dipublikasikan, itu bukan puncak yang lebar. Itu adalah klaster yang di dalamnya ada seorang pemimpin.
Urutan generasi adalah sinyal paling bersih dalam tabel dan yang paling kecil kemungkinannya merupakan artefak. GPT-6.2 Astra pada 62,4% berada 15,7 poin di atas GPT-6 Astra pada 46,7%, dan tingkat kelulusannya naik dari 8,3% menjadi 29,2% — lonjakan 3,5x dalam tugas yang diselesaikan dengan bersih. GPT-6.2 Sol pada 57,6% berada 7,6 poin di atas GPT-6.1 Sol pada 50,0%, dengan tingkat kelulusannya berlipat ganda dari 12,5% menjadi 25,0%. Apa pun yang diukur oleh benchmark ini, ia mengukur sesuatu yang bergerak antar generasi, di kedua lini OpenAI, ke arah yang sama, dengan besaran yang jauh di luar kesalahan pembulatan.
Mengapa kolom tingkat kelulusan lebih penting
Skor rata-rata adalah rata-rata di seluruh empat puluh delapan tugas dengan kredit parsial. Tingkat kelulusan adalah proporsi tugas yang diselesaikan sepenuhnya oleh agen. Keduanya merupakan pengukuran berbeda untuk hal yang berbeda, dan kesenjangan di antara keduanya pada papan ini sangat besar: GPT-6.2 Astra rata-rata 62,4% tetapi menyelesaikan 29,2% tugas, yang berarti tugas rata-rata dinilai sekitar dua pertiga benar sementara kurang dari satu dari tiga tugas diselesaikan. Itu adalah ciri khas agen yang menyelesaikan sebagian besar alur kerja dengan benar lalu kehilangannya pada suatu langkah.
Dalam sebagian besar benchmark, perbedaannya bersifat akademis. Dalam administrasi rumah sakit, perbedaan itu adalah inti dari seluruh produk. Otorisasi sebelumnya yang diajukan dengan kode yang benar ke antrean pembayar yang salah mendapat nilai baik dalam kredit parsial dan menghasilkan klaim yang ditolak. Permintaan rekam medis yang menyusun kumpulan dokumen yang benar tetapi melewatkan entri log pengungkapan merupakan temuan kepatuhan. Tugas-tugas di domain ini dirancang sedemikian rupa sehingga langkah terakhirlah yang penting, yang berarti kolom tingkat kelulusan lebih mendekati ukuran apakah agen dapat dipercaya untuk menangani alur kerja daripada skor rata-rata, dan itulah kolom yang hampir tidak ada yang mengutip.
Ini juga merupakan kolom dengan dukungan statistik paling sedikit. Empat puluh delapan tugas adalah penyebut yang kecil. Satu tugas sama dengan 2,08 poin persentase tingkat kelulusan, sehingga selisih antara Claude Fable 5.2 dan GPT-6.2 Astra — keduanya pada 29,2%, keduanya pada empat belas tugas — adalah nol, dan selisih antara Gemini 4 Neon pada lima belas tugas dan dua teratas pada empat belas tugas adalah satu tugas. Tiga model dipisahkan oleh satu tugas dari empat puluh delapan. Anggaplah tiga teratas imbang dalam penyelesaian dan hanya terpisah pada rata-rata, dengan selisih 2,1 dan 0,5 poin dan sama rapuhnya.
Opus 5.5 finis terdepan di momen yang paling menentukan
Claude Opus 5.5 adalah model yang hendak diperlihatkan oleh tabel ini. Model ini berada di peringkat kelima berdasarkan skor rata-rata sebesar 55,6% — tertinggal 6,8 poin dari pemimpin, yang selisihnya tidak dekat — dan peringkat pertama dalam kelulusan penuh sebesar 35,4%, tujuh belas dari empat puluh delapan, unggul tiga tugas dari model berikutnya. Tidak ada model lain di papan yang membalik peringkatnya seperti itu. Claude Sonnet 5.5 melakukannya secara ringan, peringkat kedelapan berdasarkan skor dan berbagi posisi ketiga dalam kelulusan. Gemini 4 Argon sebaliknya, peringkat kesembilan berdasarkan skor dan kesembilan dalam kelulusan, yang setidaknya konsisten.
Selisih tiga tugas bukanlah margin yang besar, dan layak dikatakan secara terus terang: tujuh belas berbanding empat belas dari empat puluh delapan adalah perbedaan yang dapat dihapus oleh satu tugas ambigu saja, dan tidak ada interval kepercayaan yang dipublikasikan. Namun arahnya konsisten di antara dua model Anthropic di papan peringkat, dan itu menunjukkan trade-off yang nyata. Opus 5.5 tampaknya menghabiskan lebih banyak giliran dan lebih banyak panggilan alat per tugas untuk mencapai status selesai, yang menaikkan tingkat penyelesaiannya dan membatasi rata-ratanya. Astra mencapai rata-rata lebih tinggi dengan lebih sedikit penyelesaian bersih. Jika Anda membeli agen untuk alur kerja di mana klaim yang setengah selesai lebih buruk daripada yang lambat, model peringkat kelima adalah pembelian yang lebih baik, dan sebanyak apa pun peringkat skor rata-rata tidak akan memberi tahu Anda hal itu.
Ada pembacaan kedua yang kurang menyanjung bagi benchmark. Sebuah model dapat menaikkan tingkat kelulusannya dengan menolak mencoba tugas yang kemungkinan besar akan gagal, atau dengan berhenti lebih awal dengan jawaban parsial yang dianggap lengkap oleh penilai. Tanpa keluaran tingkat tugas — yang tidak dipublikasikan oleh thread — tidak ada cara untuk membedakan "menyelesaikan lebih banyak dari yang dimulainya" dari "menyelesaikan lebih sedikit dari yang diberikan kepadanya." Tabel mendukung pembacaan pertama. Tabel tidak dapat menyingkirkan kemungkinan pembacaan kedua.
Berapa biaya 131 alat per tugas
Hospital-bench adalah evaluasi yang mahal untuk dijalankan dan mahal untuk dijalankan berulang kali, dan utas tersebut tidak menerbitkan angka biaya sama sekali. Seratus tiga puluh satu definisi alat adalah prompt sistem yang besar sebelum agen mengambil satu tindakan pun; empat puluh delapan tugas multi-langkah di dua puluh model adalah banyak token masukan dan banyak giliran. Biaya per tugas yang Anda hitung dari harga token akan menjadi batas bawah, bukan perkiraan, karena itu akan melewatkan pengambilan, percobaan ulang, dan panggilan alat yang gagal yang dihasilkan loop agentik dengan sendirinya.
• Skor rata-rata — GPT-6.2 Astra 62,4% vs Gemini 4 Argon 46,9%
• Tingkat kelulusan penuh — Astra 29,2% vs Argon 16,7%
• Harga input per 1 juta — Argon $2,00 vs Astra $8,00
• Harga keluaran per 1 juta — Argon $10.00 vs Astra $40.00
• Alat dalam cakupan — 131, sama untuk setiap model di papan peringkat
Biaya per tugas — tidak dipublikasikan oleh evaluator

Bacalah kedua blok itu secara berdampingan, dan angka yang menarik bukanlah selisih rata-rata 15,5 poin. Yang menarik adalah bahwa Argon berbiaya seperempat Astra di kedua arah dan menyelesaikan sedikit lebih dari setengah jumlah tugas secara bersih, sehingga menempatkan kedua model dalam rentang faktor dua satu sama lain pada biaya per tugas yang diselesaikan meskipun ada perbedaan harga 4x. Itu adalah perbandingan yang jauh lebih ketat daripada yang ditunjukkan papan peringkat, dan itulah jenis perhitungan yang hanya bisa Anda lakukan pada beban kerja Anda sendiri, karena rasionya sepenuhnya bergantung pada seberapa sering tugas Anda berakhir lebih awal.
Di sinilah lapisan perutean membuktikan kegunaannya, bukan sekadar hiasan. OrcaRouter meneruskan harga daftar penyedia dengan markup 0%, jadi $8 dan $40 di atas adalah yang Anda bayar per juta token, bukan tarif vendor dengan margin platform yang ditambahkan di atasnya — dan karena penerusan harganya berlaku langsung, penurunan harga vendor pada salah satu model muncul di tagihan Anda pada hari yang sama saat diumumkan. Failover otomatis lebih penting di sini daripada pada beban kerja chat: kampanye agentic dengan empat puluh delapan tugas terhadap 131 alat akan terkena batas laju di suatu titik, dan rute yang beralih ke model kedua alih-alih mati di tengah proses bernilai lebih dari satu poin skor rata-rata.
Perlu dikatakan dengan gamblang: GPT-6.2 Astra tidak ada di katalog kami per 20 November. Model OpenAI yang kami sediakan adalah GPT-6 Astra, yang mencetak 46,7% dan 8,3% pada papan ini, serta lini GPT-6 Sol, tempat GPT-6.2 Sol mencatat 57,6% dan 25,0%. Gemini 4 Argon dapat dirutekan dengan $2 dan $10. Sampai Astra tersedia di sini, model di katalog kami yang paling dekat dengan puncak tabel ini adalah GPT-6.2 Sol, dan model termurah yang mengalahkan generasi OpenAI sebelumnya adalah Argon.
Apa yang akan mengubah pembacaan ini?
Empat hal, kira-kira dalam urutan seberapa besar dampaknya terhadap gambaran keseluruhan. Yang pertama adalah halaman metodologi. Benchmark yang mempublikasikan kumpulan tugasnya, aturan penilaiannya, dan log eksekusinya dapat diperdebatkan; yang hanya mempublikasikan gambar sepuluh teratas tidak bisa. Satu kalimat di atas tabel itu memikul beban yang sangat besar, dan setiap klaim dalam artikel ini dibatasi olehnya.
Yang kedua adalah sepuluh model yang hilang. Dua puluh model dievaluasi dan sepuluh ditampilkan, dan dalam domain di mana kredit sebagian membuat rata-rata tampak lebih tinggi, model-model di peringkat bawahlah yang mengkalibrasi tugas tersebut. Jika model peringkat kesebelas berada pada rata-rata 45% dan tingkat kelulusan 6%, papan skornya tersebar. Jika model itu berada pada 44% dan 2%, papan skornya seperti jurang, dan sepuluh model teratas adalah satu-satunya model yang sama sekali mampu mengerjakan tugas itu.
Yang ketiga adalah baseline manusia. Hospital-bench tidak menerbitkan angka manusia, dan tanpa angka itu tidak ada jawaban untuk satu-satunya pertanyaan yang benar-benar dimiliki seorang pembeli, yaitu apakah tingkat penyelesaian 35,4% itu bagus. Seorang spesialis penagihan medis dengan 131 alat dan empat puluh delapan tugas yang sama akan memberi tabel itu sebuah skala. Tabel itu tidak memilikinya.
Yang keempat adalah putaran kedua. Model ini baru berusia empat hari dan evaluasinya hanya satu kampanye, dan benchmark agentik dengan rantai alat yang panjang memiliki varians antaputaran lebih besar daripada evaluasi sekali jalan — dan itulah tepatnya varians yang tidak dapat diserap oleh selisih 2,1 poin antara peringkat pertama dan kedua. Jika Astra dan Fable 5.2 berada dalam urutan yang sama tiga kali, keunggulannya nyata. Sekali saja, itu hanya entri papan peringkat.
Yang bertahan dari keempat keberatan itu lebih sempit daripada pembingkaian utas dan lebih berguna daripada sekadar penolakan. GPT-6.2 Astra adalah model terbaik yang dipublikasikan pada tolok ukur administrasi agentik dua puluh model, dengan selisih yang berada di dalam derau untuk penyelesaian dan di luarnya untuk rata-rata. Lompatan antargenerasi adalah bagian yang sulit dijelaskan begitu saja — 15,7 poin skor rata-rata dan peningkatan 3,5x dalam penyelesaian bersih dibandingkan GPT-6 Astra, pada papan yang tidak punya alasan untuk memihak satu vendor. Itu adalah hasil nyata tentang pekerjaan administratif berbasis alat, yang dipublikasikan oleh evaluator yang belum dapat diperiksa siapa pun, empat hari setelah model dirilis. Kedua belahan kalimat itu semestinya diucapkan dalam satu tarikan napas.

Dibandingkan dalam artikel ini1
Terdeteksi dari artikel ini · Benchmark: Artificial Analysis · diperbarui setiap hari
