
GPT-6.2 Astra ครองอันดับหนึ่ง Hospital-Bench ที่ 62.4%: ผ่าน 14 จาก 48 งานแบบสมบูรณ์
- Orcaใหม่OrcaCyber: Hy4 Flash Abliterated / Uncensored2026-11-18$0.07 / $0.28 ต่อ 1 ล้านโทเค็น · 184 tok/s
- tencentใหม่Tencent: Hy4 Flash2026-11-16$0.02 / $0.07 ต่อ 1 ล้านโทเค็น · 675 tok/s
- Alibabaใหม่Qwen: Qwen4 Max2026-11-16$1.50 / $4.50 ต่อ 1 ล้านโทเค็น · 385 tok/s
- Googleใหม่Google: Gemini 4 Carbon2026-11-10$2.00 / $10.00 ต่อ 1 ล้านโทเค็น · 87 tok/s
- Anthropicใหม่Anthropic: Claude Fable 5.22026-11-09$8.00 / $40.00 ต่อ 1 ล้านโทเค็น · 150 tok/s
- OrcaOrcaCyber: GLM 5.3 Abliterated / Uncensored2026-11-04$3.00 / $5.00 ต่อ 1 ล้านโทเค็น · 99 tok/s
- OrcaOrcaCyber: Hy4 Abliterated / Uncensored2026-11-04$0.80 / $1.60 ต่อ 1 ล้านโทเค็น · 134 tok/s
- OrcaOrcaCyber: Kimi K3.1 Pro Abliterated / Uncensored2026-11-04$2.00 / $5.00 ต่อ 1 ล้านโทเค็น · 84 tok/s
- tencentTencent: Hy42026-11-04$0.83 / $2.50 ต่อ 1 ล้านโทเค็น · 121 tok/s
- OrcaOrcaCyber: MiniMax M3.1 Flash Abliterated / Uncensored2026-10-29$0.80 / $1.60 ต่อ 1 ล้านโทเค็น · 107 tok/s
- OrcaOrcaCyber: GLM 5.3 Flash Abliterated / Uncensored2026-10-27$0.80 / $1.60 ต่อ 1 ล้านโทเค็น · 67 tok/s
- OrcaOrcaCyber: Qwen3.8 Flash Next Abliterated / Uncensored2026-10-26$0.80 / $1.60 ต่อ 1 ล้านโทเค็น · 91 tok/s
- OrcaOrcaCyber: MiMo V2.6 Flash Abliterated / Uncensored2026-10-26$0.80 / $1.60 ต่อ 1 ล้านโทเค็น · 41 tok/s
- MoonshotMoonshotAI: Kimi K3.1 Pro2026-10-2447ความฉลาด
- OrcaOrcaCyber: DeepSeek V4.1 Flash Abliterated / Uncensored2026-10-23$0.80 / $1.60 ต่อ 1 ล้านโทเค็น · 213 tok/s
- minimaxMiniMax: M3.1 Flash2026-10-1929ความฉลาด
- OrcaOrca: OrcaCyber Ultra 1.02026-10-17$5.00 / $10.00 ต่อ 1 ล้านโทเค็น · 111 tok/s
- deepseekDeepSeek: DeepSeek V4.1 Flash 10172026-10-1733ความฉลาด
- DeepSeekDeepSeek: DeepSeek V4.1 Flash 09102026-10-17$0.15 / $0.60 ต่อ 1 ล้านโทเค็น · 160 tok/s
- DeepSeekDeepSeek: DeepSeek V4.1 Flash2026-10-1740ความฉลาด
การประเมิน 20 โมเดลที่โพสต์บน X เมื่อวันที่ 20 พฤศจิกายน 2026 จัดให้ GPT-6.2 Astra อยู่อันดับหนึ่งบน Hospital-bench ด้วยคะแนนเฉลี่ย 62.4% และอัตราการผ่านแบบสมบูรณ์ 29.2% — โดยทำ 14 จาก 48 งานสำเร็จอย่างเรียบร้อย Claude Fable 5.2 อยู่อันดับสองที่ 60.3% Gemini 4 Neon อันดับสามที่ 59.8% และ Claude Opus 5.5 อยู่อันดับห้าด้านคะแนนที่ 55.6% แต่เป็นผู้นำในกลุ่มทั้งหมดด้านการผ่านแบบสมบูรณ์ที่ 35.4% ซึ่งคิดเป็น 17 จาก 48 Gemini 4 Argon จบอันดับเก้าที่คะแนนเฉลี่ย 46.9% และอัตราการผ่าน 16.7% นั่นคือตัวเลขที่มี สิ่งที่เธรดนี้ไม่ได้มอบให้คุณคือสิ่งที่ตัดสินว่าตัวเลขเหล่านั้นมีความหมายหรือไม่ นั่นคือชื่อสตาร์ตอัปที่ดำเนินการประเมิน และหน้าวิธีวิทยาที่คุณสามารถอ่านได้
ช่องว่างนั้นควรค่าแก่การเรียกชื่อก่อนสิ่งอื่นใด เพราะมันคือความแตกต่างระหว่างกระดานผู้นำกับเบนช์มาร์ก โพสต์ดังกล่าวอธิบายบริษัทที่ได้รับการสนับสนุนจาก Y Combinator และลิงก์ไปยังเฉพาะกราฟิกที่แนบมากับโพสต์ของบริษัทเองเท่านั้น บริการย่อลิงก์ชี้กลับไปที่ภาพ ไม่ใช่ไปที่บทความ รีโพซิทอรี GitHub หรือหน้าผลลัพธ์ ไม่มีชุดงานให้ตรวจสอบ ไม่มีโค้ดให้คะแนนให้อ่าน ไม่มีเส้นฐานจากมนุษย์ให้เปรียบเทียบ ทุกสิ่งด้านล่างจึงเป็นการอ่านตารางที่เผยแพร่หนึ่งตารางและประโยคที่พิมพ์อยู่เหนือตารางนั้น และควรอ้างอิงในลักษณะนั้น
ไม่มีสิ่งใดในนั้นทำให้ผลลัพธ์กลายเป็นการเปิดตัว OpenAI ได้ส่ง GPT-6.2 Astra เมื่อวันที่ 17 พฤศจิกายน 2026 สามวันก่อนที่กระทู้จะถูกโพสต์ขึ้น และนี่คือบอร์ดอิสระอีกแห่งที่โมเดลนี้ได้ปรากฏตัวขึ้นนับตั้งแต่นั้น สิ่งใหม่ในวันที่ 20 พฤศจิกายนคือตัวบอร์ดเอง — Hospital-bench ไม่เคยปรากฏต่อสาธารณะมาก่อน และสนามที่มีโมเดลยี่สิบตัวพร้อมสิบอันดับแรกที่เผยแพร่ถือเป็นสัญญาณจำนวนมากที่มาถึงในภาพเดียว เหตุผลที่มันสมควรได้รับการอ่านอย่างพินิจมากกว่าการฉลองชัยคือสองคอลัมน์บนบอร์ดขัดแย้งกันว่าใครชนะ และความขัดแย้งนั้นคือสิ่งที่มีประโยชน์ที่สุดบนหน้านี้
Hospital-bench วัดอะไรได้จริง
บรรทัดระเบียบวิธีในกราฟิกเป็นประโยคเดียวว่า "การวัดว่าเอเจนต์ AI ดำเนินงานด้านธุรการของโรงพยาบาลขนาด 320 เตียงได้ดีเพียงใด across 13 connected systems" เนื้อหาในเธรดให้รายละเอียดเพิ่มเติมอีกเล็กน้อย เอเจนต์ได้รับเครื่องมือ 131 รายการที่กระจายอยู่ทั่วทั้ง 13 ระบบนั้น และภารกิจ 48 อย่างที่ดึงมาจากฝ่ายหลังบ้านของโรงพยาบาล而非ฝั่งคลินิก — การขออนุมัติล่วงหน้า ข้อเรียกร้องค่าสินไหมที่ถูกปฏิเสธ คำขอเวชระเบียน ไม่มีการวินิจฉัย ไม่มีการคัดแยกผู้ป่วย ไม่มีการถ่ายภาพทางการแพทย์ งานที่กำลังถูกวัดคืองานที่ก่อให้เกิดเอกสารธุรการซึ่งโรงพยาบาลใช้ดำเนินงาน และการต่อสู้ในวงจรรายได้ที่โรงพยาบาลพ่ายแพ้
การเลือกโดเมนนั้นอธิบายรูปร่างของกระดานได้มากกว่าข้อกล่าวอ้างใด ๆ เกี่ยวกับความฉลาดทั่วไป การบริหารโรงพยาบาลเป็นปัญหาการเลือกเครื่องมือก่อนที่จะเป็นปัญหาการให้เหตุผล การอนุมัติล่วงหน้าเป็นการค้นหาตามกฎบัญชียาของผู้จ่ายเงิน แบบฟอร์ม การส่ง คำขอติดตาม และการอุทธรณ์ โดยแต่ละขั้นตอนอยู่ในระบบที่แตกต่างกันซึ่งมีอินเทอร์เฟซที่แตกต่างกัน เมื่อมีเครื่องมือ 131 รายการและงานหลายขั้นตอน 48 งาน เอเจนต์ต้องดึงชุดย่อยที่ถูกต้อง รักษาสถานะของเคสให้ถูกต้องตลอดหลายรอบสนทนา และหลีกเลี่ยงความล้มเหลวเฉพาะเจาะจงที่นิยามงานนี้ นั่นคือการทำสิบเอ็ดขั้นตอนได้อย่างถูกต้องแล้วส่งไปยังคิวผิด การประเมินที่สร้างแบบนั้นจะแยกโมเดลตามความน่าเชื่อถือได้ก่อนที่จะแยกตามความฉลาด ซึ่งเป็นสิ่งที่สองคอลัมน์แสดงให้เห็นพอดี
นอกจากนี้ยังหมายความว่าคะแนนเหล่านี้ไม่สามารถนำไปใช้กับสิ่งอื่นใดได้ โมเดลที่นำหน้า Hospital-bench ได้แสดงให้เห็นบางสิ่งเกี่ยวกับเวิร์กโฟลว์ด้านการบริหารที่อิงเครื่องมือในระดับขนาดใหญ่ และไม่ได้แสดงอะไรเลยเกี่ยวกับความสามารถในการเขียนโค้ด สอบผ่านข้อสอบกฎหมาย หรือสนทนา ให้อ่านกระดานคะแนนนี้เป็นข้อความเกี่ยวกับเอเจนต์ที่ปฏิบัติการบนชุดเครื่องมือขนาดใหญ่ภายใต้กฎเชิงกระบวนการ นี่คือหมวดหมู่การประเมินที่มีอยู่จริงและยังได้รับการดูแลไม่เพียงพอ และมันแคบกว่าคำว่า "ดำเนินการโรงพยาบาล"
กระดานตามที่โพสต์ไว้ จากบนลงล่าง
นี่คือสิบอันดับแรกฉบับเต็มที่เผยแพร่แล้ว โดยคะแนนเฉลี่ยมาก่อนและอัตราการผ่านเต็มรูปแบบเป็นอันดับที่สอง:
• GPT-6.2 Astra — ค่าเฉลี่ย 62.4% อัตราผ่าน 29.2% (14 จาก 48)
Claude Fable 5.2 — ค่าเฉลี่ย 60.3%, ผ่าน 29.2% (14 จาก 48)
• Gemini 4 Neon — ค่าเฉลี่ย 59.8%, ผ่าน 31.3% (15 จาก 48)
• GPT-6.2 Sol — ค่าเฉลี่ย 57.6% อัตราผ่าน 25.0% (12 จาก 48)
• Claude Opus 5.5 — ค่าเฉลี่ย 55.6% ผ่าน 35.4% (17 จาก 48)
• Muse Wonder — ค่าเฉลี่ย 53.6%, ผ่าน 27.1% (13 จาก 48)
• GPT-6.1 Sol — ค่าเฉลี่ย 50.0%, ผ่าน 12.5% (6 จาก 48)
• Claude Sonnet 5.5 — ค่าเฉลี่ย 47.7%, ผ่าน 29.2% (14 จาก 48)
• Gemini 4 Argon — ค่าเฉลี่ย 46.9%, อัตราผ่าน 16.7% (8 จาก 48)
• GPT-6 Astra — ค่าเฉลี่ย 46.7%, ผ่าน 8.3% (4 จาก 48)

ข้อเท็จจริงเชิงโครงสร้างสองประการเกี่ยวกับรายการนั้นก่อนจะตีความใด ๆ ประการแรกคือสนามนี้ลึกถึงยี่สิบโมเดลแต่แสดงเพียงสิบโมเดล ดังนั้นครึ่งล่างจึงมองไม่เห็น — และในโดเมนที่คอลัมน์น่าสนใจคืออัตราการผ่าน โมเดลที่ล้มเหลวทุกอย่างคือกลุ่มที่จะบอกคุณได้ว่าพื้นนั้นยากแค่ไหน ประการที่สองคือช่วงทั้งหมดตั้งแต่ที่หนึ่งถึงที่สิบคือคะแนนเฉลี่ย 15.7 คะแนน บนเบนช์มาร์กที่มีสี่สิบแปดงานและไม่มีข้อมูลความแปรปรวนที่เผยแพร่ นั่นไม่ใช่ส่วนบนที่กว้าง แต่เป็นกลุ่มที่กระจุกตัวกันโดยมีผู้นำอยู่ในนั้น
การเรียงลำดับตามรุ่นเป็นสัญญาณที่ชัดเจนที่สุดในตาราง และเป็นสิ่งที่มีโอกาสน้อยที่สุดที่จะเป็นอาร์ติแฟกต์ GPT-6.2 Astra ที่ 62.4% อยู่สูงกว่า GPT-6 Astra ที่ 46.7% อยู่ 15.7 จุด และอัตราการผ่านเพิ่มจาก 8.3% เป็น 29.2% — เพิ่มขึ้น 3.5 เท่าในงานที่ทำเสร็จอย่างสมบูรณ์ GPT-6.2 Sol ที่ 57.6% อยู่สูงกว่า GPT-6.1 Sol ที่ 50.0% อยู่ 7.6 จุด โดยอัตราการผ่านเพิ่มขึ้นเป็นสองเท่าจาก 12.5% เป็น 25.0% ไม่ว่า benchmark กำลังวัดอะไร มันกำลังวัดบางสิ่งที่มีการเปลี่ยนแปลงไประหว่างรุ่น ในทั้งสองสายของ OpenAI ในทิศทางเดียวกัน ด้วยขนาดที่เกินกว่าข้อผิดพลาดจากการปัดเศษอย่างมาก
ทำไมคอลัมน์อัตราการผ่านจึงสำคัญกว่า
คะแนนเฉลี่ยคือค่าเฉลี่ยจากงานทั้งสี่สิบแปดงานโดยให้คะแนนบางส่วน อัตราการผ่านคือสัดส่วนของงานที่เอเจนต์ทำเสร็จสมบูรณ์ ทั้งสองเป็นการวัดสิ่งที่แตกต่างกัน และช่องว่างระหว่างกันบนบอร์ดนี้มีขนาดมหาศาล: GPT-6.2 Astra มีค่าเฉลี่ย 62.4% แต่ทำเสร็จสมบูรณ์เพียง 29.2% ของงาน ซึ่งหมายความว่างานโดยเฉลี่ยได้คะแนนราวสองในสามถูกต้อง ในขณะที่มีงานน้อยกว่าหนึ่งในสามที่ทำเสร็จสมบูรณ์ นั่นคือลักษณะเฉพาะของเอเจนต์ที่ทำเวิร์กโฟลว์ได้ถูกต้องเกือบทั้งหมด แล้วพลาดที่ขั้นตอนใดขั้นตอนหนึ่ง
ในเบนช์มาร์กส่วนใหญ่ ความแตกต่างนี้เป็นเพียงเรื่องทางทฤษฎี แต่ในการบริหารโรงพยาบาล มันคือทั้งหมดของผลิตภัณฑ์ การขออนุมัติล่วงหน้าที่ส่งด้วยรหัสถูกต้องไปยังคิวผู้จ่ายผิดจะได้คะแนนดีในระบบให้คะแนนบางส่วน และสร้างเคลมที่ถูกปฏิเสธ คำขอเวชระเบียนที่รวบรวมชุดเอกสารได้ถูกต้องแต่พลาดรายการในบันทึกการเปิดเผยข้อมูลถือเป็นข้อค้นพบด้านการปฏิบัติตามกฎ งานในโดเมนนี้ถูกออกแบบมาให้ขั้นตอนสุดท้ายคือสิ่งสำคัญ ซึ่งหมายความว่าคอลัมน์อัตราการผ่านเป็นตัววัดว่าเอเจนต์ได้รับความไว้วางใจให้ทำงานเวิร์กโฟลว์ได้หรือไม่ ใกล้เคียงกว่าคะแนนเฉลี่ย และเป็นคอลัมน์ที่แทบไม่มีใครหยิบยกมาอ้างอิง
นี่ก็เป็นคอลัมน์ที่มีการสนับสนุนทางสถิติน้อยที่สุดเช่นกัน 48 งานเป็นตัวส่วนที่เล็ก หนึ่งงานคิดเป็น 2.08 จุดเปอร์เซ็นต์ของอัตราการผ่าน ดังนั้นความแตกต่างระหว่าง Claude Fable 5.2 กับ GPT-6.2 Astra — ซึ่งทั้งคู่อยู่ที่ 29.2% และทั้งคู่ทำได้ 14 งาน — จึงเป็นศูนย์ และความแตกต่างระหว่าง Gemini 4 Neon ที่ 15 งานกับสองผู้นำที่ 14 งานคือหนึ่งงาน สามโมเดลถูกแบ่งด้วยงานเพียงหนึ่งงานจาก 48 งาน ให้ถือว่าสามอันดับแรกเสมอกันในด้านการทำสำเร็จ และแตกต่างกันเฉพาะค่าเฉลี่ย โดยช่องว่างคือ 2.1 และ 0.5 จุด และเปราะบางพอๆ กัน
Opus 5.5 เป็นที่หนึ่งในสิ่งที่สำคัญที่สุด
Claude Opus 5.5 คือโมเดลที่ตารางนี้ถูกสร้างขึ้นมาเพื่อเผยให้เห็น โดยอยู่อันดับที่ 5 ของคะแนนเฉลี่ยที่ 55.6% ซึ่งตามหลังผู้นำอยู่ 6.8 คะแนน และไม่ถือว่าใกล้กันเลย และเป็นอันดับที่ 1 ด้านการผ่านครบทุกข้อที่ 35.4% คือ 17 จาก 48 ข้อ นำหน้าโมเดลถัดไปอยู่ 3 ข้อ ไม่มีโมเดลอื่นในตารางที่พลิกอันดับของตัวเองแบบนั้น Claude Sonnet 5.5 ทำแบบนี้ได้เล็กน้อย โดยอยู่อันดับที่ 8 ด้านคะแนน และเสมอกันในอันดับที่ 3 ด้านการผ่าน ส่วน Gemini 4 Argon กลับตรงกันข้าม คืออยู่อันดับที่ 9 ด้านคะแนนและอันดับที่ 9 ด้านการผ่าน ซึ่งอย่างน้อยก็สอดคล้องกัน
สามงานไม่ใช่ส่วนต่างที่มากนัก และควรพูดให้ตรงไปตรงมาว่า สิบเจ็ดต่อสิบสี่จากทั้งหมดสี่สิบแปดเป็นความแตกต่างที่งานกำกวมเพียงงานเดียวก็ลบได้ และไม่มีการเผยแพร่ช่วงความเชื่อมั่น แต่ทิศทางนั้นสอดคล้องกันในโมเดล Anthropic สองตัวบนกระดาน และชี้ไปที่การแลกเปลี่ยนที่แท้จริง Opus 5.5 ดูเหมือนจะใช้จำนวนรอบและจำนวนการเรียกเครื่องมือต่องานมากขึ้นเพื่อไปถึงสถานะที่เสร็จสมบูรณ์ ซึ่งเพิ่มอัตราการเสร็จสมบูรณ์และจำกัดคะแนนเฉลี่ยของมันไว้ Astra ทำคะแนนเฉลี่ยได้สูงกว่าโดยมีการเสร็จสิ้นแบบสมบูรณ์น้อยกว่า หากคุณกำลังซื้อเอเจนต์สำหรับเวิร์กโฟลว์ที่เคลมที่เสร็จเพียงครึ่งเดียวแย่กว่าเคลมที่ช้า โมเดลอันดับห้าก็เป็นการซื้อที่ดีกว่า และไม่ว่าการจัดอันดับด้วยคะแนนเฉลี่ยจะมีมากเพียงใดก็ไม่สามารถบอกคุณได้
ยังมีการตีความที่สองซึ่งไม่ค่อยยกย่องเบนช์มาร์กเท่าไรนัก โมเดลสามารถเพิ่มอัตราการผ่านของตนได้โดยเลือกที่จะไม่พยายามทำภารกิจที่มันมีแนวโน้มจะล้มเหลว หรือโดยการยุติตั้งแต่เนิ่น ๆ ด้วยคำตอบบางส่วนที่ผู้ให้คะแนนนับว่าเสร็จสมบูรณ์ หากไม่มีผลลัพธ์ระดับภารกิจ — ซึ่งกระทู้นี้ไม่ได้เผยแพร่ — ก็ไม่มีทางแยกได้ว่า "ทำสิ่งที่เริ่มไว้ได้มากขึ้น" แตกต่างจาก "ทำสิ่งที่ได้รับมอบหมายได้น้อยลง" ตารางสนับสนุนการตีความแรก แต่ไม่อาจตัดการตีความที่สองออกไปได้
เครื่องมือ 131 ชิ้นมีค่าใช้จ่ายต่องานเท่าไร
Hospital-bench เป็นการประเมินที่แพงเมื่อรันหนึ่งครั้ง และแพงเมื่อต้องรันซ้ำหลายครั้ง อีกทั้งกระทู้ก็ไม่ได้เผยแพร่ตัวเลขต้นทุนใดๆ เลย คำนิยามเครื่องมือ 131 รายการถือเป็นพรอมต์ระบบขนาดใหญ่ก่อนที่เอเจนต์จะลงมือทำอะไรสักอย่าง งานหลายขั้นตอน 48 งานข้ามโมเดล 20 โมเดลถือเป็นโทเค็นอินพุตจำนวนมากและเทิร์นจำนวนมาก ต้นทุนต่องานใดๆ ที่คุณคำนวณจากราคาโทเค็นจะเป็นค่าต่ำสุด ไม่ใช่ค่าประมาณ เพราะจะไม่นับการเรียกค้นข้อมูล การลองใหม่ และการเรียกเครื่องมือที่ล้มเหลว ซึ่งลูปแบบเอเจนต์สร้างขึ้นเอง
• คะแนนเฉลี่ย — GPT-6.2 Astra 62.4% เทียบกับ Gemini 4 Argon 46.9%
• อัตราการผ่านครบทุกข้อ — Astra 29.2% เทียบกับ Argon 16.7%
• ราคาอินพุตต่อ 1M — Argon $2.00 เทียบกับ Astra $8.00
• ราคาเอาต์พุตต่อ 1M — Argon $10.00 เทียบกับ Astra $40.00
• เครื่องมือที่อยู่ในขอบเขต — 131 รายการ เหมือนกันสำหรับทุกโมเดลบนบอร์ด
• ต้นทุนต่องาน — ไม่ได้เผยแพร่โดยผู้ประเมิน

อ่านสองบล็อกนั้นเทียบกัน แล้วตัวเลขที่น่าสนใจไม่ใช่ช่องว่างค่าเฉลี่ย 15.5 จุด แต่คือ Argon มีต้นทุนเป็นหนึ่งในสี่ของ Astra ในทั้งสองทิศทาง และทำงานเสร็จเรียบร้อยได้เพียงกว่าครึ่งเล็กน้อยของจำนวนงานที่ Astra ทำได้ ซึ่งทำให้สองโมเดลมีต้นทุนต่องานที่ทำสำเร็จต่างกันไม่เกินสองเท่า แม้ราคาจะต่างกัน 4 เท่า นี่เป็นการตัดสินที่สูสีกว่าที่ลีดเดอร์บอร์ดบ่งชี้มาก และเป็นการคำนวณแบบที่คุณทำได้บนเวิร์กโหลดของคุณเองเท่านั้น เพราะอัตราส่วนขึ้นอยู่กับว่าภาระงานของคุณสิ้นสุดก่อนกำหนดบ่อยแค่ไหนทั้งหมด
นี่คือจุดที่ชั้นการจัดเส้นทาง (routing layer) พิสูจน์คุณค่าของตัวเองได้จริง ไม่ใช่เป็นเพียงของประดับ OrcaRouter ส่งต่อราคาตามรายการของผู้ให้บริการโดยบวกเพิ่ม 0% ดังนั้น $8 และ $40 ข้างต้นคือจำนวนที่คุณจ่ายต่อหนึ่งล้านโทเค็น แทนที่จะเป็นอัตราของผู้ขายที่มีส่วนต่างกำไรของแพลตฟอร์มบวกซ้อนอยู่ด้านบน — และเนื่องจากการส่งต่อราคาเป็นแบบเรียลไทม์ การที่ผู้ขายลดราคาโมเดลใดโมเดลหนึ่งจะปรากฏในบิลของคุณในวันเดียวกับที่ประกาศ การสลับไปใช้ระบบสำรองอัตโนมัติ (automatic failover) สำคัญในกรณีนี้มากกว่าภาระงานแชต: แคมเปญแบบเอเจนต์ที่มีสี่สิบแปดงานและต้องใช้เครื่องมือ 131 รายการจะต้องเจอการจำกัดอัตราที่จุดใดจุดหนึ่งแน่นอน และเส้นทางที่เปลี่ยนไปใช้โมเดลที่สองแทนที่จะล้มกลางทางนั้นมีค่ามากกว่าคะแนนเฉลี่ยหนึ่งจุด
พูดตรง ๆ ว่า GPT-6.2 Astra ยังไม่อยู่ในแค็ตตาล็อกของเรา ณ วันที่ 20 พฤศจิกายน โมเดล OpenAI ที่เราให้บริการคือ GPT-6 Astra ซึ่งได้คะแนน 46.7% และ 8.3% บนตารางนี้ และสาย GPT-6 Sol ซึ่ง GPT-6.2 Sol ทำได้ 57.6% และ 25.0% Gemini 4 Argon สามารถกำหนดเส้นทางได้ในราคา $2 และ $10 จนกว่า Astra จะพร้อมให้บริการที่นี่ โมเดลในแค็ตตาล็อกของเราที่ใกล้กับอันดับต้นของตารางนี้มากที่สุดคือ GPT-6.2 Sol และโมเดลที่ถูกที่สุดที่เอาชนะรุ่นก่อนหน้าของ OpenAI ได้คือ Argon
อะไรจะทำให้การอ่านนี้เปลี่ยนไป
สี่เรื่อง โดยเรียงตามลำดับว่าแต่ละเรื่องจะเปลี่ยนภาพรวมได้มากน้อยเพียงใดโดยประมาณ เรื่องแรกคือหน้าอธิบายระเบียบวิธี เบนช์มาร์กที่เผยแพร่ชุดงาน กฎการให้คะแนน และบันทึกการรันของตนนั้นสามารถโต้แย้งได้ ส่วนเบนช์มาร์กที่เผยแพร่เพียงภาพสิบอันดับแรกนั้นโต้แย้งไม่ได้ ประโยคเดียวเหนือตารางกำลังทำงานมหาศาล และทุกข้อกล่าวอ้างในบทความนี้ถูกจำกัดขอบเขตด้วยประโยคนั้น
ข้อที่สองคือโมเดลสิบตัวที่หายไป มีการประเมินยี่สิบตัวและแสดงผลเพียงสิบตัว และในสาขาที่การให้คะแนนบางส่วนทำให้ค่าเฉลี่ยสูงเกินจริง โมเดลที่อยู่อันดับล่างคือกลุ่มที่ใช้ปรับเทียบงานนี้ ถ้าโมเดลอันดับที่ 11 มีค่าเฉลี่ย 45% และอัตราผ่าน 6% ตารางอันดับก็จะเป็นการกระจายตัว ถ้าเป็น 44% และ 2% ตารางอันดับก็จะเป็นหน้าผา และมีเพียงสิบอันดับแรกเท่านั้นที่เป็นโมเดลที่ทำงานนี้ได้
ประการที่สามคือค่าพื้นฐานจากมนุษย์ Hospital-bench ไม่ได้เผยแพร่ตัวเลขของมนุษย์ และเมื่อไม่มีตัวเลขนั้น ก็ไม่มีคำตอบสำหรับคำถามเดียวที่ผู้ซื้อมีอยู่จริง นั่นคือความสำเร็จ 35.4% ถือว่าดีหรือไม่ ผู้เชี่ยวชาญด้านการเรียกเก็บเงินทางการแพทย์ที่มีเครื่องมือ 131 อย่างและงาน 48 งานเดียวกันจะให้มาตราวัดแก่ตารางนี้ แต่ตารางนี้กลับไม่มีเลย
อันที่สี่คือการรันครั้งที่สอง โมเดลมีอายุสี่วันและการประเมินคือแคมเปญเดียว และเกณฑ์มาตรฐานแบบเอเจนต์ที่มีห่วงโซ่เครื่องมือยาวมีความแปรปรวนระหว่างการรันมากกว่าการประเมินแบบยิงครั้งเดียว ซึ่งเป็นความแปรปรวนแบบเดียวกับที่ช่องว่าง 2.1 คะแนนระหว่างอันดับหนึ่งกับอันดับสองไม่สามารถกลืนได้ หาก Astra และ Fable 5.2 อยู่ในลำดับเดิมสามครั้ง ความเป็นผู้นำก็เป็นของจริง แต่ถ้าแค่ครั้งเดียว มันก็เป็นเพียงรายการบนกระดานผู้นำ
สิ่งที่ยังคงอยู่หลังข้อควรระวังทั้งสี่ข้อนั้นแคบกว่าการวางกรอบของกระทู้ และมีประโยชน์กว่าการปัดตก GPT-6.2 Astra เป็นโมเดลที่ดีที่สุดที่เผยแพร่บนเกณฑ์มาตรฐานงานบริหารจัดการแบบเอเจนต์ซึ่งมี 20 โมเดล ด้วยส่วนต่างที่ยังอยู่ในช่วงความคลาดเคลื่อนสำหรับอัตราการทำภารกิจสำเร็จ และอยู่นอกช่วงดังกล่าวเมื่อพิจารณาคะแนนเฉลี่ย การก้าวกระโดดข้ามรุ่นคือส่วนที่อธิบายกลบได้ยาก — คะแนนเฉลี่ยเพิ่มขึ้น 15.7 คะแนน และการทำภารกิจสำเร็จแบบไม่มีข้อบกพร่องดีขึ้น 3.5 เท่าเมื่อเทียบกับ GPT-6 Astra บนกระดานจัดอันดับที่ไม่มีเหตุผลจะเข้าข้างผู้จำหน่ายรายใดรายหนึ่ง นั่นคือผลลัพธ์จริงเกี่ยวกับงานบริหารจัดการที่อิงกับเครื่องมือ ซึ่งเผยแพร่โดยผู้ประเมินที่ยังไม่มีใครตรวจสอบได้ สี่วันหลังจากโมเดลเปิดตัว ทั้งสองครึ่งของประโยคนั้นต้องพูดถึงพร้อมกัน

การเปรียบเทียบในบทความนี้1
ตรวจพบจากบทความนี้ · เบนช์มาร์ก: Artificial Analysis · อัปเดตทุกวัน
