
GPT-6.2 Astra ขึ้นแท่นอันดับ 1 ของกระดานจัดอันดับหุ่นยนต์ SO-101: อัตราความสำเร็จ 22%
- Orcaใหม่OrcaCyber: Hy4 Flash Abliterated / Uncensored2026-11-18$0.07 / $0.28 ต่อ 1 ล้านโทเค็น · 184 tok/s
- tencentใหม่Tencent: Hy4 Flash2026-11-16$0.02 / $0.07 ต่อ 1 ล้านโทเค็น · 494 tok/s
- Alibabaใหม่Qwen: Qwen4 Max2026-11-16$1.50 / $4.50 ต่อ 1 ล้านโทเค็น · 385 tok/s
- Googleใหม่Google: Gemini 4 Carbon2026-11-10$2.00 / $10.00 ต่อ 1 ล้านโทเค็น · 94 tok/s
- Anthropicใหม่Anthropic: Claude Fable 5.22026-11-09$8.00 / $40.00 ต่อ 1 ล้านโทเค็น · 290 tok/s
- OrcaOrcaCyber: GLM 5.3 Abliterated / Uncensored2026-11-04$3.00 / $5.00 ต่อ 1 ล้านโทเค็น · 99 tok/s
- OrcaOrcaCyber: Hy4 Abliterated / Uncensored2026-11-04$0.80 / $1.60 ต่อ 1 ล้านโทเค็น · 132 tok/s
- OrcaOrcaCyber: Kimi K3.1 Pro Abliterated / Uncensored2026-11-04$2.00 / $5.00 ต่อ 1 ล้านโทเค็น · 86 tok/s
- tencentTencent: Hy42026-11-04$0.83 / $2.50 ต่อ 1 ล้านโทเค็น · 122 tok/s
- OrcaOrcaCyber: MiniMax M3.1 Flash Abliterated / Uncensored2026-10-29$0.80 / $1.60 ต่อ 1 ล้านโทเค็น · 104 tok/s
- OrcaOrcaCyber: GLM 5.3 Flash Abliterated / Uncensored2026-10-27$0.80 / $1.60 ต่อ 1 ล้านโทเค็น · 66 tok/s
- OrcaOrcaCyber: Qwen3.8 Flash Next Abliterated / Uncensored2026-10-26$0.80 / $1.60 ต่อ 1 ล้านโทเค็น · 89 tok/s
- OrcaOrcaCyber: MiMo V2.6 Flash Abliterated / Uncensored2026-10-26$0.80 / $1.60 ต่อ 1 ล้านโทเค็น · 41 tok/s
- MoonshotMoonshotAI: Kimi K3.1 Pro2026-10-2447ความฉลาด
- OrcaOrcaCyber: DeepSeek V4.1 Flash Abliterated / Uncensored2026-10-23$0.80 / $1.60 ต่อ 1 ล้านโทเค็น · 215 tok/s
- minimaxMiniMax: M3.1 Flash2026-10-1929ความฉลาด
- OrcaOrca: OrcaCyber Ultra 1.02026-10-17$5.00 / $10.00 ต่อ 1 ล้านโทเค็น · 109 tok/s
- deepseekDeepSeek: DeepSeek V4.1 Flash 10172026-10-1733ความฉลาด
- DeepSeekDeepSeek: DeepSeek V4.1 Flash 09102026-10-17$0.15 / $0.60 ต่อ 1 ล้านโทเค็น · 160 tok/s
- DeepSeekDeepSeek: DeepSeek V4.1 Flash2026-10-1740ความฉลาด
RoboColosseum's SO-ARM101 กระดานผู้นำมีอันดับหนึ่งใหม่ และสิ่งที่ครองอันดับนั้นไม่ใช่ policy ของหุ่นยนต์ GPT-6.2 Astra ขึ้นไปอยู่ที่ 1,984 บนมาตรวัด DCR ของเว็บไซต์ โดย Claude Fable 5.2 อยู่อันดับสองที่ 1,803, Claude Opus 5.5 อันดับสามที่ 1,666, เช็กพอยต์ vision-language-action ที่ผ่านการไฟน์ทูนดีที่สุด — pi0.5 ของ Physical Intelligence — อันดับสี่ที่ 1,526 และรุ่นก่อนหน้า GPT-6 Astra อันดับห้าที่ 1,393 OpenAI เปิดตัว GPT-6.2 Astra เมื่อวันที่ 17 พฤศจิกายน 2026; คะแนนถูกคำนวณเมื่อวันที่ 20 พฤศจิกายน เวลา 19:46 UTC และ Greg Brockman แชร์ขยายความบน X ในเช้าตรู่ของวันถัดมา นั่นคือทั้งหมดของการประกาศ สิ่งที่คำกล่าวนั้นไม่ได้บอกคือส่วนที่เหลือของแถวนั้น: อัตราความสำเร็จของงานเต็มรูปแบบ 22% ความเป็นผู้นำที่กระดานผู้นำบันทึกว่าอยู่ภายในช่วงความคลาดเคลื่อน และตัวอย่างการเปรียบเทียบแบบปกปิด 122 ครั้งที่เก็บในฉากที่โมเดลไม่เคยเห็นมาก่อน
อ่านอันดับนั้นเป็นผลลัพธ์ แล้วคุณจะตีความผิด จงอ่านมันเป็นภาพรวม ณ ขณะหนึ่งของการประเมินที่ยังเก็บข้อมูลเพิ่มอยู่ บนบอร์ดหุ่นยนต์หลักสามบอร์ดของโครงการ ซึ่งเป็นบอร์ดที่ราคาถูกที่สุดและถูกใช้งานน้อยที่สุด แล้วมันจะบอกสิ่งที่มีประโยชน์กว่า — เกี่ยวกับความรวดเร็วที่โมเดลอเนกประสงค์ปิดช่องว่างซึ่งนโยบายการหยิบจับเฉพาะทางใช้เวลาหนึ่งปีในการสร้างขึ้น และเกี่ยวกับว่าตัวอย่างปัจจุบันสามารถยืนยันช่องว่างนั้นได้จริงเพียงน้อยนิดเพียงใด
RoboColosseum วัดอะไร และไม่อะไร

RoboColosseum เป็นกรอบการประเมินแบบกระจาย ไม่ใช่ห้องแล็บ เปเปอร์ที่อยู่เบื้องหลังคือ arXiv 2611.02497 ซึ่งเผยแพร่เมื่อวันที่ 2 พฤศจิกายน 2026 โดยกลุ่มที่ครอบคลุม NUS MAGIC Lab, Hugging Face, EAIC Singapore และ BitRobot รายชื่อผู้เขียนประกอบด้วย Dieter Fox, Siddhartha Srinivasa, Thomas Wolf, Harold Soh และ David Hsu หลักคิดคือไม่สามารถวัดประสิทธิภาพนโยบายหุ่นยนต์จากแล็ปท็อปได้ โครงการจึงรันนโยบายเหล่านี้บนฮาร์ดแวร์จริงที่ดำเนินการโดยพันธมิตร ณ 124 ไซต์ในการศึกษาช่วงแรก ครอบคลุมฉาก 194 ฉาก และคำสั่งที่แตกต่างกัน 8,237 คำสั่งซึ่งผู้ประเมินเขียนขึ้นในสถานที่นั้น ทุก rollout ถูกเผยแพร่บน Hugging Face ในรูปแบบ LeRobot รวมถึงความล้มเหลวด้วย
ตัวชี้วัดคือจุดที่การรายงานข่าวส่วนใหญ่ผิดพลาด จึงควรพูดให้ตรง ๆ ไซต์เก็บบันทึกสองรายการสำหรับทุกนโยบาย: บันทึก W/T/L จากการเปรียบเทียบแบบคู่โดยไม่รู้ว่าเป็นนโยบายใด ซึ่งผู้ประเมินที่เป็นมนุษย์จะดูการรันสองครั้งของคำสั่งเดียวกันในฉากเดียวกัน แล้วเลือกอันที่ดีกว่าหรือระบุว่าเสมอ; และคะแนน DCR ซึ่งปรับมาจากผลลัพธ์ความสำเร็จของงานทั้งหมด หลังจากการปรับเทียบว่าของแต่ละงานยากเพียงใด ลีดเดอร์บอร์ดเองก็บอกเช่นนั้น ในประโยคที่ยังไม่เคยถูกนำไปใส่ในทวีตใด ๆ เกี่ยวกับผลลัพธ์: DCR คือ "เรตติ้ง Difficulty-Calibrated Rasch (DCR) (มาตราส่วน Elo); ไม่ควรตีความว่าเป็นเรตติ้ง Elo ที่ได้จากการอัปเดต Elo ตามลำดับ"
ความแตกต่างนี้ไม่ใช่การพิถีพิถันเกินเหตุ หมายเลข Elo จะเปลี่ยนทุกครั้งที่มีการแข่งขัน ขณะที่ค่าประมาณ Rasch เกิดจากการประมาณร่วมระหว่างความสามารถของ policy กับความยากของงาน และจะเปลี่ยนเมื่อฝั่งใดฝั่งหนึ่งของการประมาณร่วมนั้นเปลี่ยน การรายงานกระดาน SO-101 ว่าเป็น "Elo rankings" — ซึ่งเป็นวิธีที่ผลลัพธ์ถูกอธิบายบน X — คือการนำค่าประมาณ posterior มาประดับให้เป็นกระดานคะแนนที่อัปเดต চলไป ทั้งสองอย่างดูคล้ายกันบนกราฟ ซึ่งเป็นเหตุผลพอดีว่าทำไมความสับสนนี้จึงยังคงอยู่ DCR ยังกำหนดให้ต้องมีอย่างน้อย 20 การเปรียบเทียบที่เข้าเกณฑ์ก่อนที่ policy จะได้รับการจัดอันดับเลย และจงใจไม่ใช้สถิติชนะ-แพ้-เสมอ: policy สองตัวสามารถมีเส้น W/T/L ที่ต่างกันมากและยังถูกแยกออกจากกันด้วยการ fit ที่อิงความสำเร็จ โปรดจำสิ่งนี้ไว้เมื่อตัวเลขด้านล่างดูเหมือนขัดแย้งกันเอง
กระดาน จากบนลงล่าง

SO-ARM101 คือแขนหุ่นยนต์โอเพนซอร์สที่พิมพ์ด้วยเครื่องพิมพ์ 3D จากระบบนิเวศ LeRobot — ตัวที่บทความระบุว่าถูกออกแบบมาเพื่อสร้างขึ้นใหม่ให้เหมือนกันทุกประการในสถานที่ต่าง ๆ เพื่อให้ผลลัพธ์ที่เก็บรวบรวมได้ในสิงคโปร์สามารถทำซ้ำได้ในห้องแล็บที่อื่น มีการจัดอันดับโพลิซี 10 รายการบนแขนนี้ ข้อมูล ณ การรีเฟรชวันที่ 20 พฤศจิกายน:
• GPT-6.2 Astra — 1,984, การเปรียบเทียบ 122 ครั้ง, ชนะ 95 / เสมอ 18 / แพ้ 9, สำเร็จเต็มรูปแบบ 27 ครั้ง
• Claude Fable 5.2 — 1,803, 112 การเปรียบเทียบ, 62 / 23 / 27, ความสำเร็จ 21 รายการ
• Claude Opus 5.5 — 1,666, 187 การเปรียบเทียบ, 98 / 57 / 32, 9 ความสำเร็จ
• pi0.5 — 1,526, การเปรียบเทียบ 194 ครั้ง, 66 / 57 / 71, สำเร็จ 9 ครั้ง
• GPT-6 Astra — การเปรียบเทียบ 1,393, 183 ครั้ง, 75 / 62 / 46, ความสำเร็จ 5 ครั้ง
• Grok 4.7 — 1,366, การเปรียบเทียบ 181 ครั้ง, 37 / 79 / 65, ความสำเร็จ 4 ครั้ง
• LingBot-MolmoAct2 — การเปรียบเทียบ 1,259, 214 รายการ, 42 / 92 / 80, ความสำเร็จ 5 รายการ
• GR00T N1.7 — การเปรียบเทียบ 1,233, 219 ครั้ง, 31 / 92 / 96, ความสำเร็จ 3 ครั้ง
• MolmoAct2 — การเปรียบเทียบ 1,122, 216 รายการ, 40 / 83 / 93, ประสบความสำเร็จ 3 ครั้ง
• G0.5 — การเปรียบเทียบ 1,095, 207 ครั้ง, 18 / 94 / 95, สำเร็จ 1 ครั้ง
มีสองสิ่งที่น่าสังเกตได้ทันทีจากรายการนั้น อย่างแรกคือสามอันดับแรกเป็นโมเดลภาษาระดับแนวหน้าทั้งหมดที่ขับเคลื่อนผ่าน coding harness ไม่ใช่นโยบายการหยิบจับที่ผ่านการ fine-tune; VLA ผู้เชี่ยวชาญที่ดีที่สุดอย่าง pi0.5 อยู่ในอันดับสี่ อย่างที่สองคือ Claude Opus 5.5 มีจำนวนครั้งที่ชนะแบบเด็ดขาดบนกระดานมากที่สุด — 98 ครั้ง มากกว่า Astra สามครั้ง — และจบในอันดับสาม เพราะยังมีผลเสมอถึง 57 ครั้งและประสบความสำเร็จเต็มรูปแบบเพียงเก้าครั้ง แนวโน้มของ Astra ตรงกันข้าม: จำนวนการเปรียบเทียบน้อยกว่า ผลเสมอน้อยกว่ามาก และมีงานที่ทำเสร็จสมบูรณ์เป็นสามเท่า ไม่ว่า harness กำลังทำอะไรอยู่ มันกำลังเปลี่ยนความก้าวหน้าบางส่วนให้กลายเป็นการรันที่เสร็จสมบูรณ์ และนั่นคือสิ่งที่ DCR ถูกสร้างขึ้นมาเพื่อให้รางวัล
ยี่สิบสองเปอร์เซ็นต์คือตัวเลขนั้น
ประสบความสำเร็จ 27 ครั้งจากการเปรียบเทียบ 122 ครั้ง คิดเป็น 22.1% นั่นคืออัตราความสำเร็จของงานเต็มรูปแบบสูงสุดบนบอร์ด SO-ARM101 และหมายความว่าโดยประมาณสี่ในห้าความพยายามไม่สามารถทำตามคำสั่งได้สำเร็จ งานเหล่านี้ไม่ใช่เรื่องแปลกใหม่ — การทดลองที่เผยแพร่ประกอบด้วย “วางถ้วยไว้ในกระทะ” “หยิบกล่องสีเหลืองแล้ววางบนจาน” “หมุนปากกาเมจิก 90 องศาตามเข็มนาฬิกา” “แตะปากกาสีน้ำเงิน” และ “หยิบส้อม แล้วจากนั้นหยิบมีด” ฉากเป็นโต๊ะธรรมดา: NUS COM3 โต๊ะด้านนอกบนระเบียง และจุดหนึ่งด้านนอก MAGIC Lab
การที่ผู้นำล้มเหลวสี่ในห้ารอบเป็นบริบทที่สำคัญที่สุดเพียงหนึ่งเดียวสำหรับพาดหัวข่าว และสอดคล้องกับทุกสิ่งที่โครงการได้เผยแพร่ บทความเดือนพฤศจิกายนรายงานว่าในหกหมวดหมู่การจัดการของระบบ "ไม่มีระบบใดที่ได้รับการประเมินมีอัตราความสำเร็จเกิน 13% ในหมวดหมู่ใดเลย" และ MolmoAct2 ซึ่งเป็น VLA ที่แข็งแกร่งที่สุดตามคะแนนการเปรียบเทียบที่คาดไว้ ทำได้เพียง 58% ถึง 77% ในมาตรวัดแบบสัมพัทธ์ ขณะที่อัตราความสำเร็จแบบสัมบูรณ์อยู่ระหว่าง 6% ถึง 13% ลีดเดอร์บอร์ดที่คุณกำลังดูอยู่ไม่ใช่ลีดเดอร์บอร์ดของหุ่นยนต์ที่ทำงานนี้ได้ แต่เป็นลีดเดอร์บอร์ดของระบบที่กำลังเก่งขึ้นเรื่อย ๆ ในการไม่ล้มเหลวโดยสิ้นเชิง
อัตราความสำเร็จยังเป็นตัวเลขเดียวในแถวนั้นที่ไม่สามารถถูกทำให้สูงเกินจริงได้ด้วยเมตริก คะแนน DCR ขึ้นอยู่กับการปรับเทียบความยาก ซึ่งขึ้นอยู่กับวิธีที่การฟิตจัดกลุ่มงานข้ามนโยบายเข้าด้วยกัน ส่วนจำนวนความสำเร็จไม่เป็นเช่นนั้น 27 ก็คือ 27 หากคุณต้องการเปรียบเทียบ GPT-6.2 Astra กับสิ่งใดก็ตามในรายการนั้นโดยไม่ต้องโต้เถียงเรื่องแบบจำลอง Rasch ให้เปรียบเทียบ 27 กับ 21 กับ 9 กับ 5
แต้มนำอยู่ในช่วงค่าความคลาดเคลื่อน
RoboColosseum วาดช่วง ±1 ค่าเบี่ยงเบนมาตรฐาน posterior ล้อมรอบแต่ละคะแนน และระบุในบรรทัดเดียวกันว่า "Lead over #2" ของผู้นำที่ +181 คะแนนนั้นอยู่ "ภายในช่วงความคลาดเคลื่อน" นั่นคือบทสรุปผลลัพธ์ของเว็บไซต์เองที่พิมพ์ไว้ข้างตัวเลข ไม่ใช่ซ่อนไว้ใต้ตัวเลขนั้น
วางแถบ ±1 SD ไว้ข้างกันแล้วคำเตือนก็สมเหตุสมผล ช่วงของ Astra อยู่ที่ประมาณ 1,888 ถึง 2,080 ส่วนของ Claude Fable 5.2 อยู่ที่ประมาณ 1,712 ถึง 1,894 ทั้งสองช่วงซ้อนทับกันในหน้าต่างไม่กี่จุดรอบ ๆ 1,890 และช่องว่าง 181 จุดระหว่างสองค่าประมาณนั้นคิดเป็นประมาณ 1.4 เท่าของส่วนเบี่ยงเบนมาตรฐานรวม ซึ่งยังไม่พอที่จะเรียกได้ว่าเป็นความเหนือกว่าชัดเจนแทนที่จะเป็นเพียงตัวตัดสินเสมอ การเปรียบเทียบ 122 ครั้งของ Astra นั้นเพียงพอที่จะจัดให้อยู่อันดับหนึ่ง แต่ไม่เพียงพอที่จะบอกได้อย่างมั่นใจว่าดีกว่าโมเดลที่อยู่อันดับสอง ช่องว่างระหว่างอันดับหนึ่งกับอันดับสามกว้างและชัดเจนกว่า — 1,984 เทียบกับ 1,666 — แต่ก็เป็นการเปรียบเทียบระหว่างโมเดลที่มี 122 การเปรียบเทียบกับอีกโมเดลที่มี 187 บนกระดานที่ทุกนโยบายอื่นมีตัวอย่างมากกว่าผู้นำ
นี่ไม่ใช่ข้อบกพร่องเฉพาะของผลลัพธ์นี้ แต่เป็นลักษณะของบอร์ดที่มีการเปรียบเทียบ 1,017 รายการ เมื่อเทียบกันแล้ว บอร์ด Franka ของโครงการเดียวกันมีการเปรียบเทียบ 5,643 รายการ และบอร์ด Bimanual-YAM มี 4,517 รายการ ส่วน SO-ARM101 บางที่สุดในสามบอร์ดนี้ราวห้าเท่า โดยมี 78 ฉากและ 70.3 ชั่วโมงการทำงานของหุ่นยนต์รองรับอยู่ ผู้มาใหม่สามารถขึ้นอันดับหนึ่งที่นี่ได้เร็วกว่าบอร์ดอื่นใดในชุด นั่นเป็นคุณสมบัติของบอร์ด ไม่ใช่ของโมเดล และจะยังคงเป็นจริงในครั้งถัดไปที่มีการเปิดตัวโมเดล
ทำไมโมเดลภาษาจึงอยู่บนบอร์ดหุ่นยนต์
ข้อเท็จจริงเชิงโครงสร้างที่น่าสนใจที่สุดเกี่ยวกับตารางอันดับนี้คือมันผสมระบบสองประเภทที่ปกติแยกจากกันไว้ด้วยกัน ห้านโยบายจากสิบเป็น checkpoint แบบ vision-language-action — pi0.5, GR00T N1.7, MolmoAct2, LingBot-MolmoAct2, G0.5 — ซึ่งฝึกด้วยข้อมูลหุ่นยนต์ และใน Fine-tune Track จะถูก fine-tune ด้วยตัวอย่างสาธิต 100 ตัวอย่างต่องาน ส่วนอีกห้าเป็นเอเจนต์ระดับแนวหน้า: GPT-6.2 Astra, GPT-6 Astra, Claude Fable 5.2, Claude Opus 5.5 และ Grok 4.7 โดยแต่ละตัวเชื่อมผ่าน serving rig และปล่อยให้เขียนโค้ดการเคลื่อนไหวด้วยตัวเอง เปเปอร์ระบุไว้ตรง ๆ ว่าเอเจนต์ระดับแนวหน้า “เข้าร่วมเฉพาะใน Open Track” ขณะที่โมเดล VLA ใช้ checkpoint ที่เฉพาะเจาะจงต่อ embodiment
การออกแบบนั้นคือเหตุผลที่ผลลัพธ์นี้อ่านทำความเข้าใจได้ตั้งแต่แรก และเป็นเหตุผลว่าทำไมจึงไม่ควรตีความมันเป็นการกล่าวอ้างเกี่ยวกับโมเดลหุ่นยนต์ GPT-6.2 Astra ไม่ได้ถูกฝึกบนเส้นทางวิถีของ SO-101 มันไม่ได้ถูกปรับแต่งละเอียดสำหรับงานเหล่านี้ มันถูกขอให้ดูฟีดกล้อง ให้เหตุผลเกี่ยวกับโต๊ะ และส่งคำสั่งการเคลื่อนไหว ซึ่งเป็นการทดสอบความสามารถทั่วไปที่นำไปใช้กับวงจรทางกายภาพ มากกว่าการทดสอบทักษะการจัดการ ความจริงที่ว่าสิ่งนี้เอาชนะนโยบายที่ฝึกมาเฉพาะสำหรับแขนกลคือเรื่องราวหลัก อัตราความสำเร็จ 22% คือราคาของการทำแบบนั้น
การตรวจสอบ cross-embodiment ของตัวบทความเองคือสิ่งที่ช่วยแก้ไขให้ถูกต้อง การจัดอันดับ policy แสดงให้เห็นถึง "ความสอดคล้องที่อ่อนแอระหว่างชุดงานเฉพาะ embodiment" โดยมี Kendall's W ที่ 0.24 — ซึ่งใกล้เคียงกับการไม่มีความสอดคล้องกันเลย π0.5 อยู่อันดับหนึ่งบน Franka และ Bimanual-YAM และอันดับสี่บน G1 humanoid; GR00T N1.7 นำ SO-ARM101 หลัง fine-tuning และจบที่อันดับสี่บนอีกสองแพลตฟอร์ม ตัวเลขที่ได้จากแขนกลหนึ่งตัวไม่สามารถถ่ายโอนได้ และ GPT-6.2 Astra ถูกทดสอบบนแขนนี้เพียงตัวเดียว มันไม่ปรากฏอยู่บนบอร์ด Franka เลย ซึ่งรุ่นก่อนหน้าอย่าง GPT-6 Astra ปัจจุบันนำอยู่ที่ 1,915
วันหนึ่ง การเปรียบเทียบ 122 ครั้ง
โพสต์ที่จุดประเด็นนี้กล่าวว่าโมเดลถูกนำไปผ่าน "การเปรียบเทียบแบบตัวต่อตัวหลายร้อยครั้งในสภาพจริง" ภายใน "เพียงวันเดียว" กระดานจัดอันดับให้เครดิต GPT-6.2 Astra ไว้ที่ 122 ตัวเลขทั้งสองอาจเป็นจริงได้ — อารีนาดำเนินการเปรียบเทียบครอบคลุมทุกนโยบายบนแพลตฟอร์ม และปริมาณงานต่อวันนั้นอยู่ในหลักหลายร้อยอย่างมาก — แต่มีเพียงตัวเลขเดียวเท่านั้นที่เป็นกลุ่มตัวอย่างเบื้องหลัง 1,984 และมันคือตัวเลขที่เล็กกว่า
การกำหนดกรอบเวลาให้ชัดเจนเป็นเรื่องที่ควรทำ เพราะคำว่า "หนึ่งวัน" กำลังทำหน้าที่เชิงวาทศิลป์ OpenAI เปิดตัว GPT-6.2 Astra เมื่อวันที่ 17 พฤศจิกายน คะแนนบนกระดาน SO-ARM101 มีเวลาประทับการคำนวณเป็นวันที่ 20 พฤศจิกายน 19:46 UTC และการเปรียบเทียบล่าสุดของ arena ถูกบันทึกไว้ในเช้าวันเดียวกันเมื่อ 09:49 UTC ดังนั้น การเปรียบเทียบ 122 ครั้งจึงสะสมในช่วงประมาณสามวันของกระดานที่เปิดใช้งานจริง ไม่ใช่ยี่สิบสี่ชั่วโมงของการรันโดยเฉพาะ เว็บไซต์รีเฟรชทุกชั่วโมง ซึ่งหมายความว่าตัวเลขที่คุณเห็นเป็นการประมาณการที่เคลื่อนไหว ไม่ใช่ผลลัพธ์ที่เสร็จสมบูรณ์ — และหมายความว่าการเปลี่ยนแปลงอันดับหนึ่งหรือสองตำแหน่งเป็นเรื่องที่การรีเฟรชครั้งถัดไปมีโอกาสก่อให้เกิดขึ้นได้ไม่ยาก
ทั้งหมดนี้ไม่ได้ทำให้ผลลัพธ์ผิด แต่ทำให้มันเป็นเพียงข้อสรุปชั่วคราวในลักษณะที่เฉพาะเจาะจงและตรวจสอบได้ กล่าวคือ ทิศทางชัดเจน แต่ขนาดยังไม่นิ่ง และใครก็ตามที่อ้างว่า 1,984 เป็นค่าคงที่ ก็กำลังอ้างค่าที่ได้จากการ fit ซึ่งจะเปลี่ยนแปลงไป
อันดับมีค่าใช้จ่ายเท่าไร

นี่คือจุดที่สัญญาณรบกวนกลายเป็น的决定ซื้อではなく เชิงอรรถด้านระเบียบวิธี บนกระดานจัดอันดับ SO-ARM101 สองโมเดลอันดับต้นมีราคาเดียวกัน GPT-6.2 Astra อยู่ที่ 8 ดอลลาร์ต่อล้านโทเค็นอินพุต และ 40 ดอลลาร์ต่อล้านโทเค็นเอาต์พุต Claude Fable 5.2 อยู่ที่ 8 และ 40 ดอลลาร์ GPT-6 Astra ซึ่งต่ำลงมาสามอันดับ อยู่ที่ 10 และ 50 ดอลลาร์ Claude Opus 5.5 ในอันดับสาม อยู่ที่ 4 และ 20 ดอลลาร์ — ครึ่งหนึ่งของราคาอินพุตของ Astra และครึ่งหนึ่งของราคาเอาต์พุต — และ pi0.5 นโยบายเฉพาะทางที่ดีที่สุดบนกระดาน เป็นโอเพนเวตส์และให้บริการได้ฟรีบนฮาร์ดแวร์ของคุณเอง
• อันดับ 1 — GPT-6.2 Astra, 1,984 DCR, $8 ขาเข้า / $40 ขาออก ต่อล้านโทเค็น
• อันดับ 2 — Claude Fable 5.2, 1,803 DCR, $8 / $40
• อันดับ 3 — Claude Opus 5.5, 1,666 DCR, $4 / $20
• อันดับ 4 — pi0.5, 1,526 DCR, น้ำหนักแบบเปิด
• อันดับ 5 — GPT-6 Astra, 1,393 DCR, $10 / $50
ถ้าอ่านสิ่งนี้เป็นเส้นโค้งต้นทุน การจัดอันดับก็ไม่ใช่ส่วนที่น่าสนใจอีกต่อไป การขยับจากอันดับสามไปอันดับหนึ่งทำให้ค่าใช้จ่ายต่อโทเคนเป็นสองเท่า และซื้อความนำหน้าที่คณะกรรมการเองบอกว่าอยู่ภายในช่วงความคลาดเคลื่อน การขยับจากอันดับห้าไปอันดับหนึ่งประหยัดได้ 20% และได้ 591 คะแนน DCR ซึ่งเป็นการกระโดดจากรุ่นก่อนหน้าเพียงหนึ่งรุ่นที่ใหญ่ที่สุดบนบอร์ด — แต่มันยังหมายความว่ารุ่นก่อนหน้าตอนนี้เป็นตัวเลือกที่แพงกว่า ซึ่งเป็นการกลับทิศแบบที่จะปรากฏให้เห็นก็ต่อเมื่อคุณมองคอลัมน์ราคาที่อยู่ข้างๆ อันดับ
สำหรับอะไรก็ตามที่ทำงานเป็นลูป การคำนวณนั้นจะทบต้น การรันงานแบบแมนนิพูเลชันไม่ใช่คำขอเพียงครั้งเดียว แต่เป็นลำดับการเรียกที่ยาวนาน โดยส่วนใหญ่บรรจุเฟรมจากกล้องและบันทึกการสนทนาที่ยาวขึ้นเรื่อย ๆ และราคาต่อโทเคนจะคูณทบกันในทุกขั้นตอน โมเดลที่ทำงานเสร็จ 22% ของงานและมีต้นทุน 8 ดอลลาร์ต่อหนึ่งล้านโทเคนอินพุตถือเป็นการซื้อที่แตกต่างจากโมเดลที่ทำงานเสร็จ 5% และมีต้นทุน 10 ดอลลาร์ และความแตกต่างนี้มองไม่เห็นในลีดเดอร์บอร์ดเลย
GPT-6.2 Astra ยังไม่มีอยู่ในแค็ตตาล็อกของ OrcaRouter ดังนั้นคำตอบที่ตรงไปตรงมาสำหรับใครก็ตามที่ต้องการเรียกใช้มันคือ API ของผู้ให้บริการเอง สิ่งที่แค็ตตาล็อกมีคือส่วนที่เหลือของคอลัมน์นั้น: GPT-6 Astra ที่ $10 และ $50, GPT-6.1 Sol ที่ $2 และ $10 และ Claude Opus 5.5 ที่ $4 และ $20, ทั้งหมดในราคาบวกเพิ่ม 0% จากราคาตามรายการของผู้ให้บริการ ซึ่งเป็นเหตุผลว่าทำไม การลดราคาของผู้ให้บริการจึงมีผลฝั่งเราในวันเดียวกับที่มันมีผลฝั่งเขา การรันงานเดียวกันกับสามรายการเหล่านั้นและเปรียบเทียบผลการรันที่เสร็จแล้วคือการทดลองที่ถูกที่สุดในหน้านี้ และนี่คือสิ่งที่ลีดเดอร์บอร์ดกำลังขอให้คุณทำ ไม่ใช่สิ่งที่มันกำลังรายงาน
อะไรจะทำให้คำตัดสินเปลี่ยนไป
สามสิ่งจะเปลี่ยนตำแหน่งที่หนึ่งชั่วคราวให้กลายเป็นตำแหน่งที่หนึ่งที่แน่นอน และทั้งสามสิ่งนั้นสามารถสังเกตเห็นได้
ข้อแรกคือตัวอย่าง SO-ARM101 ต้องมีการเปรียบเทียบหลายร้อยครั้งต่อ policy ก่อนที่ช่วงของมันจะแคบลงเท่ากับความกว้างของบอร์ด Franka ช่วงของ GPT-6.2 Astra กว้าง 376 คะแนนที่ความน่าเชื่อถือ 95% ส่วนผู้นำของ Franka ซึ่งเป็น GPT-6 Astra รุ่นก่อนหน้า อยู่ในช่วงที่กว้างประมาณ 185 คะแนนจาก 194 การเปรียบเทียบ เมื่อตัวอย่างของ Astra เพิ่มขึ้นราวสองเท่า คำถามที่ว่ามันนำหน้า Claude Fable 5.2 อย่างแท้จริงหรือไม่ก็ตอบตัวเอง
ข้อที่สองคือ embodiment ที่สอง โมเดลที่นำหน้าแขนกลหนึ่งและไม่เคยถูกรันบนอีกแขนหนึ่งเป็นเพียงจุดข้อมูลหนึ่ง ไม่ใช่ข้อกล่าวอ้างเรื่องความสามารถ และ Kendall's W ที่ 0.24 ของบทความคือการยอมรับของโครงการเองว่าการจัดอันดับไม่ได้เดินทางข้ามแพลตฟอร์ม หาก GPT-6.2 Astra ปรากฏบนบอร์ด Franka หรือ Bimanual-YAM ในอันดับที่ใกล้เคียง ผลลัพธ์ SO-101 ก็จะไม่ใช่ผลที่เกิดจากบอร์ดที่มีข้อมูลบางอีกต่อไป
อันดับที่สามคือ Fine-tune Track บทความรายงานว่าหลังจากปรับละเอียดด้วยการสาธิต 100 ตัวอย่างต่อหนึ่งงาน GR00T N1.7 นำหน้า SO-101 และปัจจุบัน GR00T N1.7 อยู่อันดับแปดบนกระดานเปิดด้วยอัตราความสำเร็จ 1.37% และการเปรียบเทียบ 219 ครั้ง นั่นคือบรรทัดที่มีประโยชน์ที่สุดในชุดข้อมูลทั้งหมด: นโยบายที่ชนะเมื่อทุกคนได้รับการสาธิตชุดเดียวกันกลับอยู่ใกล้ก้นตารางเมื่อไม่มีใครได้รับ และเอเจนต์แนวหน้าที่ชนะแทร็กเปิดก็ไม่ใช่ตัวที่ใครๆ จะเลือกนำไปใช้งานจริง สองคำถามที่ต่างกัน ผู้ชนะสองรายที่ต่างกัน และมีเพียงหนึ่งในนั้นที่เป็นสิ่งที่ทีมหุ่นยนต์ต้องตอบจริงๆ ก่อนนำออกใช้งาน
จนถึงตอนนั้น บทสรุปที่เป็นธรรมของวันที่ 20 พฤศจิกายนยังแคบ และควรกล่าวให้แม่นยำ โมเดลอเนกประสงค์ที่เพิ่งมีอายุสี่วันได้ขึ้นไปอยู่อันดับต้นของกระดานจัดอันดับหุ่นยนต์จริง โดยทำภารกิจสำเร็จ 22% จากการเปรียบเทียบแบบปกปิด 122 ครั้ง เหนือกลุ่มผู้เข้าแข่งขันที่รวมถึงนโยบายเฉพาะทางที่สร้างขึ้นสำหรับแขนกลนั้น — และเว็บไซต์ที่เผยแพร่การจัดอันดับก็เป็นแห่งแรกที่บอกว่าความเป็นผู้นำนั้นอยู่ในระดับความคลาดเคลื่อน
การเปรียบเทียบในบทความนี้1
ตรวจพบจากบทความนี้ · เบนช์มาร์ก: Artificial Analysis · อัปเดตทุกวัน
