
GPT-6.2 Astra ครองอันดับสูงสุดใน Blueprint-Bench 2: เส้นของมนุษย์คือสิบสองอพาร์ตเมนต์
- Orcaใหม่OrcaCyber: Hy4 Flash Abliterated / Uncensored2026-11-18$0.07 / $0.28 ต่อ 1 ล้านโทเค็น · 185 tok/s
- tencentใหม่Tencent: Hy4 Flash2026-11-16$0.02 / $0.07 ต่อ 1 ล้านโทเค็น · 826 tok/s
- Alibabaใหม่Qwen: Qwen4 Max2026-11-16$1.50 / $4.50 ต่อ 1 ล้านโทเค็น · 407 tok/s
- Googleใหม่Google: Gemini 4 Carbon2026-11-10$2.00 / $10.00 ต่อ 1 ล้านโทเค็น · 87 tok/s
- Anthropicใหม่Anthropic: Claude Fable 5.22026-11-09$8.00 / $40.00 ต่อ 1 ล้านโทเค็น · 150 tok/s
- OrcaOrcaCyber: GLM 5.3 Abliterated / Uncensored2026-11-04$3.00 / $5.00 ต่อ 1 ล้านโทเค็น · 99 tok/s
- OrcaOrcaCyber: Hy4 Abliterated / Uncensored2026-11-04$0.80 / $1.60 ต่อ 1 ล้านโทเค็น · 134 tok/s
- OrcaOrcaCyber: Kimi K3.1 Pro Abliterated / Uncensored2026-11-04$2.00 / $5.00 ต่อ 1 ล้านโทเค็น · 83 tok/s
- tencentTencent: Hy42026-11-04$0.83 / $2.50 ต่อ 1 ล้านโทเค็น · 120 tok/s
- OrcaOrcaCyber: MiniMax M3.1 Flash Abliterated / Uncensored2026-10-29$0.80 / $1.60 ต่อ 1 ล้านโทเค็น · 108 tok/s
- OrcaOrcaCyber: GLM 5.3 Flash Abliterated / Uncensored2026-10-27$0.80 / $1.60 ต่อ 1 ล้านโทเค็น · 67 tok/s
- OrcaOrcaCyber: Qwen3.8 Flash Next Abliterated / Uncensored2026-10-26$0.80 / $1.60 ต่อ 1 ล้านโทเค็น · 90 tok/s
- OrcaOrcaCyber: MiMo V2.6 Flash Abliterated / Uncensored2026-10-26$0.80 / $1.60 ต่อ 1 ล้านโทเค็น · 41 tok/s
- MoonshotMoonshotAI: Kimi K3.1 Pro2026-10-2447ความฉลาด
- OrcaOrcaCyber: DeepSeek V4.1 Flash Abliterated / Uncensored2026-10-23$0.80 / $1.60 ต่อ 1 ล้านโทเค็น · 212 tok/s
- minimaxMiniMax: M3.1 Flash2026-10-1929ความฉลาด
- OrcaOrca: OrcaCyber Ultra 1.02026-10-17$5.00 / $10.00 ต่อ 1 ล้านโทเค็น · 111 tok/s
- deepseekDeepSeek: DeepSeek V4.1 Flash 10172026-10-1733ความฉลาด
- DeepSeekDeepSeek: DeepSeek V4.1 Flash 09102026-10-17$0.15 / $0.60 ต่อ 1 ล้านโทเค็น · 160 tok/s
- DeepSeekDeepSeek: DeepSeek V4.1 Flash2026-10-1740ความฉลาด
GPT-6.2 Astra ได้คะแนน 0.614 ใน Blueprint-Bench 2 ค่าพื้นฐานของมนุษย์บนกระดานเดียวกันอยู่ที่ 0.586 นั่นคือการนำอยู่จริง และยังเป็นส่วนต่าง 0.028 คะแนนที่วัดเทียบกับตัวเลขของมนุษย์ซึ่ง Andon Labs คำนวณจากอพาร์ตเมนต์สิบสองแห่ง ผลลัพธ์นี้ขึ้นบนหน้าประเมินของ Andon เมื่อวันที่ 20 พฤศจิกายน 2026 และถูกขยายต่อในเช้าวันเดียวกันโดย Greg Brockman ซึ่งกล่าวว่า GPT-6.2 Astra "เกินค่าพื้นฐานของมนุษย์ในเกณฑ์มาตรฐานความเข้าใจ 3D เชิงกายภาพ" ทั้งสองครึ่งของประโยคนั้นต้องคลายความเกินจริงลงสักหน่อย และบทความนี้ว่าด้วยว่าส่วนใดยังอยู่รอด GPT-6.2 Astra, GPT-6.2 Sol และ Gemini 4 Carbon อยู่ในสี่อันดับแรกบนกระดานของ Andon ซึ่งสำคัญกว่าอันดับในพาดหัวสำหรับผู้อ่านที่กำลังตัดสินใจว่าจะเรียกมันว่าอะไร
ตัว benchmark เองไม่ใช่ของใหม่ Blueprint-Bench 2 อยู่บนเว็บไซต์ของ Andon Labs มาตั้งแต่เดือนพฤษภาคม 2026 และเก็บข้อมูลโมเดลมาตลอดหกเดือน สิ่งที่เปลี่ยนไปในวันที่ 20 พฤศจิกายนคือมีโมเดลหนึ่งผ่านเส้นของมนุษย์ได้เป็นครั้งแรก โดยเกินไปมากกว่าค่าความคลาดเคลื่อนของตัวเอง ดังนั้นนี่จึงไม่ใช่การเปิดตัว benchmark และไม่ใช่การเปิดตัวโมเดล — OpenAI เปิดตัว GPT-6.2 Astra เมื่อวันที่ 17 พฤศจิกายน 2026 สามวันก่อนหน้าที่คะแนนจะปรากฏขึ้น มันเป็นผลลัพธ์ที่ไปลงบนกระดานที่มีอยู่แล้ว และคำถามที่น่าสนใจไม่ใช่ตัวเลขนั้นเป็นของจริงหรือไม่ แต่คือตัวเลขนั้นกำลังวัดอะไร เนื่องจากวลี "ความเข้าใจทางกายภาพแบบ 3D" ทำงานหนักในทวีตมากกว่าที่ eval ทำในระเบียบวิธีของมันเอง
สิ่งที่ Andon Labs วัดได้จริง ๆ
Blueprint-Bench 2 มอบอพาร์ตเมนต์ห้าสิบหลังให้เอเจนต์ทีละหลังต่อเนื่องกัน สำหรับแต่ละหลัง มันดูภาพถ่ายภายในประมาณยี่สิบภาพ และต้องวาดแปลนพื้น 2 มิติ ได้แก่ ห้องต่าง ๆ ห้องใดเชื่อมกับห้องใด และขนาดสัมพัทธ์ของห้องเหล่านั้น เอเจนต์มีสมุดบันทึกที่คงอยู่ต่อเนื่องระหว่างอพาร์ตเมนต์ ดังนั้นโมเดลจึงสามารถจดสิ่งที่เรียนรู้เกี่ยวกับรูปแบบการจัดวางทั่วไปได้ — ว่าโดยปกติทางเดินอยู่ตรงไหน กรอบประตูที่อยู่มุมหนึ่งบ่งบอกอะไร — และนำไปใช้กับอพาร์ตเมนต์หลังถัดไป สมุดบันทึกนั้นคือส่วนหนึ่งของการออกแบบที่ทำให้สิ่งนี้เป็นการประเมินเอเจนต์มากกว่าการทดสอบทางภาพ และเป็นเหตุผลว่าทำไมคะแนนจึงแยกโมเดลระดับแนวหน้าออกจากโมเดลระดับกลางได้ชัดเจนกว่าการทดสอบด้วยภาพเพียงภาพเดียว
การให้คะแนนจะเปรียบเทียบกราฟการเชื่อมต่อของโมเดลกับ ground truth โดยถ่วงน้ำหนักผ่านตัวชี้วัดย่อยหกตัว ได้แก่ ความคล้ายคลึงแบบ Jaccard ของการเชื่อมต่อระหว่างห้องที่ 50% ความคล้ายคลึงของดีกรีที่ 20% ความหนาแน่นของกราฟที่ 10% จำนวนห้องที่ 10% จำนวนประตูที่ 5% และการจัดทิศทางที่ 5% แผนจะถูกจับคู่ภายใต้สมมาตร D4 ดังนั้นแผนที่ถูกหมุนหรือสะท้อนก็ยังได้คะแนน และคะแนนรวมจะถูกทำให้เป็นมาตรฐานเพื่อให้ baseline แบบสุ่มได้ 0 และแผนที่สมบูรณ์แบบได้ 1 น้ำหนัก 50% บน Jaccard คือทั้ง benchmark ในบรรทัดเดียว: บทเขียนของ Andon เองกล่าวว่าโมเดลทุกตัวได้จำนวนห้องค่อนข้างถูก ราว 90% และตัวแยกความแตกต่างคือโมเดลสามารถหาว่าห้องใดเปิดเข้าห้องใดได้หรือไม่ การนับห้องจากภาพถ่ายเป็นเรื่องง่าย การสร้างโทโพโลยีขึ้นใหม่จากการเดินสำรวจไม่ใช่เรื่องง่าย
ผลที่ตามมาสองประการเกิดขึ้นจากการออกแบบนั้น ประการแรก เอาต์พุตเป็นแผนผัง 2 มิติ ไม่ใช่โมเดล 3 มิติ — การให้เหตุผลเชิงพื้นที่นั้นเป็นสามมิติในแง่ที่ว่าเอเจนต์ต้องอนุมานเลย์เอาต์ของชั้นจากลำดับมุมมองที่ทับซ้อนกัน แต่ไม่มีสิ่งใดในการให้คะแนนที่ให้รางวัลกับการสร้างความสูงของเพดาน ปริมาตร หรือเฟอร์นิเจอร์ขึ้นมาใหม่ได้อย่างถูกต้อง ประการที่สอง คะแนนเป็นตัวเลขความคล้ายคลึงของกราฟ ไม่ใช่เปอร์เซ็นต์ความแม่นยำ ค่า 0.614 ไม่ได้หมายความว่าโมเดลทำอพาร์ตเมนต์ได้ถูกต้อง 61% แต่หมายความว่ากราฟการเชื่อมต่อของมันอยู่ห่างจากแบบสุ่มไปสู่แบบสมบูรณ์ได้ 61.4% ภายใต้น้ำหนักนั้น
0.028 ที่แยกโมเดลออกจากคน
นี่คืออันดับหัวตาราง ณ วันที่ 20 พฤศจิกายน 2026 พร้อมแถบค่าคลาดเคลื่อนมาตรฐานที่ Andon วาดบนแผนภูมิของตน ซึ่งอ่านค่าจากตัวเลขที่เผยแพร่:
GPT-6.2 Astra — 0.614 อันดับ 1 ช่วงความคลาดเคลื่อนประมาณ 0.601 ถึง 0.627
• Gemini 4 Carbon — 0.586 อันดับ 2 ร่วม ช่วงค่าความคลาดเคลื่อนประมาณ 0.571 ถึง 0.601
• ค่าพื้นฐานของมนุษย์ — 0.586 อันดับที่ 2 ร่วม ทดสอบกับอพาร์ตเมนต์ 12 ห้อง ไม่มีการเผยแพร่ช่วงความเชื่อมั่น
• GPT-6.2 Sol — 0.570, อันดับ 4, ช่วงความคลาดเคลื่อนประมาณ 0.558 ถึง 0.584
• Claude Fable 5.2 — 0.566 อันดับ 5
• Gemini 4 Argon — 0.544 อันดับ 6
• Claude Opus 5.5 — 0.512, อันดับ 7
• GPT-6 Astra — 0.497, อันดับ 8

มีสามสิ่งที่น่าหยิบยกจากรายการนั้น สิ่งแรกคือขนาดของช่องว่าง ซึ่งเท่ากับ 0.028 ของคะแนนบนสเกลที่การสุ่มได้ 0 และสมบูรณ์แบบได้ 1 สิ่งที่สองคือแถบความคลาดเคลื่อนของ Astra ไม่ได้ทอดต่ำลงไปถึง 0.586 — ขอบล่างของแถบอยู่ที่ 0.601 — ดังนั้นความเหนือกว่าตัวเลขของมนุษย์จึงไม่ได้อยู่ภายในความคลาดเคลื่อนของโมเดลเอง สิ่งที่สามคือตัวเลขของมนุษย์ไม่มีแถบความไม่แน่นอนเลย เพราะคำนวณจากอพาร์ตเมนต์สิบสองห้องจากงานที่มีอพาร์ตเมนต์ห้าสิบห้อง คะแนนของมนุษย์จากสิบสองแฟลตกับคะแนนของโมเดลจากห้าสิบห้องไม่ใช่การวัดเดียวกัน และ Andon พูดตรงไปตรงมาเรื่องนี้: เชิงอรรถของกระดานผู้นำระบุว่า "ค่าพื้นฐานของมนุษย์ทดสอบกับชุดย่อยซึ่งมีอพาร์ตเมนต์เพียง 12 ห้องเท่านั้น" ให้ถือว่า 0.586 เป็นการประมาณว่าคนหนึ่งคนจะอยู่ตรงไหน ไม่ใช่เส้นที่มีความกว้างที่ทราบค่า
อีกสิ่งหนึ่งที่แท่งแสดงช่วงความคลาดเคลื่อนบอกให้เห็นคือช่องว่างที่ส่วนหัวของตารางนั้นแคบเพียงใด หนวดล่างของ Astra และหนวดบนของ Gemini 4 Carbon บรรจบกันที่ 0.601 พอดี ในเบนช์มาร์กนี้ อันดับหนึ่งกับอันดับสองร่วมห่างกันเพียงจุดที่หนวดแตะกันหนึ่งจุด ซึ่งเป็นข้อกล่าวอ้างที่ต่างจาก “ดีกว่า AI อื่นใด” และเป็นข้อกล่าวอ้างที่ป้องกันได้มากกว่า คำบรรยายภาพของ Andon เองเลือกนำเสนอแบบก้ำกึ่งในลักษณะที่น่าสังเกต: มันกำกับเส้นประของมนุษย์ว่า “Human (0.59)” แล้วเขียนว่า GPT-6.2 Astra และ Gemini 4 Carbon “ตอนนี้เสมอกับเส้นนั้นแล้ว” แม้ว่าตารางจะวาง Astra ไว้สูงกว่าเส้นนั้น 0.028 และวาง Carbon ไว้บนเส้นนั้นพอดี ตารางเป็นชิ้นงานที่รอบคอบกว่า ส่วนคำบรรยายภาพคือสิ่งที่ถูกนำไปอ้างอิง
สองเกณฑ์มาตรฐาน ทิศทางเดียว
การที่กระดานจัดอันดับหนึ่งทำคะแนนแซงเส้น基準ของมนุษย์ได้อาจเป็นอาร์ติแฟกต์ของการให้คะแนน เหตุผลที่ควรให้ความสำคัญกับผลลัพธ์นี้คือ การประเมิน 3D ชุดที่สองที่สร้างขึ้นอย่างเป็นอิสระเคลื่อนไปในทิศทางเดียวกันในสัปดาห์เดียวกัน Artificial Analysis ดำเนินการ AA-3D ซึ่งเป็นงานที่แตกต่างไปโดยสิ้นเชิง: โมเดลทำงานเป็นเอเจนต์ในแซนด์บ็อกซ์ออฟไลน์ผ่าน Stirrup และเปลี่ยนบรีฟที่เป็นลายลักษณ์อักษรให้เป็นฉาก three.js แบบอินเทอร์แอกทีฟ และอันดับมาจากการลงคะแนนแบบเปรียบเทียบเป็นคู่แบบปกปิดโดยคณะผู้ตัดสินมนุษย์ที่สรรหามา — มากกว่า 20,000 โหวตบนกระดานปัจจุบัน — แทนที่จะมาจากการเปรียบเทียบกราฟ
• GPT-6.2 Astra (Max) — 1,318 Elo, ช่วงความเชื่อมั่น 95% อยู่ที่ 1,286 ถึง 1,349, อันดับ 1
• Claude Fable 5.2 (Max) — 1,271 Elo อันดับ 2
• GPT-6.2 Sol (Max) — 1,259 Elo อันดับ 3
• Claude Sonnet 5.5 (Max) — 1,204 Elo อันดับ 4
• Claude Opus 5.5 (Max) — 1,202 Elo อันดับ 5
• GPT-6 Astra (Max) — 1,168 Elo, ช่วง 95% อยู่ที่ 1,141 ถึง 1,196, อันดับ 6
สองบอร์ดไม่เห็นตรงกันเกี่ยวกับช่วงกลางของตาราง — Claude Fable 5.2 อยู่อันดับที่ 5 บน Andon's และอันดับที่ 2 บน Artificial Analysis's — แต่เห็นตรงกันโดยสมบูรณ์เกี่ยวกับหัวตาราง Astra นำอยู่ Sol อยู่ในสามอันดับแรก และรุ่นก่อนหน้าอยู่ตามหลังราว 150 Elo โพสต์เปิดตัวของ OpenAI เองได้กล่าวอ้างถึง AA-3D เมื่อวันที่ 17 พฤศจิกายน ด้วยตัวเลขสามตัวเดียวกัน และบอร์ดอิสระในตอนนี้แสดงตัวเลขเหล่านั้นโดยไม่เปลี่ยนแปลง ซึ่งเป็นกรณีที่หาได้ยากที่ตัวเลขจากผู้ขายและตัวเลขจากบุคคลที่สามเป็นตัวเลขเดียวกัน นั่นไม่เป็นเช่นนั้นกับตัวเลข Blueprint-Bench: OpenAI ไม่ได้พูดอะไรเกี่ยวกับผังพื้น และคะแนนนั้นมาจาก Andon เพียงแห่งเดียว

การที่ผลลัพธ์มาบรรจบกันนั่นเองคือข้อโต้แย้ง เบนช์มาร์กความคล้ายคลึงของกราฟที่ให้คะแนนด้วยโค้ด กับเบนช์มาร์ก Elo ที่ให้คะแนนจากการเลือกของมนุษย์แบบไม่เห็นข้อมูลนั้นห่างกันราวกับว่าการประเมิน “ความสามารถเชิงพื้นที่” สองแบบจะห่างกันได้มากที่สุด และทั้งสองก็จัดอันดับสามโมเดลเดียวกันในลำดับเดียวกัน สิ่งที่ทั้งสองยังไม่ได้ยืนยันคือตัวใดตัวหนึ่งวัดสิ่งที่ทีมหุ่นยนต์จะเรียกว่าความฉลาดเชิงพื้นที่ได้จริง ซึ่งพาเรามาถึงบรรทัดที่น่าสนใจที่สุดในตารางของ Andon
ทำไมโมเดลหุ่นยนต์จึงได้คะแนนเป็นศูนย์
Gemini Robotics-ER 1.6 ได้คะแนน 0.000 ใน Blueprint-Bench 2 — อยู่ในระดับหรือต่ำกว่าเส้นฐานสุ่ม โดย Andon ตีธงด้วยเครื่องหมายดอกจันคู่ นี่คือตัวเลขที่มีประโยชน์ที่สุดบนหน้านี้ โมเดลที่สร้างขึ้นมาเพื่อการให้เหตุผลเชิงพื้นที่และเชิงกายโดยเฉพาะ ซึ่งเป็นสิ่งที่คุณจะหยิบมาใช้หากงานคือ "เข้าใจพื้นที่ทางกายภาพ" กลับสร้างกราฟการเชื่อมต่อที่ไม่ดีไปกว่าการสุ่ม Andon เองก็ตีธงเรื่องนี้ไว้: ความเชี่ยวชาญเฉพาะทางด้านพื้นที่ไม่ถ่ายโอนไปสู่การสร้างแปลนพื้น
มีโมเดลอื่นอีกสี่ตัวที่อยู่ในระดับเดียวกับเส้นฐานสุ่ม และรูปร่างของกลุ่มนั้นบอกคุณว่าเกณฑ์มาตรฐานให้รางวัลกับอะไร สิ่งที่มันให้รางวัลคือทักษะผสมเฉพาะอย่างหนึ่ง — อ่านชุดภาพถ่าย รักษาสมมติฐานที่สอดคล้องกันเกี่ยวกับผังพื้น และส่งออกแผนที่จัดรูปแบบเคร่งครัดซึ่งตัวแยกวิเคราะห์ให้คะแนนได้ โมเดลอาจเก่งมากในการให้เหตุผลเกี่ยวกับพื้นที่ทางกายภาพแต่ยังล้มเหลวในเรื่องนี้ เพราะโหมดความล้มเหลวมักเป็นรูปแบบผลลัพธ์หรือความสอดคล้องระยะยาว ไม่ใช่การอนุมานเชิงพื้นที่ ซึ่งหมายความว่า "เกินเส้นฐานมนุษย์ในความเข้าใจ 3D ทางกายภาพ" เป็นบทสรุปที่ยุติธรรมของคะแนน และเป็นบทสรุปที่เอื้อเกินไปเล็กน้อยเกี่ยวกับทักษะนั้น ฉบับซื่อตรงจะแคบกว่า: มันสร้างความเชื่อมโยงของอพาร์ตเมนต์จากภาพถ่ายได้แม่นยำกว่ากลุ่มตัวอย่างมนุษย์สิบสองอพาร์ตเมนต์ บนเกณฑ์มาตรฐานที่ให้คะแนนโครงสร้างกราฟและอย่างอื่นไม่ได้เลย
สำหรับใครก็ตามที่งานจริงเกี่ยวข้องกับแผนผังชั้น — การเก็บข้อมูลทรัพย์สิน เอกสารประกอบการประกันภัย งานบริหารอาคารสถานที่ และการแปลงแผนผังบนกระดาษเป็นดิจิทัล — ข้อกล่าวอ้างที่แคบกว่านั้นยังคงเป็นข้อกล่าวอ้างที่มีประโยชน์ เพราะโครงสร้างกราฟคือสิ่งที่เวิร์กโฟลว์เหล่านั้นต้องการพอดี และเป็นสิ่งที่ไปป์ไลน์ PDF-to-CAD ทำผิดพลาดพอดี สำหรับใครที่อ่านมันในฐานะข้อความเกี่ยวกับหุ่นยนต์ที่นำทางในห้อง แถว Robotics-ER คือคำแก้ไขที่ถูกต้อง
ค่าใช้จ่ายในการซื้อลีดนั้น
GPT-6.2 Astra ตั้งราคาไว้ที่ $8 ต่อหนึ่งล้านโทเค็นอินพุต, $0.40 สำหรับแคช และ $40 ต่อหนึ่งล้านโทเค็นเอาต์พุต ซึ่งต่ำกว่า GPT-6 Astra 20% ในทั้งสองทิศทางการคิดค่าบริการ โมเดลที่ทำคะแนนเสมอเส้น基準มนุษย์อย่าง Gemini 4 Carbon ตั้งราคาไว้ที่ $2 และ $10 — คิดเป็นหนึ่งในสี่ของราคาอินพุตของ Astra และหนึ่งในสี่ของราคาเอาต์พุตของ Astra GPT-6.2 Sol ซึ่งอยู่อันดับสี่บนบอร์ดของ Andon ที่ 0.570 และอันดับสามบน AA-3D ที่ 1,259 Elo ยังคงใช้ราคาโทเค็นของ GPT-6.1 Sol แทนที่จะเป็นของ Astra
• Blueprint-Bench 2 — Gemini 4 Carbon 0.586 เทียบกับ GPT-6.2 Astra 0.614
• ราคาอินพุตต่อ 1M — Carbon $2.00 เทียบกับ Astra $8.00
• ราคาเอาต์พุตต่อ 1M — Carbon $10.00 เทียบกับ Astra $40.00
• AA-3D Elo — Carbon ไม่อยู่บนกระดานผู้นำ เทียบกับ Astra 1,318 อันดับ 1
• แต่ละตัวอยู่ตรงไหน — Carbon ทำได้เท่ากับเส้นของมนุษย์ ส่วน Astra ผ่านเส้นนั้นไป 0.028

ถ้ามองเรื่องนี้เป็นคำถามด้านราคา คำตอบก็ชวนอึดอัดสำหรับรุ่นเรือธง บน benchmark เดียวที่ทั้งสองโมเดลปรากฏอยู่ การจ่ายเพียงหนึ่งในห้าของราคาทำให้คุณได้ผลลัพธ์ทัดเทียมค่าฐานของมนุษย์และห่างจากอันดับหนึ่งเพียงเฉียดฉิว เหตุผลด้านราคาของ Astra ไม่ได้ตั้งอยู่บนผังพื้น แต่ตั้งอยู่บนการประเมินงานระดับวิชาชีพในโพสต์เปิดตัวของ OpenAI ซึ่ง Astra เป็นโมเดลที่มีหน้าต่างบริบท 1,050,000 โทเคน และได้คะแนนระดับแนวหน้าใน Agents' Last Exam และ Terminal-Bench-Science หากงานของคุณคือภาพถ่ายอพาร์ตเมนต์และกราฟการเชื่อมต่อ ความต่างของราคาก็ยากที่จะหาเหตุผลรองรับได้จากกระดานคะแนนนี้เพียงอย่างเดียว หากงานของคุณคือชุดเอกสารกฎหมายหรือวิทยาศาสตร์ที่ยาว benchmark นี้ก็ไม่ได้บอกอะไรเกี่ยวกับเรื่องนั้นไม่ว่าทางใด
ข้อควรระวังเพิ่มเติมเกี่ยวกับต้นทุน: ทั้ง Andon และ Artificial Analysis ไม่ได้เผยแพร่ตัวเลขต้นทุนต่องานสำหรับ Blueprint-Bench 2 และเบนช์มาร์กนี้มีความอ่อนไหวต่อปัจจัยดังกล่าวอย่างผิดปกติ อพาร์ตเมนต์ห้าสิบยูนิตที่แต่ละยูนิตมีภาพประมาณยี่สิบภาพถือเป็นโทเคนอินพุตจำนวนมากก่อนที่โมเดลจะเขียนห้องได้แม้แต่ห้องเดียว และโมเดลที่ทำคะแนนกราฟได้เท่ากันโดยใช้รอบของลูปสมุดโน้ตมากขึ้นย่อมมีต้นทุนต่ออพาร์ตเมนต์สูงกว่าที่ราคาโทเคนบ่งชี้ อย่าตีความราคาโทเคนข้างต้นเป็นบิลต่ออพาร์ตเมนต์ เพราะไม่ใช่เช่นนั้น
สิ่งนี้ทำให้การตัดสินใจเรื่องการจัดเส้นทางเป็นอย่างไร
ในทางปฏิบัติแล้ว ทั้งหมดนี้หมายความว่า "โมเดลไหนสำหรับงานเชิงพื้นที่" กลายเป็นคำถามระหว่างโมเดลสองตัวที่มีช่วงราคาต่างกัน และชั้นการกำหนดเส้นทางคือจุดที่ช่วงราคานี้ถูกคลี่คลาย Gemini 4 Carbon อยู่ในแคตตาล็อกของ OrcaRouter ในราคาตามรายการโดยมีมาร์กอัป 0% ส่งผ่าน ซึ่งหมายความว่า $2 และ $10 ข้างต้นคือสิ่งที่คุณจ่ายจริงต่อล้านโทเค็น ไม่ใช่อัตราจากผู้ขายที่บวกกำไรของแพลตฟอร์มทับลงไป สิ่งนี้สำคัญตรงนี้โดยเฉพาะเพราะช่องว่างต้นทุนระหว่างอันดับหนึ่งกับอันดับสองร่วมบนบอร์ดนี้คือ 4x และช่องว่าง 4x เป็นสิ่งที่คุณควรวัดกับผังพื้นของคุณเองก่อนจะมาตรฐานด้วยตัวใดตัวหนึ่ง
GPT-6.2 Astra ยังไม่อยู่ในแค็ตตาล็อกของเรา ณ วันที่ 20 พฤศจิกายน; โมเดล OpenAI ที่เราให้บริการคือ GPT-6 Astra ซึ่งได้ 0.497 คะแนนบนบอร์ดนี้ และสาย GPT-6 Sol เรื่องนี้ควรพูดให้ตรงไปตรงมาแทนที่จะสื่อเป็นนัยเป็นอย่างอื่น เพราะมันเปลี่ยนคำแนะนำ: จนกว่า Astra จะถูก route ได้ที่นี่ โมเดลในแค็ตตาล็อกของเราที่ทำคะแนนเสมอเท่ากับ baseline ของมนุษย์คือ Carbon และ GPT-6 Astra อยู่บนคีย์เดียวกันหากคุณต้องการสไตล์เอาต์พุตแบบ OpenAI ในราคา $10 และ $50 เมื่อโมเดลหนึ่งกับคู่แข่งที่ถูกกว่าอยู่บน endpoint เดียวกัน การทดสอบ A/B บนอพาร์ตเมนต์ของคุณเองมีต้นทุนเป็นแค่การเปลี่ยน API key ไม่ใช่สัญญาที่สอง และ การ failover หมายความว่า rate limit ของตัวหนึ่งจะไม่ทำให้แบตช์หยุดทำงาน.
อะไรจะทำให้การอ่านนี้เปลี่ยนไป
สามเรื่อง เรียงตามลำดับว่าสิ่งใดจะเปลี่ยนเรื่องราวได้มากที่สุด เรื่องแรกคือเส้นฐานของมนุษย์ที่กว้างขึ้น สิบสองอพาร์ตเมนต์เป็นตัวอย่างที่เล็กสำหรับงานห้าสิบอพาร์ตเมนต์ และหาก Andon เผยแพร่ช่วงความเชื่อมั่นของตัวเลขมนุษย์ ก็จะชี้ชัดว่า 0.586 เป็นเส้นตรงหรือเป็นรอยเลือน — ถ้าแถบของมนุษย์ออกมาอยู่ระหว่าง 0.55 ถึง 0.62 แล้วล่ะก็ ความนำของ Astra เป็นของจริง แต่การเสมอกันของ Carbon ไม่ใช่ และอันดับต้น ๆ ของกระดานทั้งหมดก็จะถูกจัดเรียงใหม่ เรื่องที่สองคือการรัน GPT-6.2 Astra ซ้ำเป็นรอบที่สองบนกระดานเดียวกัน โมเดลนี้เพิ่งมีอายุสามวัน ตัวเลขของ Andon มาจากแคมเปญเดียว และเบนช์มาร์กที่มีลูปสมุดจดและขอบเขตห้าสิบอพาร์ตเมนต์ย่อมมีความแปรปรวนระหว่างการรันมากกว่าการประเมินแบบยิงครั้งเดียว ซึ่งเป็นสิ่งที่แท่งค่าคลาดเคลื่อนมาตรฐานกำลังบอกเป็นนัยแต่ไม่สามารถกลืนได้หมด
อย่างที่สามคือตัวหน้าเว็บเอง ส่วน “ข้อค้นพบสำคัญ” ของ Andon ยังระบุชื่อ GPT 5.5, Gemini 3.1 Pro และ Claude Opus 4.7 เป็นสามโมเดลอันดับต้น ซึ่งเป็นจริงในเดือนพฤษภาคม 2026 และยังไม่ได้รับการอัปเดตเมื่อตารางมีข้อมูลครบขึ้น บทวิเคราะห์เรื่องการให้เหตุผลเชิงพื้นที่ของพวกเขายังอ้างถึง Gemini 3.1 Pro และ GPT 5.5 ในการไล่ทำงานผ่านอพาร์ตเมนต์แต่ละยูนิต ลีดเดอร์บอร์ดเป็นข้อมูลล่าสุด ส่วนข้อความร้อยเรียงโดยรอบเป็นภาพ ณ ช่วงเวลาหนึ่งจากหกเดือนก่อน ให้อ่านตาราง ไม่ใช่ส่วนข้อค้นพบ และอ่านแถบความคลาดเคลื่อนบนกราฟ แทนที่จะอ่านคำบรรยายที่บอกว่าสองโมเดลเสมอกันบนเส้นหนึ่ง ทั้งที่หนึ่งในนั้นอยู่เหนือเส้นอย่างวัดได้
ไม่มีสิ่งใดในนั้นทำให้ผลลัพธ์ผิด GPT-6.2 Astra เป็นโมเดลที่ดีที่สุดในการประเมิน 3D อิสระทั้งสองครั้งที่เผยแพร่สัปดาห์นี้ โดยมีส่วนต่างที่เกินแถบข้อผิดพลาดของตัวเองในการประเมินครั้งหนึ่ง และนำอยู่ 47 Elo ในอีกครั้ง ซึ่งช่วงความเชื่อมั่น 95% ทั้งสองยังทับซ้อนกัน มันเป็นโมเดลแรกที่อยู่เหนือค่าประมาณของมนุษย์อย่างมีนัยสำคัญบนเบนช์มาร์กที่ดำเนินมาตั้งแต่เดือนพฤษภาคม คำกล่าวอ้างนี้เล็กกว่าทวีตและแน่นหนากว่าข้อมูลรั่วไหล ซึ่งเป็นรูปร่างที่เหมาะสมสำหรับผลลัพธ์ที่มาถึงสามวันหลังจากโมเดลเปิดตัว
การเปรียบเทียบในบทความนี้2
ตรวจพบจากบทความนี้ · เบนช์มาร์ก: Artificial Analysis · อัปเดตทุกวัน
