การ์ดชื่อเรื่องที่สร้างขึ้นซึ่งมีพาดหัวว่า 'GPT-6.2 Astra ครองอันดับหนึ่งบน Blueprint-Bench 2' พร้อมคำโปรยย่อย 'เส้นของมนุษย์คือสิบสองอพาร์ตเมนต์' และคำบรรยายว่า '0.614 เทียบกับพื้นฐานมนุษย์ที่ 0.586' การ์ดมุมโค้งสองใบอยู่ด้านล่าง: ใบซ้ายมีป้ายว่า 'GPT-6.2 Astra' พร้อมแถว 'Blueprint-Bench 2: 0.614', 'อันดับ 1 บนกระดาน' และ 'การสร้างฉาก 3D ขึ้นใหม่'; ใบขวามีป้ายว่า 'พื้นฐานมนุษย์' พร้อม '0.586', 'วัดจาก 12 อพาร์ตเมนต์' และ 'จาก 50 ในเบนช์มาร์ก' โลโก้ OrcaRouter ถูกคอมโพสิตไว้ที่มุมขวาล่าง
Guides & Insights

GPT-6.2 Astra ครองอันดับสูงสุดใน Blueprint-Bench 2: เส้นของมนุษย์คือสิบสองอพาร์ตเมนต์

ผู้เขียน

jinhao.song

วันที่เผยแพร่

โมเดลล่าสุด · 20ดูโมเดลทั้งหมด →
เบนช์มาร์ก: Artificial Analysis · อัปเดตทุกวัน
กลับไปยังโพสต์ทั้งหมด

GPT-6.2 Astra ได้คะแนน 0.614 ใน Blueprint-Bench 2 ค่าพื้นฐานของมนุษย์บนกระดานเดียวกันอยู่ที่ 0.586 นั่นคือการนำอยู่จริง และยังเป็นส่วนต่าง 0.028 คะแนนที่วัดเทียบกับตัวเลขของมนุษย์ซึ่ง Andon Labs คำนวณจากอพาร์ตเมนต์สิบสองแห่ง ผลลัพธ์นี้ขึ้นบนหน้าประเมินของ Andon เมื่อวันที่ 20 พฤศจิกายน 2026 และถูกขยายต่อในเช้าวันเดียวกันโดย Greg Brockman ซึ่งกล่าวว่า GPT-6.2 Astra "เกินค่าพื้นฐานของมนุษย์ในเกณฑ์มาตรฐานความเข้าใจ 3D เชิงกายภาพ" ทั้งสองครึ่งของประโยคนั้นต้องคลายความเกินจริงลงสักหน่อย และบทความนี้ว่าด้วยว่าส่วนใดยังอยู่รอด GPT-6.2 Astra, GPT-6.2 Sol และ Gemini 4 Carbon อยู่ในสี่อันดับแรกบนกระดานของ Andon ซึ่งสำคัญกว่าอันดับในพาดหัวสำหรับผู้อ่านที่กำลังตัดสินใจว่าจะเรียกมันว่าอะไร

ตัว benchmark เองไม่ใช่ของใหม่ Blueprint-Bench 2 อยู่บนเว็บไซต์ของ Andon Labs มาตั้งแต่เดือนพฤษภาคม 2026 และเก็บข้อมูลโมเดลมาตลอดหกเดือน สิ่งที่เปลี่ยนไปในวันที่ 20 พฤศจิกายนคือมีโมเดลหนึ่งผ่านเส้นของมนุษย์ได้เป็นครั้งแรก โดยเกินไปมากกว่าค่าความคลาดเคลื่อนของตัวเอง ดังนั้นนี่จึงไม่ใช่การเปิดตัว benchmark และไม่ใช่การเปิดตัวโมเดล — O​penAI เปิดตัว GPT-6.2 Astra เมื่อวันที่ 17 พฤศจิกายน 2026 สามวันก่อนหน้าที่คะแนนจะปรากฏขึ้น มันเป็นผลลัพธ์ที่ไปลงบนกระดานที่มีอยู่แล้ว และคำถามที่น่าสนใจไม่ใช่ตัวเลขนั้นเป็นของจริงหรือไม่ แต่คือตัวเลขนั้นกำลังวัดอะไร เนื่องจากวลี "ความเข้าใจทางกายภาพแบบ 3D" ทำงานหนักในทวีตมากกว่าที่ eval ทำในระเบียบวิธีของมันเอง

สิ่งที่ Andon Labs วัดได้จริง ๆ

Blueprint-Bench 2 มอบอพาร์ตเมนต์ห้าสิบหลังให้เอเจนต์ทีละหลังต่อเนื่องกัน สำหรับแต่ละหลัง มันดูภาพถ่ายภายในประมาณยี่สิบภาพ และต้องวาดแปลนพื้น 2 มิติ ได้แก่ ห้องต่าง ๆ ห้องใดเชื่อมกับห้องใด และขนาดสัมพัทธ์ของห้องเหล่านั้น เอเจนต์มีสมุดบันทึกที่คงอยู่ต่อเนื่องระหว่างอพาร์ตเมนต์ ดังนั้นโมเดลจึงสามารถจดสิ่งที่เรียนรู้เกี่ยวกับรูปแบบการจัดวางทั่วไปได้ — ว่าโดยปกติทางเดินอยู่ตรงไหน กรอบประตูที่อยู่มุมหนึ่งบ่งบอกอะไร — และนำไปใช้กับอพาร์ตเมนต์หลังถัดไป สมุดบันทึกนั้นคือส่วนหนึ่งของการออกแบบที่ทำให้สิ่งนี้เป็นการประเมินเอเจนต์มากกว่าการทดสอบทางภาพ และเป็นเหตุผลว่าทำไมคะแนนจึงแยกโมเดลระดับแนวหน้าออกจากโมเดลระดับกลางได้ชัดเจนกว่าการทดสอบด้วยภาพเพียงภาพเดียว

การให้คะแนนจะเปรียบเทียบกราฟการเชื่อมต่อของโมเดลกับ ground truth โดยถ่วงน้ำหนักผ่านตัวชี้วัดย่อยหกตัว ได้แก่ ความคล้ายคลึงแบบ Jaccard ของการเชื่อมต่อระหว่างห้องที่ 50% ความคล้ายคลึงของดีกรีที่ 20% ความหนาแน่นของกราฟที่ 10% จำนวนห้องที่ 10% จำนวนประตูที่ 5% และการจัดทิศทางที่ 5% แผนจะถูกจับคู่ภายใต้สมมาตร D4 ดังนั้นแผนที่ถูกหมุนหรือสะท้อนก็ยังได้คะแนน และคะแนนรวมจะถูกทำให้เป็นมาตรฐานเพื่อให้ baseline แบบสุ่มได้ 0 และแผนที่สมบูรณ์แบบได้ 1 น้ำหนัก 50% บน Jaccard คือทั้ง benchmark ในบรรทัดเดียว: บทเขียนของ Andon เองกล่าวว่าโมเดลทุกตัวได้จำนวนห้องค่อนข้างถูก ราว 90% และตัวแยกความแตกต่างคือโมเดลสามารถหาว่าห้องใดเปิดเข้าห้องใดได้หรือไม่ การนับห้องจากภาพถ่ายเป็นเรื่องง่าย การสร้างโทโพโลยีขึ้นใหม่จากการเดินสำรวจไม่ใช่เรื่องง่าย

ผลที่ตามมาสองประการเกิดขึ้นจากการออกแบบนั้น ประการแรก เอาต์พุตเป็นแผนผัง 2 มิติ ไม่ใช่โมเดล 3 มิติ — การให้เหตุผลเชิงพื้นที่นั้นเป็นสามมิติในแง่ที่ว่าเอเจนต์ต้องอนุมานเลย์เอาต์ของชั้นจากลำดับมุมมองที่ทับซ้อนกัน แต่ไม่มีสิ่งใดในการให้คะแนนที่ให้รางวัลกับการสร้างความสูงของเพดาน ปริมาตร หรือเฟอร์นิเจอร์ขึ้นมาใหม่ได้อย่างถูกต้อง ประการที่สอง คะแนนเป็นตัวเลขความคล้ายคลึงของกราฟ ไม่ใช่เปอร์เซ็นต์ความแม่นยำ ค่า 0.614 ไม่ได้หมายความว่าโมเดลทำอพาร์ตเมนต์ได้ถูกต้อง 61% แต่หมายความว่ากราฟการเชื่อมต่อของมันอยู่ห่างจากแบบสุ่มไปสู่แบบสมบูรณ์ได้ 61.4% ภายใต้น้ำหนักนั้น

0.028 ที่แยกโมเดลออกจากคน

นี่คืออันดับหัวตาราง ณ วันที่ 20 พฤศจิกายน 2026 พร้อมแถบค่าคลาดเคลื่อนมาตรฐานที่ Andon วาดบนแผนภูมิของตน ซึ่งอ่านค่าจากตัวเลขที่เผยแพร่:

GPT-6.2 Astra — 0.614 อันดับ 1 ช่วงความคลาดเคลื่อนประมาณ 0.601 ถึง 0.627

• Gemini 4 Carbon — 0.586 อันดับ 2 ร่วม ช่วงค่าความคลาดเคลื่อนประมาณ 0.571 ถึง 0.601

• ค่าพื้นฐานของมนุษย์ — 0.586 อันดับที่ 2 ร่วม ทดสอบกับอพาร์ตเมนต์ 12 ห้อง ไม่มีการเผยแพร่ช่วงความเชื่อมั่น

• GPT-6.2 Sol — 0.570, อันดับ 4, ช่วงความคลาดเคลื่อนประมาณ 0.558 ถึง 0.584

• Claude Fable 5.2 — 0.566 อันดับ 5

• Gemini 4 Argon — 0.544 อันดับ 6

• Claude Opus 5.5 — 0.512, อันดับ 7

• GPT-6 Astra — 0.497, อันดับ 8

A screenshot of Andon Labs' Blueprint-Bench 2 evaluation page. The top half explains that agents convert roughly twenty interior photographs of each apartment into a 2D floor plan across fifty apartments, with the normalisation note that random maps to 0 and perfect to 1 and that error bars are standard error, above a connectivity-similarity chart. The leaderboard below lists GPT-6.2 Astra at 0.614 in first place, then Gemini 4 Carbon and a Human baseline both at 0.586, GPT-6.2 Sol at 0.570 and Claude Fable 5.2 at 0.566, continuing down through GPT-6 Astra at 0.497 to Claude Haiku 5.5 at 0.330.

มีสามสิ่งที่น่าหยิบยกจากรายการนั้น สิ่งแรกคือขนาดของช่องว่าง ซึ่งเท่ากับ 0.028 ของคะแนนบนสเกลที่การสุ่มได้ 0 และสมบูรณ์แบบได้ 1 สิ่งที่สองคือแถบความคลาดเคลื่อนของ Astra ไม่ได้ทอดต่ำลงไปถึง 0.586 — ขอบล่างของแถบอยู่ที่ 0.601 — ดังนั้นความเหนือกว่าตัวเลขของมนุษย์จึงไม่ได้อยู่ภายในความคลาดเคลื่อนของโมเดลเอง สิ่งที่สามคือตัวเลขของมนุษย์ไม่มีแถบความไม่แน่นอนเลย เพราะคำนวณจากอพาร์ตเมนต์สิบสองห้องจากงานที่มีอพาร์ตเมนต์ห้าสิบห้อง คะแนนของมนุษย์จากสิบสองแฟลตกับคะแนนของโมเดลจากห้าสิบห้องไม่ใช่การวัดเดียวกัน และ Andon พูดตรงไปตรงมาเรื่องนี้: เชิงอรรถของกระดานผู้นำระบุว่า "ค่าพื้นฐานของมนุษย์ทดสอบกับชุดย่อยซึ่งมีอพาร์ตเมนต์เพียง 12 ห้องเท่านั้น" ให้ถือว่า 0.586 เป็นการประมาณว่าคนหนึ่งคนจะอยู่ตรงไหน ไม่ใช่เส้นที่มีความกว้างที่ทราบค่า

อีกสิ่งหนึ่งที่แท่งแสดงช่วงความคลาดเคลื่อนบอกให้เห็นคือช่องว่างที่ส่วนหัวของตารางนั้นแคบเพียงใด หนวดล่างของ Astra และหนวดบนของ Gemini 4 Carbon บรรจบกันที่ 0.601 พอดี ในเบนช์มาร์กนี้ อันดับหนึ่งกับอันดับสองร่วมห่างกันเพียงจุดที่หนวดแตะกันหนึ่งจุด ซึ่งเป็นข้อกล่าวอ้างที่ต่างจาก “ดีกว่า AI อื่นใด” และเป็นข้อกล่าวอ้างที่ป้องกันได้มากกว่า คำบรรยายภาพของ Andon เองเลือกนำเสนอแบบก้ำกึ่งในลักษณะที่น่าสังเกต: มันกำกับเส้นประของมนุษย์ว่า “Human (0.59)” แล้วเขียนว่า GPT-6.2 Astra และ Gemini 4 Carbon “ตอนนี้เสมอกับเส้นนั้นแล้ว” แม้ว่าตารางจะวาง Astra ไว้สูงกว่าเส้นนั้น 0.028 และวาง Carbon ไว้บนเส้นนั้นพอดี ตารางเป็นชิ้นงานที่รอบคอบกว่า ส่วนคำบรรยายภาพคือสิ่งที่ถูกนำไปอ้างอิง

สองเกณฑ์มาตรฐาน ทิศทางเดียว

การที่กระดานจัดอันดับหนึ่งทำคะแนนแซงเส้น基準ของมนุษย์ได้อาจเป็นอาร์ติแฟกต์ของการให้คะแนน เหตุผลที่ควรให้ความสำคัญกับผลลัพธ์นี้คือ การประเมิน 3D ชุดที่สองที่สร้างขึ้นอย่างเป็นอิสระเคลื่อนไปในทิศทางเดียวกันในสัปดาห์เดียวกัน Artificial Analysis ดำเนินการ AA-3D ซึ่งเป็นงานที่แตกต่างไปโดยสิ้นเชิง: โมเดลทำงานเป็นเอเจนต์ในแซนด์บ็อกซ์ออฟไลน์ผ่าน Stirrup และเปลี่ยนบรีฟที่เป็นลายลักษณ์อักษรให้เป็นฉาก three.js แบบอินเทอร์แอกทีฟ และอันดับมาจากการลงคะแนนแบบเปรียบเทียบเป็นคู่แบบปกปิดโดยคณะผู้ตัดสินมนุษย์ที่สรรหามา — มากกว่า 20,000 โหวตบนกระดานปัจจุบัน — แทนที่จะมาจากการเปรียบเทียบกราฟ

• GPT-6.2 Astra (Max) — 1,318 Elo, ช่วงความเชื่อมั่น 95% อยู่ที่ 1,286 ถึง 1,349, อันดับ 1

• Claude Fable 5.2 (Max) — 1,271 Elo อันดับ 2

• GPT-6.2 Sol (Max) — 1,259 Elo อันดับ 3

• Claude Sonnet 5.5 (Max) — 1,204 Elo อันดับ 4

• Claude Opus 5.5 (Max) — 1,202 Elo อันดับ 5

• GPT-6 Astra (Max) — 1,168 Elo, ช่วง 95% อยู่ที่ 1,141 ถึง 1,196, อันดับ 6

สองบอร์ดไม่เห็นตรงกันเกี่ยวกับช่วงกลางของตาราง — Claude Fable 5.2 อยู่อันดับที่ 5 บน Andon's และอันดับที่ 2 บน Artificial Analysis's — แต่เห็นตรงกันโดยสมบูรณ์เกี่ยวกับหัวตาราง Astra นำอยู่ Sol อยู่ในสามอันดับแรก และรุ่นก่อนหน้าอยู่ตามหลังราว 150 Elo โพสต์เปิดตัวของ O​penAI เองได้กล่าวอ้างถึง AA-3D เมื่อวันที่ 17 พฤศจิกายน ด้วยตัวเลขสามตัวเดียวกัน และบอร์ดอิสระในตอนนี้แสดงตัวเลขเหล่านั้นโดยไม่เปลี่ยนแปลง ซึ่งเป็นกรณีที่หาได้ยากที่ตัวเลขจากผู้ขายและตัวเลขจากบุคคลที่สามเป็นตัวเลขเดียวกัน นั่นไม่เป็นเช่นนั้นกับตัวเลข Blueprint-Bench: O​penAI ไม่ได้พูดอะไรเกี่ยวกับผังพื้น และคะแนนนั้นมาจาก Andon เพียงแห่งเดียว

A screenshot of the AA-3D Leaderboard from Artificial Analysis, with columns for rank, score range, model and Elo. GPT-6.2 Astra (Max) sits at rank 1 with 1318, above Claude Fable 5.2 (Max), GPT-6.2 Sol (Max), Claude Sonnet 5.5 (Max) and Claude Opus 5.5 (Max), with GPT-6 Astra (Max) further down at 1168.

การที่ผลลัพธ์มาบรรจบกันนั่นเองคือข้อโต้แย้ง เบนช์มาร์กความคล้ายคลึงของกราฟที่ให้คะแนนด้วยโค้ด กับเบนช์มาร์ก Elo ที่ให้คะแนนจากการเลือกของมนุษย์แบบไม่เห็นข้อมูลนั้นห่างกันราวกับว่าการประเมิน “ความสามารถเชิงพื้นที่” สองแบบจะห่างกันได้มากที่สุด และทั้งสองก็จัดอันดับสามโมเดลเดียวกันในลำดับเดียวกัน สิ่งที่ทั้งสองยังไม่ได้ยืนยันคือตัวใดตัวหนึ่งวัดสิ่งที่ทีมหุ่นยนต์จะเรียกว่าความฉลาดเชิงพื้นที่ได้จริง ซึ่งพาเรามาถึงบรรทัดที่น่าสนใจที่สุดในตารางของ Andon

ทำไมโมเดลหุ่นยนต์จึงได้คะแนนเป็นศูนย์

Gemini Robotics-ER 1.6 ได้คะแนน 0.000 ใน Blueprint-Bench 2 — อยู่ในระดับหรือต่ำกว่าเส้นฐานสุ่ม โดย Andon ตีธงด้วยเครื่องหมายดอกจันคู่ นี่คือตัวเลขที่มีประโยชน์ที่สุดบนหน้านี้ โมเดลที่สร้างขึ้นมาเพื่อการให้เหตุผลเชิงพื้นที่และเชิงกายโดยเฉพาะ ซึ่งเป็นสิ่งที่คุณจะหยิบมาใช้หากงานคือ "เข้าใจพื้นที่ทางกายภาพ" กลับสร้างกราฟการเชื่อมต่อที่ไม่ดีไปกว่าการสุ่ม Andon เองก็ตีธงเรื่องนี้ไว้: ความเชี่ยวชาญเฉพาะทางด้านพื้นที่ไม่ถ่ายโอนไปสู่การสร้างแปลนพื้น

มีโมเดลอื่นอีกสี่ตัวที่อยู่ในระดับเดียวกับเส้นฐานสุ่ม และรูปร่างของกลุ่มนั้นบอกคุณว่าเกณฑ์มาตรฐานให้รางวัลกับอะไร สิ่งที่มันให้รางวัลคือทักษะผสมเฉพาะอย่างหนึ่ง — อ่านชุดภาพถ่าย รักษาสมมติฐานที่สอดคล้องกันเกี่ยวกับผังพื้น และส่งออกแผนที่จัดรูปแบบเคร่งครัดซึ่งตัวแยกวิเคราะห์ให้คะแนนได้ โมเดลอาจเก่งมากในการให้เหตุผลเกี่ยวกับพื้นที่ทางกายภาพแต่ยังล้มเหลวในเรื่องนี้ เพราะโหมดความล้มเหลวมักเป็นรูปแบบผลลัพธ์หรือความสอดคล้องระยะยาว ไม่ใช่การอนุมานเชิงพื้นที่ ซึ่งหมายความว่า "เกินเส้นฐานมนุษย์ในความเข้าใจ 3D ทางกายภาพ" เป็นบทสรุปที่ยุติธรรมของคะแนน และเป็นบทสรุปที่เอื้อเกินไปเล็กน้อยเกี่ยวกับทักษะนั้น ฉบับซื่อตรงจะแคบกว่า: มันสร้างความเชื่อมโยงของอพาร์ตเมนต์จากภาพถ่ายได้แม่นยำกว่ากลุ่มตัวอย่างมนุษย์สิบสองอพาร์ตเมนต์ บนเกณฑ์มาตรฐานที่ให้คะแนนโครงสร้างกราฟและอย่างอื่นไม่ได้เลย

สำหรับใครก็ตามที่งานจริงเกี่ยวข้องกับแผนผังชั้น — การเก็บข้อมูลทรัพย์สิน เอกสารประกอบการประกันภัย งานบริหารอาคารสถานที่ และการแปลงแผนผังบนกระดาษเป็นดิจิทัล — ข้อกล่าวอ้างที่แคบกว่านั้นยังคงเป็นข้อกล่าวอ้างที่มีประโยชน์ เพราะโครงสร้างกราฟคือสิ่งที่เวิร์กโฟลว์เหล่านั้นต้องการพอดี และเป็นสิ่งที่ไปป์ไลน์ PDF-to-CAD ทำผิดพลาดพอดี สำหรับใครที่อ่านมันในฐานะข้อความเกี่ยวกับหุ่นยนต์ที่นำทางในห้อง แถว Robotics-ER คือคำแก้ไขที่ถูกต้อง

ค่าใช้จ่ายในการซื้อลีดนั้น

GPT-6.2 Astra ตั้งราคาไว้ที่ $8 ต่อหนึ่งล้านโทเค็นอินพุต, $0.40 สำหรับแคช และ $40 ต่อหนึ่งล้านโทเค็นเอาต์พุต ซึ่งต่ำกว่า GPT-6 Astra 20% ในทั้งสองทิศทางการคิดค่าบริการ โมเดลที่ทำคะแนนเสมอเส้น基準มนุษย์อย่าง Gemini 4 Carbon ตั้งราคาไว้ที่ $2 และ $10 — คิดเป็นหนึ่งในสี่ของราคาอินพุตของ Astra และหนึ่งในสี่ของราคาเอาต์พุตของ Astra GPT-6.2 Sol ซึ่งอยู่อันดับสี่บนบอร์ดของ Andon ที่ 0.570 และอันดับสามบน AA-3D ที่ 1,259 Elo ยังคงใช้ราคาโทเค็นของ GPT-6.1 Sol แทนที่จะเป็นของ Astra

• Blueprint-Bench 2 — Gemini 4 Carbon 0.586 เทียบกับ GPT-6.2 Astra 0.614

• ราคาอินพุตต่อ 1M — Carbon $2.00 เทียบกับ Astra $8.00

• ราคาเอาต์พุตต่อ 1M — Carbon $10.00 เทียบกับ Astra $40.00

• AA-3D Elo — Carbon ไม่อยู่บนกระดานผู้นำ เทียบกับ Astra 1,318 อันดับ 1

• แต่ละตัวอยู่ตรงไหน — Carbon ทำได้เท่ากับเส้นของมนุษย์ ส่วน Astra ผ่านเส้นนั้นไป 0.028

A generated single-column scoreboard titled 'GPT-6.2 Astra — the scoreboard' with six rows reading 'Blueprint-Bench 2: 0.614, rank 1', 'Human baseline: 0.586 on 12 apartments', 'Error bar: 0.601 to 0.627', 'AA-3D Elo: 1,318, rank 1', 'AA-3D vs GPT-6 Astra: +150 Elo' and 'Price per 1M: $8 in / $40 out', over a footer reading 'Blueprint-Bench 2 figures per Andon Labs; AA-3D per Artificial Analysis; pricing per OpenAI.' The OrcaRouter logo is composited in the bottom-right corner.

ถ้ามองเรื่องนี้เป็นคำถามด้านราคา คำตอบก็ชวนอึดอัดสำหรับรุ่นเรือธง บน benchmark เดียวที่ทั้งสองโมเดลปรากฏอยู่ การจ่ายเพียงหนึ่งในห้าของราคาทำให้คุณได้ผลลัพธ์ทัดเทียมค่าฐานของมนุษย์และห่างจากอันดับหนึ่งเพียงเฉียดฉิว เหตุผลด้านราคาของ Astra ไม่ได้ตั้งอยู่บนผังพื้น แต่ตั้งอยู่บนการประเมินงานระดับวิชาชีพในโพสต์เปิดตัวของ OpenAI ซึ่ง Astra เป็นโมเดลที่มีหน้าต่างบริบท 1,050,000 โทเคน และได้คะแนนระดับแนวหน้าใน Agents' Last Exam และ Terminal-Bench-Science หากงานของคุณคือภาพถ่ายอพาร์ตเมนต์และกราฟการเชื่อมต่อ ความต่างของราคาก็ยากที่จะหาเหตุผลรองรับได้จากกระดานคะแนนนี้เพียงอย่างเดียว หากงานของคุณคือชุดเอกสารกฎหมายหรือวิทยาศาสตร์ที่ยาว benchmark นี้ก็ไม่ได้บอกอะไรเกี่ยวกับเรื่องนั้นไม่ว่าทางใด

ข้อควรระวังเพิ่มเติมเกี่ยวกับต้นทุน: ทั้ง Andon และ Artificial Analysis ไม่ได้เผยแพร่ตัวเลขต้นทุนต่องานสำหรับ Blueprint-Bench 2 และเบนช์มาร์กนี้มีความอ่อนไหวต่อปัจจัยดังกล่าวอย่างผิดปกติ อพาร์ตเมนต์ห้าสิบยูนิตที่แต่ละยูนิตมีภาพประมาณยี่สิบภาพถือเป็นโทเคนอินพุตจำนวนมากก่อนที่โมเดลจะเขียนห้องได้แม้แต่ห้องเดียว และโมเดลที่ทำคะแนนกราฟได้เท่ากันโดยใช้รอบของลูปสมุดโน้ตมากขึ้นย่อมมีต้นทุนต่ออพาร์ตเมนต์สูงกว่าที่ราคาโทเคนบ่งชี้ อย่าตีความราคาโทเคนข้างต้นเป็นบิลต่ออพาร์ตเมนต์ เพราะไม่ใช่เช่นนั้น

สิ่งนี้ทำให้การตัดสินใจเรื่องการจัดเส้นทางเป็นอย่างไร

ในทางปฏิบัติแล้ว ทั้งหมดนี้หมายความว่า "โมเดลไหนสำหรับงานเชิงพื้นที่" กลายเป็นคำถามระหว่างโมเดลสองตัวที่มีช่วงราคาต่างกัน และชั้นการกำหนดเส้นทางคือจุดที่ช่วงราคานี้ถูกคลี่คลาย Gemini 4 Carbon อยู่ในแคตตาล็อกของ OrcaRouter ในราคาตามรายการโดยมีมาร์กอัป 0% ส่งผ่าน ซึ่งหมายความว่า $2 และ $10 ข้างต้นคือสิ่งที่คุณจ่ายจริงต่อล้านโทเค็น ไม่ใช่อัตราจากผู้ขายที่บวกกำไรของแพลตฟอร์มทับลงไป สิ่งนี้สำคัญตรงนี้โดยเฉพาะเพราะช่องว่างต้นทุนระหว่างอันดับหนึ่งกับอันดับสองร่วมบนบอร์ดนี้คือ 4x และช่องว่าง 4x เป็นสิ่งที่คุณควรวัดกับผังพื้นของคุณเองก่อนจะมาตรฐานด้วยตัวใดตัวหนึ่ง

GPT-6.2 Astra ยังไม่อยู่ในแค็ตตาล็อกของเรา ณ วันที่ 20 พฤศจิกายน; โมเดล OpenAI ที่เราให้บริการคือ GPT-6 Astra ซึ่งได้ 0.497 คะแนนบนบอร์ดนี้ และสาย GPT-6 Sol เรื่องนี้ควรพูดให้ตรงไปตรงมาแทนที่จะสื่อเป็นนัยเป็นอย่างอื่น เพราะมันเปลี่ยนคำแนะนำ: จนกว่า Astra จะถูก route ได้ที่นี่ โมเดลในแค็ตตาล็อกของเราที่ทำคะแนนเสมอเท่ากับ baseline ของมนุษย์คือ Carbon และ GPT-6 Astra อยู่บนคีย์เดียวกันหากคุณต้องการสไตล์เอาต์พุตแบบ OpenAI ในราคา $10 และ $50 เมื่อโมเดลหนึ่งกับคู่แข่งที่ถูกกว่าอยู่บน endpoint เดียวกัน การทดสอบ A/B บนอพาร์ตเมนต์ของคุณเองมีต้นทุนเป็นแค่การเปลี่ยน API key ไม่ใช่สัญญาที่สอง และ การ failover หมายความว่า rate limit ของตัวหนึ่งจะไม่ทำให้แบตช์หยุดทำงาน.

อะไรจะทำให้การอ่านนี้เปลี่ยนไป

สามเรื่อง เรียงตามลำดับว่าสิ่งใดจะเปลี่ยนเรื่องราวได้มากที่สุด เรื่องแรกคือเส้นฐานของมนุษย์ที่กว้างขึ้น สิบสองอพาร์ตเมนต์เป็นตัวอย่างที่เล็กสำหรับงานห้าสิบอพาร์ตเมนต์ และหาก Andon เผยแพร่ช่วงความเชื่อมั่นของตัวเลขมนุษย์ ก็จะชี้ชัดว่า 0.586 เป็นเส้นตรงหรือเป็นรอยเลือน — ถ้าแถบของมนุษย์ออกมาอยู่ระหว่าง 0.55 ถึง 0.62 แล้วล่ะก็ ความนำของ Astra เป็นของจริง แต่การเสมอกันของ Carbon ไม่ใช่ และอันดับต้น ๆ ของกระดานทั้งหมดก็จะถูกจัดเรียงใหม่ เรื่องที่สองคือการรัน GPT-6.2 Astra ซ้ำเป็นรอบที่สองบนกระดานเดียวกัน โมเดลนี้เพิ่งมีอายุสามวัน ตัวเลขของ Andon มาจากแคมเปญเดียว และเบนช์มาร์กที่มีลูปสมุดจดและขอบเขตห้าสิบอพาร์ตเมนต์ย่อมมีความแปรปรวนระหว่างการรันมากกว่าการประเมินแบบยิงครั้งเดียว ซึ่งเป็นสิ่งที่แท่งค่าคลาดเคลื่อนมาตรฐานกำลังบอกเป็นนัยแต่ไม่สามารถกลืนได้หมด

อย่างที่สามคือตัวหน้าเว็บเอง ส่วน “ข้อค้นพบสำคัญ” ของ Andon ยังระบุชื่อ GPT 5.5, Gemini 3.1 Pro และ Claude Opus 4.7 เป็นสามโมเดลอันดับต้น ซึ่งเป็นจริงในเดือนพฤษภาคม 2026 และยังไม่ได้รับการอัปเดตเมื่อตารางมีข้อมูลครบขึ้น บทวิเคราะห์เรื่องการให้เหตุผลเชิงพื้นที่ของพวกเขายังอ้างถึง Gemini 3.1 Pro และ GPT 5.5 ในการไล่ทำงานผ่านอพาร์ตเมนต์แต่ละยูนิต ลีดเดอร์บอร์ดเป็นข้อมูลล่าสุด ส่วนข้อความร้อยเรียงโดยรอบเป็นภาพ ณ ช่วงเวลาหนึ่งจากหกเดือนก่อน ให้อ่านตาราง ไม่ใช่ส่วนข้อค้นพบ และอ่านแถบความคลาดเคลื่อนบนกราฟ แทนที่จะอ่านคำบรรยายที่บอกว่าสองโมเดลเสมอกันบนเส้นหนึ่ง ทั้งที่หนึ่งในนั้นอยู่เหนือเส้นอย่างวัดได้

ไม่มีสิ่งใดในนั้นทำให้ผลลัพธ์ผิด GPT-6.2 Astra เป็นโมเดลที่ดีที่สุดในการประเมิน 3D อิสระทั้งสองครั้งที่เผยแพร่สัปดาห์นี้ โดยมีส่วนต่างที่เกินแถบข้อผิดพลาดของตัวเองในการประเมินครั้งหนึ่ง และนำอยู่ 47 Elo ในอีกครั้ง ซึ่งช่วงความเชื่อมั่น 95% ทั้งสองยังทับซ้อนกัน มันเป็นโมเดลแรกที่อยู่เหนือค่าประมาณของมนุษย์อย่างมีนัยสำคัญบนเบนช์มาร์กที่ดำเนินมาตั้งแต่เดือนพฤษภาคม คำกล่าวอ้างนี้เล็กกว่าทวีตและแน่นหนากว่าข้อมูลรั่วไหล ซึ่งเป็นรูปร่างที่เหมาะสมสำหรับผลลัพธ์ที่มาถึงสามวันหลังจากโมเดลเปิดตัว

การเปรียบเทียบในบทความนี้2

ตรวจพบจากบทความนี้ · เบนช์มาร์ก: Artificial Analysis · อัปเดตทุกวัน

© 2026 OrcaRouter

สำหรับผู้ให้บริการ

ให้บริการแพลตฟอร์มการอนุมานอยู่หรือไม่ นำโมเดลของคุณขึ้น OrcaRouter

[email protected]

เข้าร่วมคอมมูนิตี้ของเรา

Discord[email protected]XLinkedInGitHubYouTube