เบนช์มาร์กของ GPT-6.1 Terra จำแนกเรียงลำดับ: จุดที่ 48 เสมอกับ 52 และจุดที่ไม่เป็นเช่นนั้น

คะแนนรวมของ GPT-6.1 Terra คือ 48 GPT-6.1 Sol คือ 52, GPT-6 Astra คือ 53, GPT-5.6 Terra คือ 42 และ GPT-6 Luna คือ 38 นั่นคือเรื่องทั้งหมดหากคุณอ่านเพียงบรรทัดบนสุดของ Artificial Analysis Intelligence Index — โมเดลระดับกลางที่ได้คะแนนสูงกว่ารุ่นก่อนอยู่หกคะแนน และต่ำกว่ารุ่นพี่ที่แพงกว่าอยู่สี่คะแนน แต่ก็เป็นวิธีอ่านข่าวเปิดตัวที่ไร้ประโยชน์ที่สุดเช่นกัน เพราะดัชนีเดียวกันนี้ยังซ่อนช่องว่างด้านการเขียนโค้ดถึง 29 คะแนนเมื่อเทียบกับ Astra ช่องว่างด้านการใช้คอมพิวเตอร์ 7.6 คะแนนเมื่อเทียบกับ Claude Opus 5.5 และการปรับปรุงด้านการ hallucinate ที่มากกว่าผลรวมของทุกความก้าวหน้าด้านความฉลาดในการเปิดตัวครั้งนี้

ต่อไปนี้จะแยกตัวเลขสามประเภทออกจากกัน: การวัดผลที่เป็นอิสระจาก Artificial Analysis, ผลลัพธ์ที่ผู้จำหน่ายรายงานเองจาก OpenAI ซึ่งยังไม่มีใครภายนอกรายงานว่าสามารถทำซ้ำได้ และตัวเลขที่ได้จากการคำนวณ — การคำนวณทางคณิตศาสตร์ที่เปลี่ยนตัวเลขจากสองประเภทแรกไม่ประเภทใดก็ประเภทหนึ่งให้กลายเป็นต้นทุนหรืออัตราส่วน ความแตกต่างเหล่านี้สำคัญ เพราะการรายงานข่าวตอนเปิดตัวได้เริ่มผสมปนเปกันแล้ว

สามสกอร์ที่ทุกคนจะเอ่ยถึง

Artificial Analysis จัดให้ GPT-6.1 Terra อยู่ที่ 48 บน Intelligence Index ของตน โดยอยู่ในอันดับที่ 25 จาก 221 โมเดล ด้วยราคา $0.40 ต่องานดัชนี GPT-6.1 Sol อยู่ที่ 52 และอันดับที่ 13 ด้วยราคา $0.72 ต่องาน GPT-6 Astra ซึ่งเป็นเรือธงปัจจุบัน อยู่ที่ 53 GPT-5.6 Terra อยู่ที่ 42 และอันดับที่ 53 ด้วยราคา $1.40 ต่องาน GPT-6 Luna อยู่ที่ 38

หากมองเป็นลำดับขั้น Terra ถือเป็นการอัปเกรดอย่างแท้จริง: ได้คะแนนเพิ่มหกคะแนนด้วยต้นทุนต่อหนึ่งงานที่เสร็จแล้วน้อยกว่าหนึ่งในสาม และสูงกว่ารุ่นระดับประหยัดอยู่สิบคะแนน หากมองเป็นการเปรียบเทียบกับ Sol ก็ตรงกับสิ่งที่ตารางราคาบ่งชี้ทุกประการ — อ่อนกว่าอยู่สี่คะแนน ในราคาโทเค็นประมาณครึ่งหนึ่ง ไม่มีสิ่งใดในคะแนนรวมที่ขัดแย้งกับการวางตำแหน่งของ OpenAI

คอมโพสิตยังทำให้สิ่งที่ไม่ควรถูกทำให้แบนราบไปด้วย สี่จุดดัชนีระหว่าง Terra กับ Sol คิดเป็น 8% ของสเกล; 29 จุดระหว่าง Terra กับ Astra บน Coding Agent Index คิดเป็น 60% ของสเกลนั้น ตัวเลขเดียวไม่สามารถแบกรับทั้งสองอย่างได้ และการรายงานข่าวช่วงเปิดตัวที่อ้างอิงเพียงค่าแรกได้ทิ้งค่าที่สองไปอย่างเงียบ ๆ

จุดที่ช่องว่างกว้างขึ้น: การเขียนโค้ด

บน Coding Agent Index v2.0 ของ Artificial Analysis นั้น GPT-6.1 Terra ได้ 48 คะแนน GPT-6.1 Sol ได้ 54 คะแนน และ GPT-6 Luna ได้ 31 คะแนน นั่นหมายถึงตามหลัง Sol อยู่ 6 คะแนนและนำ Luna อยู่ 17 คะแนน — มีรูปแบบเดียวกับดัชนีความฉลาด แต่ช่องว่างไปยังจุดสูงสุดของตระกูลนั้นใหญ่กว่าเมื่อคิดในเชิงสัมพัทธ์

ตัวเลขจากผู้ขายเล่าเรื่องที่ดูดีกว่า และมันก็เป็นตัวเลขจากผู้ขาย OpenAI รายงานว่าปัญหาได้รับการแก้ไข 50.3% บน Terminal-Bench 4.0 ที่ความพยายามสูงสุด เทียบกับ 21.5% สำหรับ GPT-5.6 Terra ซึ่งมากกว่าสองเท่า และเป็นการกระโดดข้ามรุ่นครั้งใหญ่ที่สุดเพียงครั้งเดียวในการเปิดตัวนี้ มันยังเป็น benchmark ของงานเทอร์มินัล ไม่ใช่ตัววัด coding agent แบบกว้าง: Terra อาจใกล้เคียงกับ Sol ในงานเชลล์สั้นที่มีขอบเขตชัดเจน และยังตามหลังอยู่หกจุดในดัชนีที่กว้างกว่า และทั้งสองอย่างเป็นจริงพร้อมกัน

การตีความในทางปฏิบัติคือ ความก้าวหน้าด้านการเขียนโค้ดของ Terra กระจุกตัวอยู่ในงานที่มีขอบเขตจำกัด "รันชุดทดสอบนี้ อ่านข้อผิดพลาด แล้วแพตช์ไฟล์" คือรูปแบบที่ใช่ของ Terra ส่วน "ถือการรีแฟกเตอร์ไฟล์สิบห้าไฟล์ไว้ในหัวตลอดสี่สิบขั้นตอน" ไม่ใช่ และคำแนะนำของ OpenAI เองยังชี้งานเขียนโปรแกรมที่ซับซ้อนไปที่ Sol หรือ Astra

ในกรณีที่ช่องว่างเล็กกว่าที่ดัชนีบ่งชี้: การใช้คอมพิวเตอร์

บน OSWorld 2.1 ซึ่งเป็นเกณฑ์มาตรฐานด้านระบบอัตโนมัติบนเดสก์ท็อป GPT-6.1 Terra ทำคะแนนได้ 74.2% ที่ระดับการให้เหตุผลสูงสุด GPT-6.1 Sol ทำคะแนนได้ 75.9% ที่ xhigh GPT-6 Astra ทำคะแนนได้ 75.8% Claude Opus 5.5 นำกลุ่มโมเดลที่เราเปรียบเทียบได้ด้วย 81.8% โดย Claude Fable 5.1 อยู่ที่ 80.7% Claude Sonnet 5.5 อยู่ที่ 80.1% และ Kimi K3.1 Pro อยู่ที่ 79.6%

ประการแรก Terra มีคะแนนตามหลัง Sol ไม่เกิน 1.7 จุดในงานที่มันถูกสร้างมาเพื่อทำ โดยมีราคาต่อโทเคนเพียงครึ่งเดียว — เป็นข้อแลกเปลี่ยนที่ดีกว่าที่ช่องว่างด้านความฉลาด 4 จุดบ่งชี้ไว้มาก ประการที่สอง ตระกูล GPT-6 ทั้งหมดตามหลัง Anthropic ในด้านระบบอัตโนมัติบนเดสก์ท็อปอยู่หกถึงเจ็ดจุด และ Terra ไม่ได้ปิดช่องว่างนั้น หากผลิตภัณฑ์ของคุณเป็นเอเจนต์เบราว์เซอร์ การเปรียบเทียบที่น่าสนใจไม่ใช่ Terra กับ Sol แต่เป็น Terra กับ Claude Sonnet 5.5 ซึ่งมีราคาต่อโทเคนถูกกว่า Sol และทำคะแนนได้สูงกว่า 5.9 จุดบน OSWorld

ตัวเลขด้าน agentic ของผู้ขายเองก็ชี้ไปในทางเดียวกัน ใน Agents' Last Exam v1 OpenAI รายงานว่า Terra ได้ 57.6% ที่ระดับความพยายามปานกลาง เทียบกับ 50.7% ของ GPT-5.6 Terra ที่ระดับความพยายามสูงสุด ข้อกล่าวอ้างที่แนบมาด้วย — เทียบได้กับ GPT-6 Astra ที่ระดับความพยายามปานกลาง ในราคาต่อโทเคนประมาณหนึ่งในสิบ — เป็นข้อกล่าวอ้างต่อหนึ่งงาน และเป็นประโยคที่มีความหมายเชิงเศรษฐกิจมากที่สุดในการเปิดตัว

ตัวเลขที่ขยับจริง ๆ: ภาพหลอน

Artificial Analysis วัดอัตราการหลอนแบบ Omniscience ซึ่งคือความถี่ที่โมเดลเดาคำตอบเมื่อไม่รู้ GPT-5.6 Terra อยู่ที่ 88% ส่วน GPT-6.1 Terra อยู่ที่ 38% ความแม่นยำเพิ่มขึ้นสองจุดในช่วงเดียวกัน

การลดลง 50 จุดในอัตราการเดาถือเป็นการเปลี่ยนแปลงที่ lớnกว่าการเพิ่มความสามารถใด ๆ ในรีลีสนี้ และเป็นตัวเลขเดียวที่เปลี่ยนว่าฟังก์ชันใดบ้างที่ปลอดภัยพอจะให้โมเดลนำไปใช้ โมเดลที่แต่งคำตอบขึ้นมาเอง 88% ของเวลาเมื่อไม่แน่ใจ ไม่สามารถไว้วางใจให้ใช้กับการดึงข้อมูลใบแจ้งหนี้หรือการกรอกแบบฟอร์มโดยไม่มีการตรวจสอบจากมนุษย์ทุกผลลัพธ์ได้ ที่ 38% โมเดลยังคงเดามากกว่าหนึ่งในสามของเวลา — นี่คือการปรับปรุง ไม่ใช่ทางแก้ปัญหา — แต่โหมดความล้มเหลวเปลี่ยนจาก "ถือว่าเป็นคำตอบที่ผิด" เป็น "สุ่มตัวอย่างแล้วตรวจสอบ"

สิ่งนี้ส่งผลโดยตรงต่อต้นทุน การตรวจสอบคือรายการต้นทุนที่ซ่อนอยู่ในทุกการใช้งานโมเดลราคาถูก: หากคุณต้องตรวจคำตอบถึง 88% แรงงานที่ใช้จะมากจนกลบความประหยัดจากค่าโทเค็น แต่ที่ 38% การสุ่มตรวจก็เริ่มเป็นไปได้ และตัวเลข $0.40 ต่องานก็เริ่มดูเหมือนต้นทุนจริงมากกว่าครึ่งที่มองเห็นได้

ข้อกล่าวอ้างของผู้จำหน่าย และสิ่งที่ขาดหายไปจากข้อกล่าวอ้างเหล่านั้น

ผลลัพธ์ที่ OpenAI เผยแพร่ ซึ่งทั้งหมดดำเนินการโดยผู้จำหน่ายเอง และ ณ เวลาที่เขียน ยังไม่มีผลใดได้รับการทำซ้ำอย่างอิสระ:

• Terminal-Bench 4.0 — 50.3% ที่ความพยายามสูงสุด เทียบกับ 21.5% ของ GPT-5.6 Terra

Agents' Last Exam — สูงกว่า GPT-5.6 Terra ที่ระดับความพยายามปานกลาง 15 คะแนน ด้วยต้นทุนประมาณหนึ่งในสาม

• MMMU-Pro — นำหน้า GPT-5.6 Terra ในทุกระดับความพยายาม ใกล้เคียงกับ Astra และ Sol โดยไม่มีการเผยแพร่คะแนนแบบสัมบูรณ์

• Terminal-Bench-Science 0.1 — ห่างจาก Claude Opus 5.5 ไม่เกิน 5 คะแนน ด้วยต้นทุนประมาณการที่ต่ำกว่าหนึ่งในห้า

• พรอมต์ที่ชักนำให้เกิดข้อผิดพลาด — 16.7% ที่ระดับความพยายามต่ำ เทียบกับ 53.6% และ 4.3% ที่ระดับสูงสุด ในการทดสอบภายในที่บริษัทยังไม่ได้เผยแพร่

รูปแบบในรายการนั้นสมควรค่าแก่การตั้งชื่อ ข้อกล่าวอ้างที่หนักแน่นที่สุดสองข้อ — MMMU-Pro และการทดสอบอัตราข้อผิดพลาด — เป็นสองข้อที่ไม่มีการระบุตัวเลขสัมบูรณ์กำกับไว้ “เข้าใกล้ Astra” และ “ใกล้กับ Sol” เป็นข้อความเชิงเปรียบเทียบที่ไม่สามารถตรวจสอบได้หากไม่มีตัวเลขรองรับ ข้อกล่าวอ้างที่มีตัวเลขชัดเจนคือข้อที่บุคคลที่สามสามารถทำซ้ำได้ และ Artificial Analysis ได้ทำซ้ำในด้านต้นทุนแล้ว: $0.40 ต่องาน, $1.40 สำหรับรุ่นก่อนหน้า

ความเร็วคือค่าตัวเลขอิสระที่ไม่ได้อยู่ในดัชนี

Artificial Analysis วัด GPT-6.1 Terra ได้ที่ 90.9 โทเค็นเอาต์พุตต่อวินาที โดยใช้เวลา 133.64 วินาทีถึงโทเค็นแรกบน benchmark การให้เหตุผลของมัน GPT-6.1 Sol ถูกวัดที่ 73.5 โทเค็นต่อวินาที และ 284.31 วินาที นั่นคือทรูพุตที่มากกว่าประมาณ 24% และข้อได้เปรียบด้านเวลาถึงโทเค็นแรกที่มากกว่าสองเท่าเล็กน้อย — เป็นการวัดที่เป็นอิสระ ไม่ใช่คำกล่าวอ้างจากผู้ขาย และเป็นข้อสนับสนุนเชิงวัตถุวิสัยที่แข็งแกร่งที่สุดสำหรับ Terra ในรีลีสทั้งหมด

สำหรับผลิตภัณฑ์แชท อัตราการประมวลผลแทบไม่มีความสำคัญ แต่สำหรับลูปการใช้งานคอมพิวเตอร์ที่ต้องใช้ยี่สิบขั้นตอนต่อหนึ่งงาน มันคือความแตกต่างระหว่างงานที่ใช้เวลา 40 วินาทีกับ 90 วินาที ดัชนีนี้ไม่ได้กำหนดราคาของความหน่วง ซึ่งเป็นเหตุผลว่าทำไมโมเดลที่อยู่ในอันดับ 25 จึงอาจเป็นตัวเลือกที่เหมาะสมสำหรับเอเจนต์ที่อยู่ในอันดับ 13 ด้านคุณภาพ

วิธีอ่านดัชนีโดยไม่ถูกทำให้เข้าใจผิด

• มองว่าค่าคอมโพสิตเป็นตัวกรอง ไม่ใช่การจัดอันดับ มันบอกคุณว่าโมเดลใดอยู่ในวงสนทนา แต่ไม่ได้บอกว่าตัวไหนจะชนะงานของคุณ

• มองคะแนนย่อยด้านการเขียนโค้ดและการใช้งานคอมพิวเตอร์แยกกัน รูปแบบของ Terra กว้างผิดปกติ: ใกล้เคียง Sol ในด้านระบบอัตโนมัติบนเดสก์ท็อป ตามหลังอยู่หกคะแนนด้านการเขียนโค้ด และตามหลังโดยรวมสี่คะแนน

• ตรวจสอบค่าสัมบูรณ์อีกครั้งโดยอิงกับวันที่เดียวกัน ดัชนีจะถูกปรับฐานใหม่เป็นระยะ และบทความที่เขียนในต่างสัปดาห์กันมักอ้างตัวเลขที่แตกต่างกันสำหรับโมเดลเดียวกัน

• ให้น้ำหนักกับอัตราการเกิด hallucination หนักเท่ากับคะแนนความฉลาด หากปริมาณงานของคุณมีต้นทุนในการตรวจสอบ การปรับปรุงขึ้น 50 คะแนนจะเปลี่ยนรูปแบบการดำเนินงาน ไม่ใช่แค่ตัวคะแนน

• วัดงานของคุณเอง ตัวเลขต้นทุนต่องานจาก Artificial Analysis เป็นเพียงตัวแทนที่สร้างขึ้นจากพรอมป์ของพวกเขา พรอมป์ของคุณจะให้สัดส่วนที่แตกต่างกันระหว่างราคาโทเคนกับจำนวนครั้งที่ลอง

ไม่มีสิ่งใดในนี้ทำให้ GPT-6.1 Terra เป็นโมเดลที่แย่ สิ่งนี้ทำให้มันเป็นโมเดลที่เฉพาะเจาะจง: โมเดลที่เร็ว ราคาถูก และหลอนน้อยกว่ามาก ซึ่งใกล้เคียงกับรุ่นพี่ที่มีราคาแพงกว่าในด้านหน้าจอ และห่างไกลจากเรือธงในด้านโค้ด คะแนนรวมบอกว่า 48 คะแนนย่อยบอกว่าคุณกำลังซื้อ 48 แบบไหน