GPT-6.1 Terra สำหรับ Browser Agents: คณิตศาสตร์รายขั้นเบื้องหลัง 74.2%

ข้อเสนอของ OpenAI สำหรับ GPT-6.1 Terra ไม่ใช่เรื่องที่มันฉลาดกว่า แต่เป็นเรื่องที่มันสามารถใช้งานหน้าจอได้ — กรอกแบบฟอร์ม อ่านแบบทางเทคนิค คลิกใช้งานแอปพลิเคชัน — และทำได้อย่างประหยัดและรวดเร็ว เบนช์มาร์กที่สนับสนุนข้อกล่าวอ้างนี้คือ OSWorld 2.1 ซึ่ง Terra ได้คะแนน 74.2% ที่ความพยายามในการใช้เหตุผลสูงสุด ห่างจาก GPT-6.1 Sol ที่โหมด xhigh อยู่ 1.7 คะแนน และห่างจาก GPT-6 Astra 1.6 คะแนน อย่างไรก็ตาม ตัวเลขที่สำคัญสำหรับเอเจนต์ไม่ใช่คะแนนของงาน แต่เป็นความน่าเชื่อถือต่อขั้นตอนที่คะแนนนั้นบ่งบอก เพราะเอเจนต์ล้มเหลวทีละขั้นตอน ไม่ใช่ทีละงาน

บทความนี้วิเคราะห์เจาะลึก 74.2% ว่า OSWorld วัดอะไร สิ่งนั้นหมายความอย่างไรในแต่ละขั้น งาน 20 ขั้นตอนมีต้นทุนเท่าใด วงจรพังตรงไหน และมีแนวป้องกันใดที่ทำให้เอเจนต์ซึ่งแม่นยำ 74% ไม่กลายเป็นเหตุการณ์ที่แม่นยำ 0%

สกอร์บอร์ดบอกว่าอะไร

• GPT-6.1 Terra — 74.2% บน OSWorld 2.1 เมื่อใช้ความพยายามสูงสุด

GPT-6.1 Sol — 75.9% ที่ระดับ xhigh

• GPT-6 Astra — 75.8%

• Claude Opus 5.5 — 81.8%

• {{1}}Claude Sonnet 5.5{{/1}} — 80.1%

• Kimi K3.1 Pro — 79.6%

มีสามแง่มุมที่ควรแยกให้ชัด ภายในตระกูล GPT-6 นั้น Terra ห่างจากรุ่นพี่ที่มีราคาแพงกว่าเพียงความคลาดเคลื่อนจากการปัดเศษ — ช่องว่างราคาที่จ่ายเพิ่มแทบไม่ได้อะไรเลยในงาน desktop automation เมื่อเทียบข้ามผู้พัฒนา ทั้งตระกูลตามหลัง Anthropic อยู่หกถึงเจ็ดคะแนน และข้อกล่าวอ้างที่มาจากฝั่งผู้พัฒนาของ Terra เอง — ที่ว่าอยู่ในระดับไล่เลี่ยกับ GPT-6 Astra ระดับ medium ใน Agents' Last Exam ด้วยราคาต่อโทเคนเพียงหนึ่งในสิบ — เป็นข้อกล่าวอ้างระดับต่องาน (per-task) ที่ตัวเลข OSWorld สนับสนุนเป็นส่วนใหญ่

จากคะแนนระดับงาน สู่ความน่าเชื่อถือในแต่ละขั้นตอน

งาน OSWorld ได้รับการให้คะแนนเป็นผ่านหรือไม่ผ่านหลังจากลำดับการกระทำ หากงานหนึ่งใช้เวลาประมาณยี่สิบขั้นตอน และ Terra ทำภารกิจได้สำเร็จ 74.2% ตั้งแต่ต้นจนจบ อัตราความสำเร็จต่อขั้นตอนโดยนัยคือรากที่ยี่สิบของ 0.742 — ประมาณ 98.5% นี่เป็นตัวอย่างเชิงเลขคณิต ไม่ใช่การวัด: บางงานสั้นกว่า บางงานยาวกว่า และความล้มเหลวไม่ได้เป็นอิสระต่อกัน แต่มันกำหนดขนาดได้อย่างถูกต้อง โมเดลที่ดูเหมือนเป็นโมเดล 74% แท้จริงแล้วเป็นโมเดล 98.5% ต่อขั้นตอน และช่องว่างตรงนั้นคือหัวใจของการออกแบบเอเจนต์

ลองคำนวณย้อนกลับสำหรับเวิร์กโฟลว์ 50 ขั้นตอน ที่อัตราต่อขั้นเท่าเดิม ความสำเร็จแบบครบวงจรจะลดลงเหลือประมาณ 47% และที่ 80 ขั้นตอนจะเหลือ 30% คะแนนงานไม่เปลี่ยน แต่เวิร์กโฟลว์เปลี่ยน และนั่นคือเหตุผลว่าทำไม “ดีพอสำหรับเอเจนต์” จึงขึ้นอยู่กับว่าเอเจนต์ทำงานโดยไม่มีคนกำกับนานแค่ไหนทั้งหมด

งานหนึ่งมีค่าใช้จ่ายเท่าไร

สมมติว่ามีโทเค็นอินพุต 3,000 โทเค็นต่อขั้นตอน — ภาพหน้าจอ บวกสถานะงาน บวกประวัติการดำเนินการ — และโทเค็นเอาต์พุต 150 โทเค็นสำหรับการดำเนินการ ตลอด 20 ขั้นตอน

• ต่องาน: อินพุต 60,000 ที่ $1 ต่อล้าน = $0.06; เอาต์พุต 3,000 ที่ $5 ต่อล้าน = $0.015 รวม $0.075

• ด้วยอัตราการลองใหม่ 30%: ประมาณ $0.0975 ต่องานที่สำเร็จ หรือ $98 ต่อหนึ่งพันงาน

• ปริมาณงานเดียวกันบน GPT-6.1 Sol ที่ราคา $2/$10: $0.15 ต่องาน, $195 ต่อพันงาน

• บน GPT-6 Astra ที่ราคา $10/$50: $0.75 ต่องาน, $975 ต่อพันงาน

• บน Claude Opus 5.5 ในราคา $4/$20: $0.30 ต่อหนึ่งงาน, $390 ต่อหนึ่งพันงาน

สมมติฐานเรื่องโทเคนสำคัญกว่าอัตราส่วนราคา สกรีนช็อตเป็นตัวกำหนดต้นทุนอินพุตหลัก และขนาดของสกรีนช็อตเป็นสิ่งที่เลือกได้: PNG ขนาดเต็ม 1440×900 ใช้โทเคนมากกว่าพื้นที่ที่สนใจซึ่งครอปมาไกลมาก ไปป์ไลน์ที่ส่งสกรีนช็อตที่ครอปแล้วหนึ่งภาพต่อขั้นแทนที่จะส่งทั้งเดสก์ท็อปสามารถลดโทเคนอินพุตได้ครึ่งหนึ่ง ซึ่งลดต้นทุนต่องานลงครึ่งหนึ่งและเปลี่ยนอันดับเมื่อเทียบกับโมเดลที่แม่นยำกว่า

ความหน่วงคือผลิตภัณฑ์

Artificial Analysis วัด Terra ได้ที่ 90.9 โทเค็นเอาต์พุตต่อวินาที และ 133.64 วินาทีถึงโทเค็นแรกบนเบนช์มาร์กการให้เหตุผล เทียบกับ 73.5 โทเค็นต่อวินาทีและ 284.31 วินาทีสำหรับ GPT-6.1 Sol ตัวเลขความหน่วงเหล่านั้นมาจากงานการให้เหตุผลที่ใช้ความพยายามสูงสุด จึงสูงเกินจริงสำหรับความล่าช้าต่อขั้นตอนในลูปเอเจนต์ — แต่อัตราส่วนที่มากกว่า 2 เท่าเล็กน้อยนั้นเป็นตัวชี้วัดที่เหมาะสมว่าแต่ละโมเดลใช้เวลาคิดนานแค่ไหนก่อนลงมือ

ในลูปของเอเจนต์ เวลาที่ใช้คิดจะทบต้นถึงยี่สิบเท่าต่อหนึ่งงาน หาก Sol ใช้เวลาสี่วินาทีต่อขั้นตอน และ Terra ใช้สองวินาที งานที่มี 20 ขั้นตอนจะเสร็จใน 40 วินาทีแทนที่จะเป็น 80 วินาที เจ้าหน้าที่ OpenAI ชื่อ Victor E. Nunez รายงานว่า Terra กรอกแบบฟอร์มเว็บเสร็จเร็วกว่า Sol มากกว่าสองนาที; นั่นเป็นเพียงเกร็ดเรื่องเล่า ไม่ใช่การวัดประสิทธิภาพมาตรฐาน แต่เป็นความแตกต่างแบบที่ผู้ใช้สังเกตเห็นได้โดยไม่ต้องมีใครบอก

จุดที่วงวนขาดลง

• การกระทำที่ย้อนกลับไม่ได้ การยืนยันการส่ง การส่ง การลบ การชำระเงิน — การกระทำใดก็ตามที่มีผลข้างเคียงจำเป็นต้องมีขั้นตอนอนุมัติ ไม่มีคะแนน benchmark ใดเปลี่ยนแปลงสิ่งนี้ได้

• อินเทอร์เฟซที่กำกวม ปุ่มสองปุ่มที่ติดป้ายว่า “Continue” ทำให้โมเดลแพ้ไม่ว่าจะมีราคาเท่าใดก็ตาม วิธีแก้คือการดูแลพรอมต์และภาพหน้าจอให้เหมาะสม

• ขอบเขตเวลาระยะยาว คณิตศาสตร์ต่อขั้นข้างต้นคือข้อโต้แย้งทั้งหมดต่อการทำงานระยะยาวแบบไม่มีผู้ดูแลที่อัตรา 98.5% ต่อขั้น

• ภาพหน้าจอที่ล้าสมัย เฟรมที่ถูกบันทึกไว้ก่อนเกิดการเปลี่ยนเค้าโครงนั้นผิด และเฟรมที่ผิดก็ทำให้เกิดการคลิกที่ผิดอย่างมั่นใจ

• สถานะที่คงอยู่ข้ามแท็บ เอเจนต์ที่อิงภาพหน้าจอจะมองเห็นทีละหน้าต่าง; เวิร์กโฟลว์แบบหลายแท็บจำเป็นต้องติดตามสถานะอย่างชัดเจนนอกตัวโมเดล

กลไกป้องกันที่ทำให้ 74% พร้อมส่งมอบ

• จำกัดจำนวนขั้นตอน ไม่ใช่แค่จำนวนเงิน ยี่สิบคือทั้งงบประมาณและกลไกควบคุมความปลอดภัยในคราวเดียวกัน ลูปที่ไม่สามารถสิ้นสุดได้คือรูปแบบความล้มเหลวที่แพงที่สุด

• ควบคุมผลข้างเคียง (Gate side effects) — ส่งการกระทำใด ๆ ที่เปลี่ยนแปลงสถานะภายนอกผ่านการตรวจสอบโดยมนุษย์หรือนโยบาย

• บันทึกเฟรมพร้อมกับการกระทำ เมื่อเอเจนต์ทำอะไรผิดพลาด อาร์ติแฟกต์ที่มีประโยชน์เพียงอย่างเดียวคือภาพหน้าจอที่มันใช้ดำเนินการ

• ใช้เอาต์พุตแบบมีโครงสร้างสำหรับสคีมาของแอ็กชัน แอ็กชันแบบข้อความอิสระจะพาร์สไม่ได้ในจังหวะที่คุณต้องการความแน่นอนพอดี

• วัดผลเป็นรายขั้นตอน ไม่ใช่รายภารกิจ การถดถอย 2% ต่อขั้นตอนจะมองไม่เห็นในคะแนนระดับภารกิจ และทำให้อัตราความล้มเหลวเพิ่มเป็นสองเท่าภายในห้าสิบขั้นตอน

• เก็บโมเดลตัวที่สองไว้ใช้กับขั้นตอนที่ยาก ใช้ Terra สำหรับเฟรมงานประจำ และใช้โมเดลที่แข็งแกร่งกว่ากับเฟรมที่กำกวม จะถูกกว่าการใช้ Terra พร้อมลองใหม่

วันนี้วิ่งอะไรดี

GPT-6.1 Terra ไม่ได้อยู่ในแคตตาล็อกของ OrcaRouter ณ เวลาที่เขียน ดังนั้นจึงต้องทดลองใช้รุ่น Terra เทียบกับ OpenAI โดยตรง ชุดเปรียบเทียบพร้อมใช้งานฝั่งเราแล้วในราคาบวกเพิ่ม 0% จากราคาปลีกของผู้ให้บริการ — GPT-6.1 Sol ที่ $2/$10, GPT-6 Astra ที่ $10/$50, Claude Opus 5.5 ที่ $4/$20, Claude Sonnet 5.5 ที่ $2/$10 และ Kimi K3.1 Pro ที่ $2/$10 — ทั้งหมดใช้คีย์เดียวพร้อมระบบสลับอัตโนมัติเมื่อเกิดข้อขัดข้อง

การทดลองที่คุ้มค่าจะลงมือทำไม่ใช่ “โมเดลไหนทำคะแนนได้สูงสุดบน OSWorld” แต่คือชุดงานของคุณเอง โดยให้คะแนนทีละขั้น และกำหนดนโยบายภาพหน้าจอให้คงที่ การวัดนั้นคือสิ่งที่ตัดสินว่าราคาและความเร็วของ Terra คุ้มค่ากับช่องว่าง 7.6 คะแนนเมื่อเทียบกับ Claude Opus 5.5 ในงานที่คุณรันจริงหรือไม่ และมันเป็นตัวเลขเดียวที่ผลิตภัณฑ์เอเจนต์จะใช้เป็นรากฐานได้