ตัวเลขที่ใหญ่ที่สุดของ GPT-6.1 Terra คือ 38%: นั่นคืออัตราการหลอน ไม่ใช่ IQ

การรายงานข่าวการเปิดตัว GPT-6.1 Terra มุ่งเน้นไปที่การเพิ่มขึ้นของความสามารถเชิงปัญญา 6 คะแนน และการ์ดราคาครึ่งเดียว ตัวเลขที่เปลี่ยนวิธีใช้งานโมเดลได้จริงคือ 38% — ตัวชี้วัดของ Artificial Analysis ที่วัดว่าบ่อยครั้งเพียงใดที่ Terra เดาเมื่อไม่รู้คำตอบ ซึ่งลดลงจาก 88% ใน GPT-5.6 Terra การลดลงของการเดาถึงห้าสิบจุดนั้นมากกว่าการเพิ่มขึ้นของคุณภาพทั้งหมดในรุ่นนี้รวมกัน และมันเปลี่ยนโมเดลจาก “สันนิษฐานว่าคำตอบถูกแต่งขึ้น” ไปเป็น “สุ่มตัวอย่างและตรวจสอบ”

เนื้อหานี้แยกสองสิ่งที่แตกต่างกันซึ่งผู้คนมักเรียกกันว่า “ฮัลลูซิเนชัน” ในรีลีสนี้ ออกจากกัน นั่นคือมาตรวัดความเป็นผู้รอบรู้โดยอิสระ และการทดสอบข้อผิดพลาดภายในของ OpenAI พร้อมทั้งประเมินต้นทุนที่อัตราการเดา 38% ก่อให้เกิดขึ้นในไปป์ไลน์การตรวจสอบยืนยันจริง

38% วัดอะไร

การประเมิน AA-Omniscience ของ Artificial Analysis จะถามคำถามที่โมเดลอาจไม่รู้คำตอบ และนับว่าพวกมันตอบอย่างมั่นใจบ่อยเพียงใดทั้งที่ไม่รู้คำตอบ GPT-5.6 Terra: 88% GPT-6.1 Terra: 38% ในช่วงเวลาเดียวกัน ความแม่นยำเพิ่มขึ้นสองจุด

เมื่ออ่านร่วมกัน ข้อเท็จจริงสองข้อนี้อธิบายแบบจำลองที่เปลี่ยนมาเต็มใจพูดว่า “ฉันไม่รู้” มากขึ้น — ไม่ใช่แบบจำลองที่กลายเป็นผู้รู้มากขึ้นอย่างมหาศาล ดัชนีความฉลาดขยับหกจุด จาก 42 เป็น 48 พฤติกรรมการไม่ตอบขยับถึงห้าสิบ สำหรับใครก็ตามที่ใช้แบบจำลองนี้เพื่อสกัดข้อเท็จจริง นั่นคือการเปลี่ยนแปลงที่มีคุณค่ามากกว่า

ยังไม่ดีอยู่ดี 38% หมายความว่าในชุดคำถามที่โมเดลตอบไม่ได้ มากกว่าหนึ่งในสามยังคงได้คำตอบผิดอย่างมั่นใจ โมเดลที่งดตอบ 62% ของเวลาเมื่อไม่รู้ ปลอดภัยกว่ามากเมื่อเทียบกับโมเดลที่งดตอบ 12% ของเวลา — และก็ยังไม่ใช่สิ่งที่ควรนำไปวางตรงหน้าลูกค้าโดยไม่มีการตรวจสอบ

หมายเลขของผู้ขายเป็นการทดสอบที่แตกต่างออกไป

พาดหัวของ OpenAI คือการลดลง 37 จุดบนพรอมต์ที่ออกแบบมาเพื่อชักนำให้เกิดข้อผิดพลาด: จาก 53.6% บน GPT-5.6 Terra ที่ระดับความพยายามต่ำ เหลือ 16.7% บน Terra และ 4.3% ที่ระดับความพยายามสูงสุด การทดสอบนั้นเป็นการทดสอบภายใน ยังไม่ได้เผยแพร่ และถูกสร้างขึ้นในลักษณะเชิงปฏิปักษ์ มันวัดว่าโมเดลสามารถต้านทานพรอมต์ที่ถูกออกแบบมาให้มันล้มเหลวได้หรือไม่ — ไม่ใช่ว่ามันสร้างข้อเท็จจริงขึ้นมาเมื่อขาดข้อมูลหรือไม่

ตัวเลขทั้งสองค่าอาจเป็นจริงได้พร้อมกัน การทดสอบของผู้ขายวัดความทนทานต่อพรอมต์เชิงปรปักษ์ ส่วนการทดสอบอิสระวัดการปรับเทียบภายใต้ความไม่รู้ ทั้งสองสิ่งสัมพันธ์กันแต่ใช้แทนกันไม่ได้ และการรายงานข่าวการเปิดตัวส่วนใหญ่ปฏิบัติต่อผลแรกเสมือนเป็นหลักฐานของผลที่สอง ซึ่งไม่ใช่เช่นนั้น

สิ่งที่ต้องแลกกับอัตราการเดา 38%

การตรวจสอบคือรายการต้นทุนที่ซ่อนอยู่ในทุกการนำโมเดลราคาถูกไปใช้งาน และมันขยายตัวตามอัตราการเดา ลองพิจารณาไปป์ไลน์สกัดเอกสารที่ประมวลผล 100,000 หน้าต่อเดือน โดยมีค่าสุ่มตรวจโดยมนุษย์อยู่ที่ 2 ดอลลาร์ต่อหน้าที่ตรวจ

• ด้วยอัตราการทายถูก 88% คุณไม่สามารถสุ่มตรวจได้ คุณต้องตรวจทุกอย่าง: 100,000 หน้า × $2 = $200,000 ต่อเดือน ค่าใช้จ่ายโทเคนไม่ใช่ประเด็นสำคัญ

• ที่ 38% แนวทางการสุ่มตรวจจะเริ่มมีความเป็นไปได้ ตรวจ 20% ของหน้า: 20,000 × $2 = $40,000 ต่อเดือน โดยมีอัตราการพลาดที่ทราบแล้วสำหรับส่วนที่เหลือ

• ที่สมมติฐานไว้ที่ 10% การตรวจสอบที่ระดับ 5% จะมีค่าใช้จ่าย 10,000 ดอลลาร์ต่อเดือน และยังคงจำกัดอัตราความคลาดเคลื่อนไว้ได้

ต้นทุนโทเค็นของตัวไปป์ไลน์เองตามอัตราของ Terra — สมมติว่า 20,000 โทเค็นอินพุตและ 500 โทเค็นเอาต์พุตต่อหน้า — อยู่ที่ 2,250 ดอลลาร์ต่อ 100,000 หน้า รายการค่าใช้จ่ายด้านการตรวจสอบมีขนาดใหญ่กว่ารายการค่าใช้จ่ายของโมเดล 10 ถึง 90 เท่า นั่นคือกรอบที่ถูกต้องสำหรับการเปรียบเทียบโมเดลราคาถูก: บิลคือค่าโมเดลบวกค่าตรวจสอบ และค่าตรวจสอบถูกขับเคลื่อนด้วยอัตราการเดา

งานใดบ้างที่ยอมรับการคาดเดาได้

• แบบผ่อนปรน (Tolerant) — การสรุปเอกสารที่อยู่ในบริบททั้งหมด (คำตอบนั้นอ้างอิงจากข้อมูลนำเข้า) การจำแนกประเภทด้วยชุดป้ายกำกับที่กำหนดไว้ตายตัว การร่างข้อความที่มนุษย์เป็นผู้แก้ไข และการสกัดข้อมูลด้วยสคีมาที่ปฏิเสธผลลัพธ์ที่ผิดรูปแบบ

• ไม่ยอมรับ — การตอบคำถามเชิงข้อเท็จจริงโดยไม่มีการดึงข้อมูล ตัวเลขทางการเงิน การอ้างอิงทางกฎหมาย ขนาดยาทางการแพทย์ หรือสิ่งใดก็ตามที่คำตอบผิดซึ่งดูน่าเชื่อถือนั้นแย่กว่าการไม่มีคำตอบ

เส้นแบ่งไม่ได้อยู่ที่คะแนนความฉลาดของโมเดล แต่อยู่ที่ว่าคำตอบนั้นตรวจสอบเทียบกับแหล่งที่มาได้หรือไม่ อัตราการเดา 38% ในงานที่ทุกผลลัพธ์ได้รับการตรวจสอบนั้นเป็นปัญหาด้านประสิทธิภาพ แต่ในงานที่ผลลัพธ์ส่งตรงถึงลูกค้า มันคือความเสี่ยง

วิธีวัดผลด้วยข้อมูลของคุณเอง

• สร้างชุดคำถามที่โมเดลไม่สามารถตอบได้จากบริบท อัตราการเดาจะวัดจากข้อคำถามที่ตอบไม่ได้ ไม่ใช่จากชุดทดสอบทั้งหมด — การทดสอบที่ทุกคำถามมีคำตอบจะวัดความแม่นยำ ไม่ได้วัดการปรับเทียบความมั่นใจ

ให้คะแนนผลลัพธ์สามแบบ ไม่ใช่สองแบบ: ถูกต้อง ผิด และงดตอบ โมเดลที่ตอบว่า “unknown” ถือว่ามีพฤติกรรมที่ถูกต้องต่อข้อคำถามที่ไม่สามารถตอบได้

• เปรียบเทียบกับ GPT-5.6 Terra บนชุดเดียวกัน การดีขึ้น 50 คะแนนเป็นการอ้างสิทธิ์ที่ไม่ขึ้นกับผู้จำหน่าย แต่ถูกวัดจากคำถามของ Artificial Analysis คำถามของคุณอาจแตกต่างออกไป

• จับตาดูการตั้งค่าระดับความพยายาม ข้อกล่าวอ้างเกี่ยวกับอัตราความผิดพลาดนั้นขึ้นอยู่กับระดับความพยายามโดยเฉพาะ และพฤติกรรมการไม่ตอบก็มีแนวโน้มจะเปลี่ยนไปตามระดับความพยายามในการใช้เหตุผลด้วย — การทำงานที่ใช้ความพยายามต่ำอาจเดามากกว่าการทำงานที่ใช้ความพยายามสูงสุด

การพรอมต์เพื่อให้งดตอบ

การปรับเทียบความมั่นใจเป็นคุณสมบัติของพรอมป์ตส่วนหนึ่ง สามรูปแบบที่ลดการเดาอย่างมั่นใจได้อย่างน่าเชื่อถือ:

• ให้ทางออกที่ชัดเจนแก่โมเดล — “หากคำตอบไม่อยู่ในบริบทที่ให้ไว้ ให้ตอบว่า UNKNOWN” — และให้คะแนนคำตอบนั้นว่าถูกต้องสำหรับข้อที่ไม่สามารถตอบได้

• กำหนดให้ต้องมีแหล่งอ้างอิงสำหรับข้อกล่าวอ้างเชิงข้อเท็จจริงทุกข้อ และปฏิเสธเอาต์พุตที่มีแหล่งอ้างอิงไม่สอดคล้องกับบริบท

• ขอป้ายกำกับความมั่นใจ และส่งต่อคำตอบที่มีความมั่นใจต่ำไปยังโมเดลที่สองหรือมนุษย์ แทนที่จะขอให้โมเดลราคาถูกต้องมั่นใจ

แต่ละอย่างเหล่านี้ต้องใช้โทเค็นและเพิ่มขั้นตอนเข้ามา แต่ละอย่างล้วนมีต้นทุนต่ำกว่าการที่คำตอบผิดไปถึงมือลูกค้า และตัวเลข 38% คือสิ่งที่ทำให้การแลกเปลี่ยนนี้คุ้มค่าที่จะคิดเป็นราคาแทนที่จะเพิกเฉย

ทำไมสิ่งนี้จึงสำคัญกว่าดัชนี

การเพิ่มขึ้นของความฉลาด 6 จุดเปลี่ยนว่าภารกิจใดที่โมเดลทำได้เลยทีเดียว การเปลี่ยนแปลง 50 จุดในการเดาเปลี่ยนว่าภารกิจใดที่โมเดลทำได้โดยไม่มีมนุษย์อยู่ในวงจร สำหรับการตัดสินใจจัดเส้นทาง แกนที่สองมีประโยชน์มากกว่า: มันตัดสินว่าโมเดลราคาถูกจะทำงานแบบไม่มีผู้กำกับดูแลในภารกิจหนึ่งได้หรือไม่ และการกำกับดูแลคือต้นทุนที่ครองค่าใช้จ่ายในระบบโปรดักชัน

GPT-6.1 Terra ไม่ใช่โมเดลที่เลิกสร้างข้อมูลเท็จแล้ว แต่เป็นโมเดลที่สร้างข้อมูลเท็จน้อยกว่ารุ่นก่อนไม่ถึงครึ่งหนึ่ง ในราคาครึ่งเดียว พร้อมจุดตัดข้อมูลความรู้ที่ใหม่กว่า การผสมผสานนี้มีประโยชน์จริง ๆ — และมันเป็นเรื่องราวของการตรวจสอบยืนยัน ไม่ใช่เรื่องราวของความสามารถ

สิ่งที่คุณสามารถรันได้ในวันนี้

GPT-6.1 Terra ยังไม่มีอยู่ในแค็ตตาล็อกของ OrcaRouter ณ เวลาที่เขียนนี้ ดังนั้นจึงต้องวัดพฤติกรรมการไม่ตอบ (abstention) ของโมเดลนี้เทียบกับ OpenAI โดยตรง ทุกอย่างที่นำมาเปรียบเทียบนั้นเปิดให้ใช้งานจริงฝั่งเราแล้วในราคาบวกเพิ่ม 0% จากราคา list ของผู้ให้บริการ — GPT-5.6 Terra ที่ $2/$12, GPT-6.1 Sol ที่ $2/$10, GPT-6 Astra ที่ $10/$50, GPT-6 Luna ที่ $0.10/$0.50, Claude Sonnet 5.5 ที่ $2/$10 — ซึ่งเพียงพอสำหรับสร้างชุดข้อมูลปรับเทียบ (calibration set) และแบบจำลองต้นทุนการตรวจสอบ (verification-cost model) ก่อนที่ Terra จะเปิดตัว

จำนวนที่ต้องนำไปใช้ในการทดลองนั้นไม่ใช่ 48 แต่คือ 38 และคำถามที่ต้องถามคือ งบประมาณการตรวจทานของคุณเป็นอย่างไรที่อัตราการเดานั้น