Mercury 3 กับ GPT-6.1 Sol: Inception เป็นผู้รันการทดสอบนี้ด้วยตัวเอง และนั่นคือเรื่องราว

Mercury 3 วางจำหน่ายเมื่อวันที่ 19 ตุลาคม 2026 และตัวเลขการเปรียบเทียบแบบตัวต่อตัวเพียงตัวเดียวที่ Inception เผยแพร่สำหรับมันระบุชื่อGPT-6.1 Solโดยตรง มีงานนำทาง Mind2Web แบบสด 50 งานที่รันภายในฮาร์เนสเว็บเอเจนต์สำหรับโปรดักชันของ Inception เอง: Mercury 3 ทำสำเร็จ 50% ของงานเหล่านี้ ซึ่งโพสต์เปิดตัวระบุว่า “มากกว่า GPT-6.1-Sol อย่างมีนัยสำคัญ” โดยใช้ปริมาณโทเค็นเท่ากันและจำนวนขั้นของเอเจนต์เท่ากัน ด้วยต้นทุนต่อโทเค็นที่โพสต์อธิบายว่าเป็นเพียงเศษเสี้ยว นี่เป็นข้อกล่าวอ้างที่เจาะจงกว่าโพสต์เปิดตัวส่วนใหญ่ และยังเป็นข้อกล่าวอ้างที่ไม่มีตัวส่วน งาน 50 งานเป็นตัวอย่างขนาดเล็ก ฮาร์เนสเป็นของผู้จำหน่าย อัตราการทำสำเร็จของ GPT-6.1 Sol ไม่เคยถูกเผยแพร่ และ Mercury 3 ยังไม่ปรากฏที่ใดเลยบนบอร์ด Artificial Analysis อิสระที่ให้คะแนน GPT-6.1 Sol ไว้ที่ 51.8 ดังนั้นการเปรียบเทียบที่ซื่อสัตย์จึงไม่ใช่ “โมเดลไหนฉลาดกว่า” แต่คือสิ่งที่การทดสอบของผู้จำหน่ายเองรองรับได้ สิ่งที่เรตการ์ดระบุ และจุดที่บันทึกที่วัดได้ของ GPT-6.1 Sol ยังชนะโดยปริยาย อัตราการส่งผ่านราคาเท่ากันทั่วทั้งแคตตาล็อก: มาร์กอัป 0% ราคาตามรายการของผู้ให้บริการขาเข้า เท่ากับราคาตามรายการของผู้ให้บริการขาออก ความล้มเหลวของ AI และเหตุการณ์เอเจนต์ที่มีการบันทึกไว้ซึ่งอยู่เบื้องหลังการเปิดตัวแบบนี้ถูกรวบรวมไว้ใน the OrcaRouter AI Incident Archive โดยแต่ละรายการมีแหล่งที่มาของตนเอง ระดับความรุนแรง เกรดความมั่นใจ และสถานะโต้แย้ง

ประการแรก ส่วนของข้อกล่าวอ้างที่ตรวจสอบได้ง่ายอย่างผิดปกติ

โดยปกติแล้ว benchmark ตอนเปิดตัวมักเป็นตารางคะแนนบน benchmark ที่ผู้ขายเลือกเอง เปรียบเทียบกับโมเดลที่ผู้ขายเลือกเอง โดยไม่ระบุว่าทั้งสองฝ่ายใช้คอมพิวต์ไปมากน้อยเพียงใด Inception ทำสิ่งที่พบได้ยากกว่า: กำหนดปริมาณโทเค็นและจำนวนสเต็ปให้คงที่ “ปริมาณโทเค็นเท่ากันและจำนวนสเต็ปของเอเจนต์เท่ากัน” เป็นข้อความเกี่ยวกับการควบคุมการทดลอง และมันสำคัญเพราะวิธีที่โมเดลเร็วใช้เล่นเกม benchmark ของเอเจนต์ที่พบบ่อยที่สุดคือการพยายามให้มากขึ้น หาก Mercury 3 เท่ากับจำนวนสเต็ปและโทเค็นของ GPT-6.1 Sol ได้จริง และยังทำงานเสร็จมากกว่า ความแตกต่างอยู่ที่ว่าโมเดลทำอะไรกับแต่ละสเต็ป ไม่ใช่จำนวนสเต็ปที่ได้มา

สิ่งที่ข้อกล่าวอ้างนี้ยังขาด:

• อัตราการเสร็จสมบูรณ์แบบสัมบูรณ์สำหรับ GPT-6.1 Sol “มากกว่าอย่างมีนัยสำคัญ” เมื่อเทียบกับตัวเลขที่ไม่ได้ระบุไว้ ไม่ใช่ผลลัพธ์ที่คุณจะกำหนดราคาได้

• เกณฑ์ผ่าน งาน Mind2Web แตกต่างกันในความเข้มงวดของการนับว่าการนำทางหนึ่งครั้งถือว่าสมบูรณ์ และฮาร์เนสเป็นของ Inception ไม่ใช่ฮาร์เนสแบบสาธารณะ

• การรันรอบที่สอง งานห้าสิบชิ้นเล็กพอที่การเปลี่ยนผลเพียงไม่กี่รายการจะทำให้เปอร์เซ็นต์ขยับไปหลายจุด

• คะแนนใดก็ตามบนเบนช์มาร์กที่มี baseline เผยแพร่แล้ว ซึ่งเป็นสาเหตุที่กระดานของ Artificial Analysis ยังไม่สามารถจัดอันดับ Mercury 3 ได้เลย

ชูหาว จาง จาก TinyFish AI ถูกอ้างอิงถึงผลลัพธ์นี้ และคำกล่าวนั้นเป็นคำรับรองจากลูกค้า ไม่ใช่การจำลองผลโดยอิสระ นั่นเป็นเรื่องปกติสำหรับการเปิดตัว และควรเรียกให้ชัดว่าเป็นเช่นนั้น เพราะตัวเลข 50% จะถูกแพร่กระจายไปหลายเดือนโดยไม่มีข้อกำกับนั้นแนบไปด้วย

เรตการ์ด ซึ่งเป็นจุดที่ข้อโต้แย้งแข็งแกร่งจริง ๆ

ความต่างของราคาไม่ใช่แค่เล็กน้อย และไม่ได้ขึ้นอยู่กับฮาร์เนสของใคร Mercury 3 ตั้งราคาไว้ที่ 0.20 ดอลลาร์ต่อล้านโทเค็นอินพุต และ 0.70 ดอลลาร์ต่อล้านโทเค็นเอาต์พุต โดยอินพุตที่แคชไว้อยู่ที่ 0.02 ดอลลาร์ ตลอดช่วงเปิดตัว Inception คิดครึ่งหนึ่งของราคานั้น: อินพุต 0.10 ดอลลาร์ แคช 0.01 ดอลลาร์ และเอาต์พุต 0.35 ดอลลาร์ GPT-6.1 Sol ตั้งราคาไว้ที่อินพุต 2.00 ดอลลาร์ แคช 0.10 ดอลลาร์ เขียนแคช 2.50 ดอลลาร์ และเอาต์พุต 10.00 ดอลลาร์ ที่ราคาตามรายการ อัตราเอาต์พุตของ Mercury 3 เป็นหนึ่งในสิบสี่ของ GPT-6.1 Sol และในช่วงส่วนลดเปิดตัวเป็นหนึ่งในยี่สิบแปด

สมมติเอเจนต์เบราว์เซอร์ตัวหนึ่งที่ทำงาน 40 ขั้นตอน ส่งโทเคนอินพุต 12,000 โทเคนต่อขั้น และส่งออกโทเคนเอาต์พุต 400 โทเคนต่อขั้น นั่นคือโทเคนอินพุต 480,000 โทเคนและโทเคนเอาต์พุต 16,000 โทเคนสำหรับการรันครั้งนี้ โดยไม่มีแคชเลย ซึ่งเป็นกรณีที่แย่สำหรับโมเดลที่ถูกกว่า:

• GPT-6.1 Sol — อินพุต $0.96 ในอัตรา $2.00 ต่อล้าน และเอาต์พุต $0.16 ในอัตรา $10.00 ต่อล้าน: ประมาณ $1.12 ต่อการรัน

• Mercury 3 ในราคาตามรายการ — อินพุต $0.096 บวกเอาต์พุต $0.011 ที่ $0.70 ต่อล้าน: ประมาณ $0.107 ต่อการรัน หรือถูกกว่า 10.4 เท่า

• Mercury 3 ในอัตราเปิดตัว — $0.048 บวก $0.006: ประมาณ $0.054 ต่อครั้ง หรือถูกกว่าราว 21 เท่า

ตอนนี้ลองเอาอัตราการทำงานสำเร็จมาพิจารณาเพิ่มด้วย ถ้า Mercury 3 ทำงานสำเร็จ 50 จาก 100 งาน และ GPT-6.1 Sol ทำงานสำเร็จในจำนวนที่น้อยกว่า การประหยัดต่อการรันจะเกิดขึ้นจริงเฉพาะกับการรันที่ทำงานเสร็จเท่านั้น โมเดลที่ถูกกว่าต่อขั้นตอนถึงสิบเท่าและทำงานสำเร็จบ่อยเป็นสองในสามของอีกตัว ก็ยังคงถูกกว่าต่องานที่ทำเสร็จ ซึ่งเป็นตัวเลขที่ควรอยู่บนแดชบอร์ด แต่ที่จำนวน 50 งาน ยังไม่มีใครรู้อัตราส่วนที่สองเลย

รายละเอียดด้านต้นทุนสองอย่างสำคัญกว่าตัวเลขพาดหัวและมองข้ามได้ง่าย อินพุตแบบแคชที่ $0.10 บน GPT-6.1 Sol คิดเป็นครึ่งหนึ่งของราคาอินพุตตามรายการของ Mercury 3 และเป็นยี่สิบเท่าของราคาแคชของมัน ดังนั้นเมื่อใช้ system prompt ที่ยาวและคงที่ การแคชของ GPT-6.1 Sol จึงปิดช่องว่างได้บางส่วน — แต่เฉพาะฝั่งอินพุตเท่านั้น และเอาต์พุตคือส่วนที่ลูปของเอเจนต์ใช้จ่าย และ GPT-6.1 Sol คิดราคาใหม่ทั้งคำขอเมื่ออินพุตเกิน 272,000 โทเค็น: 2× สำหรับอินพุตและแคช, 1.5× สำหรับเอาต์พุต หน้าผาชันนั้นคือจุดที่ทรานสคริปต์ของเอเจนต์แบบยาวลงพอดี และหน้าต่าง 1M โทเค็นของ Mercury 3 ที่ไม่มีค่าธรรมเนียมเพิ่มเติมสำหรับพรอมป์ยาวที่ประกาศไว้ ถือเป็นข้อได้เปรียบเชิงโครงสร้างในสถานการณ์เดียวกัน

สิ่งที่ GPT-6.1 Sol มีแต่ Mercury 3 ไม่มี: สถิติที่วัดได้

ทุกอย่างข้างต้นเป็นการเปรียบเทียบกับเรทการ์ดและการทดสอบจากผู้ขายรายหนึ่ง คณะกรรมการอิสระให้ภาพที่แตกต่างออกไป และมีเพียงหนึ่งในโมเดลเหล่านี้เท่านั้นที่อยู่ในนั้น

• ดัชนี Intelligence — Mercury 3 ไม่อยู่ในรายการ; GPT-6.1 Sol 51.8 ที่ระดับความพยายามในการให้เหตุผลสูงสุด ตามข้อมูลของ Artificial Analysis เมื่อวันที่ 20 ตุลาคม 2026

• ต้นทุนต่องานจัดทำดัชนี — Mercury 3 ไม่ได้วัด; GPT-6.1 Sol $0.72 เมื่อเทียบกับค่ามัธยฐานของบอร์ดที่สูงกว่าตัวเลขนี้มาก

• Terminal-Bench 4.0 — Mercury 3 ยังไม่ได้วัดค่า; GPT-6.1 Sol 0.5606

• SciCode — Mercury 3 ไม่ได้วัด; GPT-6.1 Sol 0.5417

• Humanity's Last Exam — Mercury 3 ไม่ได้วัด; GPT-6.1 Sol 0.5292

• AA-LCR การให้เหตุผลเชิงบริบทยาว — Mercury 3 ยังไม่ได้วัด; GPT-6.1 Sol 0.83

• GDPval-AA งานความรู้ที่มีคุณค่าทางเศรษฐกิจ — Mercury 3 ไม่ได้วัด; GPT-6.1 Sol Elo 1593.85

• AA-Omniscience — Mercury 3 ยังไม่ได้วัด; GPT-6.1 Sol 41.5

• บริบทและเอาต์พุต — Mercury 3 1,000,000 อินพุต / 131,072 เอาต์พุต; GPT-6.1 Sol 1,050,000 อินพุต / 128,000 เอาต์พุต

• เวต — ปิดทั้งคู่; ไม่มีฝ่ายใดให้ checkpoint แก่คุณ

• รูปแบบข้อมูล — ทั้งสองรุ่นรองรับข้อความ; GPT-6.1 Sol ยังรับรูปภาพและไฟล์ได้ด้วย

บรรทัดสุดท้ายนั้นเป็นความแตกต่างที่ดูไม่หรูหราที่สุด แต่ชี้ขาดที่สุดสำหรับบางทีม GPT-6.1 Sol รองรับอินพุตรูปภาพและไฟล์ ส่วนเอกสารของ Mercury 3 เองระบุรูปแบบที่รองรับว่าเป็นข้อความ หากเอเจนต์ของคุณต้องอ่านภาพหน้าจอ ไฟล์ PDF หรือใบแจ้งหนี้ที่สแกน การเปรียบเทียบก็จบตรงนั้นไม่ว่าราคาจะเป็นอย่างไร และจำนวนโทเคนต่อวินาทีจะมากแค่ไหนก็ไม่เปลี่ยนสิ่งนั้น

ขั้นบันไดการให้เหตุผลก็ไม่ได้มีโครงสร้างแบบเดียวกัน Mercury 3 มีระดับ instant, low, medium และ high โดยปรับอุณหภูมิได้ตั้งแต่ 0.5 ถึง 1.0 ส่วน GPT-6.1 Sol มีระดับ low, medium, high, xhigh และ max และไม่รับการตั้งค่าแบบไม่ให้เหตุผลอีกต่อไปเลย โมเดลที่มีขั้น "instant" กำลังให้คำสัญญาเกี่ยวกับผลิตภัณฑ์ที่แตกต่างออกไป: มันกำลังบอกคุณว่าบางคำขอไม่ควรคิดวิเคราะห์ และมันจะเรียกเก็บเงินคุณตามนั้น นั่นคือความแตกต่างด้านการออกแบบที่แท้จริง และมันมองไม่เห็นในตัวเลขความฉลาดเพียงตัวเดียว

ในกรณีใดที่แต่ละโมเดลคือตัวเลือกที่เหมาะสม

Mercury 3 เป็นตัวเลือกที่ถูกต้องเมื่อภาระงานถูกจำกัดด้วยความหน่วง เป็นข้อความล้วน และต้นทุนต่อขั้นเป็นปัจจัยหลักที่กำหนดงบประมาณ เช่น การนำทางในเบราว์เซอร์ การสนับสนุนผ่านแชต การสอนแบบเรียลไทม์ งานใกล้เคียงการจำแนกประเภทปริมาณมาก หรือลูปใดก็ตามที่มีมนุษย์หรือระบบอื่นกำลังรอแต่ละรอบ หน้าต่างบริบท 1M และเพดานเอาต์พุต 131,072 โทเคนเหมาะกับบันทึกบทสนทนาของเอเจนต์ที่ยาว และมีระดับ instant สำหรับคำขอที่ไม่ควรใช้การคิดวิเคราะห์ ความเสี่ยงคือยังไม่มีผู้ประเมินอิสระให้คะแนน ดังนั้นขอบเขตคุณภาพจึงยังเป็นเพียงคำกล่าวอ้างของผู้ขายในตอนนี้

GPT-6.1 Sol เป็นตัวเลือกที่เหมาะสมเมื่องานต้องใช้ความสามารถด้านภาพหรือการป้อนไฟล์ เมื่อคุณต้องการระดับความสามารถขั้นต่ำที่วัดได้ก่อนจะตัดสินใจส่งทราฟฟิกจริง เมื่อคุณต้องการบันไดการให้เหตุผลที่ไปไกลกว่าระดับ "high" หรือเมื่อคำขอขนาด 272,000 โทเค็นเป็นข้อยกเว้นมากกว่าปกติ ต้นทุนต่องานดัชนีของมันอยู่ในระดับที่ดีที่สุดในกระดาน ซึ่งเป็นอีกครึ่งหนึ่งของเหตุผล ราคาถูกต่อโทเค็นกับราคาถูกต่องานที่ทำเสร็จแล้วเป็นคนละข้อกล่าวอ้าง และ GPT-6.1 Sol คือตัวที่มีการเผยแพร่ตัวเลขตัวที่สอง

ข้อผิดพลาดในทางปฏิบัติคือการมองเรื่องนี้เป็นทางเลือกแบบผู้ชนะได้ทุกอย่าง Mercury 3 ไม่ได้อยู่บน OrcaRouter — แต่ให้บริการผ่าน API ของ Inception เองและแพลตฟอร์มบุคคลที่สามหลายแห่ง — ในขณะที่ GPT-6.1 Sol มีให้ใช้ ในราคาตามรายการของ OpenAI โดยมีมาร์กอัป 0%ดังนั้นสิ่งที่คุณจ่ายคือเรทราคาของผู้ให้บริการเอง ไม่ใช่ราคาเทียบเท่าที่ถูกบวกเพิ่ม สิ่งนี้ทำให้การทดสอบแบบแบ่งกลุ่มมีต้นทุนต่ำในการดำเนินการ: เก็บ GPT-6.1 Sol ไว้บนเส้นทางโปรดักชัน วาง Mercury 3 ไว้หลัง API ของผู้ให้บริการบนทราฟฟิกส่วนหนึ่ง และเปรียบเทียบงานที่เสร็จสมบูรณ์ต่อดอลลาร์ แทนที่จะเป็นโทเคนต่อวินาที หากทราฟฟิกส่วนนั้นยังทำได้ดี ให้ย้ายขั้นตอนที่ไวต่อเวลาแฝง หากไม่เป็นเช่นนั้น คุณก็เสียเวลาไปหนึ่งสัปดาห์และใบแจ้งหนี้เล็ก ๆ หนึ่งใบ การสลับไปใช้ระบบสำรองอัตโนมัติมีความสำคัญที่สุดในหน้าต่างนี้พอดี เมื่อโมเดลที่เพิ่งเปิดตัวได้หนึ่งวันกำลังถูกทดลอง และโมเดลที่ผ่านการวัดผลแล้วกำลังแบกภาระอยู่

อะไรจะยุติเรื่องนี้ได้

สามสิ่ง เรียงตามว่ามันจะทำให้คำตอบเปลี่ยนไปมากแค่ไหน:

• รายการ Artificial Analysis สำหรับ Mercury 3 ตัวเลขดัชนีหนึ่งค่าและต้นทุนต่องานหนึ่งค่าจะแทนที่ทุกการประมาณการในบทความนี้ จนกว่าจะมีสิ่งนั้น "ไม่มีคะแนนอิสระ" คือสถานะที่ถูกต้อง ไม่ใช่ "ยังไม่ได้รับการพิสูจน์" และไม่ใช่ "ระดับแนวหน้า"

• อัตราความสำเร็จของ GPT-6.1 Sol บนงาน 50 งานเดียวกัน หรือการรันซ้ำแบบสาธารณะของฮาร์เนสนั้นโดยผู้ที่ไม่ใช่ Inception ข้อกล่าวอ้างเรื่องโทเคนที่ควบคุมแล้วเป็นระเบียบวิธีที่ดี แต่ยังไม่ใช่ผลลัพธ์ที่ผู้อื่นสามารถตรวจสอบได้

• คำตอบที่เผยแพร่เกี่ยวกับวิธีการคิดค่าบริการเอาต์พุตของ diffusion Mercury 3 สร้างโทเค็นแบบขนานและปรับปรุงโทเค็นเหล่านั้นเป็นรอบ ๆ และเอกสารของ Inception ไม่ได้ระบุว่ารอบ denoising ถูกนับรวมในโทเค็นเอาต์พุตที่คิดค่าบริการหรือไม่ หากไม่นับ ข้อได้เปรียบด้านต้นทุนที่แท้จริงจะมากกว่าที่อัตราค่าบริการระบุไว้ หากนับ 1,068 โทเค็นต่อวินาทีก็เป็นตัวเลขปริมาณงาน (throughput) มากกว่าตัวเลขสำหรับการคิดค่าบริการ

จนกว่าจะถึงตอนนั้น จุดยืนที่ป้องกันได้นั้นแคบแต่มีประโยชน์: Mercury 3 เป็นโมเดลข้อความเร็วที่ถูกที่สุดในคู่นี้ โดยถูกกว่าถึงระดับหนึ่งลำดับขนาด ในการทดสอบจากผู้ขายที่อย่างน้อยก็ออกแบบมาเพื่อควบคุมความพยายาม โดยมีหน้าต่าง 1M โทเค็น และไม่มีคะแนนอิสระ GPT-6.1 Sol เป็นโมเดลที่แพงกว่า ช้ากว่า และมีการวัดผลแล้ว ซึ่งยังอ่านภาพได้และมีต้นทุนต่องานที่ทำเสร็จเผยแพร่ไว้ ซื้อตัวที่สองสำหรับงานที่คุณผิดพลาดไม่ได้ ส่วนตัวแรกให้ทดลองใช้กับงานที่ต้นทุนจริงคือการรอ