
คะแนน Browser-Use 82% ของ GPT-6.2 Sol เป็นเพียงทวีต ไม่ใช่รายการในลีดเดอร์บอร์ด
- Orcaใหม่OrcaCyber: Hy4 Flash Abliterated / Uncensored2026-11-18$0.07 / $0.28 ต่อ 1 ล้านโทเค็น · 184 tok/s
- tencentใหม่Tencent: Hy4 Flash2026-11-16$0.02 / $0.07 ต่อ 1 ล้านโทเค็น · 223 tok/s
- Googleใหม่Google: Gemini 4 Carbon2026-11-10$2.00 / $10.00 ต่อ 1 ล้านโทเค็น · 87 tok/s
- Anthropicใหม่Anthropic: Claude Fable 5.22026-11-09$8.00 / $40.00 ต่อ 1 ล้านโทเค็น · 96 tok/s
- orcaใหม่Orca: OrcaC2 1.02026-11-079 tok/s
- OrcaOrcaCyber: GLM 5.3 Abliterated / Uncensored2026-11-04$3.00 / $5.00 ต่อ 1 ล้านโทเค็น · 90 tok/s
- OrcaOrcaCyber: Hy4 Abliterated / Uncensored2026-11-04$0.80 / $1.60 ต่อ 1 ล้านโทเค็น · 131 tok/s
- OrcaOrcaCyber: Kimi K3.1 Pro Abliterated / Uncensored2026-11-04$2.00 / $5.00 ต่อ 1 ล้านโทเค็น · 78 tok/s
- tencentTencent: Hy42026-11-04$0.83 / $2.50 ต่อ 1 ล้านโทเค็น · 94 tok/s
- OrcaOrcaCyber: MiniMax M3.1 Flash Abliterated / Uncensored2026-10-29$0.80 / $1.60 ต่อ 1 ล้านโทเค็น · 114 tok/s
- OrcaOrcaCyber: GLM 5.3 Flash Abliterated / Uncensored2026-10-27$0.80 / $1.60 ต่อ 1 ล้านโทเค็น · 69 tok/s
- OrcaOrcaCyber: Qwen3.8 Flash Next Abliterated / Uncensored2026-10-26$0.80 / $1.60 ต่อ 1 ล้านโทเค็น · 94 tok/s
- OrcaOrcaCyber: MiMo V2.6 Flash Abliterated / Uncensored2026-10-26$0.80 / $1.60 ต่อ 1 ล้านโทเค็น · 41 tok/s
- MoonshotMoonshotAI: Kimi K3.1 Pro2026-10-2447ความฉลาด
- OrcaOrcaCyber: DeepSeek V4.1 Flash Abliterated / Uncensored2026-10-23$0.80 / $1.60 ต่อ 1 ล้านโทเค็น · 208 tok/s
- minimaxMiniMax: M3.1 Flash2026-10-1929ความฉลาด
- OrcaOrca: OrcaCyber Ultra 1.02026-10-17$5.00 / $10.00 ต่อ 1 ล้านโทเค็น · 111 tok/s
- deepseekDeepSeek: DeepSeek V4.1 Flash 10172026-10-1733ความฉลาด
- DeepSeekDeepSeek: DeepSeek V4.1 Flash 09102026-10-17$0.15 / $0.60 ต่อ 1 ล้านโทเค็น · 311 tok/s
- DeepSeekDeepSeek: DeepSeek V4.1 Flash2026-10-1740ความฉลาด
เมื่อวันที่ 18 พฤศจิกายน Browser Use โพสต์ว่า GPT-6.2 Solเป็นโมเดลอันดับหนึ่งบนเบนช์มาร์ก browser-agent ของตน: 82% เพิ่มขึ้นจาก 81% ของ GPT-6.1 Sol โดยถูกกว่าต่องาน 35% เร็วกว่าเป็นสองเท่า และใช้ขั้นตอนน้อยลง 36% Greg Brockman ได้ขยายเสียงเรื่องนี้ในวันเดียวกันด้วยข้อความ "GPT-6.2 ยอดเยี่ยมมากในการใช้งานเบราว์เซอร์" สองวันก่อนหน้านั้น OpenAI ได้เปิดตัว GPT-6.2 Sol ในราคา 2 ดอลลาร์ต่อล้านโทเคนอินพุต และ 10 ดอลลาร์ต่อล้านโทเคนเอาต์พุต คำกล่าวอ้างนี้เป็นเรื่องที่ดีและน่าจะถูกต้องในเชิงทิศทาง แต่อย่างไรก็ตาม ณ วันนี้ นี่เป็นที่เดียวที่มีตัวเลขทั้งสี่นั้นอยู่ ลีดเดอร์บอร์ดสาธารณะของ Browser Use เองยังคงระบุ GPT-6.1 Sol ที่ 81.3 และไม่มีแถวของ GPT-6.2 Sol เลย — หน้าผลลัพธ์มีตราประทับแก้ไขล่าสุดวันที่ 29 ตุลาคม 2026 และ URL ที่ควรจะมีหน้าสำหรับแต่ละโมเดลของ GPT-6.2 Sol ส่งคืน 404 ดังนั้นเวอร์ชันที่ตรงไปตรงมาของเรื่องนี้จึงแคบกว่าและมีประโยชน์กว่าทวีต: ผู้ให้บริการเบนช์มาร์กกำลังบอกคุณว่าโมเดลที่พวกเขาจัดอันดับหนึ่งในตอนนี้ดีกว่า ถูกกว่า และเร็วกว่าโมเดลที่พวกเขาจัดอันดับหนึ่งเมื่อสามสัปดาห์ก่อน และบอร์ดที่คุณมักจะตรวจสอบเพื่อยืนยันเรื่องนั้นยังตามไม่ทัน
สิ่งที่ Browser Use โพสต์จริง ๆ ทั้งหมด
โพสต์ที่ถูกอ้างถึงมาจากบัญชีของ Browser Use เองเมื่อเวลา 00:09 UTC วันที่ 18 พฤศจิกายน โดยระบุว่า: “GPT-6.2 Sol เป็นโมเดลอันดับหนึ่งสำหรับการใช้งานบนเบราว์เซอร์ 👀 — 82% เพิ่มขึ้นจาก 81% ของ GPT-6.1 Sol; ถูกกว่า 35%; เร็วขึ้น 2 เท่า: 12 นาทีแทนที่จะเป็น 22 นาที; ใช้ขั้นตอนน้อยลง 36%” นี่คือข้อกล่าวอ้างสี่ข้อที่แยกจากกันซึ่งมีน้ำหนักต่างกันมาก และควรแยกข้อเหล่านี้ให้ชัดเจนก่อนจะนำข้อใดข้อหนึ่งไปใช้เป็นเหตุผลสนับสนุนการย้ายระบบ
• คะแนน — 82 เทียบกับ 81 หนึ่งคะแนนบนคะแนนรูบริกแบบถ่วงน้ำหนักเฉลี่ยในช่วง 0–100 บนเบนช์มาร์กที่ระเบียบวิธีซึ่งเผยแพร่ไว้ระบุถึงงาน 180 งานที่รันบนเว็บไซต์จริง หนึ่งคะแนนนั้นอยู่ในช่วงความคลาดเคลื่อนของเบนช์มาร์กที่รันซ้ำกับไซต์ของบุคคลที่สามซึ่งเปลี่ยนแปลงอยู่เสมอ
• ต้นทุนต่องาน — ถูกกว่า 35% นี่คือข้อกล่าวอ้างที่หนักแน่นที่สุดในชุดนี้ เพราะเป็นข้อที่ผู้ดำเนินการเอเจนต์สามารถทำซ้ำได้ในต้นทุนต่ำ และเพราะมันถูกจำกัดด้วยหลักคณิตศาสตร์: ราคาโทเคนไม่ได้เปลี่ยนแปลง ดังนั้นการประหยัดจึงต้องมาจากที่อื่น
• เวลาจริง — 12 นาทีแทนที่จะเป็น 22 นาที นี่คือข้อกล่าวอ้างที่ขัดแย้งกับข้อมูลที่ผู้ขายเผยแพร่เองอย่างตรงที่สุด และจะกล่าวถึงด้านล่าง
• ขั้นตอน — น้อยลง 36% ในเอเจนต์เบราว์เซอร์ ขั้นตอนคือการเรียกเครื่องมือ และการเรียกเครื่องมือคือจุดที่ลูปของเอเจนต์ใช้ทั้งเงินและเวลา การลดขั้นตอนลง 36% อธิบายตัวเลขอีกสามจำนวนที่เหลือได้เป็นส่วนใหญ่ในคราวเดียวอย่างสมเหตุสมผล
Browser Use Bench v2.1 ไม่ใช่แบบฝึกด้านการตลาด การ์ดระเบียบวิธีของมันระบุชัดเจนว่าคะแนนคือคะแนนรูบริกแบบถ่วงน้ำหนักเฉลี่ยต่องานในมาตรา 0–100 ว่าคอลัมน์ต้นทุนคือต้นทุนโมเดลโดยประมาณต่องานในหน่วย USD และไม่รวมต้นทุนการค้นหา ตัวตัดสิน เบราว์เซอร์ และตัวรัน และว่าการรันนั้นทำบนเว็บไซต์จริง 180 แห่ง ไม่ใช่ชุดทดสอบที่คงที่ นั่นคือระบอบการวัดจริง และยังเป็นระบอบที่การขยับคะแนนเพียงจุดเดียวกับการรันซ้ำบนเว็บไซต์จริงไม่ใช่หลักฐานประเภทเดียวกัน ซึ่งเป็นเหตุผลที่คณะกรรมการhistoricallyระมัดระวังกว่าคอนเทนต์โซเชียลของตัวเอง
ตัวเลขทั้งสี่ไม่อยู่บนกระดาน
เราได้ตรวจสอบกระดานผู้นำที่ browser-use.com/benchmarks/agents เมื่อวันที่ 19 พฤศจิกายน 2026 เมทาดาทาชุดข้อมูลแบบมีโครงสร้างที่ฝังอยู่ในหน้านั้นยังคงระบุว่า "Browser Use Bench v2.1 model results" โดยมี dateModifiedเป็น 2026-10-29 การค้นหาสตริง "GPT-6.2" ในซอร์สโค้ดของหน้าไม่พบผลลัพธ์ที่ตรงกันเลย หน้าเฉพาะรุ่นที่ browser-use.com/benchmarks/models/gpt-6-2-sol ไม่มีอยู่ — โดยตอบกลับด้วยหน้า 404 stub และ FAQ ของหน้าเองยังคงอธิบายลำดับอันดับปัจจุบันว่า "GPT-6.1 Sol high: 81.3 จาก 100 ที่ $1.92 ต่องาน จาก 180 งานบนเว็บไซต์จริง ถัดไปคือ GPT-6 Sol high ที่ 79.4"

นั่นไม่ใช่ข้อกล่าวหาว่ามีเจตนาไม่สุจริต ผล benchmark เผยแพร่ตามรอบเวลาที่กำหนด แต่ประกาศไม่เป็นไปตามรอบนั้น บัญชีที่โพสต์เมื่อวันที่ 18 พฤศจิกายนคือบัญชีที่ดูแลชุดทดสอบ (harness) จึงมีตัวเลขก่อนที่เว็บไซต์จะเผยแพร่ อย่างไรก็ตาม เรื่องนี้กำหนดสถานะเชิงหลักฐานของบทความนี้ และของการตัดสินใจจัดซื้อใด ๆ ที่อาศัยบทความนี้ในสัปดาห์นี้: ตัวเลข 82%, 35%, 2x และ 36% เป็นตัวเลขที่ผู้ขายรายงานเองและยังไม่ได้เผยแพร่ ในความหมายเฉพาะที่ว่าตารางที่ผู้ขายเผยแพร่เองยังไม่มีตัวเลขเหล่านี้อยู่ ทีมที่ย้ายเอเจนต์เบราว์เซอร์ในระบบการผลิตไปยัง GPT-6.2 Sol ในวันนี้กำลังดำเนินการโดยอิงกับประกาศผล benchmark ไม่ใช่ผล benchmark ที่เกิดขึ้นจริง
ข่าวดีก็คือ การประกาศนี้สามารถพิสูจน์ว่าเป็นเท็จได้ด้วยต้นทุนต่ำ หากตัวเลขยังยืนตามเดิม บอร์ดที่อัปเดตซึ่งมีแถว GPT-6.2 Sol ควรปรากฏขึ้นภายในไม่กี่วัน และตัวเลขทั้งสี่นั้นควรผ่านการทดสอบกับ JSON หากแถวดังกล่าวปรากฏพร้อมตัวเลขที่ต่างออกไป คุณจะรู้ได้ก่อนที่คุณจะสร้างสิ่งใดใหม่เสร็จ
เบสไลน์ในทวีตไม่ตรงกับเบสไลน์บนบอร์ด
รายละเอียดที่ควรหยิบยกมาพูดถึงคือ ประเด็นแบบนี้มักหายไปเมื่อข้อกล่าวอ้างถูกส่งต่อในรูปแบบภาพหน้าจอ ทวีตระบุผลลัพธ์ก่อนหน้าของ GPT-6.1 Sol ว่า "81%" และ "22 นาที" ส่วนลีดเดอร์บอร์ดที่เผยแพร่โดย Browser Use ระบุว่า GPT-6.1 Sol เมื่อใช้ความพยายามในการใช้เหตุผลระดับสูงได้ 81.3 จาก 100 ที่ 1.92 ดอลลาร์ต่องาน โดยมีค่ามัธยฐานอยู่ที่ 14.3 นาที คะแนนนั้นใกล้กันพอ — 81 กับ 81.3 เป็นตัวเลขเดียวกันที่ปัดเศษต่างกัน แต่เวลาไม่ใช่ 14 นาทีกับ 22 นาทีไม่ใช่การวัดเดียวกัน

มีคำอธิบายที่บริสุทธิ์อยู่ คอลัมน์เวลาในลีดเดอร์บอร์ดเป็นค่ามัธยฐานจากงานสด 180 งาน และค่ามัธยฐานอ่อนไหวต่อว่างานใดถูกตัดออกเมื่อไซต์ล้มเหลว 22 นาทีอาจเป็นค่าเฉลี่ย อาจเป็นสับเซตเฉพาะงานที่ใช้ความพยายามสูง อาจเป็นชุดงานที่ต่างออกไป หรืออาจเป็นรันไทม์ก่อนที่การแก้ไขฮาร์เนสจะถูกนำขึ้นใช้ระหว่างวันที่ 29 ตุลาคมถึง 18 พฤศจิกายนก็ได้ ยังมีอีกคำอธิบายหนึ่งที่บริสุทธิ์น้อยกว่า: ตัวเลขเวลาในทวีตเป็นการเปรียบเทียบที่เลือกมาเพื่อทำให้โมเดลใหม่ดูเร็วขึ้น และตัวหารที่ซื่อสัตย์สำหรับคำอ้างความเร็ว 2 เท่าคือสิ่งที่ฮาร์เนสเดียวกันสร้างให้โมเดลเก่าในวันเดียวกัน ไม่ว่าค่านั้นจะเป็นเท่าใด
คุณไม่สามารถตัดสินเรื่องนั้นจากภายนอกได้ สิ่งที่คุณทำได้คือปฏิเสธที่จะนำอัตราส่วนนั้นมาใช้ "2x faster" ในที่นี้หมายความว่า "ชุดทดสอบของผู้จำหน่ายเมื่อวันที่ 18 พฤศจิกายน วัดได้ 12 นาที ในขณะที่วัดได้ 22 นาทีสำหรับโมเดลก่อนหน้า" ไม่ใช่ "GPT-6.2 Sol เร็วกว่าโมเดลที่กระดานจัดอันดับสาธารณะระบุว่าใช้เวลา 14.3 นาทีถึงสองเท่า" หากความเร็วเป็นเหตุผลที่คุณกำลังพิจารณาการเปลี่ยน ตัวเลขที่ควรใช้ในการวางแผนคือตัวเลขที่เผยแพร่ 14.3 นาที จนกว่ากระดานใหม่จะเข้ามาแทนที่ เพราะเป็นตัวเลขเดียวที่มีหน้าเอกสารระเบียบวิธีรองรับ
ทำไมข้อกล่าวอ้างว่าถูกกว่า 35% จึงมีเลขคณิตกำกับอยู่ด้านล่าง
การกำหนดราคาทำให้ข้อกล่าวอ้างเรื่องต้นทุนตรวจสอบได้ในลักษณะที่ข้อกล่าวอ้างอื่น ๆ ทำไม่ได้ GPT-6.2 Sol และ GPT-6.1 Sol ใช้ตารางอัตราค่าบริการเดียวกัน ตามหน้าข้อมูลโมเดลของ OpenAI เอง:
• อินพุต — $2.00 ต่อล้านโทเค็นสำหรับทั้งสองแบบ
• อินพุตที่แคชไว้ — $0.10 ต่อล้านโทเคนสำหรับทั้งสองแบบ การเขียนแคชมีราคา $2.50 ต่อล้านโทเคนสำหรับแคช 30 นาที และ $5.00 สำหรับการเขียนแบบ 12 ชั่วโมง สำหรับทั้งสองแบบ
• เอาต์พุต — $10.00 ต่อหนึ่งล้านโทเค็นสำหรับทั้งสอง
• คอนเท็กซ์แบบยาว — เมื่ออินพุตเกิน 272,000 โทเคน อัตราค่าอินพุตและแคชจะเพิ่มเป็นสองเท่า และอัตราค่าเอาต์พุตจะเพิ่มเป็น 1.5 เท่าสำหรับทั้งคำขอ ในทั้งสองโมเดล จุดเปลี่ยนราคายังอยู่ที่ตำแหน่งเดิม
• Batch — 50% ของอัตรามาตรฐานสำหรับทั้งสอง; โหมด Fast เพิ่มเป็นสองเท่า, Ultrafast เพิ่มเป็นสามเท่าจนถึง 28 กุมภาพันธ์ 2027 และเพิ่มเป็นหกเท่าตั้งแต่ 1 มีนาคม 2027 สำหรับทั้งสอง
• คอนเท็กซ์ — หน้าต่างขนาด 1,050,000 โทเค็น, อินพุตสูงสุด 922,000, เอาต์พุตสูงสุด 128,000, รับข้อความและรูปภาพเข้า ส่งออกเป็นข้อความ, ทั้งสองรุ่น จุดตัดความรู้ของ GPT-6.2 Sol คือวันที่ 1 มิถุนายน 2026 เทียบกับวันที่ 30 เมษายน 2026
อินพุตที่เหมือนกัน ราคาต่อโทเค็นที่เหมือนกัน ดังนั้นต้นทุนต่องานที่ลดลง 35% จึงไม่ใช่การลดราคาได้ มันต้องเป็นการซื้อโทเค็นที่น้อยลง และทวีตได้ให้กลไกไว้: ขั้นตอนน้อยลง 36% ค่าโทเค็นของเอเจนต์เบราว์เซอร์ถูกครอบงำด้วยประวัติการสนทนาที่เล่นซ้ำในทุกขั้นตอน ดังนั้นจำนวนขั้นตอนและต้นทุนจึงเพิ่มขึ้นด้วยกันเกือบเป็นเส้นตรงในการทำงานระยะยาว ตัดจำนวนขั้นตอนลงหนึ่งในสาม แล้วค่าใช้จ่ายจะลดลงประมาณหนึ่งในสาม ซึ่งเป็นขนาดของการประหยัดที่รายงานไว้พอดี ข้อกล่าวอ้างทั้งสองสนับสนุนกันและกัน ซึ่งเป็นสัญญาณที่ดีสำหรับทั้งคู่
นี่ก็เป็นคำเตือนเกี่ยวกับวิธีอ่านการประหยัดด้วย งานที่ถูกลง 35% ไม่ได้หมายถึงเดือนที่ถูกลง 35% หากโมเดลที่ถูกกว่ากำลังได้รับงานที่โมเดลเก่าทำไม่สำเร็จ หรือหากจำนวนขั้นตอนที่น้อยลงหมายความว่าเอเจนต์ยุติเร็วขึ้นและส่งงานเพียงบางส่วนกลับมา คะแนนรูบริกที่ 82 คือสิ่งที่ตัดความเป็นไปได้นั้นออก — การรันที่หยุดเร็วโดยมีขั้นตอนน้อยลงหนึ่งในสามจะได้คะแนนต่ำลง ไม่ใช่สูงขึ้นหนึ่งคะแนน — แต่หนึ่งคะแนนเป็นส่วนต่างที่บางเฉียบเกินกว่าจะรับน้ำหนักได้มากขนาดนั้น
การที่ราคาโทเคนถูกส่งผ่านไปโดยไม่เปลี่ยนแปลงคือส่วนที่ทั้งน่าเบื่อและมีประโยชน์อย่างแท้จริงของเรื่องนี้ บน OrcaRouter โมเดลมาร์กอัป 0% หมายความว่าราคาตามรายการของผู้ให้บริการคือราคาที่คุณจ่าย ดังนั้นเมื่อผู้ขายปรับตารางราคา — อย่างที่ OpenAI ทำกับ GPT-6.2 Astra ซึ่งลดลง 20% ทั้งฝั่งอินพุตและเอาต์พุตในวันเดียวกัน — การเปลี่ยนแปลงจะมีผลบนแพลตฟอร์มในวันที่เกิดขึ้น แทนที่จะต้องรอให้ผู้ขายต่อกำหนดราคาใหม่ สิ่งนี้ก็cutได้ทั้งสองทางเช่นกัน: ไม่มีอะไรให้ทำอาร์บิทราจ และไม่มีส่วนลดใด ๆ ที่จะได้จากการย้าย หากวันนี้คุณกำลังรัน GPT-6.1 Sol ผ่านคีย์ API เดียว การเรียกโมเดล GPT-6.2 Sol จะมีค่าใช้จ่ายต่อโทเคนเท่ากับที่ผู้ขายคิด
สิ่งที่สำคัญสำหรับลูปของเอเจนต์ นอกเหนือจากพาดหัวข่าว
รายละเอียดด้านการดำเนินงานสี่ข้อจากหน้าโมเดลของ OpenAI มีความสำคัญต่อการนำบราวเซอร์เอเจนต์ไปใช้งานมากกว่าตัวเลข benchmark และไม่มีข้อใดในนั้นปรากฏอยู่ในพาดหัว 82%
• ความพยายามในการใช้เหตุผล — GPT-6.2 Sol ไม่ยอมรับ none ระดับต่ำสุดเป็นค่าจริง ไม่ใช่สวิตช์สำหรับปิดการใช้เหตุผล GPT-6.1 Sol ยอมรับช่วงเต็มตั้งแต่ต่ำถึงสูงสุด หากฮาร์เนสของคุณฮาร์ดโค้ดว่า "ไม่ใช้เหตุผล แค่ลงมือทำ" เพื่อลดความหน่วง การกำหนดค่านั้นจะพอร์ตไม่ได้
• แบบแบตช์ — รองรับ โดยคิดในอัตรา 50% ของอัตรามาตรฐาน เนื่องจากเส้นทางของเอเจนต์เบราว์เซอร์มักไวต่อความหน่วง เรื่องนี้จึงสำคัญหลักๆ สำหรับการรันประเมินแบบออฟไลน์มากกว่าการใช้งานจริงในโปรดักชัน
• Endpoints — Responses, Chat Completions และ Batch โดย Realtime, Assistants, Fine-tuning, Images, Videos, Speech และ Transcription ไม่รองรับทั้งหมด การที่ Fine-tuning ไม่พร้อมใช้งานคือจุดที่กระทบทีมที่ปรับแต่งนโยบายเบราว์เซอร์บนโมเดลก่อนหน้า
• เครื่องมือ — computer_use, web_search, mcp, hosted_shell, apply_patch, skills, tool_search, code_interpreter, image_generation และ file_search ได้รับการระบุว่าอยู่ในรายการที่รองรับ สำหรับเอเจนต์เบราว์เซอร์ คู่ที่น่าสนใจคือ computer_use ควบคู่กับ tool_search: ฮาร์เนสที่สามารถค้นพบเครื่องมือระหว่างการทำงานเป็นแหล่งที่เป็นไปได้ของจำนวนขั้นตอนที่ลดลงหนึ่งในสาม เพราะเอเจนต์หยุดเดาการกระทำที่ไม่มีอยู่จริงและหยุดลองทำซ้ำ
• ขีดจำกัดอัตรา — 5,000 คำขอ และ 1,000,000 โทเคนต่อนาทีในระดับ Build, 10,000 และ 4,000,000 ในระดับ Launch, 15,000 และ 40,000,000 ในระดับ Grow
วิธีลองใช้โดยไม่ต้องเอาเส้นทางโปรดักชันมาเสี่ยงกับมัน
การตอบสนองที่ถูกต้องต่อคำอ้างจาก benchmark ที่ยังไม่ได้เผยแพร่คือการสุ่มตัวอย่างทดลอง ไม่ใช่การย้ายระบบทั้งหมด เลือกงานในเบราว์เซอร์ของคุณเอง 20 ถึง 50 งาน รันบนทั้งสองโมเดลผ่าน harness เดียวกันในวันเดียวกัน แล้วเปรียบเทียบตัวเลขสามตัว ได้แก่ อัตราความสำเร็จตาม rubric ของคุณ จำนวน token ที่ใช้ต่องานที่ทำเสร็จ และเวลา wall-clock ที่ p50 และ p95 จากนั้นเปรียบเทียบผลลัพธ์ทั้งสองกับกันเอง แทนที่จะเปรียบเทียบกับ 82 ของ Browser Use เพราะการกระจายงานของพวกเขาไม่เหมือนของคุณ และช่องว่างเพียงหนึ่งจุดจะไม่คงอยู่เมื่อนำมาใช้ในบริบทของคุณ
หมายเหตุเชิงปฏิบัติสองข้อสำหรับการทดสอบนั้น ข้อแรก กำหนดระดับความพยายามในการให้เหตุผลอย่างชัดเจนทั้งสองด้าน และใช้การตั้งค่าที่ทั้งสองโมเดลยอมรับ มิฉะนั้นคุณจะเสียเวลาทั้งการรันไปกับการวัดความแตกต่างของคอนฟิกูเรชัน ข้อสอง บันทึกจำนวนสเต็ปไว้ด้วย เนื่องจากจำนวนสเต็ปที่น้อยลง 36% เป็นกลไกเบื้องหลังข้ออ้างเรื่องต้นทุน และเป็นสิ่งแรกที่ต้องยืนยันหรือหักล้างด้วยข้อมูลของคุณเอง
สำหรับการทดลองเอง การทำ failover เป็นวิธีที่ประหยัดในการรันโมเดลที่ยังไม่ผ่านการพิสูจน์เคียงข้างโมเดลที่พิสูจน์แล้ว: ส่งตัวอย่างไปยังโมเดลใหม่พร้อมการสลับไปใช้ตัวสำรองอัตโนมัติไปยังโมเดลที่คุณไว้ใจ ดังนั้นการปฏิเสธคำขอ (refusal) การหมดเวลา (timeout) หรือยอดการเรียกที่พุ่งชนเพดานอัตรา (rate-limit) จะทำให้คุณต้องลองใหม่เท่านั้น ไม่ใช่งานที่ล้มเหลว ทั้งนี้มีประโยชน์ในกรณีนี้โดยเฉพาะเพราะ GPT-6.2 Sol เพิ่งเปิดตัวได้สองวัน และรูปแบบการล้มเหลวของมันบนเว็บไซต์จริงก็คือสิ่งที่ benchmark ตั้งใจจะวัดและยังไม่ได้เผยแพร่ อย่างไรก็ตาม ควรทราบสถานะของแค็ตตาล็อกไว้ด้วย: OrcaRouter มีรายชื่อ217 โมเดล รวมถึง GPT-6.1 Sol ซึ่งเป็นโมเดลที่ครองอันดับหนึ่งบนกระดาน Browser Use อยู่ในขณะนี้ แต่ GPT-6.2 Sol ยังไม่อยู่ในรายชื่อนั้น — สำหรับตัวนั้นคุณต้องเรียกผ่าน API ของ OpenAI โดยตรง โมเดลก่อนหน้าในราคาแบบ pass-through ถือเป็น baseline ที่เหมาะสมในการวัดเทียบกับตัวใหม่ และนั่นคือบทบาทที่มันควรมีในสัปดาห์นี้

อะไรจะเปลี่ยนเรื่องราวนี้
สามสิ่ง เรียงตามปริมาณที่จะเปลี่ยนคำตอบได้ แถว GPT-6.2 Sol ที่ปรากฏบน browser-use.com/benchmarks/agents พร้อมตัวเลขที่ตรงหรือใกล้เคียงกับทวีต — สิ่งนั้นจะเปลี่ยนประกาศจากผู้ขายให้เป็นผลลัพธ์จากผู้ขาย และทำให้ข้อโต้แย้งเรื่องการย้ายระบบแข็งแรงขึ้นมาก แม้จะยังไม่เป็นอิสระก็ตาม การวัดเวลและต้นทุนของงานเบราว์เซอร์โดยบุคคลที่สามที่เป็นอิสระบนชุดงานเดียวกัน — นั่นคือสิ่งที่จะตัดสินคำถาม 12 กับ 22 นาที และเป็นตัวเลขที่ต้องจับตา และการแจกแจงรายละเอียดระดับงานที่เผยแพร่แล้ว เพราะ "ขั้นตอนน้อยลง 36%" นั้นอาจเป็นการปรับปรุงระดับฮาร์เนสที่ใช้ได้ทั่วไปกับเอเจนต์ของคุณ หรือเป็นความแปลกเฉพาะของเว็บไซต์เฉพาะ 180 แห่ง และมีเพียงข้อมูลระดับแต่ละงานเท่านั้นที่แยกความแตกต่างเหล่านี้ได้
จนกว่าอย่างน้อยสิ่งแรกในนั้นจะเกิดขึ้นจริง สรุปที่พอจะยืนกรานได้คือ GPT-6.2 Sol มีต้นทุนต่อโทเค็นเท่ากับ GPT-6.1 Sol การเพิ่มขึ้นเล็กน้อยของคะแนนและการประหยัดต้นทุนได้มากที่ Browser Use รายงานนั้นสอดคล้องกันเองกับการลดจำนวนการเรียกเครื่องมือลงหนึ่งในสาม และข้ออ้างเรื่องความเร็วนั้นอิงกับฐานอ้างอิงที่ไม่ตรงกับค่ามัธยฐานที่ผู้ขายเผยแพร่เอง นั่นเพียงพอที่จะสนับสนุนการประเมินสองวันกับงานของคุณเอง แต่ไม่เพียงพอที่จะสนับสนุนการเขียนใหม่ทั้งหมด
การเปรียบเทียบในบทความนี้1
ตรวจพบจากบทความนี้ · เบนช์มาร์ก: Artificial Analysis · อัปเดตทุกวัน
