ถาม GPT-6.1 Sol, Claude Opus 5.5 หรือ Gemini 4 Argon ว่า “นักวิจัยคนนี้คือใคร?” — แล้วดู Argon เอื้อมไปผิดแล็บ
- Orcaใหม่Orca: OrcaCyber Ultra 1.02026-10-17$5.00 / $10.00 ต่อ 1 ล้านโทเค็น · 62 tok/s
- Orcaใหม่Orca: OrcaCyber Zero 1.52026-10-10$3.00 / $7.50 ต่อ 1 ล้านโทเค็น · 75 tok/s
- openaiOpenAI: GPT-6.1 Sol2026-09-2952ความฉลาด
- anthropicAnthropic: Claude Sonnet 5.52026-09-2856ความฉลาด
- typesafeTypeSafe: Jev 1.132026-09-24$0.04 / $0.00 ต่อ 1 ล้านโทเค็น · 722 tok/s
- OpenAIOpenAI: GPT-6 Luna2026-09-2238ความฉลาด
- OpenAIOpenAI: GPT-6 Sol2026-09-2248ความฉลาด
- AnthropicAnthropic: Claude Opus 5.52026-09-2258ความฉลาด
- xAIGrok 4.72026-09-2146ความฉลาด
- OrcaOrca: OrcaCyber Zero 1.02026-09-17$3.00 / $7.50 ต่อ 1 ล้านโทเค็น · 36 tok/s
- OrcaOrca: OrcaVerify Text 1.02026-09-16$2.00 / $0.00 ต่อ 1 ล้านโทเค็น · 821 tok/s
- DeepSeekDeepSeek: DeepSeek V4.1 Flash2026-09-1040ความฉลาด
- OpenAIOpenAI: GPT-6 Astra2026-09-0453ความฉลาด77การเขียนโค้ด
- GoogleGoogle: Gemini 3.8 Flash2026-09-0241ความฉลาด76การเขียนโค้ด
- AlibabaQwen: Qwen3.8 Max (0902)2026-09-0245ความฉลาด76การเขียนโค้ด
- AnthropicAnthropic: Claude Fable 5.12026-09-0153ความฉลาด82การเขียนโค้ด
- TencentTencent: Hy4 preview2026-08-28$0.83 / $2.50 ต่อ 1 ล้านโทเค็น · 52 tok/s
- AlibabaQwen: Qwen3.8 Flash2026-08-26$0.15 / $0.47 ต่อ 1 ล้านโทเค็น · 109 tok/s
- z-aiZ.ai: GLM 5.3 Flash2026-08-2642ความฉลาด72การเขียนโค้ด
- DeepSeekDeepSeek: DeepSeek V4 Flash Vision (Exp)2026-08-21$0.22 / $0.66 ต่อ 1 ล้านโทเค็น · 185 tok/s
โมเดลแนวหน้า 3 ตัวถูกถามคำถามตัวละหนึ่งข้อ รวม 448 ครั้ง โดยมีเพียงชื่อให้ใช้เป็นข้อมูลตั้งต้น GPT-6.1 Sol และ Claude Opus 5.5สามารถระบุตัวนักวิจัย AI ได้เกือบทุกคนที่ถูกแสดงให้ดู Gemini 4 Argonระบุตัวผู้คนได้เกือบพอ ๆ กัน แต่บรรยายลักษณะพวกเขาได้ถูกต้องน้อยกว่า และเหตุผลที่รายงานไว้ก็เจาะจงและมีประโยชน์: มันเรียกชื่ออดีตนายจ้างของนักวิจัยรายหนึ่งว่าเป็นนายจ้างปัจจุบันของพวกเขา ซ้ำแล้วซ้ำเล่า การประเมินนี้ถูกโพสต์เมื่อวันที่ 14 ตุลาคม 2026 โดยบัญชี @scaling01; มันเป็นการทดสอบที่ถูกโพสต์ครั้งหนึ่ง ไม่ใช่เกณฑ์มาตรฐานอิสระ และยังไม่มีใครทำซ้ำได้ โมเดลทั้งสามมีอายุที่ต่างกันมาก — Gemini 4 Argon เปิดให้ใช้งานทั่วไปบนแพ็กเกจแบบชำระเงินเมื่อวันที่ 13 ตุลาคม 2026 หลังจากถูกประกาศเมื่อวันที่ 30 กันยายน, Claude Opus 5.5 เปิดตัวเมื่อวันที่ 22 กันยายน, GPT-6.1 Sol เปิดตัวเมื่อวันที่ 29 กันยายน — ดังนั้นสิ่งเดียวที่ใหม่จริง ๆ ตรงนี้คือผลการค้นพบเอง ซึ่งตามมาสองวันหลังจากแพ็กเกจแบบชำระเงินของ Argon เปิด
นี่คือปัญหาคุณลักษณะที่ล้าสมัย และมันคุ้มค่าที่จะทำความเข้าใจให้ถูกต้อง เพราะมันไม่ใช่ความล้มเหลวประเภทเดียวกับการอ้างอิงที่หลอนขึ้นมา หรือบทความที่ถูกแต่งขึ้นอย่างมั่นใจ โมเดลที่ระบุชื่อนายจ้างเดิมของนักวิจัยไม่ได้กำลังกุอะไรขึ้นมา มันกำลังคืนข้อเท็จจริงที่เคยเป็นจริง จากสแนปช็อตที่ได้เคลื่อนไปแล้ว เหตุผลภายในที่ถูกอ้างถึงสำหรับช่องว่างนี้ก็คือ ยิ่งโมเดล “เก่ง” ในการอ้างข้อมูลที่ล้าสมัยราวกับเป็นข้อมูลปัจจุบันมากเท่าไร มันก็ยิ่งมีประโยชน์สำหรับบางงาน และยิ่งอันตรายสำหรับงานนี้มากเท่านั้น นั่นเป็นการวางสูตรที่ชัดเจนของการได้อย่างเสียอย่าง และนี่คือเหตุผลที่การประเมินนี้โดยเฉพาะน่าสนใจกว่าที่ขนาดตัวอย่างของมันชี้ให้เห็น
สิ่งที่โพสต์วัดจริง ๆ ตามถ้อยคำของโพสต์เอง: นักวิจัยจริง 448 คนถูกแสดงต่อแต่ละโมเดลเป็นเพียงชื่อเปล่า ครั้งเดียว โดยไม่มีการเข้าถึงเว็บและไม่มีเครื่องมือใด ๆ คำตอบถูกตรวจสอบเทียบกับแหล่งข้อมูลสาธารณะ — หน้าเพจส่วนบุคคล ประวัติย่อของแล็บ บทความวิจัย — เมื่อวันที่ 14 ตุลาคม 2026 แผนภูมิแยกสองสิ่งซึ่งโดยปกติถูกรวมเป็นคะแนนเดียว แท่งเต็มคือ "ระบุคนที่ถูกต้องได้" ส่วนที่ทึบของแท่งคือ "คำตอบทั้งหมดก็ถูกต้องด้วย" ช่องว่างระหว่างสองสิ่งนี้คือรูปแบบความล้มเหลว: คนถูก แต่รายละเอียดผิด การแบ่งกลุ่มตัวอย่างคือนักวิจัย OpenAI 131 คน, Anthropic 166 คน, Google 151 คน สังกัดแล็บถูกระบุจากโปรไฟล์ปัจจุบันหรือหน้าแล็บ 298 รายการ, บรรทัดชื่อผู้เขียนของแล็บ 148 รายการตั้งแต่ตุลาคม 2025, และ 2 คนที่ย้ายระหว่างแล็บ ไม่รวม: 2 คนที่ออกจากแล็บเหล่านี้, 13 คนที่ไม่สามารถยืนยันได้, และนักวิจัยที่มีชื่อเสียง 22 คนที่ทำงานนอกสามแล็บนี้ ทั้งสามโมเดลปฏิเสธชื่อที่กุขึ้นทั้ง 50 ชื่อที่ได้รับ — ไม่มีโมเดลใดในสามตัวกุบุคคลขึ้นมา ซึ่งเป็นการทดสอบควบคุมที่ยากกว่า และเป็นข้อที่ทั้งสามผ่าน
ความผิดพลาดเรื่อง “อดีตนายจ้าง” แท้จริงแล้วทำให้คุณต้องเสียอะไรไป
หากคุณกำลังใช้โมเดลแนวหน้าเพื่อจัดทำบรีฟ ร่างรายชื่อสำหรับการติดต่อ หรือสรุปว่าใครทำงานที่ไหน นี่คือรูปแบบที่แน่ชัดของข้อผิดพลาดที่คุณจะได้รับ ชื่อจะถูกต้อง ตำแหน่งจะดูสมเหตุสมผล องค์กรจะเป็นองค์กรที่บุคคลนั้นออกไปแล้ว ไม่มีส่วนใดในผลลัพธ์ที่ดูผิด ซึ่งเป็นเหตุผลว่าทำไมมันจึงรอดจากการตรวจทาน และเป็นเหตุผลว่าทำไมคำตอบที่ระบุองค์กรผิดจึงแย่กว่าคำตอบที่ผิดอย่างเห็นได้ชัด
มันยังอธิบายด้วยว่าความแตกต่างระหว่างโมเดลต่างๆ มาจากไหน ข้อผิดพลาดด้านการระบุที่มาแบบนี้สะท้อนว่าความรู้ของโมเดลถูกบันทึกไว้ ณ จุดใด และโมเดลเรียบเรียงคำตอบอย่างไรเมื่อข้อมูลฝึกของมันมีทั้งสังกัดเก่าและสังกัดใหม่ โมเดลที่เคยเห็นข้อเท็จจริงทั้งสองและเลือกอันที่ใหม่กว่าจะได้คะแนนดีในส่วนนี้ โมเดลที่เคยเห็นทั้งสองและเลือกอันที่พบบ่อยกว่าในคลังข้อมูลของมัน — ซึ่งสำหรับนักวิจัยที่ดำรงตำแหน่งมานานมักเป็นอันที่เก่ากว่า — จะได้คะแนนแย่โดยไม่ได้ผิดอะไรเกี่ยวกับสิ่งที่มันถูกบอกจริงๆ กรอบการประเมินเองก็สอดคล้องกัน: มันกำลังวัดว่าโมเดลปฏิบัติต่อ "คนนี้คือใคร" ในฐานะคำถามเกี่ยวกับปัจจุบันหรือไม่
การมีโมเดลที่แตกต่างกันสามแบบหมายความว่าอย่างไรต่อผลลัพธ์นี้ และไม่ได้หมายความว่าอย่างไร
นี่คือการประเมินที่ถูกโพสต์โดยบัญชีหนึ่ง และการตีความอย่างตรงไปตรงมาต้องเริ่มจากตรงนั้น กลุ่มตัวอย่างคือ 448 ชื่อ การให้คะแนนเป็นของผู้โพสต์เองโดยเทียบกับแหล่งสาธารณะ ตัวเลขแท่งต่อโมเดลไม่สามารถทำซ้ำได้เต็มที่จากภาพในแผนภูมิ และไม่มีห้องแล็บหรือผู้ประเมินรายอื่นใดรันโปรโตคอลเดียวกัน ให้มองมันเป็นสัญญาณว่ามีโหมดความล้มเหลวเฉพาะเกิดขึ้นในอัตราที่วัดได้ในหนึ่งจากสามรายการ ไม่ใช่ใช้เป็นอันดับเพื่อเลือกซื้อ
สิ่งที่ทำให้มันมากกว่าเป็นเพียงเสียงรบกวนก็คือ การควบคุมนี้ดีเป็นพิเศษสำหรับการประเมินจากโซเชียลมีเดีย การให้แต่ละโมเดลมีเพียงชื่อ เพียงครั้งเดียว โดยไม่มีการเข้าถึงเว็บ จะลบเส้นทางการดึงข้อมูลที่ปกติจะกลบสังกัดที่ล้าสมัยออกไป — โมเดลที่มีการท่องเว็บก็เพียงแค่ค้นหาบุคคลนั้น การตัดนักวิจัยที่ออกจากแล็บออก และแยกตัดบุคคลโดดเด่นที่อยู่นอกแล็บออก จะลบกรณีที่คำตอบว่า "นายจ้างปัจจุบันผิด" อาจถือได้ว่าถูกต้อง และชื่อที่ประดิษฐ์ขึ้น 50 ชื่อคือบททดสอบที่แยก "ความรู้ที่ล้าสมัย" ออกจาก "ความพร้อมที่จะกุเรื่องขึ้นมา" ซึ่งทั้งสามโมเดลผ่านร่วมกัน
มีความขัดแย้งหนึ่งที่น่าจะเอ่ยถึง: อัตราการตอบไร้สาระที่รายงานไว้ — ซึ่งก็คือสัดส่วนของคำตอบที่ผิดในส่วนชายขอบ — แทบจะเป็นศูนย์ ขณะที่ความไม่แม่นยำที่สังเกตได้นั้นกระจุกตัวอยู่เกือบทั้งหมดในฟิลด์ข้อมูลสังกัด โมเดลที่ทำคะแนนได้สะอาดขนาดนั้นกับชื่อที่กุขึ้นมา และยังระบุตัวนายจ้างผิด ไม่ได้สับสน มันล้าสมัยในมิติเดียวเท่านั้น
โมเดลทั้งสามนี้ไม่ใช่ผลิตภัณฑ์ที่เทียบเคียงกันได้ ดังนั้นโปรดอ่านผลลัพธ์โดยคำนึงถึงเรื่องนี้ด้วย
• Gemini 4 Argon — ประกาศเมื่อวันที่ 30 กันยายน 2026 เปิดให้ใช้งานทั่วไปในระดับบริการแบบชำระเงินตั้งแต่วันที่ 13 ตุลาคม ในอัตราที่ระบุไว้ที่ 2.00 ดอลลาร์ต่ออินพุต 1 ล้าน และ 10.00 ดอลลาร์ต่อเอาต์พุต 1 ล้าน; การประเมินเดียวกันกับที่ตั้งข้อสังเกตข้อผิดพลาดด้านการอ้างอิงแหล่งที่มาของมัน คือการประเมินที่จัดอันดับให้มันอยู่ในระดับสูงในด้านการรู้จำ
• Claude Opus 5.5 — เปิดตัวเมื่อวันที่ 22 กันยายน 2026 ในราคา 4.00 ดอลลาร์ต่ออินพุต 1 ล้าน และ 20.00 ดอลลาร์ต่อเอาต์พุต 1 ล้าน ลดลงจาก 5/25 ดอลลาร์ที่ Claude Opus 5 ใช้
• GPT-6.1 Sol — เปิดตัวเมื่อวันที่ 29 กันยายน 2026 ในราคา 2.00 ดอลลาร์ต่อล้านอินพุต และ 10.00 ดอลลาร์ต่อล้านเอาต์พุต
ความต่างของอายุมีผลต่อวิธีที่คุณตีความผลลัพธ์ Argon เป็นรุ่นใหม่ที่สุดในสามรุ่นนี้แบบห่างกันลิบลับ และถ้ารูปแบบความล้มเหลวคือสแนปช็อตที่ล้าสมัย โมเดลที่มีความรู้ใหม่ที่สุดก็คือตัวที่มีแนวโน้มมากที่สุดที่จะพกข้อมูลสังกัดที่ขัดแย้งกันสองอย่างสำหรับคนคนเดียวกัน โดยไม่มีสัญญาณหนักแน่นพอว่าอันไหนคือข้อมูลปัจจุบัน นั่นเป็นสมมติฐานที่การประเมินนี้ไม่ได้ทดสอบ และก็ไม่สามารถทดสอบได้ ด้วยดีไซน์ของมัน แต่มันเป็นสิ่งแรกที่ควรตรวจสอบถ้าคุณรันการประเมินซ้ำ
ถ้าคุณจะใช้โมเดลสำหรับข้อเท็จจริงเกี่ยวกับผู้คน จงทดสอบมันก่อนที่คุณจะเชื่อถือมัน
การประเมินนี้สามารถประมาณได้ง่ายบนข้อมูลของคุณเอง และการประมาณนั้นมีประโยชน์มากกว่าค่าภาพรวม รวมชื่อยี่สิบชื่อจากโดเมนของคุณเอง — คนที่คุณรู้ว่าได้เปลี่ยนนายจ้างในช่วงสิบแปดเดือนที่ผ่านมา — แล้วถามโมเดลถึงตำแหน่งปัจจุบันของแต่ละคน อย่างละครั้ง โดยไม่ใช้เครื่องมือ นับว่ามีกี่ชื่อที่ตอบกลับมาพร้อมองค์กรเดิม ตัวเลขเพียงตัวเดียวนั้นบอกคุณเกี่ยวกับการนำไปใช้งานของคุณได้มากกว่าการรันกับชื่อ 448 ชื่อทั้งหมด เพราะความล้มเหลวนี้ขึ้นอยู่กับโดเมนโดยเฉพาะ: โมเดลที่เชื่อถือได้กับนักวิจัยในห้องปฏิบัติการ AI อาจอ่อนในอุตสาหกรรมของคุณ หรือกลับกัน
รายละเอียดโปรโตคอลสองข้อจากต้นฉบับนั้นคุ้มค่าที่จะลอกมา เพราะสิ่งเหล่านั้นคือสิ่งที่ทำให้ผลลัพธ์มีความหมาย ประการแรก ไม่มีการเข้าถึงเว็บ โมเดลที่มีเครื่องมือค้นหาจะเพียงแค่ค้นหาข้อมูลของบุคคลนั้น ซึ่งเป็นพฤติกรรมที่ถูกต้อง และหมายความว่าการทดสอบจะหยุดวัดสิ่งใดๆ เกี่ยวกับความรู้ที่จัดเก็บไว้ของมัน ประการที่สอง ให้เฉพาะชื่อเท่านั้น การเพิ่มบริบท ("บุคคลนี้ทำงานด้านหุ่นยนต์") ทำให้โมเดลอนุมานคำตอบจากบริบทแทนที่จะดึงคำตอบออกมา ซึ่งทำให้ผลลัพธ์ดูดีขึ้นโดยไม่ได้แก้ไขจุดอ่อน
ถ้าคุณรันสิ่งนี้ในปริมาณมากข้ามหลายโมเดลแทนที่จะเป็นโมเดลเดียว การเปรียบเทียบคือส่วนที่แพง — ชื่อชุดเดียวกันต้องถูกส่งไปยังแต่ละโมเดลด้วยวิธีเดียวกัน และนั่นคือจุดที่เลเยอร์การจัดเส้นทางได้ที่ของมัน ไม่ใช่เป็นเพียงความสะดวก
การตรวจสอบประเภทนี้ควรอยู่ตรงไหนในไปป์ไลน์
ข้อเท็จจริงเกี่ยวกับบุคคลเป็นหนึ่งในไม่กี่หมวดหมู่ที่การตรวจจับคำตอบที่ผิดหลังเกิดเหตุนั้นมีต้นทุนต่ำ แต่การตรวจจับก่อนเกิดเหตุนั้นมีต้นทุนสูง ดังนั้นสิ่งที่ควรทำในทางปฏิบัติคือถือว่าฟิลด์ข้อมูลสังกัดยังไม่ได้รับการยืนยันโดยค่าเริ่มต้น และตรวจสอบกับแหล่งข้อมูลที่คุณควบคุมเอง นั่นไม่ได้หมายความว่าให้ลดความเชื่อใจในโมเดลลงทั้งหมด แต่หมายความว่าให้สังเกตว่า “ระบุตัวบุคคลได้ถูกคน” กับ “อธิบายบุคคลนั้นได้อย่างถูกต้อง” เป็นการวัดที่ต่างกันสองอย่าง และอย่างหลังคือสิ่งที่คุณต้องการจริง ๆ
บน OrcaRouter นี่คือการตรวจสอบประเภทที่รันข้ามหลายโมเดลด้วยคีย์เดียวกัน แทนที่จะรันทีละโมเดล GPT-6.1 Sol และ Claude Opus 5.5 — สองโมเดลที่การประเมินนี้พบว่ามีแนวโน้มเกิดข้อผิดพลาดเรื่องความเชื่อมโยงที่ล้าสมัยน้อยที่สุด — ทั้งคู่กำหนดเส้นทางได้ที่นี่ผ่านเอนด์พอยต์เดียวกัน ดังนั้นรายชื่อยี่สิบชื่อชุดเดียวกันจึงส่งไปยังทั้งสองโมเดลได้ด้วยการเปลี่ยนสตริงชื่อโมเดล แทนที่จะต้องทำสัญญาอีกฉบับ และการที่ผู้ให้บริการรายใดรายหนึ่งเกิดปัญหาขึ้นในช่วงบ่าย ก็ไม่ทำให้การเปรียบเทียบนี้ล่มไปด้วย Gemini 4 Argon ไม่ได้อยู่บน OrcaRouter แต่เข้าถึงได้ผ่านแพ็กเกจแบบเสียค่าบริการของเจ้าของโมเดลเองและแพลตฟอร์มบุคคลที่สามอื่น ๆ และไม่ควรตีความสิ่งใดที่นี่ว่าเป็นข้อเสนอในการกำหนดเส้นทางให้โมเดลนั้น โมเดลที่เรามีให้บริการคิดราคาตามที่ผู้ให้บริการประกาศไว้โดยไม่บวกเพิ่ม ดังนั้นหากผู้ให้บริการเปลี่ยนราคา ค่าใช้จ่ายของคุณจะสะท้อนการเปลี่ยนแปลงนั้นในวันเดียวกับที่ประกาศออกมา
สิ่งที่ต้องจับตา และอะไรที่จะเปลี่ยนการประเมินนี้
ผลลัพธ์นี้คือการประเมินของบัญชีหนึ่งซึ่งมีกลุ่มควบคุมที่ดีและกลุ่มตัวอย่างเล็ก เผยแพร่เมื่อวันที่ 14 ตุลาคม 2026 และก้าวต่อไปอย่างซื่อตรงไม่ใช่การลงมือทำตามมัน แต่คือการมองหารอบที่สอง สองสิ่งจะทำให้มันเลื่อนจากสัญญาณไปสู่ข้อค้นพบ ได้แก่ ผู้ประเมินอิสระที่ทำโปรโตคอลซ้ำด้วยรายชื่อที่ใหญ่ขึ้นและการให้คะแนนที่เผยแพร่ หรือผู้ขายที่ยอมรับว่าการระบุที่มาระหว่างนายจ้างเดิมและนายจ้างปัจจุบันของบุคคลเป็นประเภทความล้มเหลวที่แตกต่างและควรค่าแก่การมุ่งเป้า กลุ่มควบคุมด้วยชื่อที่สร้างขึ้น 50 ชื่อซึ่งผ่านในทั้งสามโมเดลคือรายละเอียดที่ทำให้เรื่องนั้นเป็นไปได้ — มันหมายความว่าปัญหาไม่ใช่การกุเรื่อง ซึ่งยาก แต่คือการรีเฟรช ซึ่งจัดการได้
จนถึงตอนนั้น สรุปที่มีประโยชน์จะแคบกว่าตารางอันดับ และนำไปใช้ได้จริงมากกว่าตารางอันดับ โมเดลที่รายงานข้อมูลนายจ้างที่ล้าสมัยอย่างมั่นใจไม่ได้โกหกคุณ มันกำลังตอบคำถามเกี่ยวกับอดีตราวกับว่าคุณถามเกี่ยวกับปัจจุบัน และวิธีเดียวที่จะจับได้คือถามคำถามที่คุณตั้งใจจะถามจริง ๆ
ผลลัพธ์แบบนี้ยังเป็นเครื่องเตือนใจว่าข้อผิดพลาดของโมเดลนั้นได้รับการบันทึกไว้แล้ว: เหตุการณ์ AI และความล้มเหลวของเอเจนต์ที่อยู่เบื้องหลังโมเดลในกลุ่มนี้ถูกรวบรวมไว้ใน the OrcaRouter AI Incident Archive ซึ่งแต่ละรายการมีแหล่งที่มา ระดับความรุนแรง ระดับความเชื่อมั่น และตัวบ่งชี้ข้อโต้แย้งของตัวเอง
การเปรียบเทียบในบทความนี้2
ตรวจพบจากบทความนี้ · เบนช์มาร์ก: Artificial Analysis · อัปเดตทุกวัน
