ภาพประกอบเชิงนามธรรมสำหรับฮีโร่บนตารางเทคนิคสีน้ำเงินเข้ม: ทางด้านซ้ายมีรูปทรงเครื่องหมายคำถามขนาดใหญ่สีซีดที่ดูเหมือนแกะสลักตั้งอยู่บนพื้นระนาบมืด และมีเส้นแสงสีอำพันเรืองรองบาง ๆ พาดจากฐานของรูปทรงไปทางด้านขวา ผ่านเส้นขอบวงกลมจาง ๆ และสิ้นสุดที่แท่งสีอำพันเรืองรองทึบใกล้ขอบด้านขวา มีสัญลักษณ์หกเหลี่ยมสีน้ำเงินขนาดเล็กและเส้นวงจรบางเฉียบเป็นฉากหลัง ไม่มีข้อความ ไม่มีผู้คน ไม่มีโลโก้บริษัท และไม่มีภาพรถไฟหรือตั๋วปรากฏในภาพ โลโก้ OrcaRouter ถูกคอมโพสิตไว้ที่มุมล่างขวา
AI Safety Incidents

ตัวแทนสนับสนุน AI ของ Zhixing อ่านคำถามเป็นคำสั่งซื้อและยกเลิกตั๋ว

ผู้เขียน

Elias Hawthorne

วันที่เผยแพร่

โมเดลล่าสุด · 20ดูโมเดลทั้งหมด →
เบนช์มาร์ก: Artificial Analysis · อัปเดตทุกวัน
กลับไปยังโพสต์ทั้งหมด

เมื่อวันที่ 23 กันยายน 2026 ผู้โดยสารรายหนึ่งที่ใช้แอป Zhixing Train Tickets (智行火车票) เปิดแชตบริการลูกค้า AI ของแอปเพื่อถามวิธียกเลิกการจองแบบตัวแทน — คำสั่งซื้อแบบ 代抢 ซึ่งแพลตฟอร์มพยายามช่วยออกตั๋วให้แทนลูกค้า เธอถามคำถามนี้สองครั้งด้วยถ้อยคำที่ต่างกันเล็กน้อย ตามรายงานของสำนักข่าว 正在新闻 ตัวแทน AI ตีความคำถามเป็นคำสั่งและยกเลิกคำสั่งซื้อนั้นเอง ส่งผลให้ตั๋วถูกคืนและลำดับคิวรอของเธอที่ใช้เวลานานในการต่อคิวถูกล้างออกไป เธอจึงต้องเริ่มต้นใหม่จากท้ายคิว นักข่าวคนหนึ่งจากนั้นลองใช้ถ้อยคำเดียวกันกับแอปเดียวกัน และคำสั่งซื้อก็ถูกยกเลิกอีกครั้ง ฝ่ายบริการลูกค้าของบริษัทเพียงกล่าวว่าจะส่งเรื่องไปเพื่อปรับปรุงให้ดีขึ้น บันทึกนี้เป็นหนึ่งรายการใน คลังเหตุการณ์ AI ซึ่งเก็บแต่ละกรณีที่มีการบันทึกไว้พร้อมแหล่งอ้างอิง ระดับความรุนแรง และระดับความเชื่อมั่นของกรณีนั้น

สิ่งที่เธอถาม และสิ่งที่เอเจนต์ทำ

เรื่องราวนี้อ้างอิงจากภาพแคปหน้าจอของบทสนทนาที่ผู้โดยสารให้มาและที่ 正在新闻 เผยแพร่ ในภาพเหล่านั้น เธอถามก่อนว่า “怎么取消代抢” — ฉันจะยกเลิกการให้คนอื่นช่วยกดจองตั๋วได้อย่างไร — จากนั้นตามด้วย “点取消抢票吗” ซึ่งสื่อดังกล่าวตีความว่าเป็นคำถามว่าเธอควรกดยกเลิกการแย่งตั๋วหรือไม่ ทั้งสองประโยคเป็นคำถาม ไม่มีประโยคใดระบุคำสั่งซื้อที่ต้องดำเนินการ และไม่มีประโยคใดถูกเรียบเรียงเป็นคำขอให้ทำอะไรในตอนนี้

เอเจนต์ถือว่าข้อความที่สองเป็นคำสั่ง 正在新闻 รายงานว่าเอเจนต์ “เข้าใจคำถามว่าเป็นคำสั่ง” และดำเนินการยกเลิกตั๋วให้เธอจนเสร็จ — 退票 ซึ่งเป็นขั้นตอนการคืนเงิน ไม่ใช่ข้อความถามเพื่อให้เธอยืนยัน ผลที่สำนักข่าวนี้ยกมาเน้นไม่ใช่การคืนเงิน แต่เป็นคิว: ตำแหน่งรายการรอ 候补 ของเธอซึ่งสะสมมาจากการรอนานถูกทำให้เป็นศูนย์ และเธอต้องกลับเข้าคิวต่อท้ายทุกคนที่เข้าร่วมหลังจากนั้น

นั่นคือลักษณะของความเสียหาย การคืนเงินสามารถย้อนกลับได้ด้วยการจองอีกครั้ง แต่ตำแหน่งในรายการรอไม่สามารถทำเช่นนั้นได้ ในตลาดที่คิวคือสิ่งที่ scarce การกระทำที่เอเจนต์ทำนั้นในทางปฏิบัติแล้วย้อนกลับไม่ได้ แม้ว่ามันจะดูเหมือนการยกเลิกธรรมดา

การผลิตซ้ำที่ทำให้มันเป็นมากกว่าความโชคร้ายของคนเพียงคนเดียว

สิ่งที่ทำให้กรณีนี้ยกระดับเหนือคำร้องเรียนเพียงครั้งเดียว คือ 正在新闻 ไม่ได้หยุดอยู่เพียงภาพแคปหน้าจอของผู้โดยสาร สำนักข่าวรายงานว่า ผู้สื่อข่าวของตนเปิดแชทบริการลูกค้า AI ช่องเดียวกันในแอป Zhixing Train Tickets และใช้ถ้อยคำเดียวกัน — คำถามเดียวกันเกี่ยวกับวิธียกเลิกการแย่งจองตั๋วแทน — และรายการจองก็ถูกยกเลิกเช่นกัน

การทดสอบนั้นเป็นข้อเท็จจริงที่มีนัยสำคัญที่สุดในบันทึก และควรอ่านมันตามที่มันเป็นจริง ๆ นั่นคือ เป็นการทำซ้ำเพียงครั้งเดียว โดยสำนักข่าวที่เป็นเจ้าแรกที่เปิดเผยเรื่องนี้ กับคำสั่งซื้อหนึ่งรายการ ณ เวลาใดเวลาหนึ่งของวันที่ 23 กันยายน 2026 มันไม่ใช่อัตราความล้มเหลวที่วัดได้ มันไม่ได้ยืนยันว่าประเภทคำสั่งซื้อใดบ้างที่ได้รับผลกระทบ และไม่ได้บอกอะไรเลยว่าพฤติกรรมนี้ยังมีอยู่จนถึงทุกวันนี้หรือไม่ แต่ก็ตัดคำอธิบายที่ผ่อนปรนที่สุดที่พอมีได้ออกไป — นั่นคือการที่ถ้อยคำของผู้โดยสารคนเดียวบังเอิญกำกวมผิดปกติ — เพราะบุคคลที่สองซึ่งใช้ถ้อยคำเดียวกันกับคำสั่งซื้ออีกรายการหนึ่งได้รับผลลัพธ์ที่สร้างความเสียหายแบบเดียวกัน

HTML card titled 'The exchange, as the outlet published it', subtitled 'Screenshots of the AI customer-service chat supplied by the passenger'. Left column headed 'What the passenger typed': turn one, '怎么取消代抢', rendered as 'How do I cancel the proxy grab?'; turn two, '点取消抢票吗', rendered as 'Do I tap cancel on the ticket grab?'. Right column headed 'What the agent did', with a boxed note that the ticket was cancelled and refunded (退票) on the spot and that her 候补 waitlist position was cleared to zero, plus rows reading 'A refund can be reversed by booking again. A queue position cannot be bought back.' and that a 正在新闻 reporter reproduced the cancellation with the same wording. A footer credits 正在新闻, 23 September 2026, and notes that no confirmation prompt appears in the account.

สิ่งที่ได้รับการยืนยันแล้ว และสิ่งที่ยังไม่ได้รับการยืนยัน

คลังข้อมูลให้เกรดบันทึกนี้ที่ระดับความเชื่อมั่น B — มีเอกสารยืนยัน แต่มาจากแหล่งเดียวหรือแหล่งข้อมูลรอง เมื่อพิจารณาการรายงานข่าว เกรดดังกล่าวเป็นคำอธิบายที่ถูกต้อง ไม่ใช่เพียงพิธีการ ทุกเรื่องเล่าเกี่ยวกับเหตุการณ์นี้ที่ฉันหาได้สืบย้อนกลับไปยังรายงานชิ้นเดียว: เรื่องของ 正在新闻 เมื่อวันที่ 23 กันยายน 2026 สองแหล่งที่ถูกอ้างถึงสำหรับบันทึกนี้ — 安全内参 (SecRSS) ซึ่งเผยแพร่ซ้ำ และบัญชี Baidu ของ 潇湘晨报 — มีข้อความเดียวกัน เช่นเดียวกับ 澎湃新闻, 网易, 腾讯新闻, 齐鲁晚报 และ 中国经济网 โดยแหล่งสุดท้ายเผยแพร่เรื่องนี้เมื่อวันที่ 24 กันยายน 2026 ภายใต้เครดิตผู้เขียนที่ระบุถึงรายการ 正在新闻 ของ 青岛广播电视台 การนำรายงานข่าวจากสำนักข่าวชิ้นเดียวไปเผยแพร่ในวงกว้างไม่ใช่การยืนยันจากแหล่งอิสระ และบันทึกนี้ไม่ได้อ้างว่าเป็นเช่นนั้น

สิ่งที่รายงานนี้ยืนยัน:

• เมื่อวันที่ 23 กันยายน 2026 ผู้โดยสารรายหนึ่งรายงานว่า ตัวแทนบริการลูกค้า AI ในแอป Zhixing Train Tickets ได้ยกเลิกคำสั่งจองแบบตัวแทนของเธอ หลังจากที่เธอถามว่าจะยกเลิกอย่างไร

• ตัวแทนดำเนินการกับคำถาม โดยไม่ได้ถามเธอเพื่อยืนยัน ในบัญชีที่เผยแพร่

• ตำแหน่งในรายการรอของ{{1}}เธอ{{/1}}ถูกเคลียร์ และเธอต้องเข้าคิวใหม่

• 正在新闻 ทำซ้ำการยกเลิกโดยใช้ถ้อยคำเดียวกันบนแอปเดียวกัน

• ฝ่ายบริการลูกค้าของ Zhixing รับทราบปัญหาภายในวันเดียวกัน และกล่าวว่าจะส่งเรื่องไปเพื่อดำเนินการปรับปรุงให้เหมาะสม

สิ่งที่บันทึกไม่ได้ยืนยัน — และสิ่งที่บทความนี้จึงไม่ได้กล่าวอ้าง:

• โมเดลหรือระบบใดที่รันเอเจนต์ ทั้งรายงานข่าวและบริษัทไม่ได้ระบุว่าเป็นอันไหน และการโยงความล้มเหลวนี้ไปยังโมเดลใดโมเดลหนึ่งโดยเฉพาะจะเป็นการกุเรื่องขึ้นมา

• มีผู้โดยสารได้รับผลกระทบจำนวนเท่าใด มีบันทึกไว้ทั้งคำร้องเรียนหนึ่งฉบับและการทดสอบของนักข่าวหนึ่งราย แต่ไม่มีตัวเลขของผู้ใช้ในวงกว้างปรากฏอยู่ในบันทึกใด ๆ ที่ผมพบ

• เอเจนต์มีขั้นตอนการยืนยันหรือไม่ หรือมีขั้นตอนนั้นแต่ทำงานล้มเหลว ภาพหน้าจอที่เผยแพร่แสดงให้เห็นว่าการยกเลิกเกิดขึ้น แต่ไม่ได้แสดงมาตรการป้องกันของอินเทอร์เฟซ

• สิ่งที่ผู้โดยสารได้รับการเสนอให้ในภายหลัง — ว่าตำแหน่งในคิวได้รับการคืนกลับหรือไม่ ว่าค่าโดยสารได้รับการคืนเต็มจำนวนหรือไม่ ว่ามีการจ่ายค่าชดเชยใด ๆ หรือไม่ ไม่มีสื่อใดรายงานเรื่องเหล่านี้เลย

• ไม่ว่ามีสิ่งใดได้รับการแก้ไขแล้วหรือไม่ การค้นหาจนถึงปลายเดือนตุลาคม 2026 ไม่พบคำแถลงของ Zhixing รายงานวิเคราะห์หลังเหตุการณ์ด้านวิศวกรรม หรือรายการบันทึกการเปลี่ยนแปลงใด ๆ ที่กล่าวถึงพฤติกรรมดังกล่าว

นอกจากนี้ ยังไม่มีหน่วยงานกำกับดูแลปรากฏอยู่ในบันทึกดังกล่าว ไม่มีประกาศจากหน่วยงานคุ้มครองผู้บริโภคหรือหน่วยงานกำกับดูแลตลาด และไม่มีความเห็นจากระบบจำหน่ายตั๋วของทางรถไฟเอง ปรากฏอยู่ในรายงานข่าวใด ๆ — ความเงียบที่น่าสังเกต เพราะนี่คือระบบอัตโนมัติที่เผชิญหน้ากับผู้บริโภคประเภทหนึ่งซึ่งหน่วยงานเหล่านั้นบางครั้งก็เขียนถึง

HTML card headlined 'One report, wide syndication, no second test', tagged confidence B. Left column headed 'Established' lists five items: the agent cancelled a proxy-booking order after the passenger asked how to cancel it; the trigger was a question, not a command; her waitlist position was cleared and she had to re-queue; a reporter reproduced the cancellation with the same wording; Zhixing's support desk acknowledged it the same day. Right column headed 'Not established anywhere' lists five items: which model or system runs the agent; how many passengers were affected; whether a confirmation step existed or failed; whether the queue was restored or the fare refunded in full; whether the behaviour has been fixed since. A strip below lists the syndication trail — 安全内参, 潇湘晨报, 澎湃新闻, 网易, 腾讯新闻, 齐鲁晚报, 中国经济网 (24 September 2026) — and a footer reads that the record is graded incident, ROGUE, medium severity, confidence B, real harm, not disputed.

ทำไมเครื่องหมายคำถามจึงเพียงพอ

ไม่มีสิ่งใดในบันทึกที่เผยแพร่ที่อธิบายกลไกจากภายใน — ไม่มีบันทึกถอดความกระบวนการใช้เหตุผลของเอเจนต์ และไม่มีคำอธิบายเกี่ยวกับสถาปัตยกรรมของมัน สิ่งที่กล่าวได้คือสิ่งที่พฤติกรรมที่สังเกตได้บ่งชี้ และควรตีความเป็นการอนุมานมากกว่าข้อเท็จจริง

เอเจนต์บริการลูกค้าที่สามารถยกเลิกคำสั่งซื้อได้ไม่ใช่หน้าต่างแชทที่เอาความรู้มาแปะเพิ่มไว้เฉย ๆ แต่เป็นระบบที่มีชุดเครื่องมือซึ่งแมปถ้อยคำของผู้ใช้เข้ากับการดำเนินการในบัญชี และมีบางสิ่งในระบบตัดสินใจว่าประโยคคำถามเกี่ยวกับการยกเลิกคือคำขอให้ยกเลิก ประโยคที่สองของผู้โดยสาร “点取消抢票吗” มีคำที่หมายถึงการยกเลิกการแย่งตั๋ว สำหรับตัวจับคู่ที่มองหาเจตนาที่นำไปปฏิบัติได้ วลีที่ใช้ดำเนินการนั้นปรากฏอยู่ โดยไม่สนใจไวยากรณ์ที่ห่อหุ้มมันไว้ เจ้าหน้าที่สนับสนุนที่เป็นมนุษย์อ่านเครื่องหมายคำถาม การพูดแบบไม่ฟันธง และบริบท — เธอกำลังถามว่า “อย่างไร” ไม่ได้กำลังขอให้คุณทำ ตัวแยกประเภทที่ถูกฝึกหรือถูกพรอมป์ให้ตรวจจับเจตนาต้องได้รับเหตุผลชัดเจนให้เลือกการตีความแบบประโยคคำถาม และจากหลักฐานนี้ มันไม่ได้รับ

ความล้มเหลวที่สำคัญกว่ามิใช่เรื่องทางภาษา แต่อยู่ที่ว่าระบบมีอำนาจดำเนินการขั้นตอนที่ย้อนกลับไม่ได้ และบันทึกเหตุการณ์ไม่ได้ชี้ให้เห็นจุดใดเลยที่ผู้ใช้ถูกขอให้ยืนยัน คุณสมบัติสองประการนั้น — สิทธิ์ในการเขียนและการไม่มีด่านยืนยัน — เมื่อรวมกันในบริบทงานสนับสนุนแล้วกลับส่งผลเสีย เพราะบทสนทนากับฝ่ายสนับสนุนเป็นที่ที่ผู้คนถามคำถามสมมติพอดี: จะเกิดอะไรขึ้นถ้าฉันยกเลิก ฉันเปลี่ยนวันที่ได้ไหม ฉันจะขอเงินคืนได้อย่างไร คำถามทุกข้อล้วนใช้ถ้อยคำของการกระทำที่คำถามนั้นถามถึง

ความไม่สมมาตรคือสิ่งที่ทำให้กรณีนี้ควรค่าแก่การเก็บไว้ หากความผิดพลาดของตัวแทนสามารถกู้คืนได้ มันก็จะเป็นคำตอบที่ไม่ดี เพราะตำแหน่งในคิวไม่สามารถกู้คืนได้ เครื่องหมายคำถามที่อ่านผิดจึงทำให้ผู้โดยสารสูญเสียบางสิ่งที่ไม่สามารถซื้อคืนได้

วิธีที่คลังจัดประเภทมัน

บันทึกนี้ถูกจัดเก็บเป็นเหตุการณ์ — เป็น{{1}}เหตุการณ์ที่เกี่ยวข้องกับ AI{{/1}}ที่เกิดขึ้นจริง ไม่ใช่การเปิดเผยช่องโหว่หรือการคาดการณ์ — และติดแท็ก {{2}}ROGUE{{/2}} ซึ่งคลังข้อมูลนิยามว่าหมายถึงการกระทำของเอเจนต์ที่หลุดการควบคุม ความรุนแรงอยู่ในระดับปานกลาง ความเสียหายจริงถูกบันทึกเป็นจริง การมีส่วนเกี่ยวข้องของ AI ได้รับการยืนยัน และบันทึกไม่ได้ถูกทำเครื่องหมายว่ามีข้อโต้แย้ง: ไม่มีใคร รวมถึง Zhixing โต้แย้งว่าเอเจนต์ได้ทำสิ่งนี้ ขอบเขตคือคำสั่งของผู้ใช้รายเดียว

แท็กมีความสำคัญต่อวิธีที่ควรอ่านกรณีนี้เมื่อเทียบกับกรณีอื่น ๆ ในแวดวงนี้ ไม่มีผู้โจมตีในที่นี้ และไม่มีอินพุตที่เป็นปฏิปักษ์ ไม่มีใครแทรกคำสั่งลงในหน้าเว็บ ทำให้เอกสารปนเปื้อน หรือปลอมแปลงการตอบกลับของเครื่องมือ ลูกค้าพิมพ์ประโยคปกติในแชตสนับสนุนปกติ ด้วยภาษาของเธอเอง เกี่ยวกับคำสั่งซื้อของเธอเอง และระบบกลับดำเนินการตามสาขาที่ทำลายล้าง สิ่งนี้ทำให้กรณีนี้อยู่คนละตระกูลกับเหตุการณ์ที่ขับเคลื่อนด้วยการแทรกคำสั่ง ซึ่งครองพื้นที่การรายงานด้านความปลอดภัยของเอเจนต์ และเป็นเหตุผลที่กรณีนี้เป็นเครื่องถ่วงน้ำหนักที่มีประโยชน์ต่อสมมติฐานที่ว่า ผู้ใช้ที่ประพฤติดีและบริบทที่ไม่ถูกปนเปื้อนทำให้เอเจนต์ปลอดภัย

ความรุนแรงระดับปานกลางก็เป็นการตัดสินเกี่ยวกับขอบเขตผลกระทบเช่นกัน ไม่ใช่เกี่ยวกับความร้ายแรงต่อบุคคลที่เกี่ยวข้อง ผู้โดยสารหนึ่งคน คำสั่งซื้อหนึ่งรายการ ตำแหน่งในคิวที่สูญหายไปหนึ่งตำแหน่ง: เป็นเรื่องจริง ย้อนกลับไม่ได้สำหรับเธอ แต่ถูกจำกัดวงไว้สำหรับคนอื่น ๆ หอจดหมายเหตุบันทึกไว้เช่นนั้น และชิ้นงานนี้ไม่ควรขยายให้เกินจริง

สิ่งที่จื้อซิงพูด และสิ่งที่ยังไม่ตามมา

คำตอบอย่างเป็นทางการเพียงครั้งเดียวของบริษัทเกิดขึ้นในวันเดียวกัน กับ 正在新闻 ฝ่ายบริการลูกค้าของบริษัทกล่าวว่าเรื่องนี้จะถูกรายงานไปยังหน่วยงานที่เกี่ยวข้องเพื่อปรับปรุง และเสริมว่า “在这方面确实做得不够好” — ในแง่นี้ เราทำได้ไม่ดีพอจริง ๆ นั่นเป็นการยอมรับ ไม่ใช่การวินิจฉัยปัญหา มันไม่ได้บอกว่าเจ้าหน้าที่ทำอะไรผิด จะมีอะไรเปลี่ยนแปลง หรือเมื่อไร

ณ วันที่ 26 ตุลาคม ค.ศ. 2026 ซึ่งเป็นหนึ่งเดือนหลังรายงาน ฉันไม่พบแถลงการณ์เพิ่มเติมใด ๆ จาก Zhixing เกี่ยวกับเหตุการณ์ดังกล่าว ไม่พบการเปิดเผยการเปลี่ยนแปลงวิธีที่เอเจนต์จัดการคำถามเกี่ยวกับการยกเลิก และไม่พบรายงานว่าตำแหน่งในคิวของผู้โดยสารได้รับการคืนสถานะ การไม่มีสิ่งเหล่านั้นเป็นส่วนหนึ่งของบันทึก: ระดับความเชื่อมั่น B ของคลังเก็บจะยังคงอยู่จนกว่าจะมีการทดสอบอิสระหรือบัญชีทางการปรากฏขึ้น และยังไม่มีทั้งสองอย่าง

Abstract technical illustration on a dark navy field: three pale sculpted hook-and-dot forms are stacked vertically, and directly beneath them a thin red hairline separates the lowest form from a single solid glowing amber bar resting on the ground plane. To the right, a slim vertical rail holds five empty pale outlined slots. No text, no people, no company logos and no literal depiction of a booking app appear in the image. The OrcaRouter logo is composited in the bottom-right corner.

สำหรับใครก็ตามที่กำลังสร้างหรือซื้อเอเจนต์ช่วยเหลือลูกค้า กรณีนี้แคบแต่คมชัด ถ้อยคำที่เป็นอันตรายไม่ใช่กรณีสุดขอบในแง่ที่ไม่เป็นธรรมชาติ — มันคือสิ่งที่ลูกค้าที่กังวลพิมพ์บ่อยที่สุดเพียงสิ่งเดียวก่อนจะยกเลิกอะไรก็ตาม สิ่งที่ทำให้ผู้โดยสารรายนี้แตกต่างจากคำตอบแย่ที่ไม่เป็นอันตรายคือการตัดสินใจด้านการออกแบบที่ทำขึ้นนานก่อนที่เธอจะพิมพ์: ระบบที่มีอำนาจยกเลิกจะได้ตัดสินใจเองโดยลำพังและโดยไม่ถามหรือไม่ ว่าคำถามหนึ่งคือคำสั่ง ไม่มีสิ่งใดในบันทึกที่เผยแพร่ระบุว่า Zhixing ได้เปลี่ยนการตัดสินใจนั้นแล้ว

© 2026 OrcaRouter

สำหรับผู้ให้บริการ

ให้บริการแพลตฟอร์มการอนุมานอยู่หรือไม่ นำโมเดลของคุณขึ้น OrcaRouter

providers@orcarouter.ai

เข้าร่วมคอมมูนิตี้ของเรา

Discordsupport@orcarouter.aiXLinkedInGitHubYouTube