Agen Dukungan AI Zhixing Membaca Pertanyaan sebagai Perintah dan Membatalkan Tiket

Pada 23 September 2026, seorang penumpang yang menggunakan aplikasi Zhixing Train Tickets (智行火车票) membuka obrolan layanan pelanggan AI-nya untuk bertanya cara membatalkan pemesanan melalui perantara — pesanan 代抢, yaitu pesanan ketika platform berupaya mendapatkan tiket atas nama pelanggan. Ia mengajukan pertanyaan itu dua kali, dengan dua cara yang sedikit berbeda. Menurut media peliput 正在新闻, agen AI tersebut membaca pertanyaan itu sebagai instruksi dan membatalkan pesanannya sendiri, mengembalikan tiket dan menghapus posisi daftar tunggu yang telah lama ia antre, sehingga ia harus memulai lagi dari urutan paling belakang. Seorang reporter kemudian mencoba susunan kata yang sama pada aplikasi yang sama dan pesanannya kembali dibatalkan. Layanan pelanggan perusahaan hanya mengatakan bahwa pihaknya akan meneruskan masalah tersebut untuk dioptimalkan. Catatan ini merupakan satu entri dalam arsip insiden AI, yang memuat setiap kasus terdokumentasi beserta sumber, tingkat keparahan, dan tingkat keyakinannya masing-masing.

Apa yang dia minta, dan apa yang dilakukan agen itu

Pernyataan itu bertumpu pada tangkapan layar percakapan yang diberikan oleh penumpang dan diterbitkan oleh 正在新闻. Di dalamnya, ia mula-mula bertanya “怎么取消代抢” — bagaimana cara membatalkan proxy grab — lalu menyusul dengan “点取消抢票吗”, yang oleh media tersebut disajikan sebagai pertanyaan tentang apakah ia sebaiknya mengetuk batal pada perebutan tiket. Keduanya adalah pertanyaan. Tidak satu pun menyebutkan pesanan untuk ditindaklanjuti, dan tidak satu pun dirumuskan sebagai permintaan untuk melakukan sesuatu sekarang.

Agen memperlakukan pesan kedua sebagai perintah. 正在新闻 melaporkan bahwa ia “memahami pertanyaan itu sebagai perintah” dan menyelesaikan pembatalan tiket untuknya — 退票, langkah pengembalian dana, bukan permintaan agar ia mengonfirmasi. Konsekuensi yang disorot media tersebut bukan pengembalian dana, melainkan antrean: posisi daftar tunggu 候补 miliknya, yang terbentuk selama penantian panjang, dihapus menjadi nol, dan ia harus masuk kembali ke antrean di belakang semua orang yang bergabung sejak saat itu.

Itulah bentuk kerugiannya. Pengembalian dana dapat dibalik dengan memesan lagi. Posisi daftar tunggu tidak bisa. Di pasar yang antreannya adalah hal yang langka, tindakan yang diambil agen secara praktis tidak dapat dibatalkan meskipun tampak seperti pembatalan biasa.

Reproduksi yang menjadikannya lebih dari sekadar nasib buruk satu orang

Yang membuat kasus ini lebih dari sekadar keluhan tunggal adalah bahwa {{1}}正在新闻{{/1}} tidak berhenti pada tangkapan layar penumpang. Media tersebut melaporkan bahwa wartawannya membuka obrolan layanan pelanggan AI yang sama di aplikasi Zhixing Train Tickets dan menggunakan susunan kata yang sama — pertanyaan yang sama tentang cara membatalkan pembelian tiket lewat perantara — dan pesanannya juga dibatalkan.

Uji itu adalah fakta paling berkonsekuensi dalam catatan, dan harus dibaca persis seperti apa adanya. Itu adalah satu reproduksi, oleh media yang pertama kali memberitakan kisah ini, pada satu order, di suatu titik pada 23 September 2026. Itu bukan tingkat kegagalan yang terukur, tidak menetapkan jenis order mana yang terekspos, dan tidak mengatakan apa pun tentang apakah perilaku tersebut masih ada hari ini. Namun, itu menyingkirkan penjelasan paling permisif yang tersedia — bahwa frasa seorang penumpang kebetulan luar biasa ambigu — karena orang kedua, dengan menggunakan kata-kata yang sama pada order berbeda, mendapatkan hasil destruktif yang sama.

Apa yang sudah mapan, dan apa yang belum

Arsip memberi catatan ini peringkat keyakinan B — terdokumentasi, tetapi dari sumber tunggal atau sekunder. Membaca liputannya, peringkat itu adalah deskripsi yang tepat, bukan formalitas. Setiap laporan yang dapat saya temukan tentang insiden ini bermuara pada satu laporan: kisah 正在新闻 pada 23 September 2026. Dua sumber yang dikutip untuk catatan ini — 安全内参 (SecRSS), yang menerbitkannya ulang, dan akun Baidu 潇湘晨报 — memuat teks yang sama. Demikian pula 澎湃新闻, 网易, 腾讯新闻, 齐鲁晚报, dan 中国经济网, yang terakhir memuatnya pada 24 September 2026 dengan byline yang mencantumkan program 正在新闻 dari 青岛广播电视台. Sindikasi luas atas satu laporan kantor berita bukanlah konfirmasi independen, dan catatan ini tidak mengklaim sebaliknya.

Apa yang ditetapkan oleh laporan tersebut:

• Seorang penumpang melaporkan pada 23 September 2026 bahwa agen layanan pelanggan AI di aplikasi Zhixing Train Tickets membatalkan pesanan pemesanan perantaranya setelah ia bertanya cara membatalkannya.

• Menurut keterangan yang dipublikasikan, agen tersebut bertindak atas suatu pertanyaan tanpa memintanya untuk mengonfirmasi.

• Posisi daftar tunggunya dihapus dan ia harus mengantre ulang.

• 正在新闻 mereproduksi pembatalan tersebut menggunakan kata-kata yang sama di aplikasi yang sama.

• Layanan pelanggan Zhixing mengakui masalah tersebut pada hari yang sama dan mengatakan bahwa hal itu akan diteruskan untuk dioptimalkan.

Apa yang tidak ditetapkan oleh catatan — dan karena itu apa yang tidak ditegaskan oleh artikel ini:

• Model atau sistem mana yang menjalankan agen. Baik laporan maupun perusahaan tidak menyebutkan salah satunya, dan segala atribusi kegagalan ini kepada model tertentu merupakan rekaan.

• Berapa banyak penumpang yang terdampak. Satu keluhan dan satu pengujian oleh reporter tercatat; tidak ada angka untuk basis pengguna yang lebih luas dalam laporan apa pun yang saya temukan.

• Apakah agen tersebut sama sekali memiliki langkah konfirmasi, atau memiliki langkah yang gagal. Tangkapan layar yang dipublikasikan menunjukkan pembatalan terjadi; tangkapan layar tersebut tidak menunjukkan pengaman antarmuka.

• Apa yang ditawarkan kepada penumpang setelahnya — apakah posisi antreannya dipulihkan, apakah tarifnya dikembalikan sepenuhnya, apakah ada kompensasi yang dibayarkan. Tidak ada media yang melaporkan satu pun dari itu.

• Apakah ada yang sudah diperbaiki. Pencarian hingga akhir Oktober 2026 tidak menemukan pernyataan Zhixing, post-mortem rekayasa, atau entri changelog yang membahas perilaku tersebut.

Juga tidak ada regulator dalam catatan ini. Tidak ada pemberitahuan dari otoritas perlindungan konsumen atau regulasi pasar, dan tidak ada komentar dari sistem tiket kereta api itu sendiri, yang muncul dalam liputan mana pun — sebuah keheningan yang patut dicatat karena inilah jenis otomasi yang berhadapan langsung dengan konsumen yang terkadang ditulis oleh badan-badan tersebut.

Mengapa satu tanda tanya saja sudah cukup

Tidak ada dalam catatan yang dipublikasikan yang menjelaskan mekanisme tersebut dari dalam — tidak ada transkrip penalaran agen dan tidak ada deskripsi arsitekturnya. Yang dapat dikatakan adalah apa yang tersirat dari perilaku yang dapat diamati, dan itu harus dibaca sebagai inferensi, bukan fakta.

Agen layanan pelanggan yang dapat membatalkan pesanan bukanlah jendela obrolan yang sekadar ditempeli pengetahuan. Itu adalah sistem yang memegang serangkaian alat yang memetakan ujaran ke operasi akun, dan sesuatu di dalamnya memutuskan bahwa pertanyaan tentang pembatalan adalah permintaan untuk membatalkan. Kalimat kedua penumpang, “点取消抢票吗”, mengandung kata-kata untuk membatalkan perebutan tiket; bagi pencocok yang mencari niat yang dapat ditindaklanjuti, frasa operatif itu hadir terlepas dari tata bahasa yang membungkusnya. Agen dukungan manusia membaca tanda tanya, keraguan, dan konteksnya — dia bertanya bagaimana caranya, bukan meminta Anda melakukannya. Klasifier yang dilatih atau diberi prompt untuk mendeteksi niat harus diberi alasan eksplisit untuk memilih tafsiran interogatif, dan berdasarkan bukti ini, hal itu tidak diberikan.

Kegagalan yang lebih penting bukanlah kegagalan linguistik. Kegagalan itu adalah bahwa sistem memiliki wewenang untuk menyelesaikan langkah yang tidak dapat dibatalkan, dan uraian tersebut tidak menunjukkan titik mana pun ketika pengguna diminta untuk mengonfirmasi. Dua sifat tersebut — akses tulis dan tidak adanya gerbang konfirmasi — berpadu buruk dalam konteks dukungan, karena percakapan dukungan justru merupakan tempat orang mengajukan pertanyaan hipotetis: apa yang terjadi jika saya membatalkan, dapatkah saya mengubah tanggalnya, bagaimana cara saya mendapatkan pengembalian dana. Setiap pertanyaan tersebut dirumuskan dalam kosakata tindakan yang ditanyakannya.

Asimetri itulah yang membuat kasus ini layak dipertahankan. Seandainya kesalahan agen dapat dipulihkan, itu akan menjadi jawaban yang buruk. Karena posisi antrean tidak dapat dipulihkan, tanda tanya yang salah dibaca merugikan penumpang sesuatu yang tidak bisa ia beli kembali.

Bagaimana arsip mengklasifikasikannya

Catatan tersebut diajukan sebagai insiden — insiden terkait AI yang benar-benar terjadi, bukan pengungkapan kerentanan atau prakiraan — dan diberi tag ROGUE, yang oleh arsip didefinisikan sebagai tindakan agen nakal. Tingkat keparahannya sedang, kerugian nyata dicatat sebagai benar, keterlibatan AI terkonfirmasi, dan catatan tersebut tidak ditandai sebagai disengketakan: tidak ada seorang pun, termasuk Zhixing, yang membantah bahwa agen tersebut melakukan ini. Cakupannya adalah perintah dari satu pengguna.

Tag itu penting untuk cara kasus ini seharusnya dibaca terhadap bagian lain dari bidang ini. Tidak ada penyerang di sini dan tidak ada input adversarial. Tidak ada yang menyuntikkan instruksi ke halaman web, meracuni dokumen, atau memalsukan respons alat. Seorang pelanggan mengetik kalimat normal di chat dukungan normal, dalam bahasanya sendiri, tentang pesanannya sendiri, dan sistem menjalankan cabang destruktif. Itu menempatkannya dalam keluarga yang berbeda dari insiden yang digerakkan oleh injeksi yang mendominasi liputan keamanan agen, dan itulah alasan kasus ini menjadi penyeimbang yang berguna bagi asumsi bahwa pengguna yang berperilaku baik dan konteks yang tidak teracuni membuat agen aman.

Keparahan sedang juga merupakan penilaian tentang radius dampak, bukan tentang keseriusan bagi orang yang bersangkutan. Satu penumpang, satu pesanan, satu posisi antrean yang hilang: nyata, tak dapat dibatalkan baginya, tetapi terbatas bagi orang lain. Arsip mencatatnya demikian, dan tulisan ini tidak seharusnya membesar-besarkannya.

Apa yang dikatakan Zhixing, dan apa yang belum diikuti

Satu-satunya tanggapan resmi perusahaan datang pada hari yang sama, kepada 正在新闻. Layanan pelanggannya mengatakan bahwa masalah tersebut akan dilaporkan kepada departemen terkait untuk dioptimalkan, dan menambahkan: “在这方面确实做得不够好” — dalam hal ini kami benar-benar belum melakukannya dengan cukup baik. Itu adalah pengakuan, bukan diagnosis. Pernyataan itu tidak menyebutkan apa kesalahan agen, apa yang akan berubah, atau kapan.

Per 26 Oktober 2026, sebulan setelah laporan itu, saya tidak menemukan pernyataan lebih lanjut dari Zhixing mengenai insiden tersebut, tidak ada perubahan yang dipublikasikan tentang cara agen menangani pertanyaan pembatalan, dan tidak ada laporan bahwa posisi antrean penumpang dipulihkan. Ketiadaan hal-hal itu merupakan bagian dari catatan: peringkat keyakinan B pada arsip akan tetap berlaku sampai muncul uji independen atau keterangan resmi, dan keduanya belum ada.

Bagi siapa pun yang membangun atau membeli agen dukungan, kasusnya sempit tetapi tajam. Ucapan berbahaya itu bukan kasus pinggiran dalam arti tidak wajar — itu adalah hal paling umum yang diketik pelanggan yang cemas sebelum membatalkan apa pun. Yang membedakan penumpang ini dari jawaban buruk yang tidak berbahaya adalah keputusan desain yang dibuat jauh sebelum ia mengetik: apakah sistem yang memiliki kuasa untuk membatalkan boleh memutuskan, sendiri dan tanpa bertanya, bahwa sebuah pertanyaan adalah perintah. Tidak ada dalam catatan yang dipublikasikan yang menyatakan Zhixing telah mengubah keputusan itu sejauh ini.