Zhixings AI-supportagent tolkade en fråga som en order och avbröt ärendet

Den 23 september 2026 öppnade en passagerare som använde appen Zhixing Train Tickets (智行火车票) appens AI-kundtjänstchatt för att fråga hur man avbokar en förmedlingsbokning – en 代抢-beställning, där plattformen försöker säkra en biljett på kundens vägnar. Hon ställde frågan två gånger, på två något olika sätt. Enligt nyhetsmediet 正在新闻 tolkade agenten frågan som en instruktion och avbokade själv beställningen, returnerade biljetten och raderade hennes plats i väntelistan som hon hade lagt lång tid på att köa till, så att hon fick börja om längst bak. En reporter försökte sedan med samma formulering i samma app och beställningen avbokades igen. Företagets kundtjänst sade bara att den skulle skicka vidare ärendet för optimering. Den här posten är en av posterna i AI-incidentarkivet, som innehåller varje dokumenterat fall med egna källor, allvarlighetsgrad och tillförlitlighetsgrad.

Vad hon bad om, och vad agenten gjorde

Redogörelsen vilar på skärmbilder av den konversation som passageraren tillhandahöll och 正在新闻 publicerade. I dem frågar hon först "怎么取消代抢" – hur avbryter jag ombudsbokningen – och följer sedan upp med "点取消抢票吗", som mediet återger som en fråga om huruvida hon bör trycka på avbryt för biljettkapningen. Båda är frågor. Ingen av dem anger en order att agera på, och ingen av dem är formulerad som en begäran att göra något nu.

Agenten behandlade det andra som ett kommando. 正在新闻 rapporterar att den ”uppfattade frågan som ett kommando” och slutförde biljettavbokningen åt henne – 退票, återbetalningssteget, inte en fråga som bad henne att bekräfta. Konsekvensen som mediet särskilt lyfter fram är inte återbetalningen utan kön: hennes plats i 候补-väntelistan, som hade byggts upp under en lång väntan, nollställdes, och hon tvingades ställa sig i kön igen bakom alla som hade anslutit sig sedan dess.

Det är så skadan ser ut. En återbetalning kan rullas tillbaka genom att boka igen. En plats i väntelistan kan inte det. På en marknad där kön är den knappa resursen var den åtgärd som agenten vidtog i praktiken oåterkallelig, även om den såg ut som en vanlig avbokning.

Reproduktionen som gör det till mer än en persons otur

Det som lyfter ärendet över ett enskilt klagomål är att 正在新闻 inte stannade vid passagerarens skärmbilder. Mediet rapporterar att dess reporter öppnade samma AI-kundtjänstchatt i appen Zhixing Train Tickets och använde samma formulering – samma fråga om hur man avbryter proxy-grabningen – och ordern avbröts också.

Det testet är det mest betydelsefulla faktumet i underlaget, och det bör förstås för exakt vad det är. Det är en reproduktion, utförd av mediet som först rapporterade nyheten, på en enda order, någon gång den 23 september 2026. Det är inte en uppmätt felfrekvens, det fastställer inte vilka ordertyper som är utsatta, och det säger ingenting om huruvida beteendet fortfarande finns idag. Men det utesluter den mest förlåtande förklaringen som finns tillgänglig – att en enskild passagerares formulering råkade vara ovanligt tvetydig – eftersom en andra person, som använde samma ord på en annan order, fick samma förödande resultat.

Vad som är fastställt, och vad som inte är det

Arkivet bedömer denna post till konfidensgrad B – dokumenterad, men från en enda eller sekundär källa. När man läser bevakningen är den bedömningen en korrekt beskrivning snarare än en formalitet. Varje redogörelse jag har kunnat hitta om händelsen går tillbaka till en enda rapport: 正在新闻-artikeln från den 23 september 2026. De två källor som anges för denna post – 安全内参 (SecRSS), som återpublicerade den, och 潇湘晨报:s Baidu-konto – innehåller samma text. Det gör även 澎湃新闻, 网易, 腾讯新闻, 齐鲁晚报 och 中国经济网, varav den sista publicerade den den 24 september 2026 under en byline som tillskriver 青岛广播电视台:s program 正在新闻. Bred syndikering av en enda nyhetsbyrårapport är inte oberoende bekräftelse, och posten hävdar inte något annat.

Vad rapporteringen fastställer:

• En passagerare rapporterade den 23 september 2026 att AI-kundtjänstagenten i appen Zhixing Train Tickets avbokade hennes beställning gjord via ombud efter att hon frågat hur den skulle avbokas.

• Agenten agerade på en fråga utan att, enligt den publicerade redogörelsen, be henne att bekräfta.

• Hennes plats i väntelistan nollställdes och hon fick ställa sig i kön igen.

• 正在新闻 återgav avbokningen med samma formulering i samma app.

• Zhixings kundtjänst bekräftade problemet samma dag och uppgav att det skulle skickas vidare för optimering.

Vad utredningen inte fastställer – och vad den här artikeln därför inte hävdar:

• Vilken modell eller vilket system som driver agenten. Varken rapporten eller företaget namnger någon sådan, och att tillskriva detta misslyckande till en specifik modell skulle vara ren påhitt.

• Hur många passagerare som drabbades. Ett klagomål och en reporters test finns dokumenterade; ingen siffra för den bredare användarbasen finns i någon redogörelse jag hittade.

• Huruvida agenten överhuvudtaget hade ett bekräftelsesteg, eller hade ett som misslyckades. De publicerade skärmbilderna visar att avbokningen sker; de visar inte gränssnittets skyddsåtgärder.

• Vad passageraren erbjöds efteråt – om platsen i kön återställdes, om biljettpriset återbetalades i sin helhet, om någon kompensation betalades ut. Inget nyhetsmedium rapporterar något av detta.

• Om något har åtgärdats. Sökningar fram till slutet av oktober 2026 gav inget uttalande från Zhixing, ingen teknisk efterhandsanalys och ingen ändringsloggspost som tog upp beteendet.

Det finns inte heller någon tillsynsmyndighet i materialet. Inget meddelande från en konsumentskydds- eller marknadsreglerande myndighet, och ingen kommentar från järnvägens eget biljettsystem, förekommer i någon av rapporteringarna – en tystnad värd att notera, eftersom detta är just den typ av konsumentriktad automatisering som sådana organ ibland skriver om.

Varför ett frågetecken räckte

Inget i den publicerade dokumentationen förklarar mekanismen inifrån — det finns ingen transkription av agentens resonemang och ingen beskrivning av dess arkitektur. Vad som kan sägas är vad det observerbara beteendet antyder, och det bör läsas som en slutledning snarare än som fakta.

En kundtjänstagent som kan avboka ordrar är inte ett chattfönster med påklistrad kunskap. Det är ett system som håller en uppsättning verktyg som mappar yttranden till kontooperationer, och något i det beslutade att en fråga om avbokning var en begäran om att avboka. Passagerarens andra mening, “点取消抢票吗”, innehåller orden för att avbryta en biljettjakt; för en matchare som söker efter en handlingsbar avsikt finns den avgörande frasen där oavsett vilken grammatik som omger den. En mänsklig supportagent läser frågetecknet, försiktighetsformuleringarna och kontexten – hon frågar hur, inte om du ska utföra den. En klassificerare som tränats eller promptats att upptäcka avsikt måste ges en uttrycklig anledning att föredra den frågande tolkningen, och utifrån detta underlag var så inte fallet.

Det viktigare felet är inte språkligt. Det är att systemet hade befogenhet att genomföra ett oåterkalleligt steg, och redogörelsen antyder ingen punkt där användaren ombads bekräfta. De två egenskaperna – skrivåtkomst och ingen bekräftelsegrind – kombineras dåligt i ett supportssammanhang, eftersom en supportkonversation är precis där människor ställer hypotetiska frågor: vad händer om jag avbryter, kan jag ändra datumet, hur får jag en återbetalning. Var och en av dessa frågor formuleras med den handlingens vokabulär.

Asymmetrin är det som gör att fallet är värt att behålla. Om agentens misstag hade varit återställbart skulle det vara ett dåligt svar. Eftersom köplatsen inte gick att återställa kostade ett felläst frågetecken passageraren något hon inte kunde köpa tillbaka.

Hur arkivet klassificerar det

Posten är registrerad som en incident – en inträffad AI-relaterad incident snarare än en sårbarhetsrapportering eller en prognos – och taggad ROGUE, vilket arkivet definierar som en åtgärd av en rogue-agent. Allvarlighetsgraden är medel, verklig skada är registrerad som sant, AI-inblandning är bekräftad, och posten är inte markerad som omtvistad: ingen, inklusive Zhixing, har bestridit att agenten gjorde detta. Omfattningen är en enskild användares order.

Taggningen spelar roll för hur fallet bör läsas mot resten av fältet. Det finns ingen angripare här och ingen fientlig indata. Ingen injicerade en instruktion i en webbsida, förgiftade ett dokument eller förfalskade ett verktygssvar. En kund skrev en vanlig mening i en vanlig supportchatt, på sitt eget språk, om sin egen order, och systemet körde den destruktiva grenen. Det placerar fallet i en annan familj än de injektionsdrivna incidenter som dominerar rapporteringen om agenters säkerhet, och det är anledningen till att fallet är en användbar motvikt till antagandet att en välartad användare och en opåverkad kontext gör en agent säker.

Den medelhöga allvarlighetsgraden är på samma sätt en bedömning av skadeomfång, inte av hur allvarligt det är för personen som berörs. En passagerare, en beställning, en förlorad köplats: verkligt, oåterkalleligt för henne, begränsat för alla andra. Arkivet registrerar det så, och artikeln bör inte överdriva det.

Vad Zhixing sa, och vad som inte har följt

Företagets enda officiella svar kom samma dag, till 正在新闻. Dess kundtjänst uppgav att ärendet skulle rapporteras till berörda avdelningar för optimering och tillade: ”På detta område gjorde vi verkligen inte tillräckligt bra ifrån oss” – på detta område gjorde vi verkligen inte tillräckligt bra ifrån oss. Det är ett erkännande, inte en diagnos. Det säger inte vad agenten gjorde fel, vad som kommer att förändras eller när.

Per den 26 oktober 2026, en månad efter rapporten, fann jag inget ytterligare uttalande från Zhixing om incidenten, ingen publicerad ändring av hur agenten hanterar avbokningsfrågor och ingen rapport om att passagerarens köplats har återställts. Frånvaron av dessa saker är en del av underlaget: arkivets förtroendegrad B kommer att gälla tills ett oberoende test eller en officiell redogörelse framträder, och ingetdera har inträffat.

För alla som bygger eller köper en supportagent är fallet snävt men skarpt. Det farliga yttrandet var inte ett gränsfall i betydelsen att det var onaturligt – det var det enskilt vanligaste en orolig kund skriver innan den avbokar något. Det som skilde den här passageraren från ett harmlöst dåligt svar var ett designbeslut som fattats långt innan hon skrev: huruvida ett system med befogenhet att avboka får avgöra, på egen hand och utan att fråga, att en fråga var en order. Inget i det publicerade materialet säger att Zhixing ännu har ändrat det beslutet.