Abstracte hero-illustratie op een donker marineblauw technisch raster: links staat een grote, bleke, gebeeldhouwde vorm van een vraagteken op een donker vlak, en een dunne gloeiende amberkleurige trail loopt van de basis naar rechts, door een vage cirkelvormige omtrek, en eindigt in een massieve gloeiende amberkleurige balk nabij de rechterrand. Kleine blauwe hexagonale glyphs en dunne circuitlijnen bevinden zich op de achtergrond. Geen tekst, geen mensen, geen bedrijfslogo's en geen trein- of ticketbeelden komen in de afbeelding voor. Het OrcaRouter-logo is gecompositeerd in de rechteronderhoek.
AI Safety Incidents

De AI-supportagent van Zhixing zag een vraag aan voor een opdracht en annuleerde het ticket

Auteur

Elias Hawthorne

Publicatiedatum

Nieuwste modellen · 20Bekijk alle modellen →
Benchmarks: Artificial Analysis · dagelijks bijgewerkt
Terug naar alle berichten

Op 23 september 2026 opende een passagier die de app Zhixing Train Tickets (智行火车票) gebruikte, de AI-klantenservicechat om te vragen hoe ze een proxyboeking kon annuleren — een 代抢-order, waarbij het platform probeert namens de klant een ticket te bemachtigen. Ze stelde de vraag twee keer, op twee licht verschillende manieren. Volgens het nieuwsmedium 正在新闻 las de agent de vraag als een instructie en annuleerde zelf de order, waardoor het ticket werd geretourneerd en haar wachtlijstpositie werd gewist waarvoor ze lang in de rij had gestaan, zodat ze opnieuw achteraan moest beginnen. Een journalist probeerde vervolgens dezelfde formulering in dezelfde app en de order werd opnieuw geannuleerd. De klantenservice van het bedrijf zei alleen dat het de kwestie zou doorgeven voor optimalisatie. Dit record is één vermelding in het AI-incidentenarchief, dat elk gedocumenteerd geval met eigen bronnen, ernstgraad en betrouwbaarheidsniveau bevat.

Wat zij vroeg, en wat de agent deed

De bewering berust op screenshots van het gesprek die de passagier heeft aangeleverd en die 正在新闻 heeft gepubliceerd. Daarin vraagt zij eerst “怎么取消代抢” — hoe annuleer ik de proxy-ticketclaim — en vervolgens “点取消抢票吗”, wat het medium weergeeft als een vraag of zij op annuleren bij de ticketclaim moet tikken. Beide zijn vragen. Geen van beide noemt een opdracht om naar te handelen, en geen van beide is geformuleerd als een verzoek om nu iets te doen.

De agent behandelde het tweede bericht als een commando. 正在新闻 meldt dat hij ‘de vraag als een commando begreep’ en de annulering van haar ticket voor haar afrondde — 退票, de terugbetalingsstap, niet een prompt die haar om bevestiging vroeg. Het gevolg dat het medium eruit licht, is niet de terugbetaling maar de wachtrij: haar positie op de 候补-wachtlijst, die ze gedurende een lange wachttijd had opgebouwd, werd op nul gezet, en ze moest opnieuw achteraan in de wachtrij aansluiten, achter iedereen die zich sindsdien had aangemeld.

Dat is de vorm van de schade. Een terugbetaling kan ongedaan worden gemaakt door opnieuw te boeken. Een positie op de wachtlijst niet. In een markt waar de wachtrij het schaarse goed is, was de actie die de agent ondernam in praktische zin onomkeerbaar, ook al leek het op een gewone annulering.

De reproductie waardoor het meer is dan alleen de pech van één persoon.

Wat deze zaak boven een enkele klacht uittilt, is dat 正在新闻 niet bleef steken bij de screenshots van de passagier. Het medium meldt dat zijn verslaggever dezelfde AI-klantenservicechat opende in de app Zhixing Train Tickets en dezelfde formulering gebruikte — dezelfde vraag over hoe je de proxy-grab annuleert — en dat ook die bestelling werd geannuleerd.

Die test is het feit met de grootste gevolgen in het dossier, en moet worden gelezen als precies wat die is. Het is één reproductie, door het medium dat het verhaal als eerste naar buiten bracht, bij één order, ergens op 23 september 2026. Het is geen gemeten faalpercentage, het legt niet vast welke ordertypes eraan blootstaan, en het zegt niets over of het gedrag vandaag nog bestaat. Maar het sluit wel de meest vergevingsgezinde verklaring uit die voorhanden is — dat de formulering van één passagier toevallig ongewoon dubbelzinnig was — omdat een tweede persoon, met dezelfde woorden bij een andere order, hetzelfde destructieve resultaat kreeg.

HTML card titled 'The exchange, as the outlet published it', subtitled 'Screenshots of the AI customer-service chat supplied by the passenger'. Left column headed 'What the passenger typed': turn one, '怎么取消代抢', rendered as 'How do I cancel the proxy grab?'; turn two, '点取消抢票吗', rendered as 'Do I tap cancel on the ticket grab?'. Right column headed 'What the agent did', with a boxed note that the ticket was cancelled and refunded (退票) on the spot and that her 候补 waitlist position was cleared to zero, plus rows reading 'A refund can be reversed by booking again. A queue position cannot be bought back.' and that a 正在新闻 reporter reproduced the cancellation with the same wording. A footer credits 正在新闻, 23 September 2026, and notes that no confirmation prompt appears in the account.

Wat is vastgesteld, en wat niet

Het archief beoordeelt dit record met betrouwbaarheidsgraad B — gedocumenteerd, maar op basis van één enkele bron of een secundaire bron. Als je de berichtgeving leest, is die beoordeling de juiste beschrijving en niet slechts een formaliteit. Elke beschrijving van het incident die ik kon vinden, voert terug op één bericht: het verhaal van 正在新闻 van 23 september 2026. De twee bronnen die voor dit record worden aangehaald — 安全内参 (SecRSS), dat het opnieuw publiceerde, en het Baidu-account van 潇湘晨报 — bevatten dezelfde tekst. Dat geldt ook voor 澎湃新闻, 网易, 腾讯新闻, 齐鲁晚报 en 中国经济网; het laatste bracht het op 24 september 2026 onder een byline die 正在新闻, het programma van 青岛广播电视台, vermeldt. Brede syndicatie van één persbureaubericht is geen onafhankelijke bevestiging, en dat beweert het record ook niet.

Wat de rapportage vaststelt:

• Een passagier meldde op 23 september 2026 dat de AI-klantenserviceagent in de Zhixing Train Tickets-app haar proxy-boekingsorder had geannuleerd nadat ze had gevraagd hoe ze die kon annuleren.

• De agent handelde op basis van een vraag, zonder, volgens het gepubliceerde verslag, haar om bevestiging te vragen.

• Haar plek op de wachtlijst verviel en ze moest opnieuw in de wachtrij.

• 正在新闻 reproduceerde de annulering met dezelfde bewoording op dezelfde app.

• De klantenservice van Zhixing erkende het probleem dezelfde dag en zei dat het voor optimalisatie zou worden doorverwezen.

Wat het dossier niet vaststelt — en wat dit artikel daarom ook niet beweert:

Welk model of systeem de agent aanstuurt. Noch de berichtgeving noch het bedrijf noemt er een, en elke toeschrijving van deze fout aan een specifiek model zou verzinsel zijn.

• Hoeveel passagiers werden getroffen. Eén klacht en één test door een verslaggever staan opgetekend; in geen enkele bron die ik heb gevonden, bestaat een cijfer voor de bredere gebruikersbasis.

• Of de agent überhaupt een bevestigingsstap had, of er een had die mislukte. De gepubliceerde screenshots laten zien dat de annulering plaatsvond; ze laten de veiligheidsmaatregelen van de interface niet zien.

• Wat de passagier daarna werd aangeboden — of de positie in de wachtrij werd hersteld, of de ritprijs volledig werd terugbetaald, of er enige compensatie werd betaald. Geen enkel medium meldt daar iets over.

• Of er iets is opgelost. Zoekopdrachten tot eind oktober 2026 leverden geen Zhixing-verklaring, technische post-mortem of changelogvermelding op die ingaat op dit gedrag.

Er is ook geen toezichthouder in het dossier. Geen enkele kennisgeving van een autoriteit voor consumentenbescherming of marktregulering, en geen enkele reactie van het eigen ticketsysteem van de spoorwegmaatschappij, komt voor in de berichtgeving — een stilte die het vermelden waard is, omdat dit precies het soort consumentgerichte automatisering is waar dergelijke instanties soms wel over schrijven.

HTML card headlined 'One report, wide syndication, no second test', tagged confidence B. Left column headed 'Established' lists five items: the agent cancelled a proxy-booking order after the passenger asked how to cancel it; the trigger was a question, not a command; her waitlist position was cleared and she had to re-queue; a reporter reproduced the cancellation with the same wording; Zhixing's support desk acknowledged it the same day. Right column headed 'Not established anywhere' lists five items: which model or system runs the agent; how many passengers were affected; whether a confirmation step existed or failed; whether the queue was restored or the fare refunded in full; whether the behaviour has been fixed since. A strip below lists the syndication trail — 安全内参, 潇湘晨报, 澎湃新闻, 网易, 腾讯新闻, 齐鲁晚报, 中国经济网 (24 September 2026) — and a footer reads that the record is graded incident, ROGUE, medium severity, confidence B, real harm, not disputed.

Waarom een vraagteken genoeg was

Niets in het gepubliceerde verslag verklaart het mechanisme van binnenuit — er is geen transcript van de redenering van de agent en geen beschrijving van de architectuur ervan. Wat gezegd kan worden, is wat het waarneembare gedrag impliceert, en dat moet als gevolgtrekking worden gelezen, niet als feit.

Een klantenserviceagent die bestellingen kan annuleren, is geen chatvenster met wat kennis eraan vastgeplakt. Het is een systeem met een set tools die uitingen koppelen aan accountoperaties, en iets daarin besloot dat een vraag over annuleren een verzoek was om te annuleren. De tweede zin van de passagier, “点取消抢票吗”, bevat de woorden voor het annuleren van een ticket-grab; voor een matcher die zoekt naar een uitvoerbare intentie is de werkzame formulering aanwezig, ongeacht de grammatica eromheen. Een menselijke supportmedewerker leest het vraagteken, de verzachtende bewoordingen en de context — zij vraagt hoe, niet of u het moet doen. Een classifier die is getraind of geprompt om intentie te detecteren, moet een expliciete reden krijgen om de vragende lezing te verkiezen, en op basis van dit bewijs was die er niet.

De belangrijkste tekortkoming is niet taalkundig. Het is dat het systeem de bevoegdheid had om een onomkeerbare stap te voltooien, en het verslag suggereert geen enkel moment waarop de gebruiker om bevestiging is gevraagd. Die twee eigenschappen — schrijftoegang en geen bevestigingsstap — zijn een slechte combinatie in een supportcontext, want een supportgesprek is precies waar mensen hypothetische vragen stellen: wat gebeurt er als ik annuleer, kan ik de datum wijzigen, hoe krijg ik een terugbetaling. Elk van die vragen is geformuleerd in het vocabulaire van de actie waarover ze gaat.

Het is de asymmetrie die deze casus het bewaren waard maakt. Als de fout van de agent herstelbaar was geweest, zou het een slecht antwoord zijn. Omdat de positie in de wachtrij niet herstelbaar was, kostte een verkeerd gelezen vraagteken de passagier iets wat ze niet kon terugkopen.

Hoe het archief het classificeert

Het record is vastgelegd als een incident — een daadwerkelijk opgetreden AI-gerelateerd incident, niet een openbaarmaking van een kwetsbaarheid of een voorspelling — en getagd als ROGUE, wat het archief definieert als een actie van een rogue agent. De ernst is medium, reële schade is als waar vastgelegd, betrokkenheid van AI is bevestigd en het record is niet als betwist gemarkeerd: niemand, inclusief Zhixing, heeft betwist dat de agent dit heeft gedaan. De scope is de order van één gebruiker.

De tag is van belang voor hoe de zaak moet worden gelezen tegen de rest van het veld. Er is hier geen aanvaller en geen adversariële input. Niemand heeft een instructie in een webpagina geïnjecteerd, een document vergiftigd of een toolrespons vervalst. Een klant typte een normale zin in een normale supportchat, in haar eigen taal, over haar eigen bestelling, en het systeem voerde de destructieve vertakking uit. Dat plaatst de zaak in een andere familie dan de injectiegedreven incidenten die de agent-securityberichtgeving domineren, en het is de reden dat de zaak een nuttig tegenwicht biedt tegen de aanname dat een goedgedragende gebruiker en een niet-vergiftigde context een agent veilig maken.

De middelzware ernst is eveneens een oordeel over de impact, niet over de ernst voor de betrokkene. Eén passagier, één bestelling, één verloren plek in de wachtrij: echt, onomkeerbaar voor haar, beheersbaar voor alle anderen. Het archief legt het zo vast, en het stuk moet het niet opblazen.

Wat Zhixing zei, en wat niet is gevolgd

De enige officiële reactie van het bedrijf kwam dezelfde dag, tegenover 正在新闻. De klantenservice zei dat de kwestie zou worden doorgegeven aan de relevante afdelingen ter optimalisatie, en voegde eraan toe: „在这方面确实做得不够好" — op dit punt hebben we het echt niet goed genoeg gedaan. Dat is een erkenning, geen diagnose. Er wordt niet gezegd wat de agent verkeerd heeft gedaan, wat er zal veranderen, of wanneer.

Per 26 oktober 2026, een maand na het rapport, vond ik geen verdere verklaring van Zhixing over het incident, geen gepubliceerde wijziging in de manier waarop de agent annuleringsvragen afhandelt, en geen bericht dat de wachtrijpositie van de passagier is hersteld. Het ontbreken van die zaken maakt deel uit van het dossier: de betrouwbaarheidsgraad B van het archief blijft gelden totdat een onafhankelijke test of een officiële lezing verschijnt, en geen van beide is gebeurd.

Abstract technical illustration on a dark navy field: three pale sculpted hook-and-dot forms are stacked vertically, and directly beneath them a thin red hairline separates the lowest form from a single solid glowing amber bar resting on the ground plane. To the right, a slim vertical rail holds five empty pale outlined slots. No text, no people, no company logos and no literal depiction of a booking app appear in the image. The OrcaRouter logo is composited in the bottom-right corner.

Voor iedereen die een supportagent bouwt of koopt, is de zaak smal maar scherp. De gevaarlijke uiting was geen randgeval in de zin dat ze onnatuurlijk was — het was het allergebruikelijkste ding dat een bezorgde klant typt voordat hij iets annuleert. Wat deze passagier onderscheidde van een onschuldig slecht antwoord, was een ontwerpbeslissing die lang vóór zij typte was genomen: of een systeem met de bevoegdheid om te annuleren, zelfstandig en zonder te vragen mag beslissen dat een vraag een opdracht was. Niets in het openbare verslag zegt dat Zhixing die beslissing al heeft gewijzigd.