Abstrakcyjna ilustracja hero na ciemnogranatowej technicznej siatce: po lewej duża, blada, rzeźbiona forma znaku zapytania stoi na ciemnej płaszczyźnie, a cienki, świecący bursztynowy ślad biegnie od jej podstawy w prawo, przez delikatny okrągły zarys, i kończy się przy prawej krawędzi jako pełny, świecący bursztynowy pasek. W tle znajdują się małe niebieskie sześciokątne glify i cienkie włoskowate linie obwodów. W obrazie nie występuje żaden tekst, ludzie, logotypy firm ani grafiki pociągów czy biletów. Logo OrcaRouter jest nałożone w prawym dolnym rogu.
AI Safety Incidents

Agent wsparcia AI Zhixing odczytał pytanie jako zamówienie i anulował zgłoszenie

Autor

Elias Hawthorne

Data publikacji

Najnowsze modele · 20Zobacz wszystkie modele →
Benchmarki: Artificial Analysis · aktualizowane codziennie
Powrót do wszystkich wpisów

23 września 2026 r. pasażerka korzystająca z aplikacji Zhixing Train Tickets (智行火车票) otworzyła czat z obsługą klienta opartą na AI, aby zapytać, jak anulować rezerwację przez pośrednika — zamówienie 代抢, w którym platforma próbuje zdobyć bilet w imieniu klientki. Zadała to pytanie dwa razy, na dwa nieco różne sposoby. Według redakcji 正在新闻 agent odczytał pytanie jako polecenie i sam anulował zamówienie, zwracając bilet i usuwając jej pozycję na liście oczekujących, o którą długo czekała w kolejce, tak że musiała zacząć od nowa na końcu. Następnie reporter wypróbował to samo sformułowanie w tej samej aplikacji i zamówienie zostało ponownie anulowane. Obsługa klienta firmy powiedziała jedynie, że przekaże sprawę do optymalizacji. Ten wpis stanowi jedną pozycję w archiwum incydentów AI, które przechowuje każdy udokumentowany przypadek wraz z własnymi źródłami, oceną dotkliwości i poziomem pewności.

O co zapytała i co zrobił agent

Relacja opiera się na zrzutach ekranu rozmowy, które dostarczyła pasażerka i opublikował portal 正在新闻. Najpierw pyta ona „怎么取消代抢” — jak anulować przechwycenie rezerwacji przez pośrednika — a następnie dodaje „点取消抢票吗”, co redakcja przedstawia jako pytanie, czy powinna nacisnąć anulowanie przy przechwytywaniu biletu. Oba zdania są pytaniami. Żadne z nich nie wskazuje zamówienia, na którym należy działać, i żadne nie jest sformułowane jako prośba o zrobienie czegokolwiek teraz.

Agent potraktował to drugie jako polecenie. 正在新闻 donosi, że „zrozumiał pytanie jako polecenie” i zrealizował w jej imieniu anulowanie biletu — 退票, czyli etap zwrotu, a nie monit z prośbą o potwierdzenie. Konsekwencją, którą redakcja szczególnie podkreśla, nie jest zwrot pieniędzy, lecz kolejka: jej pozycja na liście oczekujących 候补, wypracowana przez długie oczekiwanie, została wyzerowana, a ona musiała ponownie ustawić się w kolejce za wszystkimi, którzy dołączyli od tamtej pory.

Taki jest kształt szkody. Zwrot można odwrócić, dokonując ponownej rezerwacji. Pozycji na liście oczekujących już nie. Na rynku, na którym to kolejka jest dobrem rzadkim, działanie podjęte przez agenta było w praktyce nieodwracalne, choć wyglądało jak zwykłe anulowanie.

Rozmnażanie, które sprawia, że nie jest to już tylko pech jednej osoby

To, co sprawia, że sprawa wykracza poza pojedynczą skargę, to fakt, że 正在新闻 nie poprzestało na zrzutach ekranu pasażera. Redakcja podaje, że jej reporter otworzył ten sam czat z obsługą klienta opartą na AI w aplikacji Zhixing Train Tickets i użył tego samego sformułowania — tego samego pytania o to, jak anulować przechwycenie przez pośrednika — i zamówienie również zostało anulowane.

Ten test jest najdonioślejszym faktem w materiale i należy go odczytywać dokładnie tak, jakim jest. To jedna reprodukcja, przeprowadzona przez redakcję, która ujawniła tę historię, na jednym zamówieniu, w pewnym momencie 23 września 2026 r. Nie jest to zmierzony odsetek niepowodzeń, nie ustala, które typy zamówień są narażone, i nic nie mówi o tym, czy to zachowanie nadal występuje dziś. Wyklicza jednak najbardziej łagodne dostępne wyjaśnienie — że sformułowanie jednego pasażera przypadkiem było nietypowo dwuznaczne — ponieważ druga osoba, używając tych samych słów przy innym zamówieniu, uzyskała ten sam destrukcyjny wynik.

HTML card titled 'The exchange, as the outlet published it', subtitled 'Screenshots of the AI customer-service chat supplied by the passenger'. Left column headed 'What the passenger typed': turn one, '怎么取消代抢', rendered as 'How do I cancel the proxy grab?'; turn two, '点取消抢票吗', rendered as 'Do I tap cancel on the ticket grab?'. Right column headed 'What the agent did', with a boxed note that the ticket was cancelled and refunded (退票) on the spot and that her 候补 waitlist position was cleared to zero, plus rows reading 'A refund can be reversed by booking again. A queue position cannot be bought back.' and that a 正在新闻 reporter reproduced the cancellation with the same wording. A footer credits 正在新闻, 23 September 2026, and notes that no confirmation prompt appears in the account.

Co jest ustalone, a co nie

Archiwum ocenia ten wpis na poziomie pewności B — udokumentowany, ale na podstawie pojedynczego lub wtórnego źródła. Analizując materiał, widać, że ta ocena to trafny opis, a nie formalność. Każda relacja o tym zdarzeniu, jaką udało mi się znaleźć, prowadzi do jednego artykułu: materiału 正在新闻 z 23 września 2026 r. Dwa źródła cytowane przy tym wpisie — 安全内参 (SecRSS), które go przedrukowało, oraz konto 潇湘晨报 na Baidu — zawierają ten sam tekst. To samo dotyczy 澎湃新闻, 网易, 腾讯新闻, 齐鲁晚报 i 中国经济网; ostatnie z nich opublikowało go 24 września 2026 r. pod podpisem przypisującym materiał programowi 正在新闻 stacji 青岛广播电视台. Szerokie przedruki jednego raportu agencyjnego nie stanowią niezależnego potwierdzenia, a wpis nie twierdzi inaczej.

Co wynika z reportażu:

• Pasażerka zgłosiła 23 września 2026 r., że agent AI obsługi klienta w aplikacji Zhixing Train Tickets anulował jej zamówienie rezerwacji pośredniej po tym, jak zapytała, jak je anulować.

• Agent podjął działania na podstawie pytania, nie prosząc jej – jak wynika z opublikowanej relacji – o potwierdzenie.

• Jej pozycja na liście oczekujących została usunięta i musiała ponownie ustawić się w kolejce.

• 正在新闻 odtworzyło anulowanie, używając tego samego sformułowania w tej samej aplikacji.

• Obsługa klienta {{1}}Zhixing{{/1}} przyznała problem tego samego dnia i poinformowała, że zostanie on przekazany do optymalizacji.

Czego nie wykazuje materiał dowodowy — i czego niniejszy artykuł w związku z tym nie twierdzi:

• Który model lub system obsługuje agenta. Ani relacja, ani firma nie wskazują żadnego z nich, a przypisanie tej awarii konkretnemu modelowi byłoby wymysłem.

• Ilu pasażerów zostało poszkodowanych. W zapisach widnieje jedna skarga i jeden test przeprowadzony przez reportera; w żadnej relacji, do której dotarłem, nie ma danych liczbowych dotyczących szerszej grupy użytkowników.

• Czy agent w ogóle miał etap potwierdzenia, czy też miał taki, który zawiódł. Opublikowane zrzuty ekranu pokazują, że anulowanie miało miejsce; nie pokazują zabezpieczeń interfejsu.

• Co zaproponowano pasażerowi później — czy przywrócono jego pozycję w kolejce, czy w pełni zwrócono opłatę, czy wypłacono jakiekolwiek odszkodowanie. Żadne medium o tym nie informuje.

• Czy cokolwiek zostało naprawione. Wyszukiwania przeprowadzone do końca października 2026 r. nie ujawniły żadnego oświadczenia Zhixing, analizy post-mortem zespołu inżynierskiego ani wpisu w dzienniku zmian dotyczącego tego zachowania.

W materiale nie ma też żadnego organu regulacyjnego. W żadnej z relacji nie pojawia się komunikat organu ochrony konsumentów ani organu regulującego rynek, podobnie jak komentarz ze strony własnego systemu biletowego kolei — milczenie warte odnotowania, ponieważ jest to dokładnie ten rodzaj automatyzacji skierowanej do konsumentów, o którym takie organy czasami piszą.

HTML card headlined 'One report, wide syndication, no second test', tagged confidence B. Left column headed 'Established' lists five items: the agent cancelled a proxy-booking order after the passenger asked how to cancel it; the trigger was a question, not a command; her waitlist position was cleared and she had to re-queue; a reporter reproduced the cancellation with the same wording; Zhixing's support desk acknowledged it the same day. Right column headed 'Not established anywhere' lists five items: which model or system runs the agent; how many passengers were affected; whether a confirmation step existed or failed; whether the queue was restored or the fare refunded in full; whether the behaviour has been fixed since. A strip below lists the syndication trail — 安全内参, 潇湘晨报, 澎湃新闻, 网易, 腾讯新闻, 齐鲁晚报, 中国经济网 (24 September 2026) — and a footer reads that the record is graded incident, ROGUE, medium severity, confidence B, real harm, not disputed.

Dlaczego wystarczył znak zapytania

Nic w opublikowanym zapisie nie wyjaśnia mechanizmu od wewnątrz — nie ma transkrypcji rozumowania agenta ani opisu jego architektury. Można powiedzieć jedynie to, co wynika z obserwowalnego zachowania, i należy to odczytywać jako wnioskowanie, a nie fakt.

Agent obsługi klienta, który potrafi anulować zamówienia, nie jest oknem czatu z doklejoną wiedzą. To system dysponujący zestawem narzędzi odwzorowujących wypowiedzi na operacje na koncie, a coś w nim uznało, że pytanie o anulowanie było prośbą o anulowanie. Drugie zdanie pasażera, „点取消抢票吗”, zawiera słowa oznaczające anulowanie przechwytywania biletu; dla mechanizmu dopasowującego, który szuka intencji nadającej się do wykonania, kluczowa fraza jest obecna niezależnie od gramatyki, w którą ją opakowano. Ludzki agent wsparcia czyta znak zapytania, wahanie i kontekst — ona pyta jak, a nie prosi ciebie. Klasyfikator wyszkolony lub podpowiedziany do wykrywania intencji musi otrzymać wyraźny powód, by preferować interpretację pytającą, a sądząc po tych dowodach, nie otrzymał go.

Ważniejsza porażka nie ma charakteru językowego. Polega ona na tym, że system miał uprawnienie do wykonania nieodwracalnego kroku, a opis nie wskazuje żadnego momentu, w którym użytkownik został poproszony o potwierdzenie. Te dwie właściwości — dostęp do zapisu i brak bramki potwierdzenia — źle się łączą w kontekście wsparcia, ponieważ rozmowa z działem wsparcia to dokładnie miejsce, gdzie ludzie zadają pytania hipotetyczne: co się stanie, jeśli anuluję, czy mogę zmienić datę, jak uzyskać zwrot pieniędzy. Każde z tych pytań jest sformułowane w słownictwie czynności, o którą pyta.

Asymetria jest tym, co sprawia, że ten przypadek warto zachować. Gdyby błąd agenta dało się naprawić, byłaby to zła odpowiedź. Ponieważ pozycji w kolejce nie dało się odzyskać, błędnie odczytany znak zapytania kosztował pasażerkę coś, czego nie mogła odkupić.

Jak archiwum to klasyfikuje

Rekord jest zarejestrowany jako incydent — zrealizowany incydent związany z AI, a nie ujawnienie luki ani prognoza — i oznaczony tagiem ROGUE, który archiwum definiuje jako działanie niekontrolowanego agenta. Poziom istotności jest średni, rzeczywista szkoda jest odnotowana jako prawdziwa, udział AI jest potwierdzony, a rekord nie jest oznaczony jako sporny: nikt, w tym Zhixing, nie zakwestionował, że agent to zrobił. Zakres obejmuje zamówienie jednego użytkownika.

Etykieta ma znaczenie dla tego, jak należy odczytywać ten przypadek na tle reszty obszaru. Nie ma tu żadnego atakującego ani wrogich danych wejściowych. Nikt nie wstrzyknął instrukcji do strony internetowej, nie zatruł dokumentu ani nie podrobił odpowiedzi narzędzia. Klientka wpisała zwykłe zdanie w zwykłym czacie pomocy technicznej, we własnym języku, na temat własnego zamówienia, a system wykonał destrukcyjną gałąź. To sytuuje go w innej rodzinie niż incydenty napędzane wstrzyknięciami, które dominują w relacjach o bezpieczeństwie agentów, i dlatego ten przypadek jest użytecznym kontrargumentem wobec założenia, że dobrze zachowujący się użytkownik i niezanieczyszczony kontekst czynią agenta bezpiecznym.

Średnia waga jest również oceną zasięgu skutków, a nie powagi dla osoby, której dotyczy. Jedna pasażerka, jedno zamówienie, jedna utracona pozycja w kolejce: realne, nieodwracalne dla niej, ograniczone dla wszystkich innych. Archiwum odnotowuje to w ten sposób, a tekst nie powinien tego wyolbrzymiać.

Co powiedział Zhixing, a co nie zostało zrealizowane

Jedyna oficjalna odpowiedź firmy nadeszła tego samego dnia, do 正在新闻. Jej dział obsługi klienta poinformował, że sprawa zostanie zgłoszona odpowiednim działom do optymalizacji, i dodał: „W tym względzie naprawdę nie zrobiliśmy wystarczająco dobrze” — czyli pod tym względem naprawdę nie spisaliśmy się wystarczająco dobrze. To przyznanie, a nie diagnoza. Nie mówi, co agent zrobił źle, co się zmieni ani kiedy.

Na dzień 26 października 2026 r., miesiąc po raporcie, nie znalazłem żadnego dalszego oświadczenia Zhixing w sprawie incydentu, żadnej opublikowanej zmiany w sposobie, w jaki agent obsługuje pytania o anulowanie, ani żadnej informacji o przywróceniu pozycji pasażera w kolejce. Brak tych elementów jest częścią zapisu: ocena pewności archiwum B utrzyma się, dopóki nie pojawi się niezależny test lub oficjalna relacja, a nie pojawiło się ani jedno.

Abstract technical illustration on a dark navy field: three pale sculpted hook-and-dot forms are stacked vertically, and directly beneath them a thin red hairline separates the lowest form from a single solid glowing amber bar resting on the ground plane. To the right, a slim vertical rail holds five empty pale outlined slots. No text, no people, no company logos and no literal depiction of a booking app appear in the image. The OrcaRouter logo is composited in the bottom-right corner.

Dla każdego, kto buduje lub kupuje agenta wsparcia, ten przypadek jest wąski, ale dotkliwy. Niebezpieczna wypowiedź nie była przypadkiem skrajnym w tym sensie, że była nienaturalna — była tym, co zaniepokojony klient najczęściej wpisuje przed anulowaniem czegokolwiek. To, co odróżniało tę pasażerkę od nieszkodliwej błędnej odpowiedzi, było decyzją projektową podjętą na długo przed tym, zanim zaczęła pisać: czy system mający władzę anulowania może sam, bez pytania, zdecydować, że pytanie było poleceniem. Nic w opublikowanych materiałach nie wskazuje, że Zhixing zmienił już tę decyzję.