Zhixing의 AI 지원 에이전트가 질문을 주문으로 해석해 지원 티켓을 취소했다

2026년 9월 23일, Zhixing Train Tickets 앱(智行火车票)을 사용하던 한 승객이 AI 고객 서비스 채팅을 열어 대리 예약 취소 방법을 물었다. 대리 예약이란 플랫폼이 고객을 대신해 표를 확보하려고 시도하는 代抢 주문을 말한다. 그녀는 조금씩 다른 두 가지 표현으로 같은 질문을 두 번 했다. 보도 매체 《正在新闻》에 따르면, 상담원은 그 질문을 지시로 해석해 주문을 직접 취소했고, 표를 반환하고 그녀가 오랫동안 줄을 서서 얻은 대기 순번을 없애버려 그녀가 맨 뒤에서 다시 시작해야 했다. 이어 기자가 같은 앱에서 같은 표현을 시도했더니 주문이 또 취소되었다. 회사 고객 서비스는 해당 사안을 최적화를 위해 전달하겠다고만 말했다. 이 기록은 AI 사고 아카이브에 실린 사례 하나로, 이 아카이브는 문서화된 각 사례를 자체 출처, 심각도, 신뢰도 등급과 함께 보관한다.

그녀가 요청한 것과 에이전트가 한 일

이 주장은 승객이 제공하고 正在新闻이 게재한 대화 스크린샷에 근거한다. 그 스크린샷에서 그녀는 먼저 “怎么取消代抢” — 대리 예매는 어떻게 취소하나요 — 라고 묻고, 이어서 “点取消抢票吗”라고 말하는데, 매체는 이를 그녀가 티켓팅에서 취소를 눌러야 하는지에 대한 질문으로 표현한다. 둘 다 질문이다. 어느 쪽도 처리해야 할 주문을 지목하지 않으며, 어느 쪽도 지금 무언가를 해 달라는 요청의 형태로 표현되지 않았다.

에이전트는 두 번째 내용을 명령으로 처리했다. 正在新闻은 그것이 “질문을 명령으로 이해했다”고 보도하며, 그녀를 위해 티켓 취소를 완료했다 — 그녀에게 확인을 요청하는 안내가 아니라 환불 단계인 退票를. 이 매체가 특히 짚은 결과는 환불이 아니라 대기열이다. 오랜 기다림 끝에 쌓아 올린 그녀의 候补 대기 순번은 0으로 초기화됐고, 그녀는 그사이 대기열에 합류한 모든 사람 뒤에서 다시 줄을 서야 했다.

그것이 피해의 형태입니다. 환불은 다시 예약함으로써 되돌릴 수 있습니다. 대기자 명단의 순번은 그럴 수 없습니다. 대기열 자체가 희소한 시장에서, 에이전트가 취한 조치는 평범한 취소처럼 보였지만 사실상 되돌릴 수 없는 것이었습니다.

한 사람의 불운에 그치지 않게 만드는 재현

이 사건을 단순한 개인 불만 이상으로 끌어올리는 것은 {{1}}正在新闻{{/1}}이 승객의 스크린샷에서 멈추지 않았다는 점이다. 이 매체는 자사 기자가 Zhixing Train Tickets 앱에서 동일한 AI 고객센터 채팅을 열고, 대리 예매를 취소하는 방법에 관한 동일한 질문을 같은 문구로 입력했더니 주문도 취소되었다고 보도했다.

그 테스트는 기록상 가장 중대한 사실이며, 그것이 정확히 무엇인지를 기준으로 읽어야 한다. 이는 2026년 9월 23일 어느 시점에, 그 사건을 특종으로 보도한 매체가 한 건의 주문에 대해 수행한 한 번의 재현이다. 이는 측정된 실패율이 아니고, 어떤 주문 유형이 노출되어 있는지도 입증하지 않으며, 그 동작이 오늘날에도 여전히 존재하는지에 대해서는 아무것도 말해주지 않는다. 그러나 이는 가장 관대한 설명이었던, 즉 한 승객의 표현이 우연히 유난히 모호했을 뿐이라는 설명을 배제한다. 왜냐하면 다른 주문에서 같은 말을 사용한 두 번째 사람이 동일한 파괴적인 결과를 얻었기 때문이다.

무엇이 확립되었고, 무엇이 그렇지 않은가

아카이브는 이 기록을 신뢰도 B로 평가한다 — 문서화되어 있지만 단일 또는 2차 출처에 근거한 것이다. 보도 내용을 살펴보면, 그 등급은 형식적인 것이 아니라 정확한 설명이다. 내가 찾을 수 있었던 이 사건에 관한 모든 기사는 하나의 보도로 거슬러 올라간다: 2026년 9월 23일의 正在新闻 기사다. 이 기록에 인용된 두 출처 — 이를 재게재한 安全内参(SecRSS)와 潇湘晨报의 바이두 계정 — 는 같은 텍스트를 담고 있다. 澎湃新闻, 网易, 腾讯新闻, 齐鲁晚报, 中国经济网도 마찬가지이며, 마지막 매체는 2026년 9월 24일 青岛广播电视台의 正在新闻 프로그램을 크레디트하는 바이라인으로 이를 실었다. 하나의 통신 보도를 폭넓게 전재한 것은 독립적 교차 검증이 아니며, 이 기록은 그렇게 주장하지 않는다.

보고가 입증하는 것은 다음과 같습니다:

• 한 승객은 2026년 9월 23일, Zhixing Train Tickets 앱의 AI 고객서비스 상담원이 자신이 취소 방법을 묻자 자신의 대리 예약 주문을 취소했다고 신고했습니다.

• 게시된 설명에 따르면, 해당 담당자는 그녀에게 확인을 요청하지 않은 채 질문에 근거해 조치했습니다.

• 그녀의 대기 순번이 초기화되어 다시 대기해야 했습니다.

• 正在新闻은 같은 앱에서 동일한 문구를 사용해 취소를 재현했습니다.

• Zhixing 고객 서비스팀은 당일 문제를 인정하고 최적화를 위해 전달하겠다고 밝혔습니다.

기록이 입증하지 못하는 것 — 따라서 이 글에서 주장하지 않는 것:

• 에이전트를 구동하는 모델 또는 시스템. 보도 매체도 회사도 이를 특정하지 않았으며, 이 실패를 특정 모델에 귀속시키는 것은 지어낸 이야기가 될 뿐이다.

• 얼마나 많은 승객이 영향을 받았는지. 한 건의 불만과 한 기자의 테스트가 기록에 남아 있으며, 내가 찾은 어떤 보도에서도 더 넓은 사용자 기반에 대한 수치는 존재하지 않는다.

• 에이전트에 확인 단계가 아예 있었는지, 아니면 있었지만 실패했는지. 공개된 스크린샷은 취소가 발생하는 모습을 보여 주지만, 인터페이스의 안전장치를 보여 주지는 않는다.

• 이후 승객에게 무엇이 제공되었는지 — 대기 순번이 복원되었는지, 운임이 전액 환불되었는지, 어떤 보상이 지급되었는지. 어떤 언론 매체도 이에 대해 보도하지 않았다.

• 무엇인가 수정되었는지 여부. 2026년 10월 말까지 검색해 보았으나, 해당 동작을 다룬 Zhixing의 성명, 엔지니어링 사후 분석 또는 변경 로그 항목은 발견되지 않았다.

기록에는 규제 기관도 등장하지 않는다. 소비자 보호 또는 시장 규제 당국의 고지도, 철도 자체 발권 시스템의 언급도 어떤 보도에도 나타나지 않는다 — 이 침묵은 주목할 만한데, 이것이 바로 그러한 기관들이 때때로 다루는 종류의 소비자 대면 자동화이기 때문이다.

왜 물음표 하나로 충분했는가

공개된 기록 어디에도 그 메커니즘을 내부에서 설명하지 않는다 — 에이전트의 추론 과정에 대한 기록도, 그 구조에 대한 설명도 없다. 말할 수 있는 것은 관찰 가능한 행동이 시사하는 바뿐이며, 이는 사실이 아니라 추론으로 읽어야 한다.

주문을 취소할 수 있는 고객 서비스 에이전트는 지식을 덧붙여 놓은 채팅 창이 아니다. 그것은 발화를 계정 작업에 매핑하는 도구 모음을 갖춘 시스템이며, 그 안의 무언가가 취소에 관한 의문문을 취소 요청으로 판단했다. 승객의 두 번째 문장인 “点取消抢票吗”에는 티켓팅을 취소한다는 표현이 들어 있다. 실행 가능한 의도를 찾는 매처에게는 그 표현을 둘러싼 문법과 무관하게 핵심 구문이 존재한다. 인간 지원 상담원은 물음표와 완곡한 표현, 맥락을 읽는다. 그녀는 어떻게 하는지 묻고 있는 것이지, 당신에게 요청하는 것이 아니다. 의도 탐지를 위해 훈련되거나 프롬프트된 분류기는 의문문 해석을 선호할 명시적 이유를 부여받아야 하는데, 이 증거로 볼 때 그런 이유는 주어지지 않았다.

더 중요한 실패는 언어적인 것이 아니다. 그것은 시스템이 되돌릴 수 없는 단계를 완료할 권한을 가지고 있었고, 그 기록은 사용자가 확인을 요청받은 지점이 어디에도 없음을 시사한다는 점이다. 쓰기 액세스와 확인 관문 부재라는 이 두 속성은 지원 맥락에서 나쁘게 결합한다. 왜냐하면 지원 대화는 사람들이 가상의 질문을 하는 바로 그 장소이기 때문이다. 취소하면 어떻게 되나요, 날짜를 변경할 수 있나요, 환불은 어떻게 받나요. 그 질문들 하나하나가 질문이 다루는 행동의 어휘로 표현된다.

이 사례를 기억해 둘 가치가 있는 이유는 바로 그 비대칭성이다. 상담원의 실수가 만회 가능한 것이었다면, 그것은 그저 나쁜 답변에 그쳤을 것이다. 대기 순번은 만회할 수 없었기 때문에, 물음표를 잘못 읽은 하나의 실수로 승객은 다시 되살 수 없는 무언가를 잃었다.

아카이브가 이를 분류하는 방식

이 기록은 사건으로 접수되어 있습니다. 즉, 취약점 공개나 예측이 아니라 실제로 발생한 AI 관련 사건이며, ROGUE로 태그되어 있는데, 아카이브에서는 이를 악성 에이전트 행동으로 정의합니다. 심각도는 중간이고, 실제 피해는 true로 기록되어 있으며, AI 관여가 확인되었고, 기록에는 분쟁 표시가 없습니다. Zhixing을 포함해 누구도 에이전트가 이 일을 했다는 점에 이의를 제기하지 않았습니다. 범위는 단일 사용자의 주문입니다.

그 태그는 이 사례를 이 분야의 나머지와 대조해 어떻게 읽어야 하는지를 좌우한다. 여기에는 공격자도, 적대적 입력도 없다. 누구도 웹 페이지에 지시를 주입하지 않았고, 문서를 오염시키지 않았으며, 도구 응답을 위조하지 않았다. 한 고객이 평범한 지원 채팅에서 자신의 주문에 관해 자신의 언어로 평범한 문장을 입력했을 뿐인데, 시스템은 파괴적인 분기를 실행했다. 이는 에이전트 보안 보도에서 주를 이루는 주입 기반 사고들과는 다른 계열에 이 사건을 위치시키며, 잘 행동하는 사용자와 오염되지 않은 컨텍스트가 에이전트를 안전하게 만든다는 가정에 이 사례가 유용한 균형추가 되는 이유다.

중간 심각도 역시 당사자에게 얼마나 심각한가가 아니라 파급 범위에 대한 판단이다. 승객 한 명, 주문 하나, 잃어버린 대기 순번 하나: 그녀에게는 실제적이고 되돌릴 수 없지만, 다른 모든 사람에게는 국한된 일이다. 아카이브는 그렇게 기록하며, 이 글은 그것을 부풀려서는 안 된다.

Zhixing이 말한 것, 그리고 뒤따르지 않은 것

회사의 유일한 공식 응답은 같은 날 正在新闻에 전달됐다. 고객 서비스 측은 해당 사안을 관련 부서에 보고해 최적화하겠다고 밝히고, 덧붙였다: “在这方面确实做得不够好” — 이 부분에서는 정말 충분히 잘하지 못했습니다. 그것은 인정일 뿐, 진단은 아니다. 그 응답은 상담원이 무엇을 잘못했는지, 무엇이 바뀔지, 언제 바뀔지는 말하지 않는다.

2026년 10월 26일 기준, 즉 그 보고서가 나온 지 한 달 뒤, 나는 Zhixing이 그 사건에 관해 추가로 밝힌 성명을 찾지 못했고, 에이전트가 취소 관련 질문을 처리하는 방식에 관해 공개된 변경도 없었으며, 승객의 대기열 위치가 복원되었다는 보고도 없었다. 이런 것들이 없다는 점 역시 기록의 일부다. 아카이브의 신뢰도 등급 B는 독립적인 테스트나 공식 설명이 나올 때까지 유지될 것이며, 둘 다 아직 나오지 않았다.

고객 지원 에이전트를 만들거나 구매하는 사람이라면, 이 사례는 범위는 좁지만 날카롭다. 위험했던 발언은 부자연스럽다는 의미의 예외적 사례가 아니었다 — 그것은 걱정하는 고객이 무엇이든 취소하기 전에 가장 흔히 입력하는 바로 그 말이었다. 이 승객을 무해한 잘못된 답변과 구분지은 것은 그녀가 입력하기 훨씬 전에 내려진 설계 결정이었다: 취소할 권한을 가진 시스템이 묻지도 않고 혼자서 질문을 명령으로 결정할 수 있는지 여부다. 공개된 기록 어디에도 Zhixing이 아직 그 결정을 바꿨다는 내용은 없다.