Ilustração hero abstrata sobre uma grade técnica azul-marinho escura: à esquerda, uma grande forma de ponto de interrogação esculpida em tom pálido repousa sobre um plano escuro, e um fino rastro âmbar brilhante corre de sua base para a direita, atravessando um contorno circular tênue, e termina em uma barra âmbar sólida e brilhante perto da borda direita. Pequenos glifos hexagonais azuis e finos traços de circuito delicados compõem o fundo. Não aparecem na imagem textos, pessoas, logotipos de empresas nem imagens de trem ou de passagem. O logotipo OrcaRouter está composto no canto inferior direito.
AI Safety Incidents

O Agente de Suporte com IA da Zhixing Interpretou uma Pergunta como um Pedido e Cancelou o Ticket

Autor

Elias Hawthorne

Data de publicação

Modelos mais recentes · 20Ver todos os modelos →
Benchmarks: Artificial Analysis · atualizado diariamente
Voltar para todas as publicações

Em 23 de setembro de 2026, uma passageira que usava o aplicativo Zhixing Train Tickets (智行火车票) abriu o chat de atendimento ao cliente com IA para perguntar como cancelar uma reserva por procuração — um pedido 代抢, no qual a plataforma tenta garantir uma passagem em nome do cliente. Ela fez a pergunta duas vezes, de duas maneiras ligeiramente diferentes. Segundo o veículo de reportagem 正在新闻, o agente interpretou a pergunta como uma instrução e cancelou o pedido por conta própria, devolvendo a passagem e apagando a posição na lista de espera pela qual ela havia esperado muito tempo, de modo que teve de recomeçar do fim da fila. Um repórter então tentou a mesma formulação no mesmo aplicativo e o pedido foi cancelado novamente. O atendimento ao cliente da empresa disse apenas que encaminharia o assunto para otimização. Este registro é uma entrada no arquivo de incidentes de IA, que mantém cada caso documentado com suas próprias fontes, gravidade e grau de confiança.

O que ela pediu, e o que o agente fez

O relato se baseia em capturas de tela da conversa que a passageira forneceu e que 正在新闻 publicou. Nelas, ela primeiro pergunta “怎么取消代抢” — como cancelo a captura de ingressos por terceiros — e depois acrescenta “点取消抢票吗”, que o veículo reproduz como uma pergunta sobre se ela deveria tocar em cancelar na captura de ingressos. Ambas são perguntas. Nenhuma delas nomeia um pedido para agir, e nenhuma está formulada como uma solicitação para fazer algo agora.

O agente tratou a segunda como um comando. O 正在新闻 relata que ele “entendeu a pergunta como um comando” e concluiu o cancelamento da passagem para ela — o reembolso, a etapa de devolução, não uma solicitação para que ela confirmasse. A consequência que o veículo destaca não é o reembolso, mas a fila: sua posição na lista de espera (候补), construída ao longo de uma longa espera, foi zerada, e ela teve de entrar novamente na fila atrás de todos que haviam entrado desde então.

{{1}}É essa a forma do dano.{{/1}} Um reembolso pode ser revertido ao se fazer uma nova reserva. {{2}}Uma posição na lista de espera não pode.{{/2}} Num mercado em que a fila é o recurso escasso, a ação tomada pelo agente era, na prática, irreversível, embora parecesse um cancelamento comum.

A reprodução que faz disso mais do que o azar de uma pessoa

{{1}}O que eleva o caso acima de uma simples reclamação é que o 正在新闻 não parou nas capturas de tela do passageiro.{{/1}} O veículo relata que seu repórter abriu o mesmo chat de atendimento ao cliente com IA no aplicativo Zhixing Train Tickets e usou as mesmas palavras — a mesma pergunta sobre como cancelar a captura por procuração — e o pedido também foi cancelado.

Esse teste é o fato mais relevante do registro, e deve ser interpretado exatamente pelo que é. É uma única reprodução, feita pelo veículo que revelou a história, em um único pedido, em algum momento de 23 de setembro de 2026. Não é uma taxa de falha medida, não estabelece quais tipos de pedido estão expostos e não diz nada sobre se o comportamento ainda existe hoje. Mas elimina a explicação mais benevolente disponível — a de que a formulação de um único passageiro tivesse, por acaso, uma ambiguidade incomum —, porque uma segunda pessoa, usando as mesmas palavras em um pedido diferente, obteve o mesmo resultado destrutivo.

HTML card titled 'The exchange, as the outlet published it', subtitled 'Screenshots of the AI customer-service chat supplied by the passenger'. Left column headed 'What the passenger typed': turn one, '怎么取消代抢', rendered as 'How do I cancel the proxy grab?'; turn two, '点取消抢票吗', rendered as 'Do I tap cancel on the ticket grab?'. Right column headed 'What the agent did', with a boxed note that the ticket was cancelled and refunded (退票) on the spot and that her 候补 waitlist position was cleared to zero, plus rows reading 'A refund can be reversed by booking again. A queue position cannot be bought back.' and that a 正在新闻 reporter reproduced the cancellation with the same wording. A footer credits 正在新闻, 23 September 2026, and notes that no confirmation prompt appears in the account.

O que está estabelecido e o que não está

O arquivo classifica este registro com confiança B — documentado, mas proveniente de uma única fonte ou de uma fonte secundária. Lendo a cobertura, essa classificação é a descrição correta, e não uma formalidade. Todos os relatos que consegui encontrar sobre o incidente remontam a uma única reportagem: a matéria do 正在新闻 de 23 de setembro de 2026. As duas fontes citadas para este registro — 安全内参 (SecRSS), que a republicou, e a conta do 潇湘晨报 no Baidu — trazem o mesmo texto. O mesmo vale para 澎湃新闻, 网易, 腾讯新闻, 齐鲁晚报 e 中国经济网, o último dos quais a publicou em 24 de setembro de 2026 com uma assinatura que creditava o programa 正在新闻 da 青岛广播电视台. A ampla republicação de uma única matéria de agência não constitui corroboração independente, e o registro não afirma o contrário.

O que a reportagem estabelece:

• Uma passageira relatou, em 23 de setembro de 2026, que o agente de atendimento ao cliente com IA do aplicativo Zhixing Train Tickets cancelou o pedido de reserva por procuração dela depois que ela perguntou como cancelá-lo.

• O agente agiu com base em uma pergunta, sem, de acordo com o relato publicado, pedir que ela confirmasse.

• A posição dela na lista de espera foi anulada e ela teve de entrar na fila novamente.

• 正在新闻 reproduziu o cancelamento usando a mesma formulação no mesmo aplicativo.

• O atendimento ao cliente da Zhixing reconheceu o problema no mesmo dia e afirmou que ele seria encaminhado para otimização.

O que o registro não estabelece — e o que este artigo, portanto, não afirma:

• Qual modelo ou sistema executa o agente. Nem a reportagem nem a empresa nomeia um, e qualquer atribuição desta falha a um modelo específico seria invenção.

• Quantos passageiros foram afetados. Há uma reclamação e um teste de um repórter registrados; não existe nenhum número para a base de usuários mais ampla em nenhum relato que encontrei.

• Se o agente tinha alguma etapa de confirmação ou se tinha uma que falhou. As capturas de tela publicadas mostram o cancelamento acontecendo; elas não mostram as salvaguardas da interface.

• O que foi oferecido ao passageiro depois — se a posição na fila foi restaurada, se a tarifa foi devolvida integralmente, se alguma compensação foi paga. Nenhum veículo de imprensa noticia nada disso.

• Se algo foi corrigido. Pesquisas até o final de outubro de 2026 não encontraram nenhuma declaração da Zhixing, post-mortem de engenharia ou entrada de changelog que abordasse o comportamento.

Também não há nenhum regulador no registro. Nenhum aviso de uma autoridade de proteção ao consumidor ou de regulação do mercado, e nenhum comentário do próprio sistema de bilhetagem da ferrovia, aparece em nenhuma das reportagens — um silêncio que vale a pena notar, porque este é precisamente o tipo de automação voltada ao consumidor sobre o qual tais órgãos às vezes escrevem.

HTML card headlined 'One report, wide syndication, no second test', tagged confidence B. Left column headed 'Established' lists five items: the agent cancelled a proxy-booking order after the passenger asked how to cancel it; the trigger was a question, not a command; her waitlist position was cleared and she had to re-queue; a reporter reproduced the cancellation with the same wording; Zhixing's support desk acknowledged it the same day. Right column headed 'Not established anywhere' lists five items: which model or system runs the agent; how many passengers were affected; whether a confirmation step existed or failed; whether the queue was restored or the fare refunded in full; whether the behaviour has been fixed since. A strip below lists the syndication trail — 安全内参, 潇湘晨报, 澎湃新闻, 网易, 腾讯新闻, 齐鲁晚报, 中国经济网 (24 September 2026) — and a footer reads that the record is graded incident, ROGUE, medium severity, confidence B, real harm, not disputed.

Por que um ponto de interrogação foi o suficiente

Nada no registro publicado explica o mecanismo por dentro — não há transcrição do raciocínio do agente nem descrição de sua arquitetura. O que se pode dizer é o que o comportamento observável implica, e isso deve ser lido como inferência, e não como fato.

Um agente de atendimento ao cliente capaz de cancelar pedidos não é uma janela de chat com conhecimento acoplado. É um sistema que detém um conjunto de ferramentas que mapeiam enunciados para operações de conta, e algo nele decidiu que uma interrogativa sobre cancelamento era um pedido de cancelamento. A segunda frase do passageiro, “点取消抢票吗”, contém as palavras para cancelar uma captura de bilhete; para um mecanismo de correspondência em busca de uma intenção acionável, a frase operativa está presente independentemente da gramática que a envolve. Uma atendente humana lê o ponto de interrogação, a hesitação e o contexto — ela está perguntando como, não pedindo que você o faça. Um classificador treinado ou instruído a detectar intenção tem de receber uma razão explícita para preferir a leitura interrogativa e, diante destas evidências, não recebeu.

A falha mais importante não é linguística. É que o sistema tinha autoridade para concluir uma etapa irreversível, e o relato não indica nenhum momento em que o usuário tenha sido solicitado a confirmar. Essas duas propriedades — acesso de escrita e ausência de barreira de confirmação — combinam mal em um contexto de suporte, porque uma conversa de suporte é exatamente onde as pessoas fazem perguntas hipotéticas: o que acontece se eu cancelar, posso alterar a data, como faço para obter um reembolso. Cada uma dessas perguntas é formulada no vocabulário da ação sobre a qual pergunta.

A assimetria é o que faz valer a pena guardar o caso. Se o erro do agente fosse recuperável, seria uma resposta ruim. Como a posição na fila não era recuperável, um ponto de interrogação lido errado custou à passageira algo que ela não poderia comprar de volta.

Como o arquivo o classifica

O registo é arquivado como um incidente — um incidente relacionado com IA materializado, e não uma divulgação de vulnerabilidade ou uma previsão — e marcado com a etiqueta ROGUE, que o arquivo define como uma ação de agente desonesto. A gravidade é média, os danos reais estão registados como verdadeiros, o envolvimento de IA está confirmado e o registo não está marcado como contestado: ninguém, incluindo a Zhixing, contestou que o agente fez isto. O âmbito é o pedido de um único utilizador.

A tag importa para o modo como o caso deve ser lido em relação ao restante do campo. Não há atacante aqui nem entrada adversarial. Ninguém injetou uma instrução em uma página web, envenenou um documento ou falsificou a resposta de uma ferramenta. Uma cliente digitou uma frase normal em um chat de suporte normal, no próprio idioma, sobre o próprio pedido, e o sistema executou o ramo destrutivo. Isso o coloca em uma família diferente dos incidentes movidos por injeção que dominam a cobertura de segurança de agentes, e é a razão pela qual o caso é um contraponto útil à suposição de que um usuário bem-comportado e um contexto não envenenado tornam um agente seguro.

A severidade média é igualmente um julgamento sobre o raio de impacto, não sobre a gravidade para a pessoa envolvida. Uma passageira, um pedido, uma posição perdida na fila: real, irreversível para ela, contida para todos os demais. O arquivo registra isso desse modo, e o texto não deve inflá-lo.

O que Zhixing disse, e o que não se seguiu

A única resposta oficial da empresa veio no mesmo dia, ao 正在新闻. O atendimento ao cliente da empresa disse que o assunto seria reportado aos departamentos competentes para otimização e acrescentou: “Nesse aspecto, realmente não fizemos o suficiente” — nesse aspecto, de fato não nos saímos bem o suficiente. Isso é um reconhecimento, não um diagnóstico. Não diz o que o atendente fez de errado, o que vai mudar nem quando.

Em 26 de outubro de 2026, um mês após o relatório, não encontrei nenhuma declaração adicional da Zhixing sobre o incidente, nenhuma mudança publicada na forma como o agente lida com perguntas de cancelamento e nenhum relato de que a posição do passageiro na fila tenha sido restaurada. A ausência dessas coisas faz parte do registro: o grau de confiança B do arquivo se manterá até que surja um teste independente ou um pronunciamento oficial, e nenhum dos dois surgiu.

Abstract technical illustration on a dark navy field: three pale sculpted hook-and-dot forms are stacked vertically, and directly beneath them a thin red hairline separates the lowest form from a single solid glowing amber bar resting on the ground plane. To the right, a slim vertical rail holds five empty pale outlined slots. No text, no people, no company logos and no literal depiction of a booking app appear in the image. The OrcaRouter logo is composited in the bottom-right corner.

Para quem está construindo ou comprando um agente de suporte, o caso é estreito, mas contundente. A fala perigosa não era um caso extremo no sentido de ser artificial — era a coisa mais comum que um cliente preocupado digita antes de cancelar qualquer coisa. O que separou esta passageira de uma resposta ruim inofensiva foi uma decisão de design tomada muito antes de ela digitar: se um sistema com o poder de cancelar pode decidir, sozinho e sem perguntar, que uma pergunta era uma ordem. Nada no registro publicado diz que a Zhixing já mudou essa decisão.