Абстрактная hero-иллюстрация на тёмно-синей технической сетке: слева на тёмной плоскости стоит крупная бледная скульптурная форма вопросительного знака, а тонкий светящийся янтарный след тянется от её основания вправо, проходит через слабый круговой контур и заканчивается сплошной светящейся янтарной полосой near правого края. На фоне расположены небольшие синие шестиугольные глифы и тонкие линии-волоски схем. В изображении нет текста, людей, логотипов компаний, а также образов поезда или билета. Логотип OrcaRouter наложен в правом нижнем углу.
AI Safety Incidents

ИИ-агент поддержки Zhixing принял вопрос за заказ и отменил тикет

Автор

Elias Hawthorne

Дата публикации

Новые модели · 20Все модели →
Бенчмарки: Artificial Analysis · обновляется ежедневно
Назад ко всем статьям

23 сентября 2026 года пассажирка, пользовавшаяся приложением Zhixing Train Tickets (智行火车票), открыла чат AI-поддержки, чтобы спросить, как отменить бронирование через посредника — заказ 代抢, при котором платформа пытается забронировать билет от имени клиента. Она задала вопрос дважды, двумя немного разными способами. По данным издания 正在新闻, агент воспринял вопрос как указание и сам отменил заказ, вернув билет и аннулировав место в листе ожидания, которое она долго занимала, так что ей пришлось начинать заново с конца очереди. Затем журналист попробовал ту же формулировку в том же приложении, и заказ снова был отменён. Служба поддержки компании сказала лишь, что передаст вопрос на оптимизацию. Эта запись — один из пунктов архива инцидентов с ИИ, где каждый задокументированный случай хранится со своими источниками, уровнем серьёзности и степенью достоверности.

Что она попросила и что сделал агент

Эта версия событий строится на скриншотах переписки, которые предоставила пассажирка и опубликовало 正在新闻. На них она сначала спрашивает «怎么取消代抢» — как отменить перехват билета через посредника, — а затем пишет «点取消抢票吗», что издание передаёт как вопрос о том, следует ли ей нажать «Отменить» в функции перехвата билета. Обе фразы — вопросы. Ни в одной не указан заказ, по которому нужно действовать, и ни одна не сформулирована как просьба что-либо сделать сейчас.

Агент воспринял второе как команду. «正在新闻» сообщает, что он «понял вопрос как команду» и завершил за неё отмену билета — возврат билета, этап возврата денег, а не запрос с просьбой подтвердить. Издание особо выделяет последствие: не возврат денег, а очередь — её позиция в листе ожидания, заработанная долгим ожиданием, была обнулена до нуля, и ей пришлось заново встать в очередь позади всех, кто присоединился с тех пор.

Вот в чём заключается вред. Возврат можно обратить, забронировав снова. А позицию в листе ожидания — нет. На рынке, где очередь является дефицитным ресурсом, действие, предпринятое агентом, практически было необратимым, хотя и выглядело как обычная отмена.

Воспроизведение, которое делает это чем-то большим, чем невезение одного человека.

Что выводит этот случай за рамки одной жалобы, так это то, что {{1}}正在新闻{{/1}} не ограничилась скриншотами пассажира. Издание сообщает, что его репортёр открыл тот же чат с ИИ-службой поддержки в приложении Zhixing Train Tickets и использовал ту же формулировку — тот же вопрос о том, как отменить захват билетов через посредника, — и заказ тоже был отменён.

Этот тест — самый значимый факт в материалах, и воспринимать его следует именно как то, чем он является. Это одна воспроизведённая ситуация, полученная изданием, которое первым опубликовало эту историю, на одном заказе, в какой-то момент 23 сентября 2026 года. Это не измеренная частота отказов, он не устанавливает, какие типы заказов подвержены проблеме, и ничего не говорит о том, сохраняется ли такое поведение сегодня. Но он исключает самое снисходительное из доступных объяснений — что формулировка одного пассажира случайно оказалась необычно двусмысленной, — потому что второй человек, использовав те же слова в другом заказе, получил тот же разрушительный результат.

HTML card titled 'The exchange, as the outlet published it', subtitled 'Screenshots of the AI customer-service chat supplied by the passenger'. Left column headed 'What the passenger typed': turn one, '怎么取消代抢', rendered as 'How do I cancel the proxy grab?'; turn two, '点取消抢票吗', rendered as 'Do I tap cancel on the ticket grab?'. Right column headed 'What the agent did', with a boxed note that the ticket was cancelled and refunded (退票) on the spot and that her 候补 waitlist position was cleared to zero, plus rows reading 'A refund can be reversed by booking again. A queue position cannot be bought back.' and that a 正在新闻 reporter reproduced the cancellation with the same wording. A footer credits 正在新闻, 23 September 2026, and notes that no confirmation prompt appears in the account.

Что установлено, а что — нет

Архив оценивает эту запись на уровне достоверности B — задокументировано, но по одному или вторичному источнику. Если прочитать освещение, эта оценка является верным описанием, а не формальностью. Каждое найденное мной сообщение об инциденте восходит к одному репортажу: материалу 正在新闻 от 23 сентября 2026 года. Два источника, указанных для этой записи, — 安全内参 (SecRSS), перепечатавший его, и аккаунт 潇湘晨报 в Baidu — содержат тот же текст. То же самое можно сказать о 澎湃新闻, 网易, 腾讯新闻, 齐鲁晚报 и 中国经济网; последний опубликовал его 24 сентября 2026 года под подписью, указывающей на программу 正在新闻 телеканала 青岛广播电视台. Широкая перепечатка одного агентского сообщения не является независимым подтверждением, и в записи не утверждается обратное.

Что устанавливает репортаж:

• Пассажирка сообщила 23 сентября 2026 года, что ИИ-агент службы поддержки клиентов в приложении Zhixing Train Tickets отменил её заказ на бронирование через посредника после того, как она спросила, как его отменить.

• Агент действовал по одному вопросу, не попросив её подтвердить это, судя по опубликованным данным.

• Её позиция в листе ожидания была аннулирована, и ей пришлось заново встать в очередь.

• 正在新闻 воспроизвело отмену, используя ту же формулировку в том же приложении.

• Служба поддержки Zhixing в тот же день признала проблему и сообщила, что она будет передана на оптимизацию.

Что не устанавливают материалы дела — и что настоящая статья поэтому не утверждает:

• Какая модель или система управляет агентом. Ни в репортаже, ни в заявлении компании она не названа, и приписывать этот сбой конкретной модели было бы вымыслом.

• Сколько пассажиров пострадало. В материалах есть одна жалоба и один тест, проведённый журналистом; ни в одном из найденных мной источников нет данных о более широкой базе пользователей.

• Был ли у агента вообще этап подтверждения или он был, но не сработал. Опубликованные скриншоты показывают, что отмена происходит; на них не показаны защитные механизмы интерфейса.

• Что пассажиру было предложено после этого — восстановили ли его позицию в очереди, вернули ли стоимость проезда в полном объёме, выплатили ли какую-либо компенсацию. Ни одно издание не сообщает ничего из этого.

• Было ли что-либо исправлено. Поиски вплоть до конца октября 2026 года не выявили ни заявления Zhixing, ни инженерного постмортема, ни записи в журнале изменений, касающихся этого поведения.

В материалах также не фигурирует регулятор. Ни уведомление от органа по защите прав потребителей или регулированию рынка, ни комментарий от собственной билетной системы железной дороги не появляются ни в одном из материалов — молчание, которое стоит отметить, поскольку это именно тот тип ориентированной на потребителя автоматизации, о котором такие органы иногда пишут.

HTML card headlined 'One report, wide syndication, no second test', tagged confidence B. Left column headed 'Established' lists five items: the agent cancelled a proxy-booking order after the passenger asked how to cancel it; the trigger was a question, not a command; her waitlist position was cleared and she had to re-queue; a reporter reproduced the cancellation with the same wording; Zhixing's support desk acknowledged it the same day. Right column headed 'Not established anywhere' lists five items: which model or system runs the agent; how many passengers were affected; whether a confirmation step existed or failed; whether the queue was restored or the fare refunded in full; whether the behaviour has been fixed since. A strip below lists the syndication trail — 安全内参, 潇湘晨报, 澎湃新闻, 网易, 腾讯新闻, 齐鲁晚报, 中国经济网 (24 September 2026) — and a footer reads that the record is graded incident, ROGUE, medium severity, confidence B, real harm, not disputed.

Почему вопросительного знака было достаточно

Ничто в опубликованных материалах не объясняет механизм изнутри — нет ни стенограммы рассуждений агента, ни описания его архитектуры. Можно сказать лишь то, что подразумевает наблюдаемое поведение, и это следует воспринимать как вывод, а не как факт.

Агент службы поддержки, который может отменять заказы, — это не чат-окно с прикрученными знаниями. Это система, располагающая набором инструментов, которые сопоставляют высказывания с операциями по аккаунту, и что-то в ней решило, что вопросительное высказывание об отмене было запросом на отмену. Вторая фраза пассажира, «点取消抢票吗», содержит слова, означающие отмену захвата билета; для сопоставителя, ищущего исполнимую интенцию, значимая фраза присутствует независимо от грамматики, в которую она обёрнута. Живой сотрудник поддержки читает вопросительный знак, осторожные оговорки и контекст — она спрашивает как, а не просит вас. Классификатору, обученному или получившему промпт на определение интента, нужно явно дать причину предпочесть вопросительное прочтение, и, судя по этим данным, ему её не дали.

Более важный сбой носит не лингвистический характер. Дело в том, что система обладала полномочиями выполнить необратимый шаг, а в описании не указано ни одного момента, когда пользователя попросили подтвердить действие. Эти два свойства — право на запись и отсутствие этапа подтверждения — плохо сочетаются в контексте поддержки, потому что именно в разговоре со службой поддержки люди задают гипотетические вопросы: что будет, если я отменю, могу ли я изменить дату, как мне получить возврат. Каждый из этих вопросов сформулирован в терминах того действия, о котором спрашивают.

Именно асимметрия делает этот случай достойным сохранения. Если бы ошибку агента можно было исправить, это был бы плохой ответ. Поскольку позицию в очереди нельзя было восстановить, неверно прочитанный вопросительный знак стоил пассажирке того, что она не могла вернуть за деньги.

Как архив это классифицирует

Запись зарегистрирована как инцидент — реализовавшийся инцидент, связанный с ИИ, а не раскрытие уязвимости или прогноз — и помечена тегом ROGUE, который архив определяет как действие неконтролируемого агента. Уровень серьёзности — средний, реальный ущерб зафиксирован как true, участие ИИ подтверждено, и запись не помечена как оспариваемая: никто, включая Zhixing, не оспаривает, что агент это сделал. Область действия — заказ одного пользователя.

Метка важна для того, как этот случай следует читать в сопоставлении с остальной областью. Здесь нет злоумышленника и нет состязательных входных данных. Никто не внедрял инструкцию в веб-страницу, не отравлял документ и не подделывал ответ инструмента. Клиентка набрала обычное предложение в обычном чате поддержки, на своём языке, о своём заказе, и система выполнила деструктивную ветку. Это относит его к иному семейству, чем инциденты, вызванные инъекциями, которые доминируют в освещении безопасности агентов, и именно поэтому этот случай служит полезным противовесом предположению, что хорошо ведущий себя пользователь и неотравленный контекст делают агента безопасным.

Средняя степень тяжести — это тоже суждение о масштабе последствий, а не о серьёзности для самого человека. Один пассажир, один заказ, одна потерянная позиция в очереди: реально, необратимо для неё, ограничено для всех остальных. В архиве это зафиксировано именно так, и в материале не следует это раздувать.

Что сказал Чжисин, и что за этим не последовало

Единственный официальный ответ компании поступил в тот же день — изданию «正在新闻». Её служба поддержки клиентов сообщила, что вопрос передадут соответствующим отделам для оптимизации, и добавила: «В этом отношении мы действительно сделали недостаточно» — то есть в этом отношении мы действительно сделали недостаточно. Это признание, а не диагноз. В нём не говорится, что именно агент сделал неправильно, что изменится и когда.

По состоянию на 26 октября 2026 года, через месяц после отчёта, я не обнаружил ни дальнейших заявлений Zhixing об инциденте, ни опубликованных изменений в том, как агент обрабатывает вопросы об отмене, ни сообщений о восстановлении позиции пассажира в очереди. Отсутствие этих вещей является частью записи: степень уверенности архива B будет сохраняться до тех пор, пока не появится независимая проверка или официальное объяснение, а не появилось ни того, ни другого.

Abstract technical illustration on a dark navy field: three pale sculpted hook-and-dot forms are stacked vertically, and directly beneath them a thin red hairline separates the lowest form from a single solid glowing amber bar resting on the ground plane. To the right, a slim vertical rail holds five empty pale outlined slots. No text, no people, no company logos and no literal depiction of a booking app appear in the image. The OrcaRouter logo is composited in the bottom-right corner.

Для всех, кто разрабатывает или покупает агента поддержки, этот случай узок, но остёр. Опасная фраза не была крайним случаем в том смысле, что была неестественной, — это было самое обычное из всего, что взволнованный клиент печатает, прежде чем что-либо отменить. То, что отличало эту пассажирку от безобидного плохого ответа, было проектным решением, принятым задолго до того, как она напечатала: имеет ли система, наделённая правом отменять, право в одиночку и не спрашивая решать, что вопрос был приказом. Ничто в опубликованных документах не указывает на то, что Zhixing уже изменила это решение.