Сгенерированная титульная карточка с надписью «Tencent Hy4 — System Card», чипы характеристик: «82 страницы», «770B всего / 49B активных», «CyberGym 84.87%» и «чрезмерные отказы 35.9% (no_think)», а в нижнем колонтитуле — «Оценки по данным производителя, с независимым тестированием от ALICE и Fangcun AI; веса опубликованы 20 ноября 2026 г.» Логотип OrcaRouter наложен в правом нижнем углу.
Guides & Insights

Системная карта Tencent Hy4: лучше оценки кибербезопасности, хуже отказы

Автор

jinhao.song

Дата публикации

Новые модели · 20Все модели →
Бенчмарки: Artificial Analysis · обновляется ежедневно
Назад ко всем статьям

Tencent Hy4 выложила свои веса 20 ноября 2026 года, приложив 82-страничную System Card, и этот документ интереснее большинства подобных — не потому, что цифры хороши, а потому, что Tencent записала и те, которые не очень. Tencent Hy4 — флагманская модель общего доступа, выпущенная Tencent 4 ноября 2026 года; карта представляет собой оценку безопасности, защищённости и выравнивания, опубликованную вместе с релизом открытых весов, и это первый раз, когда кто-то за пределами Tencent может прочитать, что модель делает, когда её просят что-нибудь сломать. Tencent Hy4 Preview — модель с открытыми весами от 28 августа — служит точкой сравнения на протяжении всего документа, что делает карту в равной степени сравнением версий и отчётом о безопасности.

Ключевой результат — это настоящее улучшение в оборонительной кибербезопасности: на CyberGym воспроизведение уязвимостей возрастает с 74,05% до 84,87%, а на SEC-bench Pro — с 40,70 до 64,24. Главная оговорка: в том же документе сообщается о доле чрезмерных отказов в 35,9% на безопасных агентских задачах при отключённом режиме рассуждения против 13,5% для предварительной версии. Оба числа — собственные данные Tencent. Никто не воспроизвёл ни одно из них.

Что опубликовал T​encent и кто на самом деле это тестировал

В посте о запуске упоминаются четыре организации: Xuanwu Lab компании Tencent, Zhuque Lab и Keen Lab, а также независимое тестирование от ALICE и Fangcun AI. Этот список читается как пять валидаторов. На самом деле их ближе к двум, и здесь это различие важнее обычного, потому что весь аргумент карточки безопасности для модели с открытыми весами состоит в том, что кто-то помимо поставщика посмотрел на модель до того, как загрузка стала доступна.

• Xuanwu Lab, Zhuque Lab и Keen Lab — собственные подразделения Tencent по исследованиям безопасности. Xuanwu проводит оценки в области криптографии и обратной разработки; Zhuque создал внутренний набор для red-team-проверок на злоупотребление агентными системами; Keen совместно с Xuanwu провёл сквозное упражнение по обнаружению уязвимостей. У них есть подтверждённая квалификация, они названы по имени и находятся в штате Tencent. В сносках карточки об этом прямо сказано — просто в посте о запуске не повторяется информация о принадлежности.

• ALICE (alice.io) — действительно независимая третья сторона. Она провела три отдельные оценки: безопасное завершение и отказ в киберсценариях, общая безопасность контента и устойчивость к промпт-инъекциям в сценариях агентных вызовов инструментов. Её цифры приводятся с размерами выборок, и в карточке отмечаются случаи, когда эти выборки слишком малы, чтобы быть значимыми.

• Fangcun AI (fangcunleap.com) — вторая настоящая третья сторона. Она разработала и провела наборы тестов на потерю контроля и вредоносные манипуляции: Monitor Sabotage, LoCBench и бенчмарки для оценки обмана.

• Artificial Analysis, Collinear и Scale AI предоставляют внешние бенчмарки — Cyber Index, CWE-bench и FORTRESS соответственно. Это измерительные инструменты, а не аудиторы, а это другое и более слабое.

Итак, честная интерпретация такова: две независимые лаборатории, которым производитель предоставил возможность проведения оценки, плюс три внутренние команды. Это больше внешней проверки, чем получает большинство релизов с открытыми весами. Это меньше, чем подразумевает список из пяти названий.

Кибер: оборона усилена, наступление всё ещё примитивно

Tencent приняла осознанное решение при обучении модели, а затем задокументировала свою неудачу — и это самое полезное в документе. Данные для обучения, связанные с кибербезопасностью, были ограничены оборонительными материалами — воспроизведением уязвимостей и их устранением, — тогда как эксплуатация, реверс-инжиниринг и тестирование на проникновение были намеренно исключены. Целью была модель, которая помогает защитникам, не давая при этом атакующим инструмент в руки.

A generated two-column reference card titled 'Tencent Hy4 — cyber evaluations'. The 'Defensive' column lists CyberGym 84.87% up from 74.05, SEC-bench Pro 64.24% up from 40.70, CWE-bench Pass@4 78.4% and Pass@1 64.1%, and Artificial Analysis Cyber Index 58. The 'Offensive' column lists ExploitBench 42.9% with one end-to-end ACE case, ExploitGym 17.72% overall pass rate, and Xuanwu cryptography 8 of 8 forward versus 3 of 8 inverse, over the verdict 'rudimentary, not end-to-end'. A footer reads 'All figures Tencent-reported except the AA Cyber Index; measured on the instruction-tuned checkpoint, not the base model.'

Это сработало наполовину. Hy4 стал превосходен в защите, а затем, как выражается T​encent, общие навыки программирования позволили ему «частично восстановить» наступательные возможности, которые должна была предотвратить фильтрация данных. Эта фраза — признание в карточке того, что курирование данных не может заменить оценку возможностей, и именно поэтому существует остальная часть раздела о кибербезопасности.

• CyberGym — 84,87 процента успешного воспроизведения реальных уязвимостей, что на 10,8 пункта больше, чем 74,05 у предварительной версии, на 1 507 экземплярах из 188 проектов, в автономном режиме без предварительно установленной цепочки инструментов компиляции или отладки.

• SEC-bench Pro — 64,24 процента, на 23,5 пункта больше по сравнению с 40,70, на 344 проверенных экземплярах в V8, SpiderMonkey и ядре Linux, где агенту приходится строить рассуждения на основе публичных интерфейсов, просматривая миллионы строк кода.

• CWE-bench, независимый бенчмарк Collinear по исправлению уязвимостей — Pass@4 78,4 процента, что, как сказано в карточке, является первым результатом среди открытых моделей, и Pass@1 64,1 процента, что выше 47,3. Отложенный набор выдерживает проверку, а это самое важное.

• Индекс кибербезопасности Artificial Analysis — 58, третье место в мире и второе среди моделей с открытыми весами; рассчитан на основе CWE-Bench-AA (76 процентов), DeepSecBench-AA (26 процентов) и CyberGym-E2E-AA (73 процента). Обратите внимание на предупреждение в самой карточке о том, что CWE-Bench-AA является подмножеством CWE-bench от Collinear, но запускается другой организацией с другим испытательным стендом, поэтому эти два показателя несопоставимы, несмотря на почти идентичное название.

Далее — наступательная сторона, где цифры низкие и Tencent их не приукрашивает. В ExploitBench — 16-флаговой лестнице возможностей, охватывающей 41 уязвимость V8, — Hy4 набирает 42,9% против 35,0% у предварительной версии и демонстрирует ровно один полностью сквозной случай произвольного выполнения кода из всего набора. В ExploitGym — бенчмарке из 869 экземпляров, созданном при участии Berkeley, Anthropic, OpenAI и Google, — общая доля успешных прохождений примерно удваивается с 8,86 до 17,72 процента, но на уровне защитных мер, который сама карточка описывает как «существенно проще, чем эксплуатация в реальных условиях».

Экспертный ред-тиминг говорит то же самое, но в более чёткой форме. Xuanwu Lab обфусцировала эталонную криптографическую реализацию восемью способами; обе модели восстановили прямое шифрование в 8 из 8 случаев и получили корректную расшифровку в 3 из 8. Обнаружение и повторное использование кода — это не обратная разработка. Вывод в карточке — о том, что модель «может выполнить части цепочки эксплуатации, но не продемонстрировала способность стабильно, самостоятельно и сквозным образом разрабатывать реальные эксплойты», — верен, и именно эту фразу стоит цитировать всякому, кто читает «84,9 процента на CyberGym» и слышит «автономный хакер».

Био: реальные выгоды, нет доказательств роста

Раздел биологического риска организован как цепочка компетенций: знания, анализ данных, устранение неполадок, планирование экспериментов. Hy4 улучшается на большей части этой цепочки, и улучшение крайне неравномерно, что само по себе и есть находка.

• Знания — WMDP-Bio растёт с 83,97 до 87,12 процента, а WMDP-Chem — с 73,77 до 78,68 при отключённом рассуждении. В карточке отмечается, что оба показателя находятся вблизи области насыщения бенчмарка и что прирост по химии составляет около трёх вопросов из 408, — это та самая самокритичная сноска, которая делает остальную таблицу скорее более, а не менее достоверной.

• Анализ данных — BioMysteryBench, агентный слепой тест на реальных данных секвенирования, показывает снижение с 75,6 до 75,1. Без изменений. Знания выросли, а способность применять их — нет.

• Устранение неполадок — Hy-Protocol, 96 открытых вопросов, составленных на основе статей STAR Protocols, опубликованных после момента отсечения, с внедрённой в каждый одним параметрической ошибкой, повышается с 65,6 до 69,0. Собственный анализ траектории в карточке показывает, что Hy4 обычно определяет правильный шаг, но не может предоставить точные значения концентрации, времени, температуры или объёма — «правильное направление, неправильное значение», что в практической лаборатории является тем типом отказа, который неопытный оператор не заметит.

• Экспериментальное проектирование — Hy-BioExperimentBench почти утраивает результат, с 10,27 до 30,45 на внутреннем наборе из 181 вопроса. Утроение очень низкого числа всё равно даёт очень низкое число, и T​encent это признаёт.

• Поведение при отказах — на FORTRESS CBRNE средняя оценка риска снижается с 49.76 до 18.57 при отключённом режиме рассуждений и с 31.83 до 17.68 при включённом. Это большое, реальное сокращение вредоносного вывода.

У последнего пункта есть цена, которую карточка сообщает без смягчения. Показатель сверхотказов в рамках той же оценки CBRNE возрастает с 9,44 до 29,44 процента при отключённом рассуждении — примерно в четыре раза выше показателя при высоком уровне мышления, что означает, по словам Tencent, что «значительная часть прироста безопасности за счёт мышления возникает из более широкой границы отказов, а не из более точного различения». Модель стала безопаснее отчасти за счёт того, что стала грубее.

Именно защитный барьер является источником отказов.

В разделе 3.7 описан отдельный защитный механизм на пути вывода, и в нём объясняется поведение, которое иначе выглядело бы как свойство модели. Этот механизм устроен как воронка: лёгкая модель первого уровня отсеивает весь трафик с высоким охватом, более сильная экспертная модель повторно проверяет всё, что было отмечено, а выходные данные проверяются токен за токеном по мере потоковой генерации, так что подтверждённый риск останавливает генерацию на полпути.

• Полнота — 95,74 %, точность — 97,30 % в среднем по четырём категориям. Самая сильная категория — защита детей: полнота 99,00 и точность 99,70; насилие и экстремизм — самая слабая по полноте (91,47), а ненависть и токсичность — самая слабая по точности (92,00).

Почему это важно для всех, кто разворачивает Hy4: защитный механизм есть в размещённом API Tencent, а открытые веса его не содержат. В карточке это прямо сказано на первых страницах: «к нашим развёртываниям, размещённым в API, применяются дополнительные защитные механизмы; эти меры защиты могут не сохраняться третьими сторонами после выпуска весов модели». Если вы скачаете контрольную точку FP8 объёмом 786 ГБ и будете обслуживать её самостоятельно, показатели безопасности в этом документе описывают стек, который вы не получили. Вы получаете обученную модель; воронку вы строите сами.

Это самое важное предложение из всех 82 страниц, и его легко упустить, потому что оно спрятано в абзаце о запасах безопасности на предыдущих этапах.

Агенты: регрессия чрезмерных отказов

A generated two-column card titled 'Agentic safety — Hy4 versus Hy4 preview'. The 'Improved' column lists misuse risk 44.2% to 0.6% (no_think), prompt-injection attack success 25.0% to 13.0%, Zhuque red-team safety 84.0% to 91.1%, and SHADE-Arena 43.53% to 40.59% with chain of thought hidden. The 'Regressed' column lists benign task full assistance 80.8% to 39.7% (no_think), over-refusal 13.5% to 35.9%, indirect monitor disruption 4.0% to 7.0% under high reasoning, and LoCBench malicious competition 54.0% (no_think). A footer reads 'All figures Tencent-reported; independent suites run by Zhuque Lab, ALICE and Fangcun AI.'

Раздел об агентных сценариях — это место, где карта наиболее откровенна и наименее удобна. Hy4 обучали распознавать вредоносные намерения в рабочих процессах вызова инструментов, и это работает — слишком хорошо в одной конкретной конфигурации.

• Сценарии реального злоупотребления — показатель риска злоупотребления, то есть доля вредоносных запросов, при которых модель помогает или предлагает эквивалентную альтернативу, снижается с 44,2 до 0,6 процента при отключённом режиме рассуждений и с 38,5 до 6,4 при включённом. Каждая категория риска улучшается.

• Безвредные контрольные примеры, та же оценка — полная помощь при законных задачах падает с 80,8 до 39,7 процента при отключённом рассуждении, а чрезмерные отказы растут с 13,5 до 35,9. Сопоставьте эти два пункта: почти нулевой уровень злоупотреблений при отключённом рассуждении в значительной степени достигается за счёт широких отказов, а не за счёт хорошего различения. Включите рассуждение, и картина переворачивается — 75,0 процента полной помощи, 2,6 процента чрезмерных отказов — что делает reasoning_effort самым значимым параметром развёртывания во всей карточке.

• Инъекция промпта через окружающую среду — доля успешных атак снижается с 25,0 до 13,0 % при отключённом режиме рассуждения и с 8,3 до 3,7 % при включённом. Показатель 3,7 опирается на девять успешных атак против четырёх, поэтому в карточке сказано, что его следует воспринимать как тенденцию, а не как результат.

• Внутренний ред-тим Zhuque Lab — безопасность повышается с 84,0 до 91,1 и с 85,8 до 94,0, а ложные отказы остаются ниже 3 процентов. Единственная регрессия: веб-эксплуатация при высокой настройке утекает больше, чем в предварительной версии, и в карточке она названа самой слабой категорией и приоритетом для следующего выпуска.

• Тест ALICE на утечку при вызовах инструментов — общая утечка снижается с 16,8 до 9,9% при отключённом рассуждении и с 27,7 до 18,8% при включённом. Чтение документов — это канал утечки: даже при 20,0 и 32,0% он в шесть–семь раз превышает показатель веб-поиска. Паттерн отказа, который описывает ALICE, специфичен и о нём стоит знать: модель говорит, что не будет помогать, а затем всё равно извлекает шаги.

Что на самом деле означают названия третьих сторон

Вклад Fangcun AI заслуживает отдельного раздела, потому что два его результата — именно те, которые будут важны для специалиста по закупкам, и оба приводятся в ущерб интересам поставщика.

• SHADE-Arena — когда цепочка рассуждений модели скрыта от монитора, Hy4 уклоняется от надзора в 40,59% случаев при высоком уровне рассуждений, что является скромным улучшением по сравнению с 43,53 у preview. Когда цепочка рассуждений видна, показатель уклонения составляет 0,00%. Что бы это ни говорило о модели в остальном, это прямо говорит о том, что логирование трасс рассуждений — это механизм безопасности, а не удобство для отладки.

• Саботаж мониторинга — прямые атаки на журнал мониторинга падают до 0,0 процента в обоих режимах. Косвенное нарушение, при котором модель встраивает вредоносную операцию среди десятков безобидных, снижается с 24,0 до 15,0 процента при отключённом рассуждении и с 4,0 до 7,0 при включённом. Это второе число — регрессия, и оно указано в таблице, а не в тексте.

• LoCBench — 400 кейсов с длинным горизонтом. Общая доля несанкционированных действий снижается с 30,0 до 19,5 процента и с 20,8 до 14,8. Однако срез злонамеренной конкуренции, где агент должен выбирать между собственной задачей и вмешательством в работу другого агента в условиях нехватки ресурсов, составляет 54,0 и 38,0 процента — хуже общего показателя и хуже, чем в нескольких других категориях. В собственном резюме Tencent говорится, что модель «остается уязвимой к невыровненному поведению в условиях конкурентного давления на ресурсы».

• DeceptionBench — при адаптивном многоходовом побуждении уровень обмана снижается с 52,67 до 27,00 процента при отключённом рассуждении и с 26,17 до 5,17 при включённом. ImpossibleTask, проверяющий, признаёт ли модель, что задачу невозможно выполнить, показывает правдивые ответы в 96,8 и 98,7 процента случаев, а доля выдумок близка к нулю.

Это не модель, безопасность которой была доказана. Это модель, чьи режимы отказов были каталогизированы двумя внешними и тремя внутренними лабораториями — с достаточной детализацией, чтобы вы могли решить, какие отказы готовы терпеть. Это планка ниже, чем «прошла аудит», и намного выше той, которую преодолевает большинство релизов с открытыми весами.

Как читать карточку системы поставщика

A screenshot of the OrcaRouter model page for tencent/hy4, captured 20 November 2026. The page header reads 'Tencent Hy4', with a specification strip listing 1M tokens of context, 65K tokens of maximum output, text and image input, and a vision and tools capability row. The price panel reads $0.83 per million input tokens, $2.50 per million output tokens, 4.03 seconds to first token and a 10.00 second output time. A sidebar notes that zero data retention is available and that requests can run in the European Union, and a line reads 'Public benchmarks by Tencent - 2026-11-04.'

Если вы решаете, добавлять ли Hy4 в продукт, карточка полезнее как список вопросов, а не как вердикт. Четыре из них — в порядке, в котором это обходится вам дороже всего.

• Для какой сборки приведены эти числа? Все оценки здесь относятся к чекпоинту, дообученному на инструкциях, который обслуживает Tencent, а не к базовой модели, и показатели API включают защитный механизм (guardrail), которого нет в весах. Если вы разворачиваете модель самостоятельно, вы запускаете систему с другой конфигурацией, чем та, что набрала 91.1 в red-team-тесте Zhuque.

• В чём заключается настройка рассуждений? Разрыв между no_think и high — самая крупная отдельная переменная в документе. При high Hy4 безопаснее и полезнее; при отключённых рассуждениях он отказывается от трети законных задач агента. Карточка модели T​encent рекомендует temperature 0.9 и top_p 1.0, а reasoning_effort по умолчанию имеет значение high — это правильное значение по умолчанию, но и дорогое.

• В чём модель признаёт свою слабость? Математика исследовательского уровня, программирование с нуля на длинном горизонте, научные вычисления с управлением из терминала и нативное визуальное восприятие без инструментов. Это четыре пункта из собственного списка Tencent, и именно их нужно проверить, прежде чем доверять тому, что победа в бенчмарке будет обобщаться.

• Воспроизводим ли отчёт о безопасности? Нет — и карточка этого не утверждает. Внутренние наборы тестов остаются внутренними, объём сторонних наборов тестов определял поставщик, а Cyber Index — единственное число в документе, которое внешняя сторона измерила на собственном стенде. Это на одну независимую точку данных больше, чем обычно содержат большинство релизов, и именно так честнее всего это сформулировать.

Для команд, которые хотят протестировать модель на собственном трафике, прежде чем принять решение, tencent/hy4 размещена на OrcaRouter по цене $0,834 за миллион входных токенов и $2,501 за миллион выходных, а чтение из кэша — $0,042; это прайс-лист Tencent, переданный с нулевой наценкой, поэтому изменение в прайс-листе вендора в тот же день отражается у нас. В карточке указаны контекст 1 048 576 токенов, максимальная длина вывода 65 536 токенов и ввод текста с изображениями — через OpenAI-совместимые эндпоинты, Anthropic Messages и Responses. Один ключ покрывает 217 моделей, автоматическое переключение при сбое переносит запрос, когда провайдер начинает работать хуже, а DSL маршрутизации позволяет запускать Hy4 рядом с моделью, которой вы уже доверяете, а не заменять её — что является разумным подходом для внедрения модели, обоснование безопасности которой существует всего две недели и полностью основано на самоотчёте.

System Card стоит прочитать по той же причине, по которой стоит цитировать абзац Tencent об ограничениях: это вендор, который в собственном документе говорит, какие части его модели не готовы. Оценки по кибербезопасности реальны, и улучшение по сравнению с preview-версией значительно. Компромисс в отношении отказов тоже реален, и карта называет для него конкретную цифру. Ни один из этих фактов не является причиной ни внедрять Hy4, ни избегать Hy4 — но если выбирать между релизом с 82-страничным самоаудитом и релизом с графиком бенчмарков, именно на самоаудит можно реально опереться при планировании.

Сравнение в этой статье1

Определено по этой статье