Kimi K3.1 Pro снизила собственную киберспособность на 9,5 балла. Две другие лаборатории поступили иначе

24 октября Moonshot сделала то, чего лаборатории обычно не делают: выпустила модель слабее той, которую могла бы выпустить, и обнародовала точную цену этого. На xdev-bench-hard при pass@3 контрольная точка, обученная без мер компании по снижению киберрисков, набирает 90,5%. Kimi K3.1 Pro — модель, к которой можно обратиться, — набирает 81,0%. Разрыв в 9,5 пункта — это цена удаления связанных с кибербезопасностью данных из среднего этапа обучения и из обучения с подкреплением, и это самое четкое заявление, сделанное какой-либо из трех передовых лабораторий в этом году о том, чем она готова пожертвовать ради возможностей.

У каждой крупной лаборатории теперь есть киберполитика. Они различаются механизмом, а не намерением, и механизм определяет, что вы фактически получите при вызове API. {{1}}Moonshot вычитает эту возможность из весов. {{2}}Anthropic перенаправляет запрос другой модели.{{/2}} {{3}}OpenAI ограничивает доступ на основе рейтинга риска.{{/3}}{{/1}} Для команды безопасности — или любого, чья рабочая нагрузка соприкасается с наступательным инструментарием, — эти три подхода порождают три разных вида неожиданностей.

Что Moonshot удалил, а что сохранил

Материалы запуска необычайно конкретны. Данные, связанные с кибербезопасностью, были удалены как на этапе промежуточного обучения, так и на этапе обучения с подкреплением, тогда как общие задачи по программированию сохранили. Заявленный принцип компании — не выпускать открытые веса, которые расширили бы абсолютную границу кибервозможностей, и она описывает наступательные возможности выпущенной модели как «по замыслу, ниже того, что способен производить наш пайплайн», и отстающие от того, что передовые проприетарные модели публично предлагали как минимум три месяца.

Две детали в этой политике важнее, чем цифра в заголовке.

Во-первых, это снижение показателя относительно собственного пайплайна Moonshot, а не рынка. Модель с ограничением в 81,0% по-прежнему набирает значительно больше, чем 33,3% у Kimi K3, и больше, чем 57,1% у GLM-5.3, на том же бенчмарке. Ограничение смещает фронтирную модель вниз, но не выводит её из категории.

Второе: Moonshot заявляет, что будет «постепенно повышать» кибервозможности, доступные в открытых весах. Это график, а не фиксированная граница: оценки, исходящие из сегодняшнего потолка, могут не выполняться при следующем релизе, а самостоятельно размещённая копия наследует тот потолок, который существовал на дату её выпуска.

Что на самом деле требует бенчмарк

Документация Moonshot описывает оценку достаточно подробно, чтобы можно было её судить. xdev-bench-hard построен на недавно раскрытых уязвимостях в таком программном обеспечении, как ядро Linux, Node.js, JavaScriptCore, Exim и VirGL, с включёнными мерами защиты. Каждая задача предоставляет уязвимый исходный код, краткую подсказку об ошибке и скомпилированный бинарный файл; агент должен разработать эксплойт, добиться выполнения произвольного кода в отдельной песочнице и извлечь секретную строку, чтобы результат можно было проверить автоматически. Оценка — pass@3 на случайной подвыборке, без жёстких тайм-аутов и без ограничений на выходные токены.

Это требовательный и узконаправленный тест: он измеряет, способна ли модель превратить заведомо уязвимый двоичный файл в работающий эксплойт, а не то, может ли она написать сканер или провести триаж оповещения. Поэтому разрыв в 9,5 пункта между чекпоинтом без защитных мер и выпущенной моделью — это реальное измерение реального различия в возможностях, а также напоминание о том, что эта цифра мало что говорит о защитной работе, которую большинство команд фактически выполняет с моделью.

Альтернатива Anthropic: сохранить возможность, изменить ответ

Подход Anthropic к Claude Opus 5.5 — это маршрутизация на стороне обслуживания. В документации указано, что большинство задач, связанных с кибербезопасностью, может быть перенаправлено на Claude Opus 4.8, а работа по биологии и разработке передовых моделей может переключаться на Claude Opus 5. Вызывающая сторона не получает ошибку; ответ просто приходит от другой модели. Уровень с наибольшими возможностями, Claude Mythos 5.1, доступен только организациям, прошедшим проверку в рамках таких программ, как Cyber Verification Program.

Компромисс противоположен компромиссу Moonshot. Передовая возможность существует и предоставляется — проверенным клиентам, под другим идентификатором модели — тогда как непроверенные вызывающие стороны молча получают ответ более старой модели. Для команды безопасности внутри проверенной организации это самый функциональный вариант из трёх. Для всех, кто находится вне такой организации, это модель, которая тихо отвечает чем-то другим именно на тех задачах, где им больше всего нужна была передовая модель.

Подход OpenAI: принимайте решение до выпуска.

GPT-6 Astra стала первой моделью OpenAI, получившей рейтинг «критический» в рамках Preparedness Framework компании, поскольку она способна самостоятельно находить новые уязвимости безопасности. Развёртывание было поэтапным — сначала партнёры с ранним доступом, затем уровни подписки, затем API — а возможности с наивысшим риском ограничиваются по рейтингу, а не посредством фильтрации промптов. Доступ определяется на уровне учётной записи ещё до отправки какого-либо запроса.

Это чище, чем молчаливое перенаправление, и медленнее любого из альтернативных вариантов. Это также означает, что ответ на вопрос «можно ли использовать эту модель для моей работы в сфере безопасности» известен заранее, а это кое-что значит для покупателя, которому приходится составлять закупочный документ.

Что три стратегии делают с оценкой

Если вы оцениваете модели на задачах безопасности, механизмы искажают измерение по-разному, и эти искажения не компенсируют друг друга.

• Ограничение Moonshot зашито в сами веса. Бенчмарк, запущенный через API, и бенчмарк, запущенный на самостоятельно развёрнутой копии, должны давать совпадающие результаты, и оба измеряют модель, которая намеренно хуже в этой категории. Цифра честная и воспроизводимая.

• Маршрутизация у Anthropic находится внутри стека обслуживания. Один и тот же запрос может давать разное качество в зависимости от того, срабатывает ли защитный механизм, а опубликованные поставщиком показатели бенчмарков могут не отражать ту маршрутизацию, которую получает ваш аккаунт. Наш собственный материал о таблице бенчмарков Opus 5.5 отметил ту же проблему с другой стороны: независимый показатель Artificial Analysis для Terminal-Bench составил 59,6% против 66,4% у Anthropic — в конфигурации, которая включает серверную маршрутизацию через защитные механизмы.

• Ограничение доступа у OpenAI находится вне модели. Как только доступ получен, модель ведёт себя в соответствии с результатами бенчмарков; если доступа нет, вы вообще не сможете провести сравнение.

Что команде безопасности следует вынести из этого

Три практических вывода, в порядке уверенности.

Во-первых, «киберспособность» больше не является свойством, которое можно прочитать в карточке модели. Она зависит от весов, которые вы получаете, маршрутизации, которую запускает ваша учётная запись, и программы верификации, участником которой вы являетесь. Любая оценка, в которой не указаны все три, измеряет что-то другое.

Во-вторых, если ваша работа носит защитный характер — триаж, подготовка патчей, проектирование средств обнаружения — ограничение возможностей обходится дешевле, чем кажется. Эти 9,5 балла сосредоточены в состязательном поведении, смежном с эксплуатацией уязвимостей; общие навыки программирования и использования инструментов, которые в основном и нужны для защитной работы, как раз и улучшали в ходе посттренинга. Moonshot сообщает, что результат Kimi Code Bench 3.0 long-horizon вырос с 55,95% до 61,2% в рамках того же релиза.

В-третьих, лимиты меняются. Moonshot заявила, что поднимет свой потолок; программы верификации Anthropic расширяются; рейтинги OpenAI меняются от модели к модели. Политика, которая определяла решение о развёртывании в октябре, к январю может оказаться неверной, а это аргумент за то, чтобы перечитывать документацию о доступе при каждом обновлении модели, а не считать её разовым шлюзом.

Kimi K3.1 Pro доступен через OrcaRouter по цене $2.00 за миллион входных токенов и $10.00 за миллион выходных, и конечный результат тот же, что и везде: потолок заложен в весах, а не в том, что конкретный провайдер делает с вашим запросом. Если ваша рабочая нагрузка зависит от знания того, какая модель на самом деле ответила, это особенность. Если она зависит от потолка наступательных возможностей фронтира, ни один API на рынке не даст вам его без программы верификации.