Что такое кибермодель? Категория и что она на самом деле меняет

Три продукта каждую неделю называют «кибермоделью», и у них почти нет ничего общего. Один — универсальная модель, в обучающую смесь которой входят корпуса по безопасности. Один — обычная модель, обёрнутая в цикл, который даёт ей песочницу, фаззер и повторные попытки. Один — та же модель, что и у всех, только за формой проверки. Только первый из них — другая модель. Остальные два — продуктовые решения — в некоторых случаях хорошие — и их продвигают под одной и той же фразой, из-за чего эту категорию трудно сравнивать. Таблица бенчмарков, не указывающая, какой из трёх продуктов она измеряла, несопоставима с таблицей, которая это указывает, а большинство таблиц этого не указывают. Это руководство по этому различию, по небольшому числу моделей, которые действительно относятся к первой категории, и по тому, что команде безопасности делать с ответом. Это также взгляд на категорию, который стоит за 400 инцидентами с агентами, учтёнными в архиве инцидентов ИИ, где постоянно возникает вопрос: «Проблема была в модели или в развёртывании?».

Три вещи, которые охватывает эта фраза

Начните с различия, которое имеет значение с операционной точки зрения: что изменилось, когда поставщик создал эту вещь.

Обучение для безопасности означает, что веса изменились. Корпуса по безопасности вошли в обучающую смесь, база часто представляет собой универсальную модель, которая уже была сильной, а полученная модель измеримо отличается на задачах, где знания в области безопасности являются узким местом — чтение краш-дампа, рассуждение о раскладке памяти, распознавание уязвимого паттерна в большом диффе. Модели этой группы обычно оцениваются по специализированным бенчмаркам безопасности, таким как CyberGym или CyberSecEval, и они могут быть с открытыми весами или доступны только через API.

Обёрнутая в обвязку означает, что цикл изменился, а модель — нет. Поставщик добавил песочницу, инструменты, логику повторных попыток, планировщик, возможно, фаззер и построил систему, которая хорошо справляется с задачами безопасности, потому что система хорошо спроектирована. Это легитимный и часто недооцениваемый продукт. Это также категория, в которой оценка становится неоднозначной, потому что число в равной мере принадлежит обвязке и модели — а обвязку нельзя заменить независимо.

Ограничение доступом означает, что дверь изменилась. Модель может быть идентична публичной; отличие в том, что вы должны быть проверенным бизнесом, выполняющим разрешённую работу, на условиях, ограничивающих использование. Это продукт политики, и его можно обосновать, но из него не вытекает никакого утверждения о возможностях. Модель, опасная в неправильных руках и безопасная в правильных, не стала более способной; она стала более контролируемой.

Практическое следствие: когда вы читаете, что какая-то модель — «кибермодель», следующий вопрос — какая из трёх, потому что ответ определяет, покупаете ли вы возможности, инженерию или разрешение, — а у них разные цены и разные режимы отказов.

Почему эта категория вообще существует

Работа в сфере безопасности необычайно чувствительна к двум свойствам, которые универсальные модели демонстрируют непоследовательно: рассуждение в длинном контексте над кодом, который не предназначался для прочтения, и готовность описывать атаку достаточно подробно, чтобы это было полезно. Первое — вопрос возможностей, и именно поэтому модели этой группы обычно заявляют контекстные окна в сотни тысяч или миллионы токенов. Второе — вопрос безопасности, и именно поэтому эта категория связана с контролем доступа.

Модель, которая хорошо рассуждает о кодовой базе, но отказывается написать работающий proof-of-concept, бесполезна для триажа, потому что proof-of-concept — это доказательство. Модель, которая свободно пишет proof-of-concept, полезна защитнику и столь же полезна тому, кто им не является. Кибер-настроенные модели — это, по сути, попытка разрешить это напряжение, сужая круг тех, кто может задавать вопросы, а не сужая то, на что может быть дан ответ — что является непротиворечивым замыслом, который трудно обеспечить на уровне модели, поскольку обеспечение — это процесс проверки, а не изменение весов.

Где на самом деле обосновывается эта возможность

Заявляемые преимущества моделей, настроенных на кибербезопасность, конкретны и поддаются проверке, что освежает в области, где обычно аргументируют прилагательными. Чаще всего повторяются такие: загрузка всего репозитория или журнала аудита за один проход в длинном контексте, структурированный вывод для использования в конвейерах и вызов инструментов или функций, достаточно стабильный, чтобы встраиваться в автоматизированный рабочий процесс. Это в равной мере инженерные утверждения и утверждения о модели, и их можно проверить на собственном корпусе за один день.

В области оценки появились собственные институты. Wiz Research ведёт Cyber Model Arena — площадку, которая оценивает ИИ-агентов, состоящих из базовой модели и стандартной обвязки, на реальных задачах кибербезопасности и сопоставляет качество моделей с эффективностью: доля успешных решений откладывается по одной оси, а стоимость, время или число шагов на одно решение — по другой, по результатам k независимых попыток. Эту схему стоит перенять целиком: она отражает то, что скрывает «сырой» показатель проходимости, — два агента могут достичь одинаковой доли успешных решений при очень разной стоимости одного решения, и дорогим часто оказывается тот, кто потратил свой бюджет на повторные попытки.

Обратите внимание, что подразумевает эта формулировка. Это бенчмарк агентов, а не моделей — базовая модель плюс харнесс, — и в этом как раз и заключается неоднозначность, присущая данной категории. Арена честно это признаёт, называя харнесс в определении. Большинство анонсов — нет.

Шлюз доступа — и почему именно он является настоящей границей категории

Если посмотреть на то, как на самом деле предоставляются модели, настроенные для кибербезопасности, проверочный барьер определяется больше, чем любая цифра бенчмарка, потому что именно он решает, кто вообще может проводить оценку. Схема неизменна: этап проверки бизнеса, условия, ограничивающие использование авторизованной работой по безопасности, и политика допустимого использования, в соответствии с которой ведется журнал доступа.

Две детали дизайна в этой схеме стоит перенять, даже если вы никогда не купите кибермодель. Первая — проверка компании, а не самоподтверждение, потому что галочка в чекбоксе не является механизмом подотчётности. Вторая — размещение шлюза вместе со средствами управления средой выполнения — тот же шлюз, который содержит модель, также содержит межсетевой экран, защитные механизмы и логирование, так что разрешение и исполнение находятся в одном месте. Шлюз проверки, который находится в другой системе, отличной от трафика, — это шлюз, который нельзя проверить аудитом.

Наш собственный киберуровень устроен по той же схеме: модели для наступательных задач, шлюзовые механизмы контроля для оборонительных задач и верификация перед обоими. Это также честный ответ на вопрос «можно ли мне просто вызвать эту модель» — для наступательного уровня ответ таков: доступ — это решение, которое кто-то принимает о вас, а не поле в API-запросе.

Какие существуют кибермодели и как их различать

Популяция достаточно мала, чтобы уместиться в голове, и делится по трём категориям выше, а не по вендору.

• Модели, действительно дообученные под кибербезопасность. Обучены на данных с большим объёмом сведений по безопасности; результаты обычно публикуются в CyberGym или CyberSecEval и демонстрируют измеримую разницу в задачах анализа аварийных завершений и написания патчей. Некоторые имеют открытые веса, что позволяет проводить локальную оценку; некоторые доступны только через API и проходят проверку.

• Универсальные модели с выраженным безопасным поведением. Передовые модели, которые хорошо справляются с работой, хотя их специально для этого не настраивали. Часто это правильный выбор для специалистов по защите, потому что та же модель выполняет и остальную работу.

• Агентные продукты. Модель плюс ориентированный на безопасность цикл — песочница, фаззер, планировщик — продаётся как система. Оценивайте их по стоимости одного решения и по тому, что делает цикл при сбое, а не по бенчмарку модели.

• Версии вышеперечисленного с ограниченным доступом. Те же модели, ограниченный доступ. Контроль доступа меняет то, кто может ими пользоваться, а не то, что они умеют.

Сравнение, которое действительно важно для команды безопасности, редко бывает сравнением модели с моделью. Важно то, привязана ли нужная вам работа к знаниям или к циклу. Чтение отчёта об аудите и рассуждение о цепочке эксплуатации привязаны к знаниям и выигрывают от настроенной модели. Запуск фаззера на шесть часов и триаж крашей привязаны к циклу и выигрывают от хорошей инженерии. Большинству реальных программ нужно и то и другое, поэтому полезный вопрос при закупке — «для какой из этих двух задач я покупаю», а не «какая модель набирает больше баллов».

Что спросить перед тем, как завести его

Пять вопросов отделяют решение о категории от маркетингового решения.

• Что изменилось — веса, цикл или доступ? Поставщик должен суметь ответить одним предложением. Если ответ — «цикл», оценивайте продукт как продукт.

• Какой бенчмарк, кем запущен, в каком харнессе? Цифра CyberGym без харнесса — это цифра о конфигурации, которую вы не можете воспроизвести.

• Какова стоимость одного решения, а не процент успеха? Формулировка Wiz верна; два агента с одинаковым процентом успеха — это не одна и та же покупка.

• Что делает шлюз, когда я его не прохожу? Любое развёртывание, зависящее от проверенного доступа, должно сообщать, что происходит при ложноотрицательном результате, потому что ваши собственные инженеры и будут этими ложноотрицательными результатами.

• Чего она не может? Варианты, предназначенные исключительно для защиты, описывают свои собственные ограничения, и эта документация является особенностью — модель, которую нельзя использовать в наступательных целях, представляет собой иной объект риска, чем та, которую можно.

Категория реальна, различия в возможностях реальны, а большая часть путаницы возникает из-за того, что три разных продукта носят одно и то же название. Как только вы отделите веса от цикла и от двери, сравнительные таблицы перестанут противоречить друг другу и начнут говорить о разных вещах — а это единственное условие, при котором команда безопасности может принять с их помощью решение.