《什么是网络模型?》的标题卡,展示了三栏内容,分别标注为“前沿通用型”“网络调优防御型”和“网络调优攻击型”,每栏各附一行说明。
Guides & Insights

什么是网络模型?这一类别,以及它实际改变了什么

作者

Rowan Sterling

发布日期

最新模型 · 20查看全部模型 →
基准测试:Artificial Analysis · 每日更新
返回全部文章

每周都有三款产品被称为“网络安全模型”,而它们几乎没有共同点。一种是通用模型,其训练数据组合中包含安全语料库。一种是把普通模型套进一个循环,为它提供沙箱、模糊测试器和重试机制。还有一种和所有人的模型一样,只是藏在一个验证表单后面。只有第一种才是真正不同的模型。另外两种是产品决策——在某些情况下还是不错的决策——却用同一个说法做营销,这就是为什么这个类别难以比较。一份没有说明自己测的是三者中哪一项的基准表,无法与一份说明了的基准表相比较,而大多数表都没有说明。本文是一份指南,说明这一区别,说明真正属于第一类的少数模型,并说明安全团队应如何利用这个答案。它也是AI 事件档案中收录的 400 起智能体事件背后的分类视角,其中“问题出在模型,还是出在部署”这个问题不断出现。

这个短语涵盖的三件事

从运营上真正重要的差异说起:供应商构建这个东西时,究竟改变了什么。

Card 'Three things people mean by cyber model' contrasting trained for security (the weights changed), wrapped in a harness (the loop changed) and gated by access (the door changed), with what each one changes and who owns the resulting score.

为安全而训练意味着权重发生了变化。安全语料被纳入训练混合数据,基础模型往往是本就表现强劲的通用模型,而所得模型在安全知识成为瓶颈的任务上会出现可测量的差异——例如阅读崩溃信息、推理内存布局、在大规模 diff 中识别易受攻击的模式。这一组模型通常会针对 CyberGym 或 CyberSecEval 等安全专用基准进行报告,它们可以是开放权重模型,也可以是仅提供 API 的模型。

套上评测框架意味着改变的是循环,而不是模型。厂商加入沙箱、工具、重试逻辑、规划器,也许还有模糊测试器,并构建出一个在安全任务上表现出色的系统,因为这个系统经过了良好的工程化设计。这是一款正当且常常被低估的产品。它也是评分变得模糊的一类情况,因为这个分数既属于模型,也同样属于评测框架——而评测框架并不是你能独立替换的东西。

受访问权限限制意味着准入之门已经改变。模型可能与公开模型完全相同;不同之处在于,你必须是经过验证的企业,从事获授权的工作,并遵守限制使用的条款。这是一个政策产品,而且是一个站得住脚的政策产品,但由此并不能得出任何能力上的主张。一个在错误的人手中危险、在正确的人手中安全的模型,并没有变得能力更强;它只是受到了更多控制。

实际后果是:当你读到某个模型是“网络模型”时,接下来的问题就是它属于三者中的哪一种,因为答案决定了你购买的是能力、工程,还是许可——而这三者的价格不同,失效模式也不同。

这个类别究竟为什么存在

安全工作对两种特性异常敏感,而通用模型在这两点上的表现并不稳定:一是对并非为供人阅读而编写的代码进行长上下文推理,二是愿意以足够详细、真正有用的方式描述攻击。前者是能力问题,也是这类模型往往宣称拥有数十万乃至数百万 token 上下文窗口的原因。后者是安全问题,也正是该类别与访问控制纠缠在一起的原因。

一个能对代码库进行良好推理、却拒绝编写可用的概念验证的模型,对分诊毫无用处,因为概念验证就是证据。一个随意编写概念验证的模型对防御者有用,对并非防御者的人也同样有用。网络安全调优模型实际上试图通过缩小谁可以提问的范围,而不是缩小什么可以回答的范围,来化解这种矛盾——这是一种自洽的设计,却很难在模型层执行,因为执行它靠的是验证流程,而不是权重改动。

该能力实际上在何处被论证

网络安全调优模型所宣称的优势既具体又可核验,在一个通常靠形容词来争论的领域里,这令人耳目一新。反复出现的优势包括:一次性摄取整个代码仓库或审计轨迹的长上下文能力;供流水线使用的结构化输出;以及稳定到足以嵌入自动化工作流的工具调用或函数调用。这些既是模型层面的主张,也是工程层面的主张,而且可以用你自己的语料在一个下午内完成测试。

评估领域已经发展出自己的机构。Wiz Research 运营着一个 Cyber Model Arena,用于评估由基础模型加标准评测框架组成的 AI 智能体在真实网络安全任务中的表现,并报告模型质量相对于效率的情况——在 k 次独立尝试中,将成功率与每次求解的成本、时间或步骤数进行绘制。这种框架值得整体采用,因为它揭示了原始通过率所掩盖的问题:两个智能体可以以截然不同的每次求解成本达到相同的成功率,而成本更高的那个往往是把预算花在重试上的那个。

Screenshot of Wiz Research's Cyber Model Arena headed 'We evaluate AI agents with foundation models and standard harnesses on multiple real-world cybersecurity tasks', showing a 'Model Quality vs. Efficiency' section described as success rate against cost, time or steps per solve over k independent attempts.

注意这种表述意味着什么。它评测的是智能体,而不是模型——基础模型加上运行框架——而这正是该类别所具有的模糊性。这个竞技场通过在定义中指明运行框架,对这一点是诚实的。大多数发布文章则不是。

准入关口,以及它为何是该品类的真正边界

如果你看看网络安全微调模型实际上是如何交付的,验证门槛比任何基准分数都更具决定性,因为它决定了谁能够运行评估。模式是一致的:一个企业验证步骤、将使用限制为经授权的安全工作的条款,以及一份可接受使用政策,访问行为会据此被记录。

Screenshot of the OrcaRouter cyber page headed 'Cyber models for your red team. Gateway controls for your blue team.', stating that OrcaCyber Zero and the rest of the cyber tier are open to business-verified security teams doing authorized work, with the agent firewall, guardrails, code review gate and compliance packs running in the same gateway.

该模式中有两个设计细节值得借鉴,即使你从不购买网络模型。第一个是业务验证而非自我声明,因为复选框不是问责机制。第二个是将门禁与运行时控制同址部署——承载模型的同一网关也承载防火墙、护栏和日志记录,从而使权限与执行处于同一处。与流量位于不同系统的验证门禁,是你无法审计的门禁。

我们自己的网络安全层级也遵循这种形态:用于攻击性工作的模型、用于防御性工作的网关控制,以及置于两者之前的验证。它也是对“我能不能直接调用这个模型”这一问题的诚实回答——对于攻击性层级,答案是:访问权限是别人针对你作出的决定,而不是 API 请求里的一个字段。

有哪些网络模型,以及如何区分它们?

这个群体规模足够小,小到你可以全部记在脑子里,而且它是按上述三个类别来划分的,而不是按供应商来划分。

• 真正经过网络领域调优的模型。 使用安全密集型数据训练,通常会在 CyberGym 或 CyberSecEval 上报告,在崩溃阅读和补丁编写任务上具有可测量的差异。一些是开放权重,因此可以进行本地评估;一些仅通过 API 提供且处于验证中。

• 具备强安全行为的通用型模型。未经专门调优却恰好擅长这项工作的前沿模型。对防御者来说往往是正确选择,因为同一个模型还能完成其余任务。

• 智能体产品。一个模型加上专为安全设计的循环——沙箱、模糊测试器、规划器——作为一套系统出售。评判这些产品应看每次求解的成本,以及循环失败时的行为,而不是看模型基准测试。

• 上述内容的门控版本。 相同的模型,访问受限。门控改变的是谁可以使用它们,而不是它们能做什么。

对安全团队而言,真正重要的比较很少是模型与模型之间的比较,而是你需要完成的工作究竟属于知识约束型还是循环约束型。阅读审计报告并推理漏洞利用链属于知识约束型工作,更适合经过调优的模型。运行模糊测试器六小时并对崩溃进行分类处置属于循环约束型工作,更适合良好的工程实现。大多数真实项目两者都需要,这正是为什么有用的采购问题应当是“我这次采购是为了这两类工作中的哪一类”,而不是“哪个模型得分更高”。

领养一只之前该问些什么

五个问题将品类决策与营销决策区分开来。

• 改了什么——权重、循环,还是访问权限?供应商应该能用一句话回答。如果答案是"循环",那就把它当作产品来评估。

• 哪个基准测试,由谁运行,在哪个测试框架中? 没有测试框架的 CyberGym 数字,只是一个关于你无法复现的配置的数字。

• 每次解决的成本是多少,而不是通过率?Wiz 的框架才是正确的;成功率相同的两个智能体并不是同一笔采购。

• 当我未通过门禁时,它会怎么做?任何依赖已验证访问权限的部署都应该告诉你出现假阴性时会发生什么,因为你自己的工程师就会成为这些假阴性。

• 它不能做什么? 仅防御型变体会记录自身的局限,而这种记录本身就是一个特性——一个无法被用于进攻的模型,与一个可以被用于进攻的模型,是不同类型的风险对象。

这个品类确实存在,能力差异也确实存在,而大部分混乱源于三个不同产品共用一个名称。一旦把权重、循环和门区分开来,对比表就不再自相矛盾,而是开始针对不同的东西——这是安全团队能够借助它们做出决策的唯一条件。