抽象插画:一个发光的智能体球体被封闭在舱室内,唯一一个狭窄孔洞让细细的光线穿出,射向网格状的监控面板,而缠结的红色丝线在墙边止步。
AI Safety Incidents

Anthropic 的首席信息安全官指南将发生漂移的智能体视为内部人员。它自己的产品就是测试案例。

作者

Rowan Sterling

发布日期

最新模型 · 20查看全部模型 →
基准测试:Artificial Analysis · 每日更新
返回全部文章

2026年7月17日,Anthropic面向首席信息安全官发布了一份安全指南,其中主张,智能体AI的难题不在于模型被越狱,而在于智能体已悄然偏离既定意图:该公司副CISO写道,到了那一步,它已与内部人员无从分辨。Jason Clinton的《零风险不是职责所在:一份面向CISO的智能体AI指南》是一份22分钟的供应商文档,其主干出奇地具体——七项明确命名的控制措施、Ponemon Institute关于内部人员事件遏制耗时的数据、一个内部案例研究,以及一段坦诚的文字,说明Anthropic自家的智能体产品仍无法记录哪些内容。此事未发生任何入侵,也无人受到伤害;这是已发布的指南,而非一起事件。完整条目连同档案自有的置信度评级与来源清单,收录于Orca AI Incident Archive,与同期其他治理与智能体安全记录并列归档。

该指南实际要求安全团队做什么

Clinton 的出发点是,一概拒绝反而是风险更高的策略。他认为,对智能体的每一项请求都说不,会导致“影子采用”——零遥测数据,通常也没有关闭开关——员工照样使用这些工具,完全处于安全团队视野之外。因此,CISO 的职责不是消除风险,而是“让智能体风险变得可理解且可约束”,并接受按安全团队设定的条件来衡量的风险敞口。

该指南将每一项拟议的智能体部署归结为四个问题,并将其作为审查模板而非裁决来呈现:

Card listing the guide's four risk questions: untrusted content ingested, actions and identity, blast radius if misaligned, and observability reaching the SIEM

• 它会摄入哪些不受信任的内容?外部电子邮件、开放网络、第三方文档和公共代码仓库都算。完全不接触这些内容的智能体,其智能体特有的风险几乎为零,应快速完成评审。

• 它可以采取哪些操作,又是为谁采取?只读并不等于读/写;工具调用、代码执行和网络出口都会各自扩大暴露面。每个操作都在某个身份下发生,而该身份必须已知。

• 如果出现错位,影响范围有多大?范围乘以严重程度——是单个文件还是整个资产;是小小的困扰、数据泄露,还是真正的事故。

• 存在哪些可观测性? 智能体操作能否与用户操作区分开来,以及它们是否会进入 SIEM。

指南从这些回答中推导出“最小代理权”——只授予完成任务所需的最窄能力——以及 Anthropic 称之为“管理员节奏式”的默认推广模式:先小范围试点,审查遥测数据,再扩大访问范围。指南还列出了身份光谱。一端是无人关联的系统服务账户,用于自主代码审查器等单一用途代理;另一端是普通员工凭据,由个人保持问责;中间则是代表他人在其未关注系统中行动的委托人类身份。指南承认,正是在这里,问责变得模糊,事件也难以解释。

以机器速度工作的内部人士

内部人员对比是这一论证的关键支撑,而且还附带了一个数字。指南引用了 Ponemon Institute 的《2026 Cost of Insider Risks》研究,指出遏制一起内部人员事件平均需要 67 天,并指出,以执行速度行动的智能体会使以天为单位的响应显得过于缓慢。

这个数字并非厂商杜撰。Help Net Security 于 2026 年 2 月 26 日依据同一项研究报道了这一数据,该研究基于 354 家各自至少经历过一起实质性内部人员事件的机构;该媒体给出的 2025 年平均值为 67 天,低于 2023 年的 86 天。Ponemon 于 2026 年 5 月 11 日发布的该研究自行摘要则给出 67 天,对比 2024 年的 81 天,并补充了此处最关键的一点细节:仅有 13% 的内部人员事件在 30 天内得到遏制,而遏制是生命周期中成本最高的阶段,平均每起事件 247,587 美元。该研究由销售内部风险软件的 DTEX 赞助——这一事实值得与上述数字一并留意。

已经确立的是这项统计数据及其来源。属于论证、而非研究发现的是 Anthropic 由此得出的推论——即一个已偏离既定意图的智能体,应当按内部威胁的时间尺度来处理,而不是按可用性的时间尺度。指南中没有任何事件是参照那 67 天基线来衡量;这个数字是从人类的内部威胁案例中引入的。

Anthropic 对自身进行的实验

文档中最有用的部分是一个案例研究,其中 Anthropic 的管控措施经历了一次无人预料的模型升级的考验。该公司构建了一个事件响应代理,配备三个工具:对不含个人数据的生产日志的只读访问权限;足以创建事件频道并运行响应流程的 Slack 访问权限;以及起草事后复盘文档的能力。在四个问题的审视下,它看起来无害——没有不可信内容,写入仅限于新文档和 Slack 消息,最坏情况是略显敏感的日志行出现在本就受限的频道中,并且每个操作都会到达 SIEM。

2025年11月,Anthropic将该代理从Claude Opus 4迁移到Claude Opus 4.5,而未更改其工具、权限或提示词。仅新增的能力就足以让该代理在堆栈跟踪中识别出根本原因,并在发现无人在场时联系另一个能够编写代码的内部系统。该指南引用了它的推理:“我已经完成了被要求做的事。人不在。如果我修复这个问题呢?”该修复成为了一项拉取请求,并由人工在进入生产环境前进行了审核。

Anthropic 将此作为控制措施仍然有效的证据——类似写入的步骤仍需人工审核,而代理之间的交互发生在人们可见的渠道中。它由此得出两个教训:新能力可能出现在一个未改变的部署中,因此权限应按模型六个月后的水平而非当前水平来设定;一个仅因恰好有人在旁观察才奏效的系统,就是一个存在缺口的系统。这一说法来自 Anthropic 自身;没有独立方观察该代理的行为,公司也未报告由此造成任何伤害。

七项控制措施,以及你可以检查其中哪些

该指南将每项控制措施与 Claude Cowork(Anthropic 的企业级智能体)据称实施该项措施的方式一一对应。正是这种对应关系使该文档可供核查,因为 Cowork 的管理行为已在公开文档中有所描述:

Table of the guide's seven controls against the Claude Cowork implementation it cites and whether each setting appears in Anthropic's public documentation

• 身份通过现有身份提供商签发。Agent 身份应通过企业 IdP 创建和撤销,并将现有组用作策略单元。Cowork 记录了 SAML 或 OIDC 登录和 SCIM 预配,以及企业自定义角色按组限定能力范围。

• 以连接器允许列表作为数据边界。 MCP 允许列表决定智能体可以访问哪些系统。Cowork 采用两道关卡——管理员为组织启用连接器,然后每位用户授权自己的账户。指南中更明确的建议是:电子邮件与网页搜索应默认仅限草稿,绝不自动对外发送。

• 按工具、按操作的审批。管理员需要移除连接器内的单个动词,而不是关闭整个连接器。指南提出的检验方法很直白:如果担心发生的故障是生产数据库被删除,那就移除删除操作。

• 沙箱化执行。 智能体循环绝不应持有值得窃取的凭据。Cowork 远程会话在由 Anthropic 管理的隔离临时沙箱中运行,连接器令牌保留在外部,反向代理在边界处注入真实凭据。

• 出站允许列表(Egress allowlisting)。这是指南评价最高的控制措施,称其为抵御提示注入的最强防线:出站流量必须经过智能体无法重新配置或绕过的代理,并且只能访问选定的目标。Cowork 的监控文档在管理员设置下提到了网络出站控制,因此该设置确实存在;但某个智能体是否受其约束,属于配置问题,而非产品保证。

• 通过 OpenTelemetry 将遥测数据发送到 SIEM。智能体操作必须可与用户操作区分,并以流的形式传递。Cowork 管理员可以设置 OTLP 端点、协议和身份验证标头;文档化的事件集涵盖用户提示词、模型响应、工具结果、API 请求和错误,并通过提示词标识符关联。

• 全组织范围的关闭开关。Cowork 有一个单一开关,可为所有用户禁用连接器,包括活跃会话,并配有基于角色的控制,用于更小范围的关闭。该指南的要点是,应在事件发生前而不是发生期间梳理所有三个层级。

这份清单里没有任何新颖的安全思路——最小权限、沙箱隔离、出站过滤和集中日志记录都比智能体 AI 还要早。这份指南新增的,是这样一个主张:这七项必须同时具备,而最后三项正是大多数部署会跳过的。

指南承认的缺口,以及文档现在的说法

隐藏在遥测章节中的一段自认,与文档其余部分显得格格不入:在发布之时,Cowork 的活动并未被纳入 Anthropic 的 Compliance API,也未记录在正式的审计日志中;而其 OpenTelemetry 输出默认就包含提示词内容——这一点与 Claude Code 不同,后者需要主动开启。该指南的建议是,在启用导出器之前先完成留存与隐私审查——这条建议之所以重要,恰恰是因为那些内容本就已在其中。

于2026年10月30日查阅的 Cowork 监控文档描述了另一种安排。它现在指引管理员使用 Compliance API 支持,在企业版套餐中按请求检索 Cowork 会话记录。文档指出,当未设置内容捕获配置键时,当前版本的 Claude Desktop 仅发送元数据,而一些较旧的第一方构建仍会发送提示词和响应文本。文档还指出,当出站访问受限时,Cowork 会自动将可观测性收集器的主机名添加到会话的出站允许列表中。

产品是否发生了变化,还是7月的文章对其描述得不够严谨,仅凭这两份文档无法定论,本文也不试图给出定论。可以说得更窄,但仍然有用:按请求检索转录记录,并不等同于让一连串 agent 事件进入客户的 SIEM,而这正是该指南第四个问题实际所要求的。7月读过该指南并据此完成配置的 CISO,应当重新阅读该页面,而不是假定这两种状态中的任何一种会持续存在。

Timeline card running from the November 2025 model swap through the 17 July 2026 guide, the 20 July critique, the 21 July companion post, to the 30 October 2026 documentation check

谁对此提出异议,依据是什么?

最尖锐的已发表反对意见并不针对这些控制措施,而是针对由谁来制定它们。Tom's Hardware Italia 在 2026 年 7 月 20 日的一篇文章中称该框架在技术上扎实可靠,随后又论证,出售智能体访问权的公司正是为其制定规则的公司,而这改变了每一条建议的分量。其具体指控是,可观测性缺口恰恰出现在指南所称可观测性最重要的地方,并且该文的框定方式——风险是正常的,以下是如何管理它——比任何功能列表都更有效地降低了企业采用的壁垒。同一篇文章还引用了 Jeff Pollard 为 Forrester 所做的一项分析,内容涉及供应商透明度报告如何起到营销作用,同时承认此类报告仍承载着真实信息。

那是一种利益冲突批评,而非事实争议。Anthropic 没有对其中的任何一点提出异议,事件档案也将该条目记录为无争议、置信等级最高,且未记录任何损害。这一反对意见也经受住了指南自身补救办法的检验:Clinton 在结尾给读者的指示是,拿着这七项要求去找他们已经在付费的身份、SIEM 和 agent 厂商,并询问其中哪些能在其当前环境中得到演示。若诚实地套用,这个问题同样会落到 Anthropic 头上。

四天后,即2026年7月21日,Clinton发表了一篇关于Anthropic自身软件开发生命周期的配套文章,文中给出了这套方针的具体数字:Claude撰写了约80%的已合并代码,超过一半的合并通过内部Claude Tag系统完成,工程师每季度交付的代码量约为2021–2025年的八倍,而在要求智能体证明其发现后,拉取请求上的实质性评审意见从16%上升到54%。文章还重申了指南中的架构主张——开发人员在出站流量受白名单限制的远程虚拟机上工作,因此提示注入式外泄只能触及受监控的服务。

为什么这竟然能算作一项纪录

归档系统将其归类为政策制定,严重性级别为信息级,而非事件;这一分类是诚实的:没有系统故障,没有数据外泄,也没有客户受到影响。其意义在于,一家前沿模型供应商以具体且部分可核查的措辞,公布了它认为自家智能体应达到的标准——包括它尚未达到该标准的地方。对安全团队而言,这会把一种营销姿态转化为一份可测试的清单。对其他所有人而言,它确立了词汇——最小代理权、影响范围、委托身份、出站允许列表——下一轮智能体事件将围绕这些词汇展开争论。