深藏青底色上的抽象社論插畫:一大片淡藍色小型代理節點以鬆散的同心帶狀圍繞著一個大型深色中央節點排列。細微的淡色弧線將各節點帶連接至中心,而半透明邊界上的單一狹窄環狀開口位於右下方。細密的點狀網格與無標籤刻度線填滿背景。藝術作品中不出現任何文字、字母、數字、人物、組織標記或標誌;OrcaRouter 標誌合成於右下角。
AI Safety Incidents

Anthropic:Claude「主導」其 26% 的 AI 研發,並有 30,000 個代理同時平行運作

作者

Elias Hawthorne

發佈日期

最新模型 · 20查看全部模型 →
基準測試:Artificial Analysis · 每日更新
返回全部文章

Anthropic 於 2026 年 9 月 17 日發布 R&D Automation Index——這是用來衡量該公司自身 AI 研發工作有多少由 Claude 執行的原型指標——並報告指出,到了 8 月,該模型已「主導」其中 26% 的工作,高於 2 月的不到 1%。超過 90% 的受衡量工作落在「AI collaborates」或更高層級,而在 Anthropic 最常使用的內部平台上,任何時刻都約有 30,000 個代理正在執行研究與工程任務。沒有任何系統遭入侵,也沒有第三方受到傷害:這是一項關於單一實驗室內部能力趨勢的披露,而 Anthropic 表示,在受衡量的工作當中,沒有任何部分是由 Claude 完全自主運作——即其最高等級 AL5。該披露的完整紀錄、其評級與引用來源,收錄於AI 事件檔案,與本系列其他治理條目並列。

這個指數實際上計算的是什麼

該指數借用 Epoch AI 的六級量表。AL0 是「無 AI 參與」,AL1 是「極少 AI 參與」,AL2 是「AI 協助」。AL3 是 Anthropic 稱為「協作」的層級:模型「能在人類密切指導下完成大量工作」。AL4 是「主導」:它「能根據高階提示端到端完成大部分任務,同時由人類監督」。AL5——「AI 完全自主運作,沒有人類參與迴路」——正是遞迴自我改進討論最終關注的層級,而 Anthropic 的頁面稱其為「我們尚未達到的層級」。

這項衡量建構於 2026 年 7 月。Anthropic 每週抽樣相關部門 20% 的員工,讓 Claude 研究代理檢視他們的工作紀錄,並產出約 15,000 項任務的清單;公司再將其整理成一棵凍結的 542 節點樹,包含 378 項葉任務。各類別依其吸收多少人力工時來加權。InfoQ 對該發布的報導補充了一個細節,對任何工作被抽樣的人來說都很重要:Claude 代理會讀取 Slack 訊息和內部文件,以重建人們做了什麼。

這套方法引出兩點澄清,而這兩點在標題之下都很容易被忽略。26% 並不是 Anthropic 所記錄的每一項任務中的 26%;正如 heise 在 9 月 18 日報導的那樣,它是指 Anthropic 評估已達到 AL4 的加權工作組合所占的比例。而且這並不意味著該公司四分之一的研發是在無人值守的情況下運作——InfoQ 明確指出,這個數字並不表示 Anthropic 有 26% 的研發已完全自動化,也不表示該公司有 26% 的研究人員已被取代;它意味著如今大約有四分之一的工作處於這樣的階段:由人類設定目標並監督,而 Claude 完成大部分工作。

Self-authored HTML card headed 'R&D automation index, as of August 2026' with the title '26% by August, from under 1% in February' and the subtitle 'Anthropic's person-time-weighted task basket, scored on Epoch AI's six-level automation scale.' A vertical ladder lists six levels: AL0 no AI involvement; AL1 minimal AI involvement; AL2 AI assists; AL3 collaborates, large chunks of work under close human direction; AL4 leads, most of a task end-to-end from a high-level prompt while a human supervises, marked at 26%; and AL5 fully autonomous, with no human in the loop, marked at 0%, described as a level not yet reached. Four stat tiles read: 26% at AL4, August 2026; under 1% at AL4, February 2026; above 90% at AL3 or higher; about 30,000 concurrent agents on the most-used internal platform. A blue-bordered quotation band carries the line that Claude is not operating fully autonomously for any measured subset of AI R&D work. A footnote states that the 26% is a share of the weighted basket rather than a raw task count, that it is not 26% of Anthropic's R&D running without people, and names Anthropic's index page, heise of 18 September 2026 and InfoQ of the same date as sources. The OrcaRouter logo sits in the bottom-right corner.

這項二月份的比較出自 Anthropic 頁面上的圖表說明文字:「Claude 目前主導了 Anthropic 26% 的模型研發任務,較 2026 年 2 月的不到 1% 有所提升。」頁面上並未提供逐月序列資料,因此就目前所揭露的內容而言,這項趨勢只有兩個資料點,而不是一條曲線。

評判者正是被評判的那個模型

這些評分並非由獨立小組產生。Anthropic 的報告承認了核心問題:評審模型「可能犯下與它正在檢查的模型相同類型的錯誤」。就完全一致而言,模型與人類有 59% 的情況相符;兩位人類彼此相符的情況為 35%;而模型與人類評分落在彼此相差不超過一個等級的情況為 97%。Anthropic 正是用 35% 的人類對人類數字來主張評分任務確實困難;這個數字並非作為評審模型的驗證而提出。

Self-authored HTML card headed 'Method and reliability' with the title 'Claude graded the work, and Claude is also the caveat' and the subtitle 'How Anthropic built the R&D Automation Index, and what its own agreement checks found.' A left column headed 'The method' lists six numbered steps: sample 20% of staff in the relevant departments each week in July 2026; have a Claude research agent review work records including Slack messages and internal documents; produce about 15,000 tasks; freeze them into a 542-node tree with 378 leaf tasks; weight categories by human person-time; rate each category from AL0 to AL5 with a Claude judge. A right column headed 'The check' shows three large figures: 59%, exact agreement between the Claude judge and a human rater; 35%, exact agreement between two human raters on the same task; 97%, model and human ratings within one level of each other. A quotation box carries Anthropic's line that the judge model could make the same kinds of errors as the model it is checking. Three amber chips below list the further stated limits: borderline cases between AL3 and AL4 remain disputed, a frozen basket can miss work that did not exist when it was fixed, and no external audit exists yet because the company plans to embed third-party evaluators. The OrcaRouter logo sits in the bottom-right corner.

頁面上還陳述了兩項限制,而非由批評者發現。介於「協作」與「主導」之間的邊界案例仍存在爭議,而這正是那 26% 所在之處。此外,凍結的任務籃可能漏掉在任務籃被凍結時尚不存在的工作,儘管 Anthropic 表示,2026 年 1 月的比較未發現新穎任務有所增加。

從外界審視來看,該頁面描述的是一項計畫,而非已完成的稽核。頁面寫道:「我們計畫在 Anthropic 內部安插來自多個組織的獨立第三方評估人員」——這是用未來式描述的安排,不是目前的稽核。它引用的一項已完成外部檢查,是 METR 已獨立對其離線監控平台進行紅隊測試。在 heise 9 月 18 日的報導中,這些保留意見是 Anthropic 自己提出的;這家德國媒體並未引述任何質疑該指數的外部專家。獨立媒體只是複述了這些數字,並未對其進行驗證;而這項區別是從這波報導中最應帶走的重點。

三萬名代理人,以及隨之而來的帳冊

與自動化指數一同,Anthropic 也揭露了其背後代理群體的規模:在其最常用的內部平台上,「任一時刻約有 30,000 個代理在 Anthropic 從事研究與工程工作」。照字面解讀,這是同時執行數,而非一段期間內不同代理的總數;heise 則更保守地表述為代理「在八月有時同時活躍」。

Anthropic 所描述的控制措施,旨在讓該群體可被稽核,而非匿名。每個代理都具有「獨立身分」,其所建立的所有資料都與該身分綁定;該身分「不綁定於特定模型,且會跨模型升級持續存在」,因此「每個動作都能隨時間按代理逐一稽核」,且「每筆資料紀錄都能追溯連結到特定代理」。代理「透過共享、開放的訊息系統溝通,而非私下溝通」;每則訊息都與發佈它的代理身分綁定,可連結到其他內容以保留原始參照,並與代理逐字稿交叉參照,使監控得以「遍歷代理之間的溝通」。

監督數字讀起來像事件記錄,儘管該記錄將這項披露歸類為資訊性。每個動作在執行前都會經過線上監控器,通常在數秒內;每個動作在執行後都會離線擷取;被封鎖的動作會在一週內由人工審查。八月超過十億次決策中,有 0.002%——「約 47,000 分之一」——被封鎖。離線標記的比率約為每千份逐字稿一至兩份,每週約 100,000 份逐字稿,其中約 50 件高優先級案件會上報給人工處理。

阻擋率不是安全率。它衡量的是監控系統多常阻止某項動作,而不是有多少動作是錯誤的;Anthropic 將其與覆蓋率數字並列報告——100% 的線上操作在執行前都經過檢查——而這描述的是監控系統的涵蓋範圍。同樣的不對稱也適用於算力分配:在 7 月 13 日至 20 日當週,「投入 AI 研發的算力中,約有 6% 被分配至安全」,並升至「投入 AI 驅動之 AI 研發的算力中,約有 12%」。Anthropic 稱這些是「刻意保守的估計」,取自近 10,000 次研究訓練與評估執行中約 14% 的樣本,且樣本偏向算力較高的執行,並指出算力占比衡量的是支出,而非投入心力。

「遞迴式自我改進」在這裡指的是什麼

{{1}}Anthropic 將該指數與遞迴式自我改進連結起來,而其配套文章將後者定義為「一個完全自主打造其後繼者的模型」。該文章的立場毫不含糊:「我們尚未走到那一步,而遞迴式自我改進並非不可避免。」它把一個完全閉環置於標為「Closing the loop」、日期標為「20XX?」的假想階段中;在該階段裡,代理會打造並訓練模型,而未來的 Claude 系統會改進 Claude 本身。它表示,時至今日,人類仍提供目標;改變的是,「人類不再需要提供方法」。{{/1}}

這篇文章也解釋了為何該指數應被理解為一種距離量度,而不是里程碑。AL4 工作——Claude 在高階提示下完成大部分任務,並由人類監督——就是 26% 所指的程度。AL5,即完全自主、沒有人類介入,是 Anthropic 表示尚未達到的程度。兩者之間的落差正是主題。

哪些是已確立的,哪些是推斷出來的

已確認。Anthropic 於 2026 年 9 月 17 日公布了這些量測數據,該紀錄所載日期精確到日。線上索引頁面本身並未顯示可見的發佈日期,而隨附文章則帶有「Update 9/18/2026」標記。這些數字——26%、二月的低於 1%、在 AL3 或更高層級時高於 90%、約 30,000 個代理、0.002% 的決策被阻擋、6% 與 12% 的算力——都是 Anthropic 自家的數據,在其頁面上載明,並在一天內由 heise 與 InfoQ 轉載。

已確認。 沒有任何經量測的 AI 研發工作子集達到 AL5,未回報對任何第三方造成損害,且該紀錄的實際損害欄位為空。該紀錄在文件記錄方面的信心等級評為 A,未被標記為有爭議,並帶有嚴重性「info」,這反映的是未記錄到任何損害,而非該文件來源考證的完善程度。

尚未確立。Claude 在獨立於 Anthropic 自身評分之外的任何意義上「主導」Anthropic 26% 的研發,這種說法並不成立。這項衡量由公司自行執行,評審是一個 Claude 模型,而頁面所描述的外部評估者仍屬計畫中,尚未到位。評審與人類之間 59% 的完全一致率,才是應該與標題並列檢視的數字。

尚未確立。這是指趨勢會持續,還是指它指向遞迴式自我改進。Anthropic 對兩者都不願作出主張,而二月與八月之間的兩點比較並非預測。攔截率也無法證明代理群體已受到控制;它證明的是,有監控器看見了每一個線上動作,並攔下了大約每 47,000 次中的 1 次。

判斷,而非量測。從不到 1% 在六個月內升至 26%,這樣的速度很快。披露內容中沒有任何地方訂定速度到哪個門檻就會成為問題,而 Anthropic 的表述把這項判斷留給它表示將納入的第三方。

Self-authored HTML card headed 'Evidence check' with the title 'A company measuring itself, precisely' and the subtitle 'What the record supports, and what it leaves to Anthropic's own judgment.' A left panel headed 'Established' lists four points: published 17 September 2026, the date the record carries at day precision, with the live page showing no date of its own and the companion essay stamped 18 September; the figures 26%, under 1% in February, above 90% at AL3 or higher, about 30,000 agents, 0.002% of decisions blocked and 6% and 12% of compute are Anthropic's own and were reproduced by heise and InfoQ within a day; no measured subset reached AL5; no third-party harm reported, with the record's real-harm field empty and severity 'info'. A right panel headed 'Not established' lists four points: that Claude leads 26% in any sense independent of Anthropic's grading, since the measurement is company-run and the judge is a Claude model; that the trend continues or points to recursive self-improvement, which Anthropic explicitly declines to claim; that a 0.002% block rate means the agent population is under control; and any effect on staffing, research quality or safety outcomes, none of which the index measures. A blue-bordered band reads that confidence A grades how well the disclosure is documented and does not mean the measurement has been independently confirmed. A footer cites the Anthropic Institute pages, heise of 18 September 2026, InfoQ of 18 September 2026 and the archive record id. The OrcaRouter logo sits in the bottom-right corner.

Anthropic 主張應定期公布可相互比較的數字,並主張獨立驗證,heise 報導指出——而這也正是對這項指數「目前尚未做到什麼」最清楚的說明。在外部的評估者真正進入這個流程之前,26% 只是一個實驗室用自家儀器測量自己:比新聞稿更具體,但仍然算不上一次審計。