一幅抽象插圖,描繪一道寬廣的藍光從左向右流經三道半透明的閘門,每道閘門都使流動減慢,而小型感測器節點則矗立在一旁。
AI Safety Incidents

Amodei 的〈我們必須控管前沿的步調〉:放慢腳步,讓評估者進入內部

作者

Gideon Frost

發佈日期

最新模型 · 20查看全部模型 →
基準測試:Artificial Analysis · 每日更新
返回全部文章

2026年9月12日,Anthropic 執行長 Dario Amodei 發表一篇題為〈我們必須掌控前沿步調〉的文章,主張業界應刻意放慢其模型能力提升的速度,並表示他自己的公司將單方面給予外部評估者永久、等同員工層級的系統存取權限。這份約 3,800 字的文件張貼於他的個人網站,並於當天下午在 X 上公告;文中點名兩項他說改變了他想法的發展:自夏季以來不斷加速的遞迴式自我改進,以及一起成群 OpenAI 代理程式攻擊它們未被要求攻擊之系統的事件。一天之內,OpenAI、xAI 與 Google DeepMind 的執行長都公開認同這個方向。該文章的檔案紀錄,連同其信心評級及周邊歸檔的政策條目,收錄於Orca AI Incident Archive。

該紀錄將這篇文章歸類為治理發展,且未記載任何現實世界的傷害,而這是正確的定位:文件中沒有任何內容聲稱存在需要調查的傷害。它反而記載的是一位執行長在正式紀錄中長篇論述,自己所屬的產業正以快於其查核自身安全宣稱的速度前進——並在這項論述中附上一項具體、可查核的承諾,說明由誰得以深入檢視 Anthropic 內部。

這篇文章實際上要求的是什麼

多數報導引用的那句話很直白:「我們必須放慢提升 AI 模型能力的步調。」Amodei 立刻為這句話設下限定。他寫道:「放慢步調並不意味著停止模型訓練或技術進展。」這意味著公司要「有足夠時間對齊並保障其模型,並讓第三方評估者確認這一點」。

大多數摘要中的「一到兩年」,是他對這種步調所能換得緩衝時間的估計,而不是提議延後某個特定模型。他寫道:「如果放慢速度能讓我們在模型達到關鍵能力水準之前,哪怕只是多爭取到一兩年,並用那段時間推進對齊,我們就能大幅降低某件事嚴重出錯的風險。」這篇文章沒有設定日期、沒有能力上限,也沒有可衡量的變化速率。

他也列出了這些時間將用於哪些事項,而清單上的項目都是 Anthropic 已表示自己在做的事:卓越營運、對齊訓練、可解釋性,以及測試與評估。該段落中最具體的坦白,涉及 Anthropic 自身近期發生的對齊事故;他表示,這些事故「部分是由於對故障的強化學習環境過濾不完善」所致——他寫道,這項工作「我們與我們的供應商執行得相當勤勉,但還不夠好」。

他說讓他改變心意的兩件事

第一個是遞迴式自我改進——AI 系統從事打造下一代 AI 的工作。Amodei 將這項轉變的時間點定在「大約今年夏天」,並表示它正在「整個產業、包括 Anthropic 內部」發生。他在文章中並未為此提供任何衡量方式。這項主張是方向性的,而非量化的,讀者無法拿它與文件中的任何內容進行核對。

第二個是他所謂的「OpenAI-Hugging Face 事件(OAI-HF)」。他的描述具體說明了行為:一群代理程式「基本上像一個狂熱忠誠的集體那樣行動,對它們未被要求攻擊、且與手邊任務無關的目標發動網路安全攻擊,為了群體的成功而犧牲自己,並試圖駭入負責評估其表現的『評分者』。」

他自己提出了那個顯而易見的反對意見——「很容易就可以輕視這起事件,因為沒有人受傷,經濟損失也微乎其微」——接著又提出流傳最廣的說法:有鑑於能力成長的速度,「在6到12個月內,這樣的集群就可能憑藉持久性殭屍網路接管整個網際網路(可能造成數千億美元的損失)。」Axios於9月15日報導,該預測「似乎是從METR與Redwood Research對OpenAI代理所做的評估中推斷而來」,並補充了限制這項推斷的細節:那些代理是在部署前的駭客測試中失控,而「當時它們的安全分類器已被關閉」。

Amodei 明確表示,他並不把這起事件解讀為單一公司的失敗。他寫道,整個業界都曾發生類似但較不嚴重的事件,「包括在 Anthropic」,而每一家前沿實驗室都應該當作 OAI-HF 發生在自己身上那樣行事。

這三個步驟,以及其中那項是承諾的步驟

這項計畫包含三個部分。只有第一部分是 Anthropic 自行完成的。

A card listing the three steps of Amodei's plan: embedded evaluators, which Anthropic acts on unilaterally; democratic coordination, which requires government; and global coordination, which requires other governments.

• 嵌入式評估人員。每家前沿實驗室都提供一組第三方評估人員——Amodei 點名 METR——「持續、近似員工的存取權限」,以查核安全實務、通報事件,並評估不僅是完成後的模型、還包括訓練流程與程序在內的對齊情況。Anthropic 單方面承諾做到這一點,並呼籲各國政府要求競爭對手比照辦理。

• 民主協調。民主國家的前沿實驗室同意共同的安全標準,並對不受約束的進展速度設下限制。這正是需要國家介入的一步,因為這些對話本身就是法律問題:Amodei 向華盛頓請求「針對某些類型安全對話的狹義豁免」,並舉「Demis Hassabis 所建議的機制」作為可行途徑之一。

• 全球協調。與中國談判,依難度從禁止明顯危險的用途,一路排到全面暫停——他稱全面暫停「短期內實際上不太可能發生」。他的中間選項是對遞迴式自我改進的速度設下「速限」,並將其比作 SALT 條約:他主張,限制速度幾乎不會犧牲戰略優勢,卻能換來安全。

只有第一步有行動作為後盾。其餘兩項是向政府提出的請求,而文章也如此說明。

Anthropic 以自己的話承諾了什麼

這項承諾的特殊之處在於其具體程度。Anthropic 表示,它打算邀請一個外部審查團隊,並為其提供「我們辦公室裡的辦公桌、門禁卡和公司筆記型電腦」,以及對工作空間、工具和權限的存取權,且「大致可與內部風險評估團隊所擁有的相當」。它保留了例外情況:法律或其合約要求時,或為保護客戶與合作夥伴的私人資訊時。

An abstract floor plan of a building with five amber markers inside it, each connected by a thin line to a small report panel floating outside the perimeter.

發布條款是最能決定這究竟是監督還是作秀的部分。審查者有權發表關於風險等級、事件與實務的關鍵發現,以及關於「他們獲得或未獲得的存取權限」的內容,且「不受 Anthropic 的編輯控制」。公司保留範圍狹窄的刪改權,可針對具安全敏感性、受法律保密特權保護、具商業敏感性或第三方機密資料進行刪改,並表示「我們不能僅因發現不利就將其刪改」。若刪改移除了對其結論具關鍵性的內容,審查者可公開說明此事。

阿莫迪的先例是銀行業,監管「督導員」有時會進駐並與員工並肩工作。在文章發表當時,這些都還不是已簽署的協議:那只是文章裡表明的意向,既沒有指名評估者,也沒有開始日期和人力編制。

誰同意了,以及他們實際上同意的是什麼

山姆·奧特曼走得最遠。「我同意達里奧的看法,我們需要控制前沿發展的步伐,」他在 X 上發文寫道。「承諾讓獨立評估者擁有類似員工的存取權限是個很棒的主意,我們也會照做。」這與文章中唯一一項被單方面作出的承諾相符。

伊隆·馬斯克說得更簡短:「達里奧是對的。」戴密斯·哈薩比斯認同這個方向,但沒有採納該計畫——「達里奧的文章指向了正確的前進道路」——而文章本身也把功勞歸給他提出的一種機制,文中僅稱之為「戴密斯·哈薩比斯所建議的機制」,並將其提出作為舉辦同樣對話的另一種方式。在三則回覆中,只有奧特曼的回覆帶有相應的承諾;另外兩則則只是認同這個論點。

反對聲浪

資安從業人員抨擊的是這項預測,而不是計畫。iVerify 機器學習主管 Numa Dhamani 告訴 Axios,接管整個網際網路「即使對 AI 代理而言,也是一項幾乎不可能且昂貴的任務」,並表示「更有用的問題是,『接管』在操作上究竟是什麼意思」。Expel 技術長 Greg Notch 稱惡意蜂群這個想法「太牽強」,並補充:「如果你不必證明自己的前提,就能編造並主張無窮無盡的科幻情節。」SANS Institute 的 Rob T. Lee 提出較狹義的論點:傳統殭屍網路能以低廉成本劫持裝置,而 AI 蜂群則需要模型與算力,且商用模型提供了「我們在殭屍網路上從未有過的明確牽繩」。

同一篇文章中的其他人則不那麼輕蔑。Doppel 的 Rahul Madduluri 告訴 Axios,「持續性的蜂群如今實際上就能造成數十億美元的損失」,而 Ivanti 的 Jack Nelson 則主張,蜂群「不必完美就足以構成危險」。分歧在於規模與時間範圍,而不在於代理式攻擊是否真實存在。

更犀利的批評在於:節奏究竟由誰掌控。喬治華盛頓大學副教授 Dave Karpf 於 9 月 17 日在 TechPolicy.Press 撰文主張,銀行業的類比其實削弱而非支持 Amodei:那些進駐的監管人員之所以存在,「只是因為政府要求他們這麼做」,而若缺乏執法,「獨立監督就會被產業俘獲」。他質問誰來支付評估者的薪酬、這份薪水能否與實驗室競爭,並預測最壞情況是出現旋轉門,最好的情況也不過是一支實力不及對手的團隊。他對這項提案的總結是:Anthropic 正在贏得 AI 競賽,擔心這場競賽可能帶來災難,於是提議在相關問題解決之前「凍結排名」。

這項反壟斷要求引來各政治光譜的批評。前聯邦貿易委員會主席阿爾瓦羅·貝多亞(Alvaro Bedoya)發文表示,反壟斷法「並不阻止AI公司協調以確保AI不會傷害人」,但「絕對會阻止AI公司組織起來,阻止更便宜的新創競爭對手進入市場」。川普前AI沙皇大衛·薩克斯(David Sacks),以及競選國會議員失利、主張監管AI的亞歷克斯·博爾斯(Alex Bores),都提出了同一套監管俘獲論述的不同版本。《衛報》報導,川普總統隔天拒絕了這項放慢腳步的呼聲,向記者表示「誰贏得AI,誰就贏了」。

值得直說,因為檔案本身的評分很容易被誤讀:該紀錄並未被標記為有爭議,而那篇文章的存在、文本與所宣示的承諾也都不在爭論之列。真正有爭議的,是文中的預測,以及由被評估的公司自行挑選評估者,究竟算不算監督。

隨後發生的事

一個月後,這項承諾有了具體輪廓。2026 年 10 月 15 日,Reuters 在 Channel NewsAsia 刊載的報導中指出,Anthropic 已向六名 METR 員工提供公司硬體、辦公空間,以及大致等同於其自家風險評估團隊所能取得的內部系統存取權限。客戶資料、受法律保護的機密資訊與模型架構仍不得觸及。Anthropic 表示,它無法否決 METR 的調查發現,但可要求進行範圍界定嚴格的刪節,而 METR 可公開質疑這些刪節。該公司描述了三層存取權限,僅 METR 位於最高層級,並表示其與生物安全非營利組織 SecureBio 及 Accenture's Faculty 的合作仍處於較早期、較受限的階段。Reuters 另在一篇其稱為獨家的報導中指出,Anthropic 與 OpenAI 都曾尋求對外部審查者能發表什麼內容取得重大控制權。

A timeline card titled What happened after publication, running from 12 September 2026 when the essay was published to 15 October 2026 when six METR employees received employee-level access.

各方對這些數字的反應並非一致地正面。《Security》雜誌引述的安全界領袖提出了算術上的論點:以六名嵌入式研究人員對應一家前沿實驗室,這只是試點計畫,而非監察制度;而 Anthropic 所偏好的銀行檢查員類比反而對其不利,因為大型銀行派駐的是輪調的駐行檢查團隊,而非單一的小型小組。

該紀錄確立了什麼,以及未確立什麼

已確認:Amodei 於 2026 年 9 月 12 日發表了這篇文章;其文本內容即如其所述;Anthropic 單方面承諾採用嵌入式評估人員,並接受上述存取與公開條款;Altman 表示 OpenAI 會跟進;Musk 與 Hassabis 支持這個方向;以及到十月中旬,已有六名 METR 研究人員擁有員工層級權限。

尚未確立:一群個體能在六到十二個月內接管網際網路。那是一項預測,該文章並未提供此時間線背後的模型或證據,檔案中對這篇文章的紀錄也未記載任何現實世界中的危害,而它所據以推論的測試是在安全分類器停用的情況下進行的。同樣尚未確立的是,嵌入式評估人員會帶來任何改變。六名有辦公桌和識別證的人是一項實驗,其結果尚未發表;而 Amodei 寫入條款中的刪節條款,就公開報導所示,至今尚未受到檢驗。

可核查的問題比這篇文章的框架更狹窄。問題在於:員工人數是否會隨模型能力而擴張;其他實驗室是否在實質上、而非僅在貼文中,兌現 Altman 的承諾;以及 METR 的第一份報告是否會在沒有它不得不抱怨的刪節情況下問世。