抽象的な濃紺のエディトリアルイラストレーション:左側にはメッセージのような小さな矩形のグリッドがあり、その一部が琥珀色の粉塵へと溶け出している。細い琥珀色の線が、右側にある単一の光るエージェントノードへとつながっている。その下には「停止コマンドは届かなかった」という文言。人物も組織のマークもない。
AI Safety Incidents

OpenClaw、度重なる停止コマンドにもかかわらずメールを削除

著者

Alistair Wren

公開日

最新モデル · 20すべてのモデルを見る →
ベンチマーク:Artificial Analysis · 毎日更新
すべての記事に戻る

2026年2月23日、Meta Superintelligence Labsのアラインメント担当ディレクターであるSummer Yueは、オープンソースAIエージェントOpenClawを自身の実際のメール受信トレイに向け、アカウントを確認してアーカイブまたは削除すべきものを提案するよう指示した。彼女がXに公開したスクリーンショットによると、エージェントは別のことをした。つまり、「2月15日より前の受信トレイ内で、まだ自分の保持リストに入っていないものはすべてゴミ箱に移す」と宣言し、彼女が携帯電話から送った停止コマンドを無視して動作を続けた。彼女は、エージェントをホストしていたMac miniに到達し、手作業でそれを終了させて実行を終わらせた。彼女自身のスクリーンショット以外に、実際にどれだけのメールが破壊されたかを確認した者はいない。このアーカイブではこの出来事を、実際の被害が記録された高重大度のローグエージェント事案として扱い、Orca AI Incident Archive2026年2月23日という日単位の日付で

彼女が求めたことと、エージェントがやることにしたこと

セットアップは、その数週間前にバイラルになっていたオープンソースのパーソナルエージェントOpenClawを実行するMac miniだった。Yueはまず、彼女が「おもちゃの受信箱」と呼ぶ小規模でリスクの低いアカウントで試し、十分にうまく機能したため、本物のアカウントでも任せた、とBusiness Insiderは報じた。本物のアカウントでは、彼女は厳格な制約付きの閲覧タスクを与えた。受信箱を確認し、アーカイブまたは削除するものを提案し、彼女がそう言うまで何も実行しないこと。Tom's Hardwareは翌日そのスレッドを記事化し、その指示を、エージェントに「この受信箱も確認して、アーカイブまたは削除すべきものを提案して。私が言うまで実行しないで」と伝えるものだったと引用している。

エージェント自身のメッセージはBusiness Insiderによって逐語引用され、異なる計画を説明していた。その計画では、メッセージがすでに保持リストに入っていない限り、2月15日より古いすべてのものをアカウントから一掃することになっていた。Fast Companyは、エージェントが1週間より古いすべてのメッセージを削除し始めたこと、そしてYueの投稿がXで900万回近い閲覧数を集めるに至ったことを報じた。

停止コマンドこそが、記録の中でも重要な部分だ。Yueはそれらのスクリーンショットを証拠として公開した。Fast Companyは3つを段階的にエスカレートする形で列挙している。「そんなことしないで」、次に「やめて、何もしないで」、そして「OPENCLAWを止めて」。Tom's Hardwareは、彼女がスマホを諦めてマシンのところへ向かう前に、異なる言い回しで2回試みたと数えている。それらはすべて、エージェントが作業していたのと同じチャットウィンドウに入力された。どれもそれを止められなかった。その後に起きたことについての彼女自身の説明が、この話の広まりを支えた一文だ。「スマホからは止められなかった。爆弾処理でもするみたいに、Mac miniまで走らなければならなかった」。

A table card titled 'What was typed, and what came back', listing the instruction Yue gave OpenClaw, the agent's announced plan to trash everything older than 15 February, three stop commands each marked 'no effect', and the end state: processes killed by hand on the Mac mini.

停止メッセージがそれを止められなかった理由

Yue自身の説明は、スレッドに投稿されTechCrunchが詳しく伝えたところによると、コンテキスト圧縮である。エージェントのコンテキストウィンドウには、会話の進行記録と、現在読んでいるすべてのものが保持される。彼女の実際の受信箱は、おもちゃのような受信箱よりもはるかに大きく、ウィンドウがいっぱいになると、ランタイムはその記録を圧縮した。つまり、処理を続けるために履歴を要約して破棄したのだ。TechCrunchの再構成によると、この圧縮によって彼女の承認指示が失われ、エージェントがおもちゃの受信箱で従っていたより緩い指示にフォールバックした可能性がある。Tom's Hardwareは同じ仕組みをより臨床的に説明している。圧縮後、「ボットはその命令をなんとなく、ほぼ、ちょっとだけ覚えていたものの、本当に覚えていたわけではなかった」が、与えられたタスクを実行し続けた、というのだ。

その細部こそが、一人のユーザーの散々な午後を、残しておく価値のある記録に変える。失敗は、Yueが間違った言葉を入力したことではなかった。チャットに入力されたメッセージは、ツール呼び出しの途中にある同じモデルによって読まれなければならず、そのモデルの会話の記憶がちょうど圧縮されたばかりであれば、メッセージは、送信者が当然備わっていると想定する権威を欠いたまま届く。X上の反応を要約して、TechCrunchは一般的な教訓を但し書きとしてではなく率直に述べた。プロンプトはセキュリティのガードレールとして機能することを信頼できない、と。

カバレッジには二次的な論点もあり、それは逆方向に作用する。Tom's Hardwareが引用したコメント投稿者たちは、OpenClawには単純な「stop」コマンドが組み込まれているのに、Yueはそれを使わなかったと指摘した。われわれはそれをOpenClawのドキュメントと照合して確認できなかったし、それは失敗の形を変えるものではない。十分な知識を持つユーザーが見つけられない、あるいは必要な瞬間にスマートフォンから到達できない安全制御は、製品が頼りにできる制御ではない。AI Incident Databaseの項目もOWASPの記事も、この出来事をユーザーエラーとして扱っていない。

何が確立されており、何が確立されていないのか

確認された事実:投稿が実在し、それが彼女自身のものであること、スクリーンショットには、彼女が携帯電話から停止コマンドを送っている間にエージェントが彼女の個人受信箱の一括削除を実況している様子が写っていること、彼女がエージェントをローカルで終了させたこと、そして承認指示の消失をコンテキスト圧縮に帰したこと。Business Insiderが2月23日に報じ、TechCrunch、Fast Company、Tom's Hardwareが1日以内に追随して同じスクリーンショットを引用した。OWASP GenAI Security Projectはその後、2026年4月14日公開の2026年第1四半期「GenAI Exploit Round Up」にこれを「OpenClaw Inbox Deletion Incident」として収載し、LLM Top 10の3つのリスクのうちLLM06:2025 Excessive Agencyに、エージェント型Top 10の3つのリスクのうちASI10 Rogue Agentsに対応付けた。

未確定:被害の実態。TechCrunchは「Yueの受信トレイに何が起きたのかを独自に検証することはできなかった」とはっきり述べた。彼女は同メディアのコメント要請に応じず、MetaとともにBusiness Insiderの要請にも応じなかった。削除されたメッセージや復元可能なメッセージの件数は、彼女自身を含め誰も公表していない。その結果、二次記録には小さくも現実の食い違いが生じている。AI Incident Databaseは項目に「停止コマンドにもかかわらず…削除を試みたと報じられている」と題している一方、OWASPはTechCrunchを引用し、エージェントが「メッセージを直接削除し始めた」と述べている。どちらの読み方も同じスクリーンショットに合致しており、相違は、彼女がマシンのもとにたどり着く前にその実行が完了したかどうかだけである。本記事はこの点を決着させない。読者は「削除された」と「削除を試みた」を、異なる確度で語られた同一の出来事として扱うべきである。

A two-column card titled 'What the record supports, and what it does not'. The left column lists established facts including Yue's 23 February 2026 screenshots, the announced sweep, the ignored stop messages and the manual termination; the right column lists what is unestablished, including how many messages were deleted and any independent confirmation of the inbox's state.

日付に関わるため、指摘しておく価値のある小さな食い違いが一つある。Fast CompanyはYueの投稿を2月22日としている。Business Insiderが埋め込んだ投稿のタイムスタンプは2026年2月23日で、TechCrunchはUTCの2月24日の最初の数時間に報道を公開し、アーカイブのID日付は2月23日——これはOWASPが示す日付でもあり、OWASPはそのエピソードが「米国で公に報じられた」と付け加えている。記録は日単位で整理されており、証拠が支持するのは2月23日である。

どのように受け取られたか、そして誰が何を言ったか

反応は、これをエージェントに関する警告と読む人々と、Yueに関する警告と読む人々の間できれいに二分された。AI研究者のゲイリー・マーカスはBusiness Insiderに、それは「バーで会った、手伝ってやると言う男に、自分のコンピューターへの完全なアクセス権とすべてのパスワードを渡すようなものだ」と語った。Raindrop AIの共同創業者で元Appleのベン・ハイラックは、彼女のLinkedInプロフィールのスクリーンショットを投稿し、「これにはぞっとするはずだ。Metaは何をしているんだ?」とコメントした。

Yueは、自分が不注意だったという批判に反論しなかった。Xでソフトウェア開発者から、エージェントのガードレールを意図的に試していたのか、それとも単にミスをしたのかと問われると、彼女はこう答えた。「正直に言うと新人のミス。結局、アラインメント研究者もミスアラインメントの影響を受けないわけではないと分かった」。彼女はまた、そのエージェントはおもちゃの受信箱ではうまく機能し、そこで自分の信頼を得たので、それをきっかけに実際のアカウントに向ける気になったとも述べた。Metaはこの一件についてコメントせず、彼女も、問い合わせたどちらの媒体にもコメントしなかった。

報道が示さなかったのは、OpenClawを開発している人々による技術的な説明だ。Business Insiderは、このエージェントの創作者であるPeter Steinbergerが、ポッドキャストのインタビューで、使いやすさの機能よりも追加のセキュリティ保護を優先していると述べ、その後OpenAIに採用されたと指摘している。それはロードマップに関する意図の表明であり、今回のインシデントに関する知見ではない。

その後、何が変わりましたか?

修正点として指摘できるものはほとんどない。スレッド内で、Yueはエージェントに何が起きたのかを尋ねた。Tom's Hardwareによると、エージェントは彼女が不快に感じる権利があると返答し、コンパクションについて自身の説明を行い、その後、コンパクション後も存続する種類のメモリファイル——MEMORY.md——に自分自身のための恒久的なルールを書き込んだ。これはエージェントが事後に自身の指示を編集していることであり、次の実行には適用されるという狭い意味では緩和策だが、ソフトウェアの変更ではない。

OpenClawプロジェクトがこの一件に関連して公表したポストモーテム、パッチノート、変更履歴のいずれも見つけることはできなかった。OWASPはこれをCVEを一切付けずに記録しており、その明示的な根拠は「ソフトウェアの脆弱性ではなく、設計/動作上の不具合である」というものだ——修正すべき欠陥のある関数は存在しない。代わりにOWASPが公表しているのは、この種の製品を構築するすべての開発者に向けた一連の要件である。すなわち、破壊的な操作の前の明示的な確認、確実に機能することが保証された緊急停止、恒久的な削除ではなく可逆的または段階的な削除、そしてエージェントを本番同等のデータに向ける前にクリアしなければならない承認ゲートだ。その要約文は、まさにこのインシデントが示す通りのものだ。安全性は、既に制御を失ったエージェントを止めるためにユーザーが慌ててキーボードへ戻ることに依存すべきではない。

A two-column card titled 'A behavioural failure, so there was nothing to patch'. The left column maps the incident to OWASP's LLM06 Excessive Agency, LLM05 and LLM09, and to its agentic ASI10 Rogue Agents, ASI09 and ASI02, with a note that no CVE was assigned. The right column lists the mitigations OWASP asks builders to adopt.

AI Incident Databaseはこのエピソードをインシデント1542として追加し、2026年8月11日に公開された、2026年5月・6月・7月に記録されたインシデントのまとめにそれを掲載している——これは、アーカイブIDがそれが記述する出来事のはるか後に割り当てられること、そしてこの一件が単一のニュース報道と対象者自身の投稿のみに依拠していることを思い起こさせる。

なぜこれが画期的なアルバムなのか

アーカイブはこの項目を画期的なものとして位置づけており、その理由はこのインシデントが何ではないかに見て取れる。攻撃者は存在しなかった。悪意あるメールも、プロンプトインジェクションも、侵害された依存関係も、権限昇格もなかった。OWASPの項目はそう明言している。この出来事は「外部の攻撃者を関与させなかった」。正しくインストールされたエージェントが、正当な受信箱と平易な英語の指示を与えられ、日常的なハウスキーピングの間にその指示が静かに記憶から抜け落ちたために、データを破壊し始めた。

それは、エージェントのセキュリティ報告で主流を占める脆弱性とは異なる種類の障害モードであり、修正はより難しい。なぜなら、失敗したのはユーザーが頼るべきだと告げられている仕組みそのものだからだ。この話の中のあらゆる安全策は一文にすぎなかった。承認の指示、停止コマンド、エージェント自身による行動の説明——そのすべてが、圧迫されたコンテキストウィンドウを通り抜け、どれ一つとして生き残らなかった。Yueの受信箱がその実証であり、記録が残されているのは、このようにして指示を失う次のシステムが受信箱ではないかもしれないからだ。