Anthropic、エージェントの自律性を測定——承認義務化には反対

2026年2月18日、AnthropicのSocietal Impactsチームは「Measuring AI agent autonomy in practice」を公開した。これは、同社の公開APIを通じて行われた998,481件のツール呼び出しと、500,000件のインタラクティブなClaude Codeセッションを分析したものであり、立法者に向けた提言で締めくくられている。すなわち、監督規則は、エージェントが実行するあらゆる行動について人間の承認を求めることを含め、特定の相互作用パターンを規定すべきではない、というものである。この投稿は提出書類ではなく調査報告書だが、政策記録としてインシデントアーカイブに登録されている——重大度情報、信頼度A、記録された危害なし、異議なし——なぜなら、あるモデルベンダーが自社のファーストパーティテレメトリを用いて、一般的な規制設計の一つは「安全上の利益を必ずしも生み出さずに摩擦を生む」と主張したからである。完全な記録は、一次資料と分類を含み、Orca AI Incident Archiveに、このシリーズの他のガバナンス項目と並んで収められている

報告書には20名の寄稿者が名を連ねており、その中にはMiles McCain、Thomas Millar、Saffron Huang、Alex Tamkin、Jack Clark、Deep Ganguliが含まれている。同報告は、Anthropicのプライバシー保護型分析ツール「Clio」を活用しており、投稿では、基盤となる会話を読むことなく同社が実際の顧客トラフィックを調査できるようにした点をClioの功績として挙げている。その方法論こそがこの記事の本質だ。以下のすべての数字は、ベンチマークがエージェントにできると述べていることではなく、人々がエージェントを使って実際に行ったことの測定値である。

Anthropicが測定した内容と、その方法

Anthropicはエージェントを「行動を起こすことを可能にするツールを備えたAIシステム」と定義している。コードを実行し、外部APIを呼び出し、他のエージェントにメッセージを送る。この定義が分析単位を定める。同社が見ることができないと述べている各顧客のエージェントアーキテクチャを再構築しようとするのではなく、個々のツール呼び出しとその周辺のコンテキストを数えた。

2つのデータソースは、広さと深さをトレードオフしている。公開APIのトラフィックによって、Anthropicは数千の顧客を横断して可視性を得られるが、それは孤立したツール呼び出しのレベルに限られる。同社は「当社APIへの個々の独立したリクエストを、エージェント活動の『セッション』に紐付ける信頼できる方法はない」と述べている。Claude Codeは完全なセッションを提供する——何が停止を引き起こしたか、Claudeがどれだけの時間作業したか、いつ人間が介入したか——が、それはソフトウェアエンジニアリングに圧倒的に多く使われる単一製品だ。自律性に関する知見は主にClaude Codeから得られ、リスクとドメインに関する知見はAPIサンプルから得られる。

ターンの長さ、つまりClaudeが作業を開始してから停止するまでの経過時間が、この論文における自律性の代理指標である。Anthropicはこの代理指標が不完全であることを明言している。より高速なモデルや並列サブエージェントはターンを短くし、より野心的なタスクはターンを長くし、さらに2026年1月から2月中旬にかけてユーザー基盤がほぼ2倍に増えたことで、サンプルに含まれる層も変化した。

報告書が記録に残す数字

これらはAnthropicが公表している数値であり、報告書に記載されているとおりに述べたものです。

• 99.9パーセンタイルのClaude Codeのターンは、2025年9月下旬の25分未満から2026年1月初旬の45分超へと、ほぼ2倍に増加しました。

• ターンの中央値は45秒付近にとどまり、40～55秒の間で変動し、99パーセンタイル未満のほぼすべてのパーセンタイルが安定していた。

• Anthropic社内では、Claude Codeの社内ユーザーによる最も困難なタスクでの成功率が2025年8月から12月にかけて2倍になった一方、1セッションあたりの平均的な人間による介入回数は5.4回から3.3回に減少した。

• セッション数が50未満の新規ユーザーは約20%のセッションで完全自動承認を使用していたが、750セッションに達する頃には40%超に上昇した。

• 中断は逆の傾向でした：約10セッションのユーザーはターンの5%でClaudeを中断し、経験豊富なユーザーは約9%でした。

• Claude Code は、最も複雑なタスクでは、複雑さが最小限のタスクに比べて2倍以上頻繁に確認を求めた。また、そうした最も難しいタスクでは、人間が中断した回数の2倍以上頻繁に、質問するために停止した。

• APIサンプルでは、ツール呼び出しの80%が少なくとも1つのセーフガードを備えていると思われるエージェントによるもので、73%が人間の関与があると思われ、0.8%が顧客へのメール送信など不可逆的と思われるものでした。

• ソフトウェアエンジニアリングがAPIツール呼び出しのほぼ50%を占め、他のドメインはいずれも数パーセントを超えなかった。

Anthropicが「デプロイメント・オーバーハング」と呼ぶその発見

尾部の上昇は、モデルのリリースをまたいでも滑らかだ。「もし自律性が純粋にモデル能力の関数であれば、新製品のリリースごとに急激な跳ね上がりが起きると予想される」とこの投稿は論じており、したがってこの安定性は、経験とともに信頼が蓄積され、より難しいタスクが試され、製品が改善されていることを示している。その結論は、既存モデルは「実際に発揮している以上の自律性を備えている」というもので、このギャップを報告書はデプロイメント・オーバーハングと呼んでいる。

Anthropicはそれを外部の能力テストと対置させ、METRの推定を引用している。それによると、Claude Opus 4.5は人間なら約5時間かかるタスクを50%の成功率で完了できる一方、同社自身のClaude Codeの99.9パーセンタイルのターンは約42分である。続いてAnthropicはその比較を撤回する。METRは人間が介在しない理想化された設定でタスクの難易度を測定するのに対し、ターン継続時間はClaudeが一時停止しユーザーが割り込む展開環境における経過時間を測定する。脚注は率直だ——「これらの指標をまたいで推論しようとはしない」。この並置は例示であり、測定された倍率ではなく、倍率として引用すべきではない。

議論の中心にある監督の逆説

経験豊富なユーザーは承認する回数が少なく、中断する回数が多い。Anthropicはこの組み合わせを、監督の放棄ではなく監督戦略の変化と捉えている。初心者は各ステップを承認するため、Claudeの実行中に停止させる必要はほとんどないが、経験豊富なユーザーはClaudeに作業させ、問題が起きたときに介入する。APIデータも同じ方向を示している — 最小複雑度タスクでのツール呼び出しの87%に何らかの形で人間が関与していたのに対し、高複雑度タスクでは67%だった。

報告書は、他の説明も依然として成り立つことを率直に認めている。報告書自身の脚注では、経験豊富なユーザーは単により難しいタスクに取り組んでいるだけかもしれないこと、Claude Codeのデフォルト設定が新規ユーザーを承認ベースの監督へと促していること、そしてソフトウェアは出力をテストしてレビューできるため監督になじみやすいことを指摘している。エージェントの作業を確認するのに、それを生み出すのと同じ専門知識が必要となる領域では、この移行は「より遅いか、別の形を取るかもしれない」。

政策上の議論と、それが求めているもの

Anthropicの提言は3つのグループに分かれる。モデル開発者と製品開発者は、デプロイ後のモニタリングに投資すべきだ。なぜなら、デプロイ前の評価では、人々が実際にエージェントとどうやり取りするかを把握できないからだ。モデル開発者は、モデルが自らの不確実性を認識し、それを表に出すよう訓練すべきであり、報告書はこの特性が「人間による承認フローやアクセス制限といった外部の安全策を補完する」と述べている。製品開発者は、監督を見据えた設計を行うべきだ。つまり、エージェントが何をしているかの可視性と、それを方向転換するための簡単な方法を用意することである。

政策立案者に向けた節こそが、この文書をガバナンスの記録たらしめている。「特定の相互作用パターンを義務付けるには時期尚早である」という見出しの下で、Anthropicは次のように書いている。「人間にあらゆる行動の承認を求めるなど、特定の相互作用パターンを規定する監督要件は、安全上の利益を必ずしも生み出さずに摩擦を生むだろう」。また、焦点は「特定の関与形態を求めることではなく、人間が効果的に監視し介入できる立場にあるかどうか」に置くべきだ。

通商分野の報道は、まさにその枠組みを取り上げた。2026年2月20日のInside AI Policyの記事は、Anthropicが監督義務について慎重さを促したことを中心に見出しを付けていた。Inside Cybersecurityは2月24日、同じ論調で続いた。どちらも購読なしでは全文を読めず、どちらも根拠となるデータを検証していなかった。

何が裏付けられており、何が裏付けられていないのか

この論文の公表とその主要な数値は裏付けられている。GIGAZINEは公表翌日の2026年2月19日にこの研究を報じ、25～45分のテール、20%～40%への自動承認の移行、5.4から3.3への介入減少、0.8%という不可逆的な割合を繰り返した。Digital Watch Observatoryは2026年2月20日に要約し、Inside AI Policyも同様だった。裏付けられているのはAnthropicが述べたことであり、それが真実かどうかではない。外部の当事者は998,481件の分類済みツール呼び出しを監査しておらず、Anthropicはデータセットを公開していない。

その非対称性は、誇張せずに指摘する価値がある。自社製品を測定するベンダーが、コンプライアンス負担は行動ごとの承認ではなく監視に置かれるべきだと結論づけたのは、自社が販売する製品に都合のよい結論に達したということだ。Anthropicは、異例なほど率直な制限事項のセクションで、構造的限界の大半を自ら述べている。しかし、生データが非公開のままである限り、再現性は同社が修正できる事項には含まれておらず、分類を独立機関が検証したこともない。

Anthropic自身が述べている制限

• この分析は1つのモデルプロバイダーのみを対象としています。他のモデルで構築されたエージェントは、異なる導入パターンやリスクプロファイルを示す可能性があります。

• リスク、自律性、そして人間の関与に関する分類はClaudeによって生成された。Anthropicは、プライバシー上の制約により基盤となるデータを手作業で検査することができなかったと述べており、人間の関与に関する同社の推定値は上限値として受け取るべきだという。

• 個々のツール呼び出し単位でのサンプリングは、ファイル編集を繰り返すソフトウェアエンジニアリングのワークフローのように、逐次呼び出しが多いデプロイメントを過剰に代表してしまう。

• この分類では、本番環境での行動を評価やレッドチーミングと区別できない。報告書によれば、最高リスクのクラスターのうちいくつかは「セキュリティ評価であるように見える」とされ、また報告書は、見かけ上のデータ持ち出しの多くはテストだと考えている。

• API の下流で行われる人によるレビューは目に見えないため、ツール呼び出しのレベルでは自律的に見えるエージェントでも、その出力を人がチェックしている可能性があります。

• 対象期間は2025年後半から2026年初頭で、最も有力な知見はClaude Codeから得られている。Claude Codeは圧倒的にソフトウェアエンジニアリング製品である。

その後、何が変わりましたか？

このアーカイブには危害も修正も紛争も記録されておらず、それが正確な説明である。これは測定と主張であり、是正措置を伴うインシデントではない。Anthropicは、時間をかけて分析を拡張すると述べ、APIリクエストをプライバシーを保護した形でセッションに結び付けるための業界横断的な取り組みを求めている。投稿はまた、Coworkのような製品がエージェントをより利用しやすくしており、それによってリスクと自律性のフロンティアが外側へ押し広げられると予想していると指摘する。本記事のためにレビューした報道では、行為ごとの承認に反対する勧告を採用、却下、または正式に応答した規制当局はなかった。

長く残る論点は、見出しの数字よりも狭い。段階的な承認の義務化に対するAnthropicの反論は、同社自身が認めるとおり、現時点ではファーストパーティのセッションデータを持つモデル提供者しか行えない測定に依拠している——しかもAnthropicは、サードパーティAPIのトラフィックをセッションに紐付けられないと述べている。そのインフラが存在するまでは、この政策提言は、一企業の計測手段を、一企業の顧客に、一冬にわたって適用したものに基づいている。だからといって、その知見が誤りになるわけではない。それはベンダーによる測定になるのであり、そうしたものとして引用されるべきだ。