Hình minh họa tối trừu tượng về một chùm sáng nằm ngang dài băng qua một cánh đồng những điểm nhỏ và kết thúc tại một cánh cổng thẳng đứng hẹp
AI Safety Incidents

Anthropic đã đo lường mức độ tự chủ của tác nhân — và lập luận chống lại các yêu cầu phê duyệt bắt buộc

Tác giả

Gideon Frost

Ngày đăng

Mô hình mới nhất · 20Xem tất cả mô hình →
Benchmark: Artificial Analysis · cập nhật hằng ngày
Quay lại tất cả bài viết

Vào ngày 18 tháng 2 năm 2026, nhóm Tác động Xã hội của Anthropic đã công bố "Đo lường mức độ tự chủ của tác nhân AI trong thực tế", một phân tích về 998.481 lệnh gọi công cụ được thực hiện qua API công khai của mình và 500.000 phiên Claude Code tương tác, và kết thúc bằng một khuyến nghị hướng tới các nhà lập pháp: các quy định giám sát không nên quy định những mẫu tương tác cụ thể, bao gồm việc yêu cầu con người phê duyệt mọi hành động mà tác nhân thực hiện. Bài đăng là một báo cáo nghiên cứu, không phải hồ sơ đăng ký, nhưng nó được ghi vào kho lưu trữ sự cố như một hồ sơ chính sách — thông tin mức độ nghiêm trọng, độ tin cậy A, không ghi nhận tổn hại, không bị tranh chấp — vì một nhà cung cấp mô hình đã dùng dữ liệu đo từ xa gốc của chính mình để lập luận rằng một thiết kế quy định phổ biến "sẽ tạo ra ma sát mà không nhất thiết mang lại lợi ích an toàn." Bản ghi đầy đủ, cùng nguồn chính và phân loại của nó, nằm trong Orca AI Incident Archive, cùng với các mục quản trị khác trong loạt bài.

Báo cáo có hai mươi người đóng góp được nêu tên, trong đó có Miles McCain, Thomas Millar, Saffron Huang, Alex Tamkin, Jack Clark và Deep Ganguli. Báo cáo dựa trên Clio, công cụ phân tích bảo vệ quyền riêng tư của Anthropic, mà bài viết cho rằng đã giúp công ty nghiên cứu lưu lượng khách hàng thực tế mà không cần đọc các cuộc trò chuyện bên dưới. Phương pháp đó chính là nội dung cốt lõi của bài: mỗi con số dưới đây là thước đo những gì con người đã làm với agent, chứ không phải những gì một benchmark nói agent có thể làm.

Anthropic đã đo lường những gì và bằng cách nào

Anthropic định nghĩa agent là "một hệ thống AI được trang bị các công cụ cho phép nó thực hiện hành động" — chạy mã, gọi API bên ngoài, nhắn tin cho các agent khác. Định nghĩa này xác lập đơn vị phân tích. Thay vì cố gắng tái dựng kiến trúc agent của từng khách hàng — điều mà công ty nói rằng họ không thể thấy — họ đếm từng lần gọi công cụ riêng lẻ và ngữ cảnh xung quanh chúng.

Hai nguồn dữ liệu này đánh đổi chiều rộng lấy chiều sâu. Lưu lượng API công khai cho Anthropic khả năng quan sát trên hàng nghìn khách hàng, nhưng chỉ ở mức các lệnh gọi công cụ riêng lẻ; công ty cho biết họ "không có cách đáng tin cậy nào để liên kết các yêu cầu độc lập tới API của chúng tôi thành các 'phiên' hoạt động tác tử." Claude Code cung cấp các phiên đầy đủ — điều gì đã kích hoạt việc dừng, Claude đã làm việc bao lâu, khi nào con người can thiệp — nhưng đây là một sản phẩm duy nhất được sử dụng chủ yếu cho kỹ thuật phần mềm. Các phát hiện về tính tự chủ chủ yếu đến từ Claude Code; các phát hiện về rủi ro và lĩnh vực đến từ mẫu API.

Thời lượng lượt, khoảng thời gian trôi qua từ khi Claude bắt đầu làm việc đến khi dừng lại, là đại diện thay thế cho mức độ tự chủ trong bài báo. Anthropic nói rõ rằng đại diện này không hoàn hảo: các mô hình nhanh hơn và các tác nhân con chạy song song làm ngắn các lượt, những nhiệm vụ tham vọng hơn kéo dài chúng, và cơ sở người dùng đã tăng gần gấp đôi từ tháng 1 đến giữa tháng 2 năm 2026, làm thay đổi thành phần của mẫu.

Những con số mà báo cáo ghi vào hồ sơ

Đây là những số liệu mà Anthropic công bố, được nêu đúng như báo cáo trình bày.

• Lượt Claude Code ở phân vị thứ 99,9 gần như tăng gấp đôi, từ dưới 25 phút vào cuối tháng 9 năm 2025 lên hơn 45 phút vào đầu tháng 1 năm 2026.

• Thời gian của lượt trung vị vẫn ở khoảng 45 giây, dao động từ 40 đến 55 giây, và gần như mọi phân vị dưới phân vị 99 đều ổn định.

• Bên trong Anthropic, tỷ lệ thành công của Claude Code trên những tác vụ khó nhất của người dùng nội bộ đã tăng gấp đôi trong khoảng từ tháng 8 đến tháng 12 năm 2025, trong khi số lần can thiệp trung bình của con người trong mỗi phiên giảm từ 5,4 xuống 3,3.

• Người dùng mới có ít hơn 50 phiên đã dùng chế độ tự động phê duyệt hoàn toàn trong khoảng 20% số phiên; đến 750 phiên, con số này tăng lên hơn 40%.

• Việc ngắt lời lại diễn ra theo chiều ngược lại: người dùng có khoảng 10 phiên đã ngắt lời Claude trong 5% số lượt, còn người dùng giàu kinh nghiệm thì khoảng 9%.

Claude Code hỏi lại để làm rõ thường xuyên hơn gấp đôi ở những tác vụ phức tạp nhất so với những tác vụ có độ phức tạp tối thiểu, và ở chính những tác vụ khó nhất đó, nó dừng lại để hỏi thường xuyên hơn gấp đôi so với số lần con người ngắt lời nó.

• Trên mẫu API, 80% các lệnh gọi công cụ đến từ những tác nhân dường như có ít nhất một biện pháp bảo vệ, 73% dường như có con người tham gia vào vòng kiểm soát, và 0,8% dường như không thể đảo ngược, chẳng hạn như gửi email cho khách hàng.

• Kỹ thuật phần mềm chiếm gần 50% số lần gọi công cụ API; không có lĩnh vực nào khác vượt quá vài điểm phần trăm.

Table of Anthropic's published figures: 99.9th-percentile Claude Code turn under 25 minutes rising to over 45 minutes, median turn about 45 seconds, internal interventions 5.4 to 3.3, auto-approve about 20 percent to over 40 percent, interrupt rate 5 percent to about 9 percent

Phát hiện mà Anthropic gọi là tình trạng dư thừa triển khai

Sự gia tăng ở phần đuôi diễn ra mượt mà qua các bản phát hành mô hình. “Nếu tính tự chủ hoàn toàn là một hàm của năng lực mô hình, chúng ta sẽ kỳ vọng những bước nhảy vọt ở mỗi lần ra mắt mới,” bài viết lập luận, vì vậy sự ổn định cho thấy niềm tin đang tích lũy theo kinh nghiệm, những nhiệm vụ khó hơn đang được thử sức và sản phẩm đang cải thiện. Kết luận của bài là các mô hình hiện có “có khả năng tự chủ nhiều hơn mức chúng thực sự vận hành” — khoảng cách mà báo cáo gọi là dư địa triển khai.

Anthropic đặt điều đó đối chiếu với kiểm thử năng lực bên ngoài, viện dẫn ước tính của METR rằng Claude Opus 4.5 có thể hoàn thành, với tỷ lệ thành công 50%, những tác vụ mà con người sẽ mất gần năm giờ, trong khi lượt Claude Code ở phân vị 99,9 của chính nó chỉ khoảng 42 phút. Sau đó, họ rút lại so sánh: METR đo độ khó của tác vụ trong một bối cảnh lý tưởng hóa không có con người trong vòng lặp, còn thời lượng lượt đo thời gian trôi qua trong một triển khai nơi Claude tạm dừng và người dùng ngắt lời. Một chú thích cuối trang thẳng thắn — "chúng tôi không cố suy luận xuyên suốt các chỉ số này." Việc đặt cạnh nhau chỉ mang tính minh họa, không phải một hệ số nhân được đo lường, và không nên được trích dẫn như vậy.

Nghịch lý giám sát ở trung tâm của lập luận

Người dùng có kinh nghiệm phê duyệt ít hơn và ngắt lời nhiều hơn. Anthropic coi cặp hành vi đó là sự thay đổi trong chiến lược giám sát chứ không phải là sự từ bỏ chiến lược đó: người mới phê duyệt từng bước và do đó hiếm khi cần dừng Claude giữa chừng, trong khi người dùng có kinh nghiệm để Claude làm việc và can thiệp khi có sự cố. Dữ liệu API cũng cho thấy điều tương tự — 87% lệnh gọi công cụ trong các tác vụ có độ phức tạp tối thiểu có một số hình thức tham gia của con người, so với 67% ở các tác vụ có độ phức tạp cao.

Báo cáo thẳng thắn thừa nhận rằng vẫn còn những cách lý giải khác đứng vững. Chính chú thích cuối trang của báo cáo lưu ý rằng người dùng có kinh nghiệm có thể chỉ đơn giản là đang thử những nhiệm vụ khó hơn, rằng cài đặt mặc định của Claude Code đẩy người dùng mới về phía giám sát dựa trên phê duyệt, và rằng phần mềm đặc biệt dễ giám sát vì đầu ra có thể được kiểm thử và xem xét; ở những lĩnh vực mà việc kiểm tra công việc của một tác nhân đòi hỏi cùng chuyên môn như khi tạo ra nó, sự chuyển dịch "có thể chậm hơn hoặc mang một hình thức khác."

Table comparing newer and experienced Claude Code users: full auto-approve about 20 percent to over 40 percent of sessions, human interruptions 5 percent to about 9 percent of turns, and API human involvement 87 percent on minimal-complexity tasks against 67 percent on high-complexity tasks

Lập luận về chính sách, và những gì nó yêu cầu

Các khuyến nghị của Anthropic chia thành ba nhóm. Nhà phát triển mô hình và sản phẩm nên đầu tư vào giám sát sau triển khai, vì đánh giá trước triển khai không thể thấy cách con người thực sự tương tác với tác nhân. Nhà phát triển mô hình nên huấn luyện mô hình nhận ra sự không chắc chắn của chính mình và thể hiện điều đó, một đặc tính mà báo cáo nói rằng "bổ sung cho các biện pháp bảo vệ bên ngoài như quy trình phê duyệt của con người và hạn chế quyền truy cập." Nhà phát triển sản phẩm nên thiết kế để có sự giám sát — khả năng nhìn thấy tác nhân đang làm gì cùng những cách đơn giản để chuyển hướng nó.

Phần dành cho các nhà hoạch định chính sách chính là phần khiến tài liệu này trở thành một hồ sơ quản trị. Dưới tiêu đề "Còn quá sớm để bắt buộc các mô thức tương tác cụ thể", Anthropic viết rằng "các yêu cầu giám sát quy định những mô thức tương tác cụ thể, chẳng hạn như buộc con người phải phê duyệt mọi hành động, sẽ tạo ra ma sát mà không nhất thiết mang lại lợi ích an toàn", và rằng trọng tâm nên là "việc liệu con người có ở vị thế có thể giám sát và can thiệp một cách hiệu quả hay không, thay vì yêu cầu những hình thức tham gia cụ thể."

Báo chí chuyên ngành đã tiếp nhận đúng cách đóng khung đó. Bài báo của Inside AI Policy ngày 20 tháng 2 năm 2026 có tiêu đề xoay quanh việc Anthropic kêu gọi thận trọng về các yêu cầu giám sát; Inside Cybersecurity tiếp nối vào ngày 24 tháng 2 với cùng góc nhìn. Không thể đọc trọn vẹn bài nào nếu không có đăng ký, và cả hai đều không xem xét dữ liệu cơ sở.

Điều gì đã được chứng thực, và điều gì chưa

Bài công bố và các số liệu nổi bật của nó đã được xác nhận chéo. GIGAZINE đưa tin về nghiên cứu này vào ngày 19 tháng 2 năm 2026, một ngày sau khi công bố, nhắc lại phần đuôi 25 đến 45 phút, sự dịch chuyển tỷ lệ tự động phê duyệt từ 20% lên 40%, mức giảm can thiệp từ 5,4 xuống 3,3 và tỷ lệ không thể đảo ngược 0,8%. Digital Watch Observatory đã tóm tắt vào ngày 20 tháng 2 năm 2026, Inside AI Policy cũng vậy. Việc xác nhận này là xác nhận những gì Anthropic nói, không phải xác nhận liệu điều đó có đúng hay không: chưa có bên ngoài nào kiểm toán 998.481 lệnh gọi công cụ đã được phân loại và Anthropic không công bố bộ dữ liệu.

Sự bất đối xứng đó đáng được gọi tên mà không phóng đại nó. Một nhà cung cấp tự đo lường sản phẩm của chính mình, và kết luận rằng gánh nặng tuân thủ nên đặt lên việc giám sát thay vì phê duyệt từng hành động, đã đi đến một kết luận thuận lợi cho sản phẩm mà họ bán. Anthropic tự nêu ra phần lớn các giới hạn cấu trúc, trong một mục giới hạn thẳng thắn một cách bất thường. Nhưng khả năng tái lập không nằm trong số những thứ nó có thể khắc phục khi dữ liệu thô vẫn còn riêng tư, và chưa có cơ quan độc lập nào kiểm tra các phân loại.

Những giới hạn mà chính Anthropic tự nêu ra

• Phân tích này chỉ bao gồm một nhà cung cấp mô hình. Các tác nhân được xây dựng trên những mô hình khác có thể cho thấy các kiểu áp dụng và hồ sơ rủi ro khác nhau.

• Các phân loại về rủi ro, quyền tự chủ và mức độ tham gia của con người được tạo ra bởi Claude. Anthropic cho biết các hạn chế về quyền riêng tư đã khiến việc kiểm tra thủ công dữ liệu gốc không thể thực hiện được, và ước tính về mức độ tham gia của con người của họ nên được hiểu là một giới hạn trên.

Lấy mẫu ở cấp độ từng lệnh gọi công cụ riêng lẻ khiến các triển khai có nhiều lệnh gọi tuần tự bị đại diện quá mức, chẳng hạn như các quy trình kỹ thuật phần mềm với việc chỉnh sửa tệp lặp đi lặp lại.

• Các phân loại không thể phân biệt hành động sản xuất với đánh giá hoặc red-teaming. Theo báo cáo, một số cụm rủi ro cao nhất "dường như là các đánh giá bảo mật", và báo cáo cho rằng nhiều vụ rò rỉ dữ liệu bề ngoài thực chất chỉ là các bài kiểm thử.

• Việc con người rà soát ở khâu sau API là vô hình, nên một tác nhân trông có vẻ tự chủ ở cấp độ gọi công cụ vẫn có thể đang được một người kiểm tra đầu ra.

• Khung thời gian là cuối năm 2025 đến đầu năm 2026, và những phát hiện mạnh nhất đến từ Claude Code, một sản phẩm chủ yếu thuộc lĩnh vực kỹ thuật phần mềm.

Table of findings and caveats: software engineering nearly 50 percent of API tool calls, 73 percent with a human in the loop, highest-risk cluster rated 6.0 risk and 8.0 autonomy, Anthropic-only data, no inspection of raw data under privacy constraints

Điều gì đã thay đổi sau đó?

Hồ sơ lưu trữ không ghi nhận thiệt hại, không có bản sửa lỗi và không có tranh chấp, và đó là mô tả chính xác: đây là một phép đo và một lập luận, không phải một sự cố kèm biện pháp khắc phục. Anthropic cho biết sẽ mở rộng phân tích theo thời gian và kêu gọi công việc liên ngành về việc liên kết các yêu cầu API thành phiên theo cách bảo vệ quyền riêng tư. Bài đăng cũng lưu ý rằng các sản phẩm như Cowork đang làm cho tác nhân trở nên dễ tiếp cận hơn, điều mà họ kỳ vọng sẽ đẩy biên giới rủi ro và quyền tự chủ ra xa hơn. Trong các bài đưa tin được xem xét cho bài viết này, không có cơ quan quản lý nào đã chấp nhận, bác bỏ hoặc phản hồi chính thức đối với khuyến nghị chống lại việc phê duyệt từng hành động.

Điểm đáng giữ lại thì hẹp hơn những con số giật tít. Lập luận của Anthropic chống lại việc bắt buộc phê duyệt từng bước dựa trên một phép đo mà, theo chính thừa nhận của họ, hiện chỉ một nhà cung cấp mô hình có dữ liệu phiên trực tiếp mới thực hiện được — và ngay cả Anthropic cũng nói rằng họ không thể liên kết lưu lượng API của bên thứ ba vào các phiên. Cho đến khi hạ tầng đó tồn tại, lời khuyên chính sách chỉ dựa trên công cụ của một công ty, áp dụng cho khách hàng của một công ty, trong một mùa đông. Điều đó không làm phát hiện trở nên sai. Nó khiến phát hiện trở thành phép đo của một nhà cung cấp, và nên được trích dẫn như vậy.