Anthropic Mengukur Otonomi Agen — dan Berargumen Menentang Mandat Persetujuan

Pada 18 Februari 2026, tim Societal Impacts Anthropic menerbitkan "Mengukur otonomi agen AI dalam praktik," sebuah analisis atas 998.481 pemanggilan alat yang dilakukan melalui API publiknya dan 500.000 sesi Claude Code interaktif, dan menutupnya dengan rekomendasi yang ditujukan kepada para legislator: aturan pengawasan seharusnya tidak menetapkan pola interaksi tertentu, termasuk mewajibkan manusia menyetujui setiap tindakan yang diambil agen. Tulisan itu adalah laporan riset, bukan dokumen pengajuan, tetapi tercatat dalam arsip insiden sebagai catatan kebijakan — info tingkat keparahan, keyakinan A, tidak ada kerugian yang tercatat, tidak disengketakan — karena vendor model menggunakan telemetri pihak pertamanya sendiri untuk berargumen bahwa salah satu rancangan regulasi yang umum "akan menimbulkan gesekan tanpa harus menghasilkan manfaat keselamatan." Catatan lengkapnya, beserta sumber primer dan klasifikasinya, berada di Orca AI Incident Archive, bersama entri tata kelola lainnya dalam seri tersebut.

Laporan ini mencantumkan dua puluh kontributor bernama, di antaranya Miles McCain, Thomas Millar, Saffron Huang, Alex Tamkin, Jack Clark, dan Deep Ganguli. Laporan ini menggunakan Clio, alat analisis Anthropic yang menjaga privasi, yang menurut tulisan tersebut memungkinkan perusahaan mempelajari trafik pelanggan nyata tanpa membaca percakapan yang mendasarinya. Metodologi itulah inti dari tulisan ini: setiap angka di bawah ini adalah pengukuran atas apa yang dilakukan orang dengan agen, bukan atas apa yang dikatakan tolok ukur tentang kemampuan agen.

Apa yang diukur oleh Anthropic, dan bagaimana

Anthropic mendefinisikan agen sebagai "sistem AI yang dilengkapi dengan alat yang memungkinkannya mengambil tindakan" — menjalankan kode, memanggil API eksternal, mengirim pesan ke agen lain. Definisi tersebut menetapkan unit analisis. Alih-alih mencoba merekonstruksi arsitektur agen setiap pelanggan, yang menurut perusahaan tidak dapat dilihatnya, Anthropic menghitung panggilan alat individual dan konteks di sekitarnya.

Kedua sumber data ini menukar keluasan dengan kedalaman. Lalu lintas API publik memberi Anthropic visibilitas across ribuan pelanggan, tetapi hanya pada tingkat panggilan alat yang terisolasi; perusahaan mengatakan pihaknya "tidak memiliki cara yang andal untuk mengaitkan permintaan independen ke API kami menjadi 'sesi' aktivitas agentik." Claude Code memberikan sesi lengkap — apa yang memicu penghentian, berapa lama Claude bekerja, kapan manusia ikut campur — tetapi ini adalah satu produk yang sebagian besar digunakan untuk rekayasa perangkat lunak. Temuan otonomi sebagian besar berasal dari Claude Code; temuan risiko dan domain berasal dari sampel API.

Durasi giliran, waktu yang berlalu antara Claude mulai bekerja dan berhenti, adalah proksi otonomi dalam makalah ini. Anthropic secara eksplisit menyatakan bahwa proksi tersebut tidak sempurna: model yang lebih cepat dan subagen paralel mempersingkat giliran, tugas yang lebih ambisius memperpanjangnya, dan basis pengguna kurang lebih berlipat dua antara Januari dan pertengahan Februari 2026, sehingga mengubah siapa yang ada dalam sampel.

Angka-angka yang dicantumkan laporan itu dalam catatan resmi

Ini adalah angka-angka yang diterbitkan Anthropic, sebagaimana dinyatakan dalam laporan.

Giliran Claude Code pada persentil ke-99,9 hampir dua kali lipat, dari kurang dari 25 menit pada akhir September 2025 menjadi lebih dari 45 menit pada awal Januari 2026.

• Median giliran tetap sekitar 45 detik, berfluktuasi antara 40 dan 55 detik, dan hampir setiap persentil di bawah persentil ke-99 stabil.

• Di dalam Anthropic, tingkat keberhasilan Claude Code pada tugas-tugas tersulit pengguna internal meningkat dua kali lipat antara Agustus dan Desember 2025, sementara rata-rata intervensi manusia per sesi turun dari 5,4 menjadi 3,3.

• Pengguna baru dengan kurang dari 50 sesi menggunakan auto-approve penuh pada sekitar 20% sesi; pada 750 sesi, angka itu naik menjadi lebih dari 40%.

• Interupsi bergerak ke arah sebaliknya: pengguna dengan sekitar 10 sesi menginterupsi Claude pada 5% giliran, sedangkan pengguna berpengalaman sekitar 9%.

• Claude Code meminta klarifikasi lebih dari dua kali lebih sering pada tugas-tugas paling kompleks dibandingkan pada tugas dengan kompleksitas minimal, dan pada tugas-tugas tersulit itu ia berhenti untuk bertanya lebih dari dua kali lebih sering dibandingkan manusia menyelanya.

• Pada sampel API, 80% panggilan alat berasal dari agen yang tampaknya memiliki setidaknya satu pengaman, 73% tampaknya memiliki manusia dalam alur kerja, dan 0,8% tampaknya tidak dapat dibatalkan, seperti mengirim email kepada pelanggan.

• Rekayasa perangkat lunak menyumbang hampir 50% dari panggilan alat API; tidak ada domain lain yang melebihi beberapa poin persentase.

Temuan yang oleh Anthropic disebut sebagai deployment overhang

Kenaikan pada bagian ekor (tail) berlangsung mulus di seluruh rilis model. "Jika otonomi sepenuhnya merupakan fungsi dari kemampuan model, kita akan mengharapkan lonjakan tajam pada setiap peluncuran baru," argumen unggahan tersebut, sehingga kestabilan itu menunjukkan bahwa kepercayaan terakumulasi seiring pengalaman, tugas-tugas yang lebih sulit dicoba, dan produk semakin membaik. Kesimpulannya adalah model-model yang ada "mampu memiliki lebih banyak otonomi daripada yang mereka jalankan dalam praktik" — kesenjangan yang oleh laporan disebut sebagai deployment overhang.

Anthropic membandingkannya dengan pengujian kemampuan eksternal, mengutip perkiraan METR bahwa Claude Opus 4.5 dapat menyelesaikan, dengan tingkat keberhasilan 50%, tugas-tugas yang akan memakan waktu hampir lima jam bagi manusia, sementara giliran Claude Code pada persentil ke-99,9 miliknya sendiri sekitar 42 menit. Kemudian perbandingan itu ditarik kembali: METR mengukur kesulitan tugas dalam lingkungan ideal tanpa keterlibatan manusia, sedangkan durasi giliran mengukur waktu yang berlalu dalam penerapan ketika Claude berhenti sejenak dan pengguna menyela. Sebuah catatan kaki menyatakan terus terang — "kami tidak mencoba menalar lintas metrik ini." Penjajaran ini bersifat ilustratif, bukan pengali terukur, dan tidak boleh dikutip sebagai pengali.

Paradoks pengawasan di inti argumen

Pengguna berpengalaman lebih jarang menyetujui dan lebih sering menyela. Anthropic memandang keduanya sebagai perubahan strategi pengawasan, bukan pengabaiannya: pendatang baru menyetujui setiap langkah dan karena itu jarang perlu menghentikan Claude di tengah proses, sementara pengguna berpengalaman membiarkan Claude bekerja dan turun tangan saat terjadi masalah. Data API menunjukkan hal yang sama — 87% pemanggilan alat pada tugas dengan kompleksitas minimal memiliki semacam keterlibatan manusia, dibandingkan dengan 67% pada tugas dengan kompleksitas tinggi.

Laporan itu terus terang bahwa penjelasan lain tetap bertahan. Catatan kaki laporan itu sendiri mencatat bahwa pengguna berpengalaman mungkin hanya mencoba tugas yang lebih sulit, bahwa setelan default Claude Code mendorong pengguna baru ke pengawasan berbasis persetujuan, dan bahwa perangkat lunak luar biasa mudah diawasi karena outputnya dapat diuji dan ditinjau; di domain di mana memeriksa pekerjaan agen memerlukan keahlian yang sama seperti memproduksinya, pergeseran itu "mungkin lebih lambat atau mengambil bentuk yang berbeda."

Argumen kebijakan, dan apa yang dimintanya

Rekomendasi Anthropic terbagi ke dalam tiga kelompok. Pengembang model dan produk harus berinvestasi dalam pemantauan pascapenerapan, karena evaluasi pra-penerapan tidak dapat melihat bagaimana orang benar-benar berinteraksi dengan agen. Pengembang model harus melatih model agar mengenali ketidakpastiannya sendiri dan mengungkapkannya, suatu sifat yang menurut laporan "melengkapi pengaman eksternal seperti alur persetujuan manusia dan pembatasan akses." Pengembang produk harus merancang untuk pengawasan — visibilitas atas apa yang dilakukan agen ditambah cara-cara sederhana untuk mengarahkannya kembali.

Bagian yang ditujukan kepada pembuat kebijakan itulah yang menjadikan dokumen ini sebagai catatan tata kelola. Di bawah judul "It's too early to mandate specific interaction patterns," Anthropic menulis bahwa "persyaratan pengawasan yang menetapkan pola interaksi tertentu, seperti mewajibkan manusia menyetujui setiap tindakan, akan menimbulkan friksi tanpa tentu menghasilkan manfaat keselamatan," dan bahwa fokusnya harus "pada apakah manusia berada dalam posisi untuk memantau dan melakukan intervensi secara efektif, alih-alih mewajibkan bentuk keterlibatan tertentu."

Liputan media perdagangan mengangkat persis framing itu. Laporan Inside AI Policy pada 20 Februari 2026 berjudul tentang Anthropic yang mendesak kehati-hatian terhadap mandat pengawasan; Inside Cybersecurity menyusul pada 24 Februari dengan sudut pandang yang sama. Keduanya tidak dapat dibaca secara utuh tanpa langganan, dan keduanya tidak menelaah data yang mendasarinya.

Apa yang dikuatkan, dan apa yang tidak

Publikasi tersebut dan angka-angka utamanya dikuatkan. GIGAZINE melaporkan studi itu pada 19 Februari 2026, sehari setelah publikasi, dengan mengulang ekor 25 hingga 45 menit, pergeseran persetujuan otomatis dari 20% menjadi 40%, penurunan intervensi dari 5,4 menjadi 3,3, dan pangsa ireversibel sebesar 0,8%. Digital Watch Observatory merangkumnya pada 20 Februari 2026, begitu pula Inside AI Policy. Koroborasi tersebut adalah atas apa yang dikatakan Anthropic, bukan atas benar atau tidaknya hal itu: tidak ada pihak luar yang mengaudit 998.481 panggilan alat yang terklasifikasi, dan Anthropic tidak merilis kumpulan datanya.

Asimetri itu layak disebut tanpa dibesar-besarkan. Vendor yang mengukur produknya sendiri, dan menyimpulkan bahwa beban kepatuhan seharusnya jatuh pada pemantauan alih-alih persetujuan per tindakan, telah mencapai kesimpulan yang menguntungkan produk yang dijualnya. Anthropic menyatakan sendiri sebagian besar batasan strukturalnya, dalam bagian keterbatasan yang luar biasa langsung. Namun reproduksibilitas bukanlah salah satu hal yang dapat diperbaikinya selama data mentah tetap privat, dan belum ada badan independen yang memeriksa klasifikasinya.

Batas-batas yang dinyatakan sendiri oleh Anthropic

• Analisis ini mencakup satu penyedia model. Agen yang dibangun dengan model lain mungkin menunjukkan pola adopsi dan profil risiko yang berbeda.

• Klasifikasi risiko, otonomi, dan keterlibatan manusia dihasilkan oleh Claude. Anthropic mengatakan bahwa kendala privasi mencegah pemeriksaan manual terhadap data yang mendasarinya, dan bahwa perkiraan keterlibatan manusianya harus dibaca sebagai batas atas.

• Pengambilan sampel pada tingkat panggilan alat individual membuat penerapan dengan banyak panggilan berurutan, seperti alur kerja rekayasa perangkat lunak dengan pengeditan file berulang, menjadi terlalu terwakili.

• Klasifikasi tersebut tidak dapat membedakan tindakan produksi dari evaluasi atau red-teaming. Menurut laporan itu, beberapa klaster berisiko tertinggi "tampaknya merupakan evaluasi keamanan," dan laporan tersebut meyakini banyak dugaan eksfiltrasi data sebenarnya adalah pengujian.

• Tinjauan manusia di hilir API tidak terlihat, sehingga agen yang tampak otonom pada tingkat pemanggilan alat mungkin memiliki seseorang yang memeriksa keluarannya.

• Rentang waktunya adalah akhir 2025 hingga awal 2026, dan temuan terkuat berasal dari Claude Code, yang secara dominan merupakan produk rekayasa perangkat lunak.

Apa yang berubah setelahnya

Arsip tersebut tidak mencatat adanya kerugian, perbaikan, maupun perselisihan, dan itulah deskripsi yang akurat: ini adalah sebuah pengukuran dan argumen, bukan insiden dengan remediasi. Anthropic mengatakan pihaknya akan memperluas analisis seiring waktu dan menyerukan kerja lintas industri dalam menautkan permintaan API ke sesi dengan cara yang menjaga privasi. Tulisan itu juga mencatat bahwa produk seperti Cowork membuat agen lebih mudah diakses, yang diharapkannya akan mendorong batas risiko dan otonomi semakin jauh ke luar. Dalam liputan yang ditinjau untuk artikel ini, tidak ada regulator yang mengadopsi, menolak, atau secara resmi menanggapi rekomendasi menentang persetujuan per tindakan.

Poin yang bertahan lebih sempit daripada angka-angka utama. Argumen Anthropic terhadap kewajiban persetujuan langkah demi langkah bertumpu pada pengukuran yang, menurut pengakuannya sendiri, saat ini hanya dapat dilakukan oleh penyedia model dengan data sesi pihak pertama — dan bahkan Anthropic mengatakan bahwa pihaknya tidak dapat menautkan lalu lintas API pihak ketiga ke dalam sesi. Sampai infrastruktur itu ada, saran kebijakan tersebut bertumpu pada instrumen satu perusahaan, yang diterapkan pada pelanggan satu perusahaan, selama satu musim dingin. Itu tidak membuat temuan tersebut salah. Itu membuatnya menjadi pengukuran dari vendor, dan seharusnya dikutip sebagai demikian.