Ilustrasi editorial abstrak pada latar biru dongker pekat: konstelasi luas node agen kecil berwarna biru pucat tersusun dalam pita-pita konsentris yang renggang di sekitar node pusat besar yang gelap. Busur tipis samar menghubungkan pita-pita node ke pusat, dan satu bukaan sempit bercincin pada batas tembus pandang terletak di kanan bawah. Kisi-kisi titik halus dan tanda skala tanpa label memenuhi latar belakang. Tidak ada teks, huruf, angka, orang, tanda organisasi, maupun logo yang muncul dalam karya seni; logo OrcaRouter dikompositkan di sudut kanan bawah.
AI Safety Incidents

Anthropic: Claude "memimpin" 26% dari R&D AI-nya dengan 30.000 agen yang berjalan secara paralel

Penulis

Elias Hawthorne

Tanggal Terbit

Model terbaru · 20Lihat semua model →
Benchmark: Artificial Analysis · diperbarui setiap hari
Kembali ke semua artikel

Anthropic menerbitkan Indeks Otomasi R&D pada 17 September 2026 — sebuah ukuran prototipe tentang seberapa besar porsi penelitian dan pengembangan AI perusahaan itu sendiri yang dikerjakan oleh Claude — dan melaporkan bahwa pada Agustus model tersebut "memimpin" 26% dari pekerjaan itu, naik dari di bawah 1% pada Februari. Lebih dari 90% pekerjaan yang diukur berada pada tingkat "AI berkolaborasi" atau lebih tinggi, dan sekitar 30.000 agen menjalankan tugas penelitian dan rekayasa pada waktu yang sama di platform internal Anthropic yang paling banyak digunakan. Tidak ada yang dicederai dan tidak ada pihak ketiga yang dirugikan: ini adalah pengungkapan tentang tren kapabilitas di dalam satu laboratorium, dan Anthropic menyatakan bahwa Claude beroperasi sepenuhnya secara otonom — tingkat tertingginya, AL5 — untuk tidak ada subset pekerjaan yang diukur. Catatan lengkap arsip tentang pengungkapan tersebut, beserta penilaian dan sumber yang dikutip, terdapat di arsip insiden AI bersama entri tata kelola lainnya dalam seri ini.

Apa yang sebenarnya dihitung oleh indeks

Indeks ini meminjam skala enam tingkat milik Epoch AI. AL0 adalah "tanpa keterlibatan AI", AL1 "keterlibatan AI minimal", dan AL2 "AI membantu". AL3 adalah tingkat yang disebut Anthropic sebagai "berkolaborasi": model "dapat melakukan banyak bagian pekerjaan besar di bawah arahan manusia yang ketat". AL4 adalah "memimpin": ia "dapat menyelesaikan sebagian besar tugas secara end-to-end dari prompt tingkat tinggi, sementara manusia mengawasi". AL5 — "AI beroperasi sepenuhnya secara otonom, tanpa manusia dalam prosesnya" — adalah inti dari diskusi perbaikan diri rekursif, dan halaman Anthropic menyebutnya "tingkat yang belum kita capai."

Pengukuran ini disusun pada Juli 2026. Anthropic mengambil sampel 20% staf di departemen terkait setiap minggu, meminta agen riset Claude meninjau catatan kerja mereka, dan menghasilkan daftar sekitar 15.000 tugas, yang kemudian diorganisasi perusahaan menjadi pohon 542 node yang dibekukan dengan 378 tugas daun. Kategori-kategorinya diberi bobot berdasarkan seberapa banyak waktu orang (person-time) yang diserapnya. Laporan InfoQ tentang publikasi itu menambahkan detail yang penting bagi siapa pun yang pekerjaannya dijadikan sampel: agen Claude membaca pesan Slack dan dokumen internal untuk merekonstruksi apa yang dilakukan orang.

Dua klarifikasi mengikuti metode tersebut, dan keduanya mudah terlewat di bawah judul utama. Angka 26% itu bukan 26% dari setiap tugas yang dicatat Anthropic; seperti dilaporkan heise pada 18 September, itu adalah bagian dari keranjang kerja berbobot yang dinilai Anthropic telah mencapai AL4. Dan itu tidak berarti seperempat R&D perusahaan berjalan tanpa manusia — InfoQ menegaskan bahwa angka tersebut tidak berarti 26% R&D Anthropic sepenuhnya otomatis, juga tidak berarti 26% peneliti perusahaan telah digantikan; artinya sekitar seperempat pekerjaan kini berada pada tahap ketika manusia menetapkan tujuan dan mengawasi sementara Claude mengerjakan sebagian besarnya.

Self-authored HTML card headed 'R&D automation index, as of August 2026' with the title '26% by August, from under 1% in February' and the subtitle 'Anthropic's person-time-weighted task basket, scored on Epoch AI's six-level automation scale.' A vertical ladder lists six levels: AL0 no AI involvement; AL1 minimal AI involvement; AL2 AI assists; AL3 collaborates, large chunks of work under close human direction; AL4 leads, most of a task end-to-end from a high-level prompt while a human supervises, marked at 26%; and AL5 fully autonomous, with no human in the loop, marked at 0%, described as a level not yet reached. Four stat tiles read: 26% at AL4, August 2026; under 1% at AL4, February 2026; above 90% at AL3 or higher; about 30,000 concurrent agents on the most-used internal platform. A blue-bordered quotation band carries the line that Claude is not operating fully autonomously for any measured subset of AI R&D work. A footnote states that the 26% is a share of the weighted basket rather than a raw task count, that it is not 26% of Anthropic's R&D running without people, and names Anthropic's index page, heise of 18 September 2026 and InfoQ of the same date as sources. The OrcaRouter logo sits in the bottom-right corner.

Perbandingan Februari berasal dari keterangan grafik di halaman Anthropic: "Claude kini memimpin 26% tugas R&D model Anthropic, naik dari di bawah 1% pada Februari 2026." Tidak ada apa pun di halaman itu yang memberikan rangkaian bulan ke bulan, sehingga tren sebagaimana diungkapkan adalah dua titik, bukan kurva.

Juri adalah model yang sedang dinilai.

Penilaian tersebut tidak dihasilkan oleh panel independen. Tulisan Anthropic mengakui masalah utamanya: model juri "dapat membuat jenis kesalahan yang sama seperti model yang diperiksanya". Pada kesepakatan persis, model dan manusia cocok 59% dari waktu; dua manusia cocok satu sama lain 35% dari waktu; dan penilaian model dan manusia berada dalam selisih satu tingkat satu sama lain 97% dari waktu. Angka 35% antarmanusia adalah angka yang digunakan Anthropic untuk berargumen bahwa tugas penilaian memang sulit; angka itu tidak diajukan sebagai validasi atas juri.

Self-authored HTML card headed 'Method and reliability' with the title 'Claude graded the work, and Claude is also the caveat' and the subtitle 'How Anthropic built the R&D Automation Index, and what its own agreement checks found.' A left column headed 'The method' lists six numbered steps: sample 20% of staff in the relevant departments each week in July 2026; have a Claude research agent review work records including Slack messages and internal documents; produce about 15,000 tasks; freeze them into a 542-node tree with 378 leaf tasks; weight categories by human person-time; rate each category from AL0 to AL5 with a Claude judge. A right column headed 'The check' shows three large figures: 59%, exact agreement between the Claude judge and a human rater; 35%, exact agreement between two human raters on the same task; 97%, model and human ratings within one level of each other. A quotation box carries Anthropic's line that the judge model could make the same kinds of errors as the model it is checking. Three amber chips below list the further stated limits: borderline cases between AL3 and AL4 remain disputed, a frozen basket can miss work that did not exist when it was fixed, and no external audit exists yet because the company plans to embed third-party evaluators. The OrcaRouter logo sits in the bottom-right corner.

Dua batasan lebih lanjut dinyatakan di halaman tersebut, bukan ditemukan oleh para kritikus. Kasus-kasus batas antara "berkolaborasi" dan "memimpin" masih diperdebatkan, dan di situlah tepatnya angka 26% berada. Dan keranjang tugas yang dibekukan dapat melewatkan pekerjaan yang belum ada saat keranjang itu dibekukan, meskipun Anthropic mengatakan perbandingan Januari 2026 tidak menemukan kenaikan dalam tugas-tugas baru.

Dalam pengamatan dari luar, halaman itu menjabarkan sebuah rencana, bukan audit yang telah selesai. "Kami berencana menempatkan evaluator pihak ketiga independen dari berbagai organisasi di Anthropic," kata halaman itu — sebuah pengaturan dalam bentuk waktu mendatang, bukan audit saat ini. Satu-satunya pemeriksaan eksternal yang telah selesai yang disebutkannya adalah bahwa METR telah secara independen melakukan red-team terhadap platform pemantauan luringnya. Dalam laporan heise tanggal 18 September, peringatan-peringatan itu berasal dari Anthropic sendiri; media Jerman tersebut tidak mengutip pakar luar yang menantang indeks tersebut. Outlet independen telah mereproduksi angka-angkanya, bukan memverifikasinya, dan perbedaan itulah hal terpenting yang perlu diingat dari liputan tersebut.

Tiga puluh ribu agen, dan buku besar yang mengikuti mereka

Seiring dengan indeks otomasi, Anthropic mengungkap skala populasi agen di baliknya: "sekitar 30.000 agen yang melakukan pekerjaan riset dan rekayasa di Anthropic pada waktu tertentu" di platform internalnya yang paling banyak digunakan. Dibaca apa adanya, itu adalah hitungan konkurensi, bukan jumlah individu agen berbeda selama suatu periode, dan heise menyajikannya dengan lebih hati-hati sebagai agen yang "aktif secara bersamaan pada waktu-waktu tertentu pada bulan Agustus".

Kontrol yang dijelaskan Anthropic dirancang untuk membuat populasi itu dapat diaudit, bukan anonim. Setiap agen memiliki "identitas individu", dan semua data yang dibuatnya terikat pada identitas tersebut; identitas itu "tidak terikat pada model, ia tetap bertahan melalui peningkatan versi model", sehingga "setiap tindakan dapat diaudit per agen sepanjang waktu" dan "setiap catatan data dapat ditautkan kembali ke agen tertentu". Agen "berkomunikasi melalui sistem perpesanan bersama yang terbuka, bukan secara privat"; setiap pesan terikat pada identitas agen yang mempostingnya, dapat menautkan ke konten lain sehingga referensi aslinya tetap terjaga, dan direferensikan silang dengan transkrip agen sehingga pemantauan dapat "menelusuri komunikasi antarag en".

Angka-angka pengawasan adalah bagian yang terdengar seperti catatan insiden, meskipun catatan tersebut mengklasifikasikan pengungkapan ini sebagai informasional. Setiap tindakan melewati monitor online sebelum eksekusi, biasanya dalam hitungan detik; setiap tindakan diingesti secara offline setelah dilakukan; tindakan yang diblokir ditinjau oleh manusia dalam waktu seminggu. Dari lebih dari satu miliar keputusan pada Agustus, 0,002% — "sekitar 1 dari 47.000" — diblokir. Penandaan offline berjalan pada sekitar satu hingga dua transkrip per seribu, sekitar 100.000 transkrip seminggu, dengan sekitar 50 kasus prioritas tinggi dieskalasi ke manusia.

Tingkat pemblokiran bukan tingkat keselamatan. Ini mengukur seberapa sering monitor menghentikan suatu tindakan, bukan berapa banyak tindakan yang salah, dan Anthropic melaporkannya berdampingan dengan angka cakupan — 100% tindakan online diperiksa sebelum eksekusi — yang menggambarkan jangkauan monitor. Asimetri yang sama berlaku pada alokasi komputasi: untuk pekan 13–20 Juli, "sekitar 6% dari komputasi yang digunakan untuk AI R&D dialokasikan untuk keselamatan", meningkat menjadi "sekitar 12% dari komputasi yang digunakan untuk AI R&D yang digerakkan AI". Anthropic menyebutnya "perkiraan yang sengaja dibuat konservatif", yang diambil dari sampel sekitar 14% dari hampir 10.000 proses pelatihan dan evaluasi riset dengan bobot condong ke proses berkomputasi lebih tinggi, dan mencatat bahwa porsi komputasi mengukur pengeluaran, bukan upaya.

Apa yang dimaksud dengan "peningkatan diri secara rekursif" di sini

Anthropic mengaitkan indeks tersebut dengan peningkatan diri secara rekursif, yang dalam esai pendampingnya didefinisikan sebagai "model yang sepenuhnya secara otonom membangun penerusnya". Posisi esai itu tidak ambigu: "Kita belum sampai di sana, dan peningkatan diri secara rekursif bukanlah hal yang tak terhindarkan." Esai itu menempatkan lingkaran tertutup sepenuhnya pada tahap hipotetis berlabel "Menutup loop" dan bertanggal "20XX?", ketika agen membangun dan melatih model serta sistem Claude di masa depan meningkatkan Claude itu sendiri. Saat ini, katanya, manusia masih memasok tujuan; yang berubah adalah bahwa "mereka tidak lagi perlu memasok metodenya".

Esai tersebut juga menjelaskan mengapa indeks ini dimaksudkan untuk dibaca sebagai ukuran jarak, bukan tonggak pencapaian. Pekerjaan AL4 — Claude menyelesaikan sebagian besar tugas dari prompt tingkat tinggi sementara manusia mengawasi — adalah tingkat yang dirujuk oleh 26% itu. AL5, otonomi penuh tanpa manusia dalam proses, adalah tingkat yang Anthropic katakan belum dicapai. Kesenjangan antara keduanya adalah pokok bahasannya.

Apa yang sudah mapan, dan apa yang disimpulkan

Terverifikasi. Anthropic menerbitkan pengukuran ini pada 17 September 2026, tanggal yang tercatat pada catatan tersebut dengan presisi hingga hari. Halaman indeks langsung tidak menampilkan tanggal terbitnya sendiri, dan esai pendampingnya memuat stempel "Update 9/18/2026". Angka-angka tersebut — 26%, di bawah 1% pada Februari, di atas 90% pada AL3 atau lebih tinggi, sekitar 30.000 agen, 0,002% keputusan diblokir, 6% dan 12% komputasi — adalah milik Anthropic sendiri, dinyatakan di halaman-halamannya dan dikutip ulang oleh heise dan InfoQ dalam waktu satu hari.

Terbukti. Tidak ada subset terukur dari pekerjaan R&D AI yang mencapai AL5, tidak ada kerugian terhadap pihak ketiga mana pun yang dilaporkan, dan kolom kerugian nyata pada catatan tersebut kosong. Catatan tersebut dinilai dengan keyakinan A untuk dokumentasi, tidak ditandai sebagai disengketakan, dan memiliki tingkat keparahan "info", yang mencerminkan bahwa tidak ada kerugian yang tercatat, bukan tentang seberapa baik dokumen tersebut bersumber.

Tidak terbukti. Bahwa Claude "memimpin" 26% R&D Anthropic dalam pengertian apa pun yang independen dari penilaian Anthropic sendiri. Pengukurannya dijalankan oleh perusahaan, jurinya adalah model Claude, dan evaluator eksternal yang diuraikan di halaman tersebut masih bersifat rencana, bukan sudah ada. Angka kesesuaian persis 59% antara juri dan manusia adalah angka yang perlu disandingkan dengan klaim utamanya.

Tidak terbukti. Bahwa tren tersebut berlanjut, atau bahwa hal itu mengarah pada peningkatan diri secara rekursif. Anthropic menolak untuk mengklaim salah satu pun, dan perbandingan dua titik antara Februari dan Agustus bukanlah sebuah ramalan. Tingkat pemblokiran juga tidak membuktikan bahwa populasi agen berada di bawah kendali; yang dibuktikannya adalah bahwa sebuah pemantau melihat setiap tindakan daring dan menghentikan sekitar satu dari 47.000.

Penilaian, bukan pengukuran. Bahwa kenaikan dari di bawah 1% menjadi 26% dalam enam bulan adalah laju yang cepat. Tidak ada dalam pengungkapan tersebut yang menetapkan ambang batas kapan laju itu menjadi masalah, dan perumusan Anthropic menyerahkan penilaian itu kepada pihak ketiga yang katanya akan mereka libatkan.

Self-authored HTML card headed 'Evidence check' with the title 'A company measuring itself, precisely' and the subtitle 'What the record supports, and what it leaves to Anthropic's own judgment.' A left panel headed 'Established' lists four points: published 17 September 2026, the date the record carries at day precision, with the live page showing no date of its own and the companion essay stamped 18 September; the figures 26%, under 1% in February, above 90% at AL3 or higher, about 30,000 agents, 0.002% of decisions blocked and 6% and 12% of compute are Anthropic's own and were reproduced by heise and InfoQ within a day; no measured subset reached AL5; no third-party harm reported, with the record's real-harm field empty and severity 'info'. A right panel headed 'Not established' lists four points: that Claude leads 26% in any sense independent of Anthropic's grading, since the measurement is company-run and the judge is a Claude model; that the trend continues or points to recursive self-improvement, which Anthropic explicitly declines to claim; that a 0.002% block rate means the agent population is under control; and any effect on staffing, research quality or safety outcomes, none of which the index measures. A blue-bordered band reads that confidence A grades how well the disclosure is documented and does not mean the measurement has been independently confirmed. A footer cites the Anthropic Institute pages, heise of 18 September 2026, InfoQ of 18 September 2026 and the archive record id. The OrcaRouter logo sits in the bottom-right corner.

Anthropic berargumen agar angka-angka yang sebanding dipublikasikan secara rutin dan agar dilakukan verifikasi independen, lapor heise — yang juga merupakan pernyataan paling jelas tentang apa yang belum menjadi indeks ini. Sampai penilai eksternal masuk ke dalam proses, angka 26% itu adalah laboratorium yang mengukur dirinya sendiri dengan instrumennya sendiri: lebih spesifik daripada siaran pers, dan tetap bukan audit.