Kartu hero status kebocoran yang dihasilkan berjudul 'Satu bug, sejauh mana?' dengan lencana BELUM TERVERIFIKASI dan subjudul 'klaim tentang cakupan, bukan tentang kecerdasan'. Tiga chip berbunyi 'Sumber: laporan yang diteruskan, 19 Oktober 2026', 'Tanpa nama model, tanpa ID model, tanpa harga', dan 'Kandidat yang disebut: Claude Fable 5.5, belum dikonfirmasi'. Footer berbunyi 'Anthropic belum mengumumkan, menyebut, atau menetapkan tanggal untuk model semacam itu.' Logo OrcaRouter dikomposisikan di sudut kanan bawah.
Guides & Insights

Kebocoran Cakupan Bug Anthropic: Model yang Memperbaiki Satu Bug dan Bertanya Tentang Kelasnya

Penulis

Alistair Wren

Tanggal Terbit

Model terbaru · 20Lihat semua model →
Benchmark: Artificial Analysis · diperbarui setiap hari
Kembali ke semua artikel

Kalimat paling menarik dalam kebocoran A​nthropic saat ini bukan tentang kecerdasan. Ini tentang cakupan. Menurut laporan yang diteruskan di X pada 19 Oktober 2026, A​nthropic sedang menyiapkan model yang, ketika diminta memperbaiki satu bug, dapat mengidentifikasi kelas masalah yang lebih luas di baliknya dan kemudian bertanya apakah model itu juga harus menangani masalah-masalah tersebut. Itu adalah klaim tentang di mana sebuah model berhenti, bukan tentang seberapa baik model itu bernalar — dan klaim itu langsung menghantam garis patahan setiap agen pengodean dalam produksi, termasuk agen yang dibangun di atas Claude Opus 5.5 saat ini dan agen yang sudah diasumsikan orang akan berjalan di atas Claude Fable 5.5, kandidat yang belum terkonfirmasi untuk model yang sedang dijelaskan. A​nthropic belum mengumumkan, menamai, atau memberi tanggal untuk model semacam itu. Tidak ada pengenal, tidak ada kartu tarif, tidak ada kartu model, dan tidak ada evaluasi. Semua yang berikut ini tentang perilaku yang dilaporkan adalah pelaporan yang belum terverifikasi dan bersumber tunggal, dan semua yang berikut ini tentang jajaran saat ini berasal dari dokumentasi A​nthropic sendiri. Kegagalan AI dan insiden agen pengodean terdokumentasi yang melatarbelakangi laporan seperti ini dikumpulkan di OrcaRouter AI Incident Archive yang setiap entrinya membawa sumbernya sendiri, tingkat keparahan, tingkat keyakinan, dan penanda status diperdebatkan.

Pilihan kata di sini lebih penting daripada biasanya, karena dua ringkasan dari laporan yang sama menggambarkan dua perilaku yang berbeda. Versi yang terbaca seperti spesifikasi — satu bug, kelas di baliknya, pertanyaan apakah cakupan pekerjaan perlu diperluas — muncul dalam pesan yang diteruskan hingga sampai kepada kami. Agregasi publik atas laporan tersebut, yang dibaca pada 19 Oktober, memuat pernyataan berbeda: sebuah model “dengan intuisi dan penalaran yang lebih baik yang dapat menangkap maksud yang mendasari dan lebih baik dalam berpikir di luar kotak.” Itu bukan klaim yang sama. Yang satu tentang model yang mengusulkan lebih banyak pekerjaan; yang lain tentang model yang memahami apa yang Anda maksud. Keduanya bisa benar untuk model yang sama, tetapi hanya salah satunya yang mengubah tampilan diff pada Senin pagi, dan itulah yang layak dibedah.

Apa yang sebenarnya dikatakan klaim tersebut, dan apa yang tidak

Jika kata sifatnya dilepas, laporan itu menggambarkan perilaku tiga langkah: model diberi satu cacat, model menggeneralisasi dari cacat itu menjadi sebuah pola, dan model memunculkan pola itu kepada pengguna alih-alih memperbaikinya secara diam-diam. Langkah ketiga inilah yang menjadikannya klaim desain, bukan klaim benchmark. Model yang secara diam-diam memperbaiki setiap instance akan menjadi agen otonom dengan radius dampak yang tak terbatas. Model yang menemukan pola dan bertanya sedang mengusulkan perubahan pada cakupan tugas, yang merupakan hal yang dilakukan insinyur yang cermat dan hal yang tidak boleh dibiarkan dilakukan secara sepihak oleh agen yang ceroboh.

Ini juga bukan klaim yang bisa dinilai siapa pun untuk saat ini. Tidak ada kumpulan tugas publik yang mengukur “mengidentifikasi kelas dengan benar” dibandingkan “mengarang pola yang sebenarnya tidak ada.” Kedua perilaku itu tampak identik dalam transkrip: model mengembalikan sebuah daftar. Apakah daftar itu merupakan generalisasi yang autentik atau halusinasi yang penuh keyakinan hanya bisa dipastikan dengan membaca setiap butir, padahal itulah pekerjaan yang seharusnya model hemat untuk Anda.

Apa yang tidak disebutkan laporan itu sama pentingnya. Tidak ada nama model. Tidak ada pengenal API. Tidak ada harga, jendela konteks, atau batas keluaran. Tidak ada indikasi apakah perilaku tersebut merupakan default, suatu mode, atau sesuatu yang harus diminta oleh pemanggil. Dan tidak ada konfirmasi apa pun dari vendor — ruang berita A​nthropic belum menerbitkan apa pun tentang model baru sejak Claude Haiku 5.5 pada 7 Oktober 2026, dan ikhtisar model Claude Platform masih mencantumkan tepat empat model: Claude Fable 5.1, Claude Opus 5.5, Claude Sonnet 5.5, dan Claude Haiku 5.5.

Mengapa “kelas yang lebih luas” adalah klaim yang berbeda dari “penalaran yang lebih baik”

Penalaran yang lebih baik adalah klaim yang aman. Setiap generasi digambarkan seperti itu, diukur pada indeks publik, dan penerus yang memperoleh skor lebih tinggi akan diharapkan, bukan menjadi berita. Menggeneralisasi dari suatu instans adalah operasi yang berbeda, dan alasan hal itu menarik adalah bahwa itu adalah pola cacat nyata yang paling umum dalam perangkat lunak.

Contoh kanonisnya adalah injeksi. Anda melaporkan satu kueri yang tidak disanitasi di satu handler. Kelas di baliknya adalah setiap handler lain yang membangun kueri dengan cara yang sama. Reviewer manusia yang pernah melihat ini sebelumnya tidak memperbaiki satu handler itu lalu melanjutkan; mereka grep untuk pola tersebut, lalu bertanya apakah perbaikannya termasuk dalam tiket ini. Model yang melakukan hal yang sama sedang melakukan tinjauan, bukan perbaikan. Outputnya bukan patch, melainkan temuan — dan temuan hanya berguna jika seseorang yang berwenang memperluas cakupan tiket terlibat dalam alur komunikasi.

• Apa yang dijelaskan oleh klaim — dengan adanya satu cacat, identifikasi polanya dan sampaikan sebelum bertindak.

• Apa yang dilakukan oleh perbaikan biasa — mengubah kode yang Anda tunjuk, lalu berhenti.

• Apa yang dilakukan agen yang ceroboh — mengubah kode yang Anda tunjuk, lalu terus melanjutkan, dan diff-nya adalah hal pertama yang Anda dengar tentangnya.

• Apa yang masih terbuka dari laporan — apakah “asks” berarti pertanyaan yang memblokir dalam sesi interaktif atau catatan yang ditambahkan ke perubahan yang sudah selesai.

Baris terakhir itulah titik di mana kebocoran tidak lagi dapat dinilai. Perbedaan antara kedua pembacaan itu adalah perbedaan antara alat yang menghormati kontrol perubahan dan alat yang mendokumentasikan perluasan cakupannya sendiri setelah kejadian.

Panduan A​nthropic sendiri sudah berada di kedua sisi soal ini

Inilah yang membuat klaim itu kredibel dan bukan sekadar asal-asalan. Panduan resmi A​nthropic untuk Claude Code sudah menuntut insting ini secara persis di satu tempat, tetapi justru memperingatkannya di tempat lain, dan kedua saran itu hanya dipisahkan oleh satu paragraf.

“Atasi akar masalahnya, bukan gejalanya” adalah salah satu strategi yang didokumentasikan dalam panduan praktik terbaik Claude Code, yang diilustrasikan dengan kegagalan build: perbaiki error dan verifikasi bahwa build berhasil, serta jangan menekan error tersebut. Itu adalah instruksi langsung untuk melihat melampaui instance yang dilaporkan. Beberapa bagian sebelumnya, panduan yang sama mengatakan untuk “Batasi cakupan tugas. Tentukan file mana, skenario apa, dan preferensi pengujian,” dengan contoh meminta pengujian yang mencakup satu kasus tepi alih-alih pengujian secara umum. Alasannya adalah Claude dapat menyimpulkan maksud, tetapi tidak dapat membaca pikiran Anda.

Panduan itu juga menetapkan batas berdasarkan ukuran diff: mode rencana sepadan dengan biaya tambahannya ketika sebuah perubahan menyentuh beberapa file atau pendekatannya belum pasti, dan “jika Anda dapat menjelaskan diff dalam satu kalimat, lewati rencana.” Model yang memperluas satu bug menjadi satu kelas, secara konstruksi, mengubah diff satu kalimat menjadi rencana. Jadi perilaku yang dijelaskan oleh kebocoran itu bukan hal asing bagi filosofi produk A​nthropic — itu adalah momen ketika dua prinsip yang dinyatakannya bertabrakan, dan benturan itu saat ini diselesaikan oleh pengguna, bukan model.

Ada alasan kedua yang kurang nyaman mengapa klaim itu masuk akal. Dokumentasi A​nthropic sendiri terang-terangan menyatakan bahwa model berhenti ketika pekerjaan terlihat selesai, dan bahwa tanpa sesuatu yang dapat dijalankan oleh model — rangkaian uji, kode keluar build, diff terhadap fixture — “terlihat selesai” adalah satu-satunya sinyal yang tersedia. Model yang menggeneralisasi dari satu bug ke sebuah kelas adalah model yang telah menemukan sinyal di luar “terlihat selesai.” Itulah argumen terkuat untuk kemampuan tersebut dan argumen terkuat untuk bertanya sebelum bertindak berdasarkan itu.

A generated two-column infographic titled 'One bug, two scopes'. The left column, headed 'What the leak describes', lists six rows: 'What it does: spots the class behind a bug', 'How far: beyond the reported file', 'Who decides: asks the user first', 'Evidence: reporter summary only', 'Price: not announced', 'Status: unreleased'. The right column, headed 'What ships today', lists the same six labels: 'What it does: fixes what you scope', 'How far: the diff you can describe', 'Who decides: you, via plan mode', 'Evidence: vendor docs, public', 'Price: $4 / $20 per million', 'Status: Claude Opus 5.5, live'. A footer reads 'Report: relayed on X, 19 October 2026, unverified. Current-model details per Anthropic documentation.' The OrcaRouter logo is composited in the bottom-right corner.

Di mana keputusan sebenarnya diambil saat ini

Hal yang berguna dari kebocoran ini adalah bahwa kontrol yang dibutuhkannya sudah ada, dan Anda dapat memeriksanya tanpa menunggu sebuah model. Ada tiga hal yang penting.

• Effort — A​nthropic mengekspos lima tingkat, dari low hingga medium dan high sampai xhigh dan max, dan pengaturan ini menentukan seberapa banyak kerja yang dilakukan model atas inisiatifnya sendiri. Claude Opus 5.5 dan Claude Haiku 5.5 secara default berada di medium; model-model terkini lainnya secara default berada di high. Effort berlaku untuk semua token keluaran, termasuk pemanggilan alat, yang berarti model yang memperluas cakupan pada effort high adalah model yang memperluas cakupan dengan tagihan yang lebih besar.

• Mode rencana — Claude Code memisahkan eksplorasi dari eksekusi, dan ambang batas terdokumentasi untuk menggunakannya justru merupakan kasus multi-berkas yang tersirat oleh suatu kelas bug. Kontrol ini bukanlah filter atas ide-ide model; ini adalah tahap di mana Anda dapat melihat cakupan yang melebar sebelum menjadi sebuah diff.

• Gate deterministik — hook menjalankan pemeriksaan sebagai skrip dan dapat memblokir giliran agar tidak berakhir sampai pemeriksaan itu lolos. Itu satu-satunya dari ketiganya yang tidak bergantung pada model yang memilih untuk bertanya. Jika perilaku yang dilaporkan itu suatu saat dirilis, cara jujur untuk memakainya adalah di balik gate yang Anda tulis sendiri, karena “menanyakan apakah seharusnya menangani hal-hal itu” adalah janji tentang penilaian model, dan hook stop adalah janji tentang penilaian Anda sendiri.

Semua itu bukanlah kritik terhadap klaim tersebut. Justru itulah alasan klaim itu menarik: model yang mengusulkan cakupan yang lebih luas hanyalah sebuah peningkatan jika perluasan itu terlihat sebelum diterapkan, dan setiap mekanisme yang membuatnya terlihat adalah sesuatu yang dikonfigurasi oleh pemanggil, bukan sesuatu yang dijamin oleh model.

Berapa biayanya jika itu berhasil

Perluasan cakupan adalah bentuk sikap membantu yang paling mahal, karena melipatgandakan output, bukan input. Pada daftar tarif Anthropic saat ini, Claude Fable 5.1 adalah $10 per juta token input dan $50 per juta token output, sedangkan Claude Opus 5.5 adalah $4 dan $20 — dan dokumentasi Anthropic sendiri mengarahkan pengembang ke Claude Opus 5.5 terlebih dahulu, lalu beralih ke Fable hanya ketika evaluasi pada Opus dengan upaya lebih tinggi masih kurang memadai. Model yang nilai jualnya adalah menemukan lebih banyak pekerjaan untuk dilakukan justru berlawanan langsung dengan saran itu, karena tingkat murah adalah tingkat yang output-nya ingin Anda lipatgandakan, dan tingkat mahal adalah tingkat di mana tiket yang diperlebar menjadi pos anggaran.

Ada biaya turunan yang tidak muncul dalam tagihan token: tinjauan. Patch pada satu fungsi bisa dibaca dalam satu menit. Temuan yang menyebut sembilan lokasi pemanggilan lain harus diverifikasi satu per satu, dan verifikasi itu adalah pekerjaan yang sama yang diklaim telah dihilangkan oleh model. Itu bukan argumen menentang kemampuan tersebut — peninjau yang baik dengan daftar periksa lebih cepat daripada peninjau yang baik tanpa daftar periksa — tetapi itu berarti nilainya bergantung pada presisi. Model yang memunculkan lima kasus nyata dan satu yang dibuat-buat telah membuat Anda kehilangan waktu untuk membantah yang dibuat-buat itu, dan mengajari Anda untuk sedikit lebih tidak mempercayai daftar tersebut.

Apa yang bisa Anda sebut hari ini, dan jawaban jujur tentang yang ini

Tidak ada yang baru. Tidak ada pengenal untuk model tersebut dalam laporan, dan katalog kami sendiri adalah uji yang adil untuk itu: memintanya untuk anthropic/claude-fable-5.5 menghasilkan model not found, dan begitu pula anthropic/claude-haiku-5.5. String-string itu tidak termasuk di antara 209 model yang kami rutekan. Yang berhasil diresolusikan adalah jajaran saat ini pada harga daftar A​nthropic — anthropic/claude-opus-5.5 dengan jendela konteks 1 juta token, batas output 128K, dan $4 / $20 per juta, serta anthropic/claude-fable-5.1 seharga $10 / $50. Platform mana pun yang saat ini mengiklankan akses ke “model pemburu bug baru A​nthropic” hanyalah menjual sebuah nama.

Pertanyaan praktis yang sebenarnya ada di benak pembaca bukanlah apa nama model itu. Pertanyaannya adalah bagaimana mengetahui apakah model yang memperluas cakupan membantu atau merugikan pada basis kode Anda tanpa mempertaruhkan jalur produksi pada sebuah rumor. Itu adalah pertanyaan routing, dan di situlah sebuah platform membuktikan nilainya: kirimkan sebagian permintaan ke model yang belum terbukti dengan model yang sudah Anda ukur sebagai pendukungnya, sehingga generalisasi yang buruk hanya menghabiskan satu tinjauan, bukan sebuah insiden. Perubahan harga dan rilis baru dari A​nthropic hadir di OrcaRouter pada hari yang sama tanpa markup 0%, jadi ketika daftar harga muncul, biaya eksperimennya adalah harga daftar dan tidak ada tambahan apa pun di atasnya. Anda dapat melihat secara persis berapa biaya model teratas dalam jajaran saat ini di halaman model Claude Opus 5.5, dan membandingkannya dengan halaman Claude Fable 5.1 sebelum memutuskan model mana yang seharusnya menjadi default untuk beban kerja Anda.

A screenshot of Anthropic's Claude Platform models overview page, listing exactly four current models — Claude Fable 5.1, Claude Opus 5.5, Claude Sonnet 5.5 and Claude Haiku 5.5 — with their API identifiers claude-fable-5-1, claude-opus-5-5, claude-sonnet-5-5 and claude-haiku-5-5. No fifth model and no bug-scope entry appears anywhere on the page.A screenshot of the OrcaRouter model page for anthropic/claude-opus-5.5, headed 'Get the Claude Opus 5.5 API', showing the model identifier anthropic/claude-opus-5.5, a context window of 1M tokens, a maximum output of 128K, and pricing of $4.00 per million input tokens and $20.00 per million output tokens — Anthropic's list price with no markup added. The page also shows a P50 time-to-first-token of 4.43 s and a P95 of 10.00 s.

Apa yang akan mengubah bagian ini?

Tiga hal, dan yang pertama adalah yang paling cepat menyelesaikannya.

Kalimat pihak pertama. Satu baris dalam dokumentasi A​nthropic yang menjelaskan kapan model memperluas cakupan, dan apakah perluasan itu merupakan default atau opt-in, akan mengubah seluruh kebocoran ini menjadi spesifikasi. Tidak adanya baris tersebut adalah alasan setiap klaim di sini harus diberi batasan.

Sebuah evaluasi yang diterbitkan. “Menemukan kelas” hanya bermakna jika dibandingkan dengan “menciptakan kelas,” dan tidak ada vendor yang menerbitkan kumpulan tugas yang memisahkan keduanya. Sampai ada yang tersedia — presisi dan recall dalam identifikasi kelas cacat, dinilai oleh pihak selain laboratorium — klaim tentang generalisasi dari satu bug hanyalah deskripsi niat, bukan kapabilitas yang dapat dibandingkan antarmodel.

Nama dan kartu tarif sekaligus. Konvensi penamaan tetap stabil di seluruh Fable 5, Fable 5.1, Opus 5.5, Sonnet 5.5, dan Haiku 5.5, dan pengenal tersebut membawa tingkat: sebuah claude-fable-5-5 akan menyiratkan $10 / $50 dan claude-opus-5-6 akan menyiratkan $4 / $20. Satu string dalam ikhtisar model menjawab pertanyaan yang membuat bocoran itu menghabiskan seribu kata.

Sampai saat itu, posisi yang jujur adalah bahwa sebuah lab frontier dilaporkan sedang membangun ke arah perilaku yang setiap organisasi rekayasa sudah memiliki kebijakan tentangnya, dan belum ada yang menerbitkan kebijakan tersebut. Apakah sebuah model seharusnya memperbaiki bug yang Anda laporkan, atau bug yang tidak Anda sadari Anda miliki, bukanlah pertanyaan tentang kapabilitas. Itu adalah pertanyaan tentang siapa yang memegang tombol merge, dan kebocoran tersebut — yang menyebutkan bahwa model itu bertanya — adalah jawaban yang lebih melegakan daripada jawaban yang saat ini diberikan sebagian besar agen coding, yaitu terus melangkah dan membiarkan diff menjelaskan dirinya sendiri.

Dibandingkan dalam artikel ini1

Terdeteksi dari artikel ini · Benchmark: Artificial Analysis · diperbarui setiap hari