
Kebocoran Cakupan Bug Anthropic: Model yang Memperbaiki Satu Bug dan Bertanya Tentang Kelasnya
- OrcaBARUOrca: OrcaCyber Ultra 1.02026-10-17$5.00 / $10.00 per 1 juta token · 9 tok/s
- deepseekBARUDeepSeek: DeepSeek V4.1 Flash 10172026-10-17$0.15 / $0.60 per 1 juta token · 233 tok/s
- DeepSeekBARUDeepSeek: DeepSeek V4.1 Flash2026-10-1740Kecerdasan
- OrcaBARUOrca: OrcaCyber Zero 1.52026-10-10$3.00 / $7.50 per 1 juta token · 94 tok/s
- openaiOpenAI: GPT-6.1 Sol2026-09-2952Kecerdasan
- anthropicAnthropic: Claude Sonnet 5.52026-09-2856Kecerdasan
- typesafeTypeSafe: Jev 1.132026-09-24$0.04 / $0.00 per 1 juta token · 787 tok/s
- OpenAIOpenAI: GPT-6 Luna2026-09-2238Kecerdasan
- OpenAIOpenAI: GPT-6 Sol2026-09-2248Kecerdasan
- AnthropicAnthropic: Claude Opus 5.52026-09-2258Kecerdasan
- xAIGrok 4.72026-09-2146Kecerdasan
- OrcaOrca: OrcaCyber Zero 1.02026-09-17$3.00 / $7.50 per 1 juta token · 40 tok/s
- OrcaOrca: OrcaVerify Text 1.02026-09-16$2.00 / $0.00 per 1 juta token · 832 tok/s
- OpenAIOpenAI: GPT-6 Astra2026-09-0453Kecerdasan77Koding
- GoogleGoogle: Gemini 3.8 Flash2026-09-0241Kecerdasan76Koding
- AlibabaQwen: Qwen3.8 Max (0902)2026-09-0245Kecerdasan76Koding
- AnthropicAnthropic: Claude Fable 5.12026-09-0153Kecerdasan82Koding
- TencentTencent: Hy4 preview2026-08-28$0.83 / $2.50 per 1 juta token · 51 tok/s
- AlibabaQwen: Qwen3.8 Flash2026-08-26$0.15 / $0.47 per 1 juta token · 120 tok/s
- z-aiZ.ai: GLM 5.3 Flash2026-08-2642Kecerdasan72Koding
Kalimat paling menarik dalam kebocoran Anthropic saat ini bukan tentang kecerdasan. Ini tentang cakupan. Menurut laporan yang diteruskan di X pada 19 Oktober 2026, Anthropic sedang menyiapkan model yang, ketika diminta memperbaiki satu bug, dapat mengidentifikasi kelas masalah yang lebih luas di baliknya dan kemudian bertanya apakah model itu juga harus menangani masalah-masalah tersebut. Itu adalah klaim tentang di mana sebuah model berhenti, bukan tentang seberapa baik model itu bernalar — dan klaim itu langsung menghantam garis patahan setiap agen pengodean dalam produksi, termasuk agen yang dibangun di atas Claude Opus 5.5 saat ini dan agen yang sudah diasumsikan orang akan berjalan di atas Claude Fable 5.5, kandidat yang belum terkonfirmasi untuk model yang sedang dijelaskan. Anthropic belum mengumumkan, menamai, atau memberi tanggal untuk model semacam itu. Tidak ada pengenal, tidak ada kartu tarif, tidak ada kartu model, dan tidak ada evaluasi. Semua yang berikut ini tentang perilaku yang dilaporkan adalah pelaporan yang belum terverifikasi dan bersumber tunggal, dan semua yang berikut ini tentang jajaran saat ini berasal dari dokumentasi Anthropic sendiri. Kegagalan AI dan insiden agen pengodean terdokumentasi yang melatarbelakangi laporan seperti ini dikumpulkan di OrcaRouter AI Incident Archive yang setiap entrinya membawa sumbernya sendiri, tingkat keparahan, tingkat keyakinan, dan penanda status diperdebatkan.
Pilihan kata di sini lebih penting daripada biasanya, karena dua ringkasan dari laporan yang sama menggambarkan dua perilaku yang berbeda. Versi yang terbaca seperti spesifikasi — satu bug, kelas di baliknya, pertanyaan apakah cakupan pekerjaan perlu diperluas — muncul dalam pesan yang diteruskan hingga sampai kepada kami. Agregasi publik atas laporan tersebut, yang dibaca pada 19 Oktober, memuat pernyataan berbeda: sebuah model “dengan intuisi dan penalaran yang lebih baik yang dapat menangkap maksud yang mendasari dan lebih baik dalam berpikir di luar kotak.” Itu bukan klaim yang sama. Yang satu tentang model yang mengusulkan lebih banyak pekerjaan; yang lain tentang model yang memahami apa yang Anda maksud. Keduanya bisa benar untuk model yang sama, tetapi hanya salah satunya yang mengubah tampilan diff pada Senin pagi, dan itulah yang layak dibedah.
Apa yang sebenarnya dikatakan klaim tersebut, dan apa yang tidak
Jika kata sifatnya dilepas, laporan itu menggambarkan perilaku tiga langkah: model diberi satu cacat, model menggeneralisasi dari cacat itu menjadi sebuah pola, dan model memunculkan pola itu kepada pengguna alih-alih memperbaikinya secara diam-diam. Langkah ketiga inilah yang menjadikannya klaim desain, bukan klaim benchmark. Model yang secara diam-diam memperbaiki setiap instance akan menjadi agen otonom dengan radius dampak yang tak terbatas. Model yang menemukan pola dan bertanya sedang mengusulkan perubahan pada cakupan tugas, yang merupakan hal yang dilakukan insinyur yang cermat dan hal yang tidak boleh dibiarkan dilakukan secara sepihak oleh agen yang ceroboh.
Ini juga bukan klaim yang bisa dinilai siapa pun untuk saat ini. Tidak ada kumpulan tugas publik yang mengukur “mengidentifikasi kelas dengan benar” dibandingkan “mengarang pola yang sebenarnya tidak ada.” Kedua perilaku itu tampak identik dalam transkrip: model mengembalikan sebuah daftar. Apakah daftar itu merupakan generalisasi yang autentik atau halusinasi yang penuh keyakinan hanya bisa dipastikan dengan membaca setiap butir, padahal itulah pekerjaan yang seharusnya model hemat untuk Anda.
Apa yang tidak disebutkan laporan itu sama pentingnya. Tidak ada nama model. Tidak ada pengenal API. Tidak ada harga, jendela konteks, atau batas keluaran. Tidak ada indikasi apakah perilaku tersebut merupakan default, suatu mode, atau sesuatu yang harus diminta oleh pemanggil. Dan tidak ada konfirmasi apa pun dari vendor — ruang berita Anthropic belum menerbitkan apa pun tentang model baru sejak Claude Haiku 5.5 pada 7 Oktober 2026, dan ikhtisar model Claude Platform masih mencantumkan tepat empat model: Claude Fable 5.1, Claude Opus 5.5, Claude Sonnet 5.5, dan Claude Haiku 5.5.
Mengapa “kelas yang lebih luas” adalah klaim yang berbeda dari “penalaran yang lebih baik”
Penalaran yang lebih baik adalah klaim yang aman. Setiap generasi digambarkan seperti itu, diukur pada indeks publik, dan penerus yang memperoleh skor lebih tinggi akan diharapkan, bukan menjadi berita. Menggeneralisasi dari suatu instans adalah operasi yang berbeda, dan alasan hal itu menarik adalah bahwa itu adalah pola cacat nyata yang paling umum dalam perangkat lunak.
Contoh kanonisnya adalah injeksi. Anda melaporkan satu kueri yang tidak disanitasi di satu handler. Kelas di baliknya adalah setiap handler lain yang membangun kueri dengan cara yang sama. Reviewer manusia yang pernah melihat ini sebelumnya tidak memperbaiki satu handler itu lalu melanjutkan; mereka grep untuk pola tersebut, lalu bertanya apakah perbaikannya termasuk dalam tiket ini. Model yang melakukan hal yang sama sedang melakukan tinjauan, bukan perbaikan. Outputnya bukan patch, melainkan temuan — dan temuan hanya berguna jika seseorang yang berwenang memperluas cakupan tiket terlibat dalam alur komunikasi.
• Apa yang dijelaskan oleh klaim — dengan adanya satu cacat, identifikasi polanya dan sampaikan sebelum bertindak.
• Apa yang dilakukan oleh perbaikan biasa — mengubah kode yang Anda tunjuk, lalu berhenti.
• Apa yang dilakukan agen yang ceroboh — mengubah kode yang Anda tunjuk, lalu terus melanjutkan, dan diff-nya adalah hal pertama yang Anda dengar tentangnya.
• Apa yang masih terbuka dari laporan — apakah “asks” berarti pertanyaan yang memblokir dalam sesi interaktif atau catatan yang ditambahkan ke perubahan yang sudah selesai.
Baris terakhir itulah titik di mana kebocoran tidak lagi dapat dinilai. Perbedaan antara kedua pembacaan itu adalah perbedaan antara alat yang menghormati kontrol perubahan dan alat yang mendokumentasikan perluasan cakupannya sendiri setelah kejadian.
Panduan Anthropic sendiri sudah berada di kedua sisi soal ini
Inilah yang membuat klaim itu kredibel dan bukan sekadar asal-asalan. Panduan resmi Anthropic untuk Claude Code sudah menuntut insting ini secara persis di satu tempat, tetapi justru memperingatkannya di tempat lain, dan kedua saran itu hanya dipisahkan oleh satu paragraf.
“Atasi akar masalahnya, bukan gejalanya” adalah salah satu strategi yang didokumentasikan dalam panduan praktik terbaik Claude Code, yang diilustrasikan dengan kegagalan build: perbaiki error dan verifikasi bahwa build berhasil, serta jangan menekan error tersebut. Itu adalah instruksi langsung untuk melihat melampaui instance yang dilaporkan. Beberapa bagian sebelumnya, panduan yang sama mengatakan untuk “Batasi cakupan tugas. Tentukan file mana, skenario apa, dan preferensi pengujian,” dengan contoh meminta pengujian yang mencakup satu kasus tepi alih-alih pengujian secara umum. Alasannya adalah Claude dapat menyimpulkan maksud, tetapi tidak dapat membaca pikiran Anda.
Panduan itu juga menetapkan batas berdasarkan ukuran diff: mode rencana sepadan dengan biaya tambahannya ketika sebuah perubahan menyentuh beberapa file atau pendekatannya belum pasti, dan “jika Anda dapat menjelaskan diff dalam satu kalimat, lewati rencana.” Model yang memperluas satu bug menjadi satu kelas, secara konstruksi, mengubah diff satu kalimat menjadi rencana. Jadi perilaku yang dijelaskan oleh kebocoran itu bukan hal asing bagi filosofi produk Anthropic — itu adalah momen ketika dua prinsip yang dinyatakannya bertabrakan, dan benturan itu saat ini diselesaikan oleh pengguna, bukan model.
Ada alasan kedua yang kurang nyaman mengapa klaim itu masuk akal. Dokumentasi Anthropic sendiri terang-terangan menyatakan bahwa model berhenti ketika pekerjaan terlihat selesai, dan bahwa tanpa sesuatu yang dapat dijalankan oleh model — rangkaian uji, kode keluar build, diff terhadap fixture — “terlihat selesai” adalah satu-satunya sinyal yang tersedia. Model yang menggeneralisasi dari satu bug ke sebuah kelas adalah model yang telah menemukan sinyal di luar “terlihat selesai.” Itulah argumen terkuat untuk kemampuan tersebut dan argumen terkuat untuk bertanya sebelum bertindak berdasarkan itu.

Di mana keputusan sebenarnya diambil saat ini
Hal yang berguna dari kebocoran ini adalah bahwa kontrol yang dibutuhkannya sudah ada, dan Anda dapat memeriksanya tanpa menunggu sebuah model. Ada tiga hal yang penting.
• Effort — Anthropic mengekspos lima tingkat, dari low hingga medium dan high sampai xhigh dan max, dan pengaturan ini menentukan seberapa banyak kerja yang dilakukan model atas inisiatifnya sendiri. Claude Opus 5.5 dan Claude Haiku 5.5 secara default berada di medium; model-model terkini lainnya secara default berada di high. Effort berlaku untuk semua token keluaran, termasuk pemanggilan alat, yang berarti model yang memperluas cakupan pada effort high adalah model yang memperluas cakupan dengan tagihan yang lebih besar.
• Mode rencana — Claude Code memisahkan eksplorasi dari eksekusi, dan ambang batas terdokumentasi untuk menggunakannya justru merupakan kasus multi-berkas yang tersirat oleh suatu kelas bug. Kontrol ini bukanlah filter atas ide-ide model; ini adalah tahap di mana Anda dapat melihat cakupan yang melebar sebelum menjadi sebuah diff.
• Gate deterministik — hook menjalankan pemeriksaan sebagai skrip dan dapat memblokir giliran agar tidak berakhir sampai pemeriksaan itu lolos. Itu satu-satunya dari ketiganya yang tidak bergantung pada model yang memilih untuk bertanya. Jika perilaku yang dilaporkan itu suatu saat dirilis, cara jujur untuk memakainya adalah di balik gate yang Anda tulis sendiri, karena “menanyakan apakah seharusnya menangani hal-hal itu” adalah janji tentang penilaian model, dan hook stop adalah janji tentang penilaian Anda sendiri.
Semua itu bukanlah kritik terhadap klaim tersebut. Justru itulah alasan klaim itu menarik: model yang mengusulkan cakupan yang lebih luas hanyalah sebuah peningkatan jika perluasan itu terlihat sebelum diterapkan, dan setiap mekanisme yang membuatnya terlihat adalah sesuatu yang dikonfigurasi oleh pemanggil, bukan sesuatu yang dijamin oleh model.
Berapa biayanya jika itu berhasil
Perluasan cakupan adalah bentuk sikap membantu yang paling mahal, karena melipatgandakan output, bukan input. Pada daftar tarif Anthropic saat ini, Claude Fable 5.1 adalah $10 per juta token input dan $50 per juta token output, sedangkan Claude Opus 5.5 adalah $4 dan $20 — dan dokumentasi Anthropic sendiri mengarahkan pengembang ke Claude Opus 5.5 terlebih dahulu, lalu beralih ke Fable hanya ketika evaluasi pada Opus dengan upaya lebih tinggi masih kurang memadai. Model yang nilai jualnya adalah menemukan lebih banyak pekerjaan untuk dilakukan justru berlawanan langsung dengan saran itu, karena tingkat murah adalah tingkat yang output-nya ingin Anda lipatgandakan, dan tingkat mahal adalah tingkat di mana tiket yang diperlebar menjadi pos anggaran.
Ada biaya turunan yang tidak muncul dalam tagihan token: tinjauan. Patch pada satu fungsi bisa dibaca dalam satu menit. Temuan yang menyebut sembilan lokasi pemanggilan lain harus diverifikasi satu per satu, dan verifikasi itu adalah pekerjaan yang sama yang diklaim telah dihilangkan oleh model. Itu bukan argumen menentang kemampuan tersebut — peninjau yang baik dengan daftar periksa lebih cepat daripada peninjau yang baik tanpa daftar periksa — tetapi itu berarti nilainya bergantung pada presisi. Model yang memunculkan lima kasus nyata dan satu yang dibuat-buat telah membuat Anda kehilangan waktu untuk membantah yang dibuat-buat itu, dan mengajari Anda untuk sedikit lebih tidak mempercayai daftar tersebut.
Apa yang bisa Anda sebut hari ini, dan jawaban jujur tentang yang ini
Tidak ada yang baru. Tidak ada pengenal untuk model tersebut dalam laporan, dan katalog kami sendiri adalah uji yang adil untuk itu: memintanya untuk anthropic/claude-fable-5.5 menghasilkan model not found, dan begitu pula anthropic/claude-haiku-5.5. String-string itu tidak termasuk di antara 209 model yang kami rutekan. Yang berhasil diresolusikan adalah jajaran saat ini pada harga daftar Anthropic — anthropic/claude-opus-5.5 dengan jendela konteks 1 juta token, batas output 128K, dan $4 / $20 per juta, serta anthropic/claude-fable-5.1 seharga $10 / $50. Platform mana pun yang saat ini mengiklankan akses ke “model pemburu bug baru Anthropic” hanyalah menjual sebuah nama.
Pertanyaan praktis yang sebenarnya ada di benak pembaca bukanlah apa nama model itu. Pertanyaannya adalah bagaimana mengetahui apakah model yang memperluas cakupan membantu atau merugikan pada basis kode Anda tanpa mempertaruhkan jalur produksi pada sebuah rumor. Itu adalah pertanyaan routing, dan di situlah sebuah platform membuktikan nilainya: kirimkan sebagian permintaan ke model yang belum terbukti dengan model yang sudah Anda ukur sebagai pendukungnya, sehingga generalisasi yang buruk hanya menghabiskan satu tinjauan, bukan sebuah insiden. Perubahan harga dan rilis baru dari Anthropic hadir di OrcaRouter pada hari yang sama tanpa markup 0%, jadi ketika daftar harga muncul, biaya eksperimennya adalah harga daftar dan tidak ada tambahan apa pun di atasnya. Anda dapat melihat secara persis berapa biaya model teratas dalam jajaran saat ini di halaman model Claude Opus 5.5, dan membandingkannya dengan halaman Claude Fable 5.1 sebelum memutuskan model mana yang seharusnya menjadi default untuk beban kerja Anda.


Apa yang akan mengubah bagian ini?
Tiga hal, dan yang pertama adalah yang paling cepat menyelesaikannya.
Kalimat pihak pertama. Satu baris dalam dokumentasi Anthropic yang menjelaskan kapan model memperluas cakupan, dan apakah perluasan itu merupakan default atau opt-in, akan mengubah seluruh kebocoran ini menjadi spesifikasi. Tidak adanya baris tersebut adalah alasan setiap klaim di sini harus diberi batasan.
Sebuah evaluasi yang diterbitkan. “Menemukan kelas” hanya bermakna jika dibandingkan dengan “menciptakan kelas,” dan tidak ada vendor yang menerbitkan kumpulan tugas yang memisahkan keduanya. Sampai ada yang tersedia — presisi dan recall dalam identifikasi kelas cacat, dinilai oleh pihak selain laboratorium — klaim tentang generalisasi dari satu bug hanyalah deskripsi niat, bukan kapabilitas yang dapat dibandingkan antarmodel.
Nama dan kartu tarif sekaligus. Konvensi penamaan tetap stabil di seluruh Fable 5, Fable 5.1, Opus 5.5, Sonnet 5.5, dan Haiku 5.5, dan pengenal tersebut membawa tingkat: sebuah claude-fable-5-5 akan menyiratkan $10 / $50 dan claude-opus-5-6 akan menyiratkan $4 / $20. Satu string dalam ikhtisar model menjawab pertanyaan yang membuat bocoran itu menghabiskan seribu kata.
Sampai saat itu, posisi yang jujur adalah bahwa sebuah lab frontier dilaporkan sedang membangun ke arah perilaku yang setiap organisasi rekayasa sudah memiliki kebijakan tentangnya, dan belum ada yang menerbitkan kebijakan tersebut. Apakah sebuah model seharusnya memperbaiki bug yang Anda laporkan, atau bug yang tidak Anda sadari Anda miliki, bukanlah pertanyaan tentang kapabilitas. Itu adalah pertanyaan tentang siapa yang memegang tombol merge, dan kebocoran tersebut — yang menyebutkan bahwa model itu bertanya — adalah jawaban yang lebih melegakan daripada jawaban yang saat ini diberikan sebagian besar agen coding, yaitu terus melangkah dan membiarkan diff menjelaskan dirinya sendiri.
Dibandingkan dalam artikel ini1
Terdeteksi dari artikel ini · Benchmark: Artificial Analysis · diperbarui setiap hari
