Claude Sonnet 5.5 dalam Extra Effort: Mengapa Klaim "Model Claude Berikutnya" Gagal pada Kedua Ujiannya Sendiri

Pada 12:44 UTC tanggal 5 November, sebuah akun X bernama @chetaslua memposting sebuah kalimat yang telah beredar dalam berbagai bentuk sejak Oktober: "Sonnet 5.5 Extra tampaknya melakukan routing ke model claude berikutnya." Pada pagi berikutnya, unggahan itu telah memperoleh 20.900 tayangan, 384 suka, dan 38 balasan. Model yang disebutkannya adalah model yang dapat Anda panggil hari ini — Claude Sonnet 5.5, yang dirilis pada 28 September dengan harga $2 dan $10 per juta token. Kata "Extra" bukanlah model kedua. Itu adalah tingkat tertinggi kedua pada menu effort Claude, yang oleh Anthropic diberi label Extra high dan oleh API disebut xhigh.

Dua tes ditawarkan sebagai bukti: pertanyaan tentang ke mana Andrej Karpathy pergi pada 2026, dan seekor pelikan di atas sepeda yang digambar sepenuhnya dalam SVG. Kedua tes lolos pada model yang dirilis Anthropic pada September. Itulah seluruh kesulitan dengan klaim tersebut. Satu tes memeriksa fakta yang jatuh sebulan di dalam jendela pelatihan Claude Sonnet 5.5 itu sendiri. Tes lainnya mengukur kuantitas yang dimaksudkan untuk ditingkatkan oleh pengaturan Extra. Tidak satu pun dapat memisahkan "model yang lebih baik menjawab" dari "pengaturan yang saya pilih melakukan apa yang dikatakan dokumentasinya."

Itu tidak membuat tulisan tersebut tidak bernilai. Itu menjadikannya spesimen bersih dari sebuah pengujian yang terasa menentukan padahal tidak — dan dua langkah yang digunakannya, yaitu uji pengetahuan dan perbandingan ukuran keluaran, adalah dua langkah yang sama di balik sebagian besar klaim perutean musim gugur ini. Menelusuri keduanya lebih berguna daripada satu putaran lagi menebak-nebak apa yang belum diumumkan Anthropic.

Apa yang sebenarnya diposting

Postingan itu menjelaskan satu sesi obrolan dan dua prompt. Prompt pertama menanyakan ke mana Karpathy pergi pada 2026 dan menginstruksikan model agar tidak menggunakan web; balasannya menyebut bahwa ia bergabung dengan Anthropic pada Mei 2026 di tim pretraining. Prompt kedua meminta "pelikan mengendarai sepeda se realistis mungkin hanya dengan kode," dan hasilnya digambarkan sebagai 26,599 elemen SVG, sekitar 6,500 goresan bulu, tanpa gambar tersemat, URI data, atau skrip, dan 1,860 baris Python. Dari dua pertukaran tersebut, penulis postingan menyimpulkan bahwa label itu menyajikan sesuatu yang lebih baru daripada model yang dinamainya.

Tidak ada yang menyertainya. Tidak ada pengenal model, tidak ada daftar harga, tidak ada kartu sistem, tidak ada pernyataan Anthropic. Penerus yang disinggungnya telah beredar dengan beberapa nama sejak Oktober, tidak satu pun milik Anthropic dan tidak satu pun dapat dipanggil. Daftar model Anthropic sendiri, jika dibaca hari ini, memuat empat model terkini: Claude Fable 5.1, Claude Opus 5.5, Claude Sonnet 5.5, dan Claude Haiku 5.5. Tidak ada baris kelima, dan tidak ada pengenal di mana pun dalam unggahan itu yang dapat diuji oleh pembaca.

Apa itu "Extra", sebelum menjadi misteri

Menu effort di aplikasi Claude mencantumkan lima tingkat — Low, Medium, High, Extra high (xhigh), dan Max — dengan tingkat yang direkomendasikan model ditandai Default. "Extra" adalah cara orang memendekkan tingkat keempat. Referensi Anthropic sendiri mendeskripsikan xhigh sebagai kemampuan tambahan untuk pekerjaan dengan horizon panjang, yang ditujukan untuk "tugas agentic dan coding yang berjalan lama (lebih dari 30 menit) dengan anggaran token dalam kisaran jutaan." Itu adalah pihak vendor yang memberi tahu Anda sejak awal bahwa tingkat ini dimaksudkan untuk mengonsumsi jauh lebih banyak daripada tingkat di bawahnya.

Tingkat ini juga dikalibrasi per model, bukan secara global. Catatan migrasi Anthropic untuk generasi ini menyatakan secara gamblang bahwa tingkat effort Claude Sonnet 5.5 telah dikalibrasi ulang — sebuah tingkat "tidak menghasilkan jumlah pemikiran yang sama seperti pada Claude Sonnet 5" — dan meminta pengembang menjalankan ulang sweep effort mereka alih-alih membawa setelan lama begitu saja. Ada dua konsekuensi yang mengikuti, keduanya membosankan dan keduanya fatal bagi inferensi. Permintaan pada Extra di Sonnet 5.5 bukanlah permintaan yang sama dengan Extra pada pendahulunya, jadi "terasa berbeda dari yang saya ingat" memang diharapkan. Dan memutar dial dari High ke Extra adalah instruksi untuk menghabiskan lebih banyak token, jadi gambar yang lebih panjang, lebih padat, dan lebih rumit adalah hasil yang diminta.

Ada satu detail permukaan lagi yang perlu dipastikan, karena di sinilah label-label berhenti cocok. Effort default Claude API untuk model ini adalah high; default Claude Code untuk model yang sama adalah medium. Respons dari aplikasi pada Extra, respons dari API pada default-nya, dan respons dari Claude Code pada default-nya adalah tiga konfigurasi berbeda dari satu model. Membandingkan dua di antaranya dan menyimpulkan bahwa model baru telah muncul berarti membandingkan default, bukan checkpoint.

Uji satu: fakta bulan Mei yang diperiksa terhadap batas waktu bulan Juni

Pertanyaan Karpathy adalah yang lebih kuat di antara dua uji tersebut, karena tidak seperti kebanyakan tes ini, jawabannya dapat diperiksa terhadap catatan publik. Jawaban itu terbukti benar. Karpathy mengumumkan di X pada 19 Mei 2026 bahwa ia telah bergabung dengan Anthropic; ia mulai minggu itu di tim pra-pelatihan, melapor kepada Nick Joseph, dan mengatakan akan membangun tim yang berfokus menggunakan Claude untuk mempercepat riset pra-pelatihan. Balasan yang dijelaskan dalam postingan — bergabung dengan Anthropic, Mei 2026, tim pra-pelatihan — akurat.

Akurasi adalah masalahnya. Batas pengetahuan andal Claude Sonnet 5.5 adalah Juni 2026, dan batas data pelatihannya sama. Perekrutan itu terjadi sekitar satu bulan sebelum batas tersebut. Claude Sonnet 5.5 yang sudah dirilis, ketika ditanyai pertanyaan ini dengan web dimatikan, seharusnya menjawabnya, dan menjawabnya adalah yang diprediksi dokumentasinya. Uji tersebut menghasilkan hasil nol dan dibaca sebagai temuan.

Perlu bersikap tepat tentang apa yang dapat dan tidak dapat dilakukan oleh sebuah probe pengetahuan, karena di sinilah sebagian besar klaim semacam ini menjadi keliru:

• Jawaban yang benar tentang peristiwa pra-cutoff tidak informatif. Setiap model dalam lini telah dilatih mengenainya.

• Jawaban yang keliru justru akan informatif — dalam arah sebaliknya. Jika model yang seharusnya mengetahui perekrutan Mei 2026 menyangkalnya, itu adalah bukti adanya checkpoint berbeda yang lebih lemah, bukan checkpoint yang lebih kuat yang belum diumumkan.

• Hanya fakta pasca-cutoff yang membedakan. Fakta yang diterbitkan setelah Juni 2026, yang tidak mungkin menjadi data pelatihan model mana pun dalam lini saat ini, adalah satu-satunya bentuk pertanyaan yang memisahkan checkpoint baru dari yang lama. Karpathy menerbitkan tulisan alur kerja di blognya sendiri pada 2 November. Menanyakan isinya dengan web dimatikan akan menjadi ujian yang sesungguhnya. Menanyakan ke mana ia pergi pada Mei bukanlah ujian.

Tes dua: hitungan pelikan yang mengukur tingkat kecerewetan

Prompt pelikan adalah evaluasi ad-hoc yang sudah lama dijalankan Simon Willison, dan ia menjalankannya terhadap Claude Sonnet 5.5 pada 28 September, hari model itu dirilis. Hasil yang ia publikasikan adalah dasar pembanding yang berguna di sini, karena hasil tersebut bertanggal, diatribusikan, dan terukur, bukan dihitung secara kasatmata.

• Pada upaya maksimal — satu tingkat di atas yang digunakan postingan — model menghabiskan 128.000 token keluaran, mencapai batas, menelan biaya $1,28, dan sama sekali tidak menghasilkan SVG.

• Pada xhigh — tingkatan yang disebut Extra dalam postingan itu — model yang sama menghasilkan seekor pelikan dalam 41 detik dengan biaya 5,74 sen.

Bacalah kedua baris itu bersama-sama, dan uji kedua dalam postingan itu runtuh. Model yang dirilis pada Extra sudah menggambar burung — itu adalah proses 41 detik, 5,74 sen — jadi burung pada Extra bukan anomali. Model yang dirilis satu tingkat di atas Extra tidak menggambar apa pun, jadi pada tugas ini dial effort adalah variabel dominan dengan selisih yang lebar, dan dial effort adalah satu-satunya hal yang diubah postingan itu. Hasil yang berubah seiring pengaturan yang Anda putar adalah bukti tentang pengaturan itu.

Hitungan elemen perlu perhitungan tersendiri, karena angka itulah yang paling mungkin diulang. Anthropic menyatakan bahwa 1 juta token kira-kira setara 2,5 juta karakter pada tokenizer saat ini. Jika 26.599 elemen rata-rata 40 karakter masing-masing — angka konservatif setelah memasukkan data path dan atribut — gambarnya akan berukuran sekitar 1,06 juta karakter, atau kira-kira 424.000 token. Itu lebih dari tiga kali batas keluaran sinkron 128.000 token, dan juga di atas batas batch 300.000 token. Jika elemen-elemennya rata-rata tujuh karakter, jumlah yang sama muat dengan nyaman dalam sekitar 74.000 token.

Jadi jumlahnya dibatasi oleh kepadatan markup, bukan oleh kekuatan model, dan model yang lebih ringkas mencatat angka yang lebih besar. Deskripsi postingan itu sendiri mengarah pada pembacaan yang lebih mungkin: 1,860 baris Python muncul dalam obrolan yang sama, dan skrip yang melakukan perulangan atas bulu dapat menghasilkan 26,599 elemen tanpa model menulis 26,599 elemen. Postingan itu tidak menyebut apakah kode tersebut menggambar pelikan atau merupakan artefak terpisah, dan itulah tepatnya detail yang dibutuhkan pembaca. Yang bisa dikatakan tanpa file itu adalah bahwa jumlah elemen merupakan ukuran verbositas pada sebuah tingkatan yang tugas terdokumentasinya adalah menghasilkan lebih banyak.

Satu-satunya kalimat yang benar-benar menarik dalam deskripsi itu adalah kalimat yang bernada negatif: tidak ada gambar tersemat, tidak ada URI data, tidak ada skrip. Pelikan dengan tingkat detail seperti itu yang dibangun hanya dari primitif vektor adalah hasil yang nyata. Akan tetapi, itu adalah hasil tentang kualitas keluaran, dan kualitas keluaran pada pengaturan upaya yang lebih tinggi adalah hal yang paling tidak mengejutkan yang bisa dihasilkan sebuah model.

Satu-satunya cara terdokumentasi bagi Claude lain untuk menjawab

Semua ini tidak membuktikan bahwa Anthropic tidak akan pernah memenuhi permintaan di bawah satu label dengan bobot yang berbeda. Namun, ini berarti klaim tersebut harus menjelaskan mekanisme yang memang didokumentasikan oleh Anthropic, dan keduanya mengarah ke arah sebaliknya.

Yang pertama adalah fallback penolakan. Permintaan yang ditolak mengembalikan HTTP 200 dengan stop_reason: "refusal" dan objek stop_details yang menyebutkan area kebijakannya. Fallback sisi server, yang diatur dengan fallbacks: "default" dan dalam versi beta di Claude API, mencoba ulang penolakan cyber dan frontier_llm pada Claude Sonnet 5 — model yang lebih lama dan lebih murah. Itu adalah kasus terdokumentasi di mana permintaan Sonnet 5.5 dijawab oleh hal lain, dan itu merupakan penurunan versi yang mengumumkan dirinya sendiri dalam respons.

Yang kedua adalah pengikatan blok berpikir. Blok berpikir mencatat model mana yang menghasilkannya, dan ketika percakapan berpindah ke model yang tidak dapat membacanya, API membuangnya sebelum model melihat permintaan, serta melaporkan pembuangan itu di input_transformations saat header beta disetel. Itu adalah API yang memberi tahu Anda bahwa model yang melayani telah berubah. Tidak ada apa pun dalam kedua mekanisme tersebut yang meng-upgrade permintaan claude-sonnet-5-5 ke model yang lebih kuat yang belum diumumkan dengan string yang sama.

Tidak adanya mekanisme bukanlah bukti bahwa tidak ada yang terjadi. Namun, itulah standar yang harus dipenuhi klaim tersebut: narasi perutean yang hanya pernah menggambarkan peningkatan harus menjelaskan mengapa satu-satunya jalur yang diterbitkan Anthropic berjalan menurun dan meninggalkan bukti.

Hal yang paling mendekati pemeriksaan dari luar adalah indeks yang dijalankan oleh evaluator independen terhadap model yang dirilis Anthropic. Artificial Analysis mencantumkan Claude Sonnet 5.5 pada 55 di Intelligence Index v5.0.1 miliknya, peringkat kesembilan dari 69 model dengan median 37. Itu adalah pembacaan atas string sebagaimana disajikan hari ini, dan itulah permukaan tempat checkpoint yang secara signifikan lebih kuat yang tersembunyi di balik nama yang sama pada akhirnya diperkirakan akan muncul.

Seperti apa tes yang bisa menyelesaikannya

Jika Anda ingin tahu apakah label di depan Anda sedang dilayani oleh hal lain, eksperimennya tidaklah sulit. Hanya saja, itu kurang menyenangkan dibandingkan memposting seekor pelikan.

• Patok pengenal, bukan label. Panggil claude-sonnet-5-5 dengan nilai effort yang eksplisit, sehingga permintaannya sama setiap kali. Label di menu adalah permukaan produk; pengenal adalah target.

• Lakukan sampling lebih dari sekali. Satu respons pada satu tingkat hanyalah anekdot. Sepuluh pada high dan sepuluh pada xhigh, dengan prompt sistem yang sama dan max_tokens yang sama, memberi Anda dua distribusi. Effort menghasilkan pergeseran yang mulus dan monoton dalam panjang output. Checkpoint yang berbeda cenderung menghasilkan diskontinuitas dalam konten yang tidak dapat dijelaskan oleh panjang.

• Gunakan fakta yang muncul setelah batas waktu. Batas waktu Juni 2026 berarti segala hal yang diterbitkan setelah Juni sah saja untuk dipakai, dan segala hal sebelum itu tidak berguna sebagai alat uji. Inilah satu-satunya perubahan yang akan membuat uji coba 5 November layak dijalankan.

• Baca objek respons, lalu jangan langsung mempercayainya. Field model, usage, stop_reason, dan stop_details layak dicatat, dan fallback penolakan terlihat di sana. Tetapi field-field itu hanya menggemakan apa yang dikatakan server telah dilakukannya. Itu adalah pernyataan, bukan pemeriksaan — kategori bukti yang sama dengan meminta model mendeskripsikan dirinya sendiri.

• Hitung harganya sebelum menjalankannya. Dengan $2 dan $10 per juta token, respons 128.000 token berbiaya $1,28, yang merupakan angka Willison dan juga hanya tarif standarnya. Dua puluh respons yang dibiarkan mencapai batas maksimum sekitar $25.

Biaya tambahan apa yang dikenakan saat Anda menunggu jawaban?

Ada pertanyaan praktis di balik rumor yang tidak bergantung pada penyelesaiannya. Claude Sonnet 5.5 menagih thinking sebagai output, thinking dihitung terhadap max_tokens, dan Extra didokumentasikan untuk anggaran token dalam jumlah jutaan. Satu respons yang menghabiskan satu juta token output menelan biaya $10 hanya di sisi output, pada kartu tarif yang dipilih banyak tim justru karena merupakan tier murah.

• Satu tingkat di atas Extra, uji pelican terukur mencapai batas 128.000 token dan menelan biaya $1,28 tanpa menghasilkan gambar. Biaya permintaan yang gagal pada model ini bukan nol.

• Satu tingkat di bawahnya, tugas yang sama selesai dalam 41 detik dengan biaya 5,74 sen. Selisih antara keduanya lebih dari dua puluh kali lipat, dan itu ditentukan oleh menu dropdown.

• Sebuah tim yang menjalankan 1.000 permintaan Extra per hari dengan 30.000 token keluaran untuk masing-masing permintaan menghabiskan 30 juta token keluaran per hari, atau $300, bahkan sebelum masukan dihitung sama sekali.

Itulah bagian yang bisa ditindaklanjuti pembaca hari ini, terlepas dari apa yang akan dirilis Anthropic berikutnya. Jika Extra adalah model yang berbeda, keuntungan tak terduga itu nyata tetapi tidak dapat direncanakan. Jika Extra adalah sesuai namanya, maka beban kerja yang belum diuji terhadap high dan medium sedang membayar untuk ketelitian yang tidak diukur siapa pun.

OrcaRouter merutekan Claude Sonnet 5.5 dengan harga $2 dan $10 milik vendor sendiri tanpa markup tambahan, dan effort adalah parameter per permintaan, bukan kontrak terpisah, jadi penyapuan effort di seluruh tingkat hanyalah sebuah loop dalam skrip. Itu juga merupakan lindung nilai yang jujur terhadap klaim seperti ini: patok pengenal model yang Anda maksud, jalankan prompt yang sama di setiap tingkat, dan bandingkan jumlah token Anda sendiri alih-alih tangkapan layar. Ketika pertanyaan perutean tidak dapat diselesaikan dari luar, hal terbaik berikutnya adalah pengaturan di mana jawabannya dapat diukur pada lalu lintas Anda sendiri — dan di mana failover ke high atau ke model lain merupakan perubahan konfigurasi, bukan migrasi.

Apa yang akan mengubah halaman ini

Pengenal model, kartu tarif, kartu sistem, atau satu kalimat dari Anthropic yang menyebut penerusnya. Salah satu dari itu menyelesaikan pertanyaan ini dalam satu sore, dan tidak satu pun ada saat ini. Sampai salah satunya ada, deskripsi jujur tentang hal di balik label adalah yang diterbitkan Anthropic: Claude Sonnet 5.5, batas pengetahuan Juni 2026, lima tingkat upaya, dan alasan terdokumentasi untuk percaya bahwa pelikan yang lebih besar pada pengaturan yang lebih tinggi adalah pelikan yang lebih besar pada pengaturan yang lebih tinggi.

Kerangka penulisan postingan itu sendiri sudah membocorkannya. Postingan itu membandingkan Extra dengan sebuah ekspektasi, bukan dengan pengukuran — tingkat yang sama pada Sonnet 5, atau tingkat yang sama pada max, atau baseline terbitan dari minggu peluncuran. Perbandingan-perbandingan itu ada dan murah. Sampai ada yang menjalankannya, "terlihat seperti routing" hanyalah deskripsi tentang dropdown yang menjalankan tugasnya.