Obsidian 3: Baris Tolok Ukur Tersembunyi, Tagihan 3,6×, dan Pertanyaan Fable 5.5

Angka paling menarik di papan peringkat pemrograman baru Cognition minggu ini dimiliki oleh model yang tidak bisa dipanggil oleh siapa pun. Sebuah entri tersembunyi berlabel Obsidian 3 muncul di berkas data di balik FrontierCode 2.0 dengan skor upaya tinggi sebesar 46,77%, di atas Claude Opus 5.5 pada 45,5% — model yang dicantumkan Cognition di urutan pertama dalam tabelnya sendiri. Baris tersebut dijalankan dalam harness claude-code, yang hanya digunakan oleh model-model Anthropic di papan itu, dan spekulasi langsung terbelah antara Claude Fable 5.5, model andalan yang belum dirilis Anthropic, dan pembaruan siklus tengah yang oleh salah seorang pemosting disebut "Opus 5.6". Tak satu pun dari itu yang terkonfirmasi. Anthropic tidak mengatakan apa pun, tidak ada kartu model atau ID API, dan setiap angka Obsidian 3 dalam artikel ini adalah klaim yang belum terverifikasi dari postingan X, bukan hasil yang bisa kami reproduksi.

Yang bisa diperiksa lebih sempit dan lebih berguna: file publik yang ditunjuk oleh kebocoran tersebut, kurva upaya yang dikaitkan dengan baris tersembunyi, dan aritmetika di balik klaim "biaya 3,6×". Gabungkan ketiganya, dan kisahnya berhenti menjadi "Model Anthropic berikutnya mengalahkan modelnya yang sekarang." Kisah itu menjadi sesuatu yang lebih spesifik — sebuah baris yang memuncak pada upaya tinggi lalu justru menurun, sebuah perbandingan yang hanya berhasil jika Anda menaruh tingkat upaya yang berbeda pada masing-masing sisi, dan sebuah file data yang sama sekali tidak memuat baris tersebut.

Apa yang bocor, dan kapan

Cognition menerbitkan FrontierCode 2.0 pada 27 Oktober. Tolok ukur ini sengaja dibuat sulit untuk dimanipulasi: 132 tugas yang dibangun dari repositori sumber terbuka nyata oleh lebih dari 20 pemelihara, masing-masing memakan waktu sekitar 40 jam, dinilai berdasarkan apakah sebuah patch benar-benar akan digabungkan, bukan apakah patch tersebut lulus pengujian. Setiap eksekusi diulang tiga kali, tugas-tugasnya bersifat privat, dan satu kriteria pemblokiran yang gagal menghasilkan skor nol. Tabel Cognition sendiri menempatkan Claude Opus 5.5 di posisi pertama dengan 45,5% dalam upaya maksimal, GPT-6 Astra kedua dengan 42,8%, Claude Sonnet 5.5 ketiga dengan 41,0%, dan tidak ada model di atas 50%. Artificial Analysis mengadopsi tolok ukur ini dengan bobot 15% dalam Intelligence Index v5 yang baru dan secara independen melaporkan pemimpin yang sama, Claude Opus 5.5 sebesar 46% saat dibulatkan.

Malam itu, pukul 21.10 UTC pada 27 Oktober, @tensorson memposting bahwa file data Cognition berisi model yang tidak ditampilkan tabel: “Obsidian 3,” sebesar 46,8%, “di atas #1 Opus 5.5 (45,5%).” Postingan itu mencatat harness claude-code dan menduga Fable 5.5. Dua belas jam kemudian, sebuah utas di linux.do mencantumkan lima skor upaya terpisah untuk baris tersebut — low 39,19%, medium 39,84%, high 46,77%, xHigh 45,90%, max 45,53% — dan melampirkan salinan data. Pada pukul 09.12 UTC tanggal 28 Oktober, @teortaxesTex memposting kutipan dengan angka biaya: Opus 5.5 pada high mencetak 34,5% dengan biaya $2,42 per rollout, Opus 5.5 pada max mencetak 45,5% dengan biaya $12,82, dan Obsidian 3 pada high mencetak 46,7% “tampaknya dengan biaya $8,62,” tanpa mencapai hasil lebih tinggi bahkan pada $47 untuk max. “Apakah FrontierCode sudah rusak?” tanya postingan itu. “Atau apakah Fable 5.5 gagal total?” Pada pukul 16.18 UTC, @CodexResets1 memperkuat angka yang sama dan bertanya apakah model tersebut Fable 5.5 atau Opus 5.6.

Header Last-Modified file tersebut menunjukkan 17:44 UTC pada 28 Oktober. Versi yang kami unduh sehari kemudian berukuran 32.055 byte, mencantumkan 24 model, dan tidak berisi baris bernama Obsidian 3 di mana pun dalam strukturnya. Permintaan dengan cache-busting mengembalikan hash file yang sama. Tabel papan peringkat resmi tidak pernah menampilkan baris tersebut, mirror 20 baris BenchLM juga tidak menampilkannya, dan Anthropic belum menerbitkan apa pun.

Satu baris, lima tingkat upaya, tiga cerita berbeda

Bagian yang dipublikasikan dari perbandingan ini solid, karena berasal langsung dari data Cognition yang dapat diunduh. Skor yang disesuaikan dengan mergeability milik Claude Opus 5.5 meningkat pada setiap tahap: 14,7% pada low, 30,1% pada medium, 34,5% pada high, 43,4% pada xHigh, dan 45,5% pada max. Biaya tugas rata-ratanya meningkat dari $2,42 pada high menjadi $12,82 pada max. Itulah kurva model yang menjadi lebih baik ketika Anda membayarnya untuk berpikir lebih lama.

Kurva Obsidian 3 yang diklaim tidak berperilaku seperti itu:

• Upaya rendah — 39,19% diklaim, sudah di atas upaya tinggi Claude Opus 5.5 sebesar 34,5%.

• Upaya sedang — 39,84% diklaim, peningkatan 0,65 poin.

Upaya tinggi — 46,77% diklaim, puncaknya, dengan klaim $8,62 per tugas.

• upaya xHigh — 45,90% diklaim, turun 0,87 poin.

• Upaya maksimal — 45,53% diklaim, turun 0,37 lagi, dengan biaya yang diklaim mendekati $47.

Lima pengaturan upaya, dan skor terbaik berada di urutan ketiga. Menghabiskan sekitar 5,5× anggaran upaya tinggi untuk mencapai maks menghasilkan skor 1,24 poin lebih rendah. Cognition sendiri memperingatkan bahwa hal ini bisa terjadi: pengaturan penalaran yang lebih tinggi terkadang menurunkan skor karena model menulis lebih banyak kode dan menyentuh lebih banyak file, dan contoh benchmark itu sendiri mencakup eksekusi upaya maksimum yang menghapus kelas API publik saat memperbaiki race condition. Namun besarnya penurunan itu penting. Model yang macet di puncak jauh lebih sering merupakan checkpoint awal atau artefak distilasi daripada produk unggulan yang sudah jadi.

Sekarang perbandingannya, karena judulnya sepenuhnya bergantung pada mana yang kamu pilih:

• Terbaik versus terbaik — 46,77% Obsidian 3 pada high dibandingkan 45,5% Claude Opus 5.5 pada max adalah +1,32 poin, dengan $8,62 dibandingkan $12,82, atau sekitar 33% lebih murah. Dalam pembacaan ini, baris tersembunyi menang pada kedua sumbu.

• Tinggi versus tinggi — 46,77% dibandingkan 34,5% adalah +12,24 poin, pada $8,62 dibandingkan $2,42, atau 3,56× biayanya. Dalam pembacaan ini, ini adalah peningkatan kualitas yang besar dengan harga yang besar.

• Max versus max — 45,53% berbanding 45,45% adalah +0,08 poin, dengan sekitar $47 berbanding $12,82, atau 3,67× biayanya. Dalam pembacaan ini, hasilnya seri dengan harga yang merugikan.

Ketiganya benar secara aritmetika. Itulah sebabnya utas X itu saling berdebat tanpa sinkron: @tensorson membandingkan high dengan max dan menyebutnya kemenangan 1,3 poin; @teortaxesTex membandingkan high dengan high dan bertanya apakah benchmark-nya rusak. Angka "biaya 3,6× pada usaha yang sama" akurat, dan begitu pula "lebih murah daripada hasil run terbaik Opus 5.5" — keduanya menjelaskan pasangan run yang berbeda.

Ada catatan penting yang lebih besar di balik semua itu. Data Cognition menyimpan dua angka per run: tingkat benar mentah dan skor yang disesuaikan berdasarkan mergeability. Angka 45.5% yang dipublikasikan untuk Claude Opus 5.5 adalah angka yang disesuaikan; tingkat benar mentahnya pada max adalah 49.7%, dan pada high adalah 37.9%. Penyesuaian tersebut membuat baris-baris Claude publik kehilangan tiga hingga empat poin. Kami tidak tahu dari kolom mana angka Obsidian 3 yang bocor berasal. Jika 46.77% adalah tingkat benar mentah, skor yang disesuaikannya akan berada di sekitar 43% — di bawah Claude Opus 5.5 — dan seluruh klaim "di atas #1" pun hilang. Satu ketidakpastian itu lebih besar daripada selisih 1.3 poin yang diperdebatkan semua orang.

Mengapa label claude-code menjadi seluruh dasar argumen bagi Anthropic

Harness hanyalah perancah, bukan sidik jari. FrontierCode menjalankan setiap model di dalam agent loop, dan file data memetakan model ke loop yang mereka gunakan: baris-baris OpenAI berjalan di codex, Google di devin-cli, xAI di grok-build, Muse Wonder milik Meta di muse, model SWE milik Cognition sendiri di devin-cli-swe1, dan keenam baris Claude di claude-code. Baris anonim yang berada dalam harness Claude merupakan petunjuk kuat bahwa model di baliknya dibangun untuk bekerja dengan tooling Anthropic. Itu bukan bukti bahwa Anthropic membangunnya. Operator benchmark dapat menguji model pra-rilis mitra dalam harness apa pun yang sesuai, dan sebuah lab dapat menguji modelnya sendiri dengan nama yang diembargo.

Nama itu sendiri hampir tidak memberi tahu Anda apa pun. Jajaran publik Anthropic — diperiksa terhadap ikhtisar model miliknya sendiri pada 29 Oktober — adalah Claude Fable 5.1, Claude Opus 5.5, Claude Sonnet 5.5, dan Claude Haiku 5.5. Tidak ada Fable 5.5, tidak ada Opus 5.6, dan tidak ada produk bernama Obsidian. "Obsidian 3" adalah nama kode bergaya batu permata seperti yang digunakan laboratorium secara internal, tetapi tidak ada registri publik untuk memeriksanya, dan angka "3" di akhir tidak memetakan ke urutan apa pun yang telah dirilis Anthropic.

Itu menyisakan tiga penafsiran, dan bukti yang ada tidak menentukan di antara ketiganya:

• Build tingkat Fable. Claude Fable 5.1 adalah produk unggulan seharga $10 / $50 untuk penalaran yang menuntut, diluncurkan pada 1 September, dan lini Fable adalah celah yang jelas dalam jajaran produk saat ini. Dugaan @tensorson, serta beberapa balasan terhadap postingan tersebut, mengarah ke sini karena profil biayanya tampak seperti tier premium, bukan tier value.

• Penyegaran Opus di tengah siklus. Pandangan awal @teortaxesTex adalah bahwa “Obsidian 3 adalah Opus 5.6,” dengan argumen bahwa Anthropic pernah merilis model di tengah siklus dengan sedikit peningkatan penalaran sebelumnya. Bagian atas yang datar dari kurva yang diklaim cocok dengan narasi itu, tetapi skor upaya rendah — 39,19% berbanding 14,7% milik Claude Opus 5.5 — tampak seperti proses pelatihan yang berbeda, bukan penyegaran kecil.

• Artefak distilasi atau checkpoint awal. Hipotesis lain @teortaxesTex, dan yang paling didukung oleh bentuk kurva: kuat pada upaya rendah dan sedang, memuncak pada upaya tinggi, lalu mengalami regresi ketika diberi lebih banyak ruang. Model frontier yang sudah selesai seharusnya tidak menjadi lebih buruk setiap kali Anda meningkatkan anggarannya.

Apa yang ditambahkan oleh waktu IPO — dan apa yang tidak.

Sinyal yang memulai utas ini adalah pertanyaan tentang waktu: mengapa Fable belum diluncurkan sebelum IPO? Anthropic secara publik mengajukan S-1 pada 26 Oktober, sehari sebelum FrontierCode 2.0 diluncurkan, untuk penghimpunan dana diperkirakan $75 miliar di Nasdaq dengan ticker ANT. Roadshow diperkirakan pada minggu 9 November dan penetapan harga pada minggu 16 November, menurut Renaissance Capital. Flagship berikutnya yang hadir sebelum penetapan harga akan memberi pencatatan itu cerita produk; jika hadir setelahnya, ia memberi cerita peta jalan.

Namun baris benchmark tersembunyi bukanlah sinyal peluncuran. Laboratorium menguji model pra-rilis dengan operator benchmark secara rutin, biasanya di bawah embargo, dan tugas operator adalah menjaga model tetap anonim sampai vendor menyatakan sebaliknya. Jika Cognition menguji build Anthropic, bacaan yang tepat adalah bahwa Anthropic masih melakukan iterasi — bukan bahwa peluncuran tinggal beberapa hari lagi. Satu-satunya titik data resmi tetap dokumentasi Anthropic, yang mencantumkan empat model saat ini dan tak satu pun dari mereka adalah Obsidian. IPO menjelaskan mengapa orang mengamati tier Fable begitu cermat. Itu tidak membuat baris tersebut nyata.

Apa yang sebenarnya bisa dilakukan pembaca saat ini

Tidak ada hal tentang Obsidian 3 yang dapat dipanggil, diberi harga, atau didokumentasikan, jadi itu tidak mengubah keputusan apa pun minggu ini. Jika Anda memerlukan skor mergeability terbaik yang tersedia saat ini, Claude Opus 5.5 sudah tersedia untuk umum: $4 untuk masukan dan $20 untuk keluaran per juta token, jendela konteks 1 juta token, keluaran maksimum 128K, ID API claude-opus-5-5, dirilis 22 September. Jika biaya menjadi kendala, GPT-6.1 Sol mencetak 39,0% dengan sekitar $1,03 per tugas pada papan peringkat yang sama — jauh lebih baik dari segi skor per dolar dibandingkan kedua run Claude, dan angka itu layak diperiksa sebelum Anda menganggap baris teratas tabel adalah satu-satunya baris yang berguna.

Claude Opus 5.5 adalah model yang dapat dirutekan melalui OrcaRouter dengan harga daftar Anthropic tanpa markup, bersama lebih dari 200 model lain dalam satu API dengan failover otomatis. Itu penting untuk satu eksperimen yang sebenarnya didorong oleh kebocoran ini: jalankan Claude Opus 5.5 pada setelan high dan max pada beban kerja Anda sendiri dan ukur biaya per patch yang diterima. Kurva FrontierCode sendiri menyatakan bahwa dua langkah upaya terakhir menambah biaya $10.40 per tugas untuk 11 poin; repositori Anda mungkin tidak menetapkan harga dengan cara yang sama. Pengaturan upaya dan harga per token adalah milik Anthropic sendiri, diteruskan apa adanya, sehingga perbandingannya merupakan perubahan parameter, bukan kontrak kedua — dan jika Anthropic memotong harga daftar, pemotongan itu langsung berlaku di rute tersebut pada hari yang sama.

Apa yang akan membuat Obsidian 3 menjadi fakta

• Baris tersebut dikembalikan dalam file data yang dapat diunduh, dengan kunci model dan kelima entri upaya, sehingga angka-angka tersebut dapat dibaca tanpa tangkapan layar.

• Cognition menyatakan apakah mereka menguji model pra-rilis, dan dengan pengaturan seperti apa. Operator benchmark yang mengonfirmasi uji coba yang diembargo akan memastikan asal-usulnya tanpa menyebut nama vendor.

• Anthropic menerbitkan kartu model, ID API, atau entri dokumentasi. Itu satu-satunya peristiwa yang mengubah baris benchmark menjadi produk.

• Harga tercantum. Model tanpa harga adalah entri tolok ukur, bukan opsi yang dapat dipilih pembaca.

• Operator kedua mengukurnya. Artificial Analysis menjalankan harness FrontierCode 2.0 miliknya sendiri dengan setelan luar yang berbeda; baris Obsidian di sana akan menjadi korroborasi, bukan unggahan ulang tangkapan layar yang sama.

Baris itu adalah tanda terima, bukan peluncuran. Apa yang dicatatnya sebagai tanda terima lebih menarik daripada judul utamanya: model yang kuat pada usaha rendah, memuncak pada usaha tinggi, lalu menghabiskan lima kali anggaran justru untuk menjadi lebih buruk. Jika kurva itu milik produk unggulan Anthropic berikutnya, perusahaan punya masalah penskalaan penalaran yang harus diselesaikan sebelum bisa meluncurkan. Jika kurva itu milik checkpoint awal, angkanya akan berubah sebelum namanya berubah. Bagaimanapun, 46,8 bukanlah angka yang perlu diperhatikan. Angka yang perlu diperhatikan adalah apakah kurva itu pernah menjadi monoton.

FAQ

Apakah Obsidian 3 sudah dirilis?

Tidak. Tidak ada model bernama Obsidian 3 yang muncul dalam dokumentasi Anthropic atau dalam tabel FrontierCode 2.0 yang diterbitkan Cognition, dan kami tidak menemukan katalog API yang mencantumkannya. Satu-satunya bukti adalah baris tersembunyi yang dilaporkan dalam postingan X pada 27 dan 28 Oktober serta utas forum yang mereproduksi lima skor upaya. Anthropic belum berkomentar, dan berkas data publik yang kami unduh pada 29 Oktober tidak memuat baris tersebut.

Apakah Obsidian 3 itu Claude Fable 5.5 atau Claude Opus 5.6?

Tidak diketahui. Keduanya merupakan dugaan dari label harness claude-code, bukan dari pengenal apa pun. Fable 5.5 cocok dengan slot kosong di atas Claude Fable 5.1 dalam jajaran Anthropic; Opus 5.6 cocok dengan teori bahwa Anthropic merilis penyegaran siklus tengah dengan keuntungan rendah. Tidak satu pun nama tersebut muncul dalam dokumentasi Anthropic, dan profil biayanya lebih cocok untuk tier Fable premium daripada tier Opus value.

Mengapa Obsidian 3 sekarang tidak ada di FrontierCode 2.0?

Kami tidak dapat memastikan alasannya. File yang ditautkan dalam postingan asli terakhir kali diubah pada 17.44 UTC tanggal 28 Oktober, dan salinan yang kami unduh pada 29 Oktober mencantumkan 24 model tanpa entri Obsidian 3. File itu mungkin telah dihapus setelah postingan-postingan tersebut beredar, atau build publiknya mungkin memang tidak pernah memuatnya. Postingan-postingan di X dan arsip forum adalah satu-satunya catatan yang dapat kami temukan, dan keduanya bukan sumber pihak pertama.

Apakah klaim biaya 3,6× itu dapat dipertahankan?

Hitungannya memang cocok, jika dibandingkan dengan biaya Claude Opus 5.5 yang dipublikasikan Cognition: $8.62 adalah 3.56× dari proses high-effort senilai $2.42 dan sekitar 3.67× dari proses max senilai $12.82 bila dibandingkan dengan angka max sekitar $47. Yang tidak dapat diperiksa adalah sisi catatan pembukuan Obsidian 3, karena angka biayanya hanya ada di postingan X, bukan di berkas mana pun yang dapat diunduh.