Benchmark Claude Fable 5.2: Berapa Biaya 65 dalam Waktu Nyata

Claude Fable 5.2 mencetak skor 65 pada Artificial Analysis Intelligence Index v5.0.1 — peringkat pertama dari 78 model, unggul lima poin dari Gemini 4 Carbon. Kelima poin itu disertai 267 detik hingga token pertama, 46,8 menit waktu aktual per tugas, dan $26,54 pengeluaran per eksekusi indeks, yang masing-masing merupakan bentuk praktis dari skor tersebut. Inilah yang diukur oleh harness dan apa yang harus dilakukan dengan itu. Halaman Claude Fable 5.2 API memiliki endpoint dan harga; tulisan ini tentang benchmark.

Sembilan evaluasi

AA-Briefcase v1.1, AutomationBench-AA, Terminal-Bench 4.0, FrontierCode-AA 2.0, AA-Omniscience v1.1, GDP.pdf, HLE-Diamond, CritPt v2 Hard Subset, Terminal-Bench-Science 0.1. Tiga tugas terminal dan otomasi, dua tugas penalaran berbasis dokumen atas input panjang, dua evaluasi sains dan matematika yang sulit, satu evaluasi kode frontier. Tanpa harness agen web, tanpa simulasi dukungan multi-putaran, tanpa deteksi kerentanan.

Skor dan skalanya

65, peringkat 1 dari 78, pada v5.0.1. Hanya model yang dinilai ulang pada v5.0.1 yang boleh berada dalam tabel yang sama; skor v4.3 dan v4.3.2 adalah kumpulan evaluasi yang berbeda dan bagan apa pun yang mencampurnya tidak valid. Dalam kohort saat ini, urutan di puncak adalah Fable 5.2 pada 65 dan Gemini 4 Carbon pada 60, sementara sisanya lebih jauh di belakang atau belum dinilai ulang.

Selisih lima poin pada indeks sembilan evaluasi itu nyata tetapi sempit. Cara membacanya yang berguna bukanlah 'lima persen lebih baik', melainkan 'keunggulan moderat pada rangkaian uji yang sulit', dan alasan untuk membayarnya adalah varians, bukan kemampuan mentah: pada tugas di mana jawaban yang salah membatalkan seluruh proses, keunggulan kecil dalam probabilitas keberhasilan akan terakumulasi di sepanjang langkah.

Jam dinding

267 detik hingga token pertama, peringkat 76 dari 77 model dengan data latensi. 46,8 menit total per tugas. 97 token per detik keluaran setelah dimulai, yang 35 persen lebih cepat daripada 72 milik Carbon dan hampir tidak menyumbang waktu yang berlalu.

Distribusinya adalah bagian yang penting. Melalui lalu lintas langsung OrcaRouter, model yang sama melaporkan p50 sebesar 8,09 detik untuk token pertama dan p95 sebesar 10,00 detik selama 35,6 juta token dalam tujuh hari. Harness dan gateway mengukur populasi yang berbeda: yang satu membiarkan model berpikir dengan upaya maksimal pada HLE-Diamond, yang lain adalah permintaan median pada tingkat upaya apa pun yang ditetapkan pemanggil. Jika Anda menjalankan Fable 5.2 dengan upaya maksimal, Anda akan mereproduksi angka AA; dengan upaya rendah, Anda akan melihat sesuatu yang mendekati angka gateway.

Uang itu

$26.54 per putaran indeks dengan $8.00 per juta input dan $40.00 per juta output — peringkat 77 dari 77, yang paling mahal di papan peringkat. Gemini 4 Carbon menghabiskan $5.48 untuk sembilan evaluasi yang sama. Itu berarti 4.8 kali pengeluaran untuk lima poin indeks, dan merupakan rasio paling berguna dalam perbandingan ini.

AA melaporkan 275 juta token keluaran untuk proses tersebut dengan verbositas pada 0,97 persen. Perhatikan bahwa persentase dan jumlah tersebut menunjukkan arah yang berlawanan relatif terhadap Carbon dengan 2,69 persen dan 205 juta token, sehingga persentase tersebut tidak boleh dikutip sebagai klaim keringkasan.

Rasio yang membuat perbandingan ini bisa digunakan adalah $0.41 belanja benchmark per poin indeks dibandingkan $0.09 milik Carbon. Apa pun kesimpulan Anda darinya, aritmetikanya memaksa keputusan perutean alih-alih keputusan model tunggal: pada harga ini, model adalah sebuah tier, bukan default.

Apa yang tidak disampaikan skor kepada Anda

Tidak ada evaluasi siber dalam kumpulan ini, jadi tidak ada di sini yang membahas recall kerentanan atau kualitas patch — relevan jika itu alasan Anda melihat model frontier. Tidak ada evaluasi agen berdurasi panjang dengan panggilan alat lintas giliran, yang justru merupakan beban kerja yang dipasarkan untuk Fable 5.2; tugas-tugas terminal mendekatinya tetapi tidak mereproduksinya.

Juga tidak ada pengukuran keandalan. Lalu lintas langsung di OrcaRouter menunjukkan {{1}}tingkat non-2xx sebesar 10,8 persen{{/1}} di seluruh penyedia upstream selama tujuh hari, dibandingkan dengan {{2}}39,7 persen{{/2}} untuk Carbon. Harness benchmark menyerapnya dengan percobaan ulang; aplikasi Anda tidak akan melakukannya kecuali Anda membangunnya.

Membacanya sebagai sebuah keputusan

Jika tugas Anda tampak seperti sembilan evaluasi dan Anda dapat menjalankannya secara asinkron, 65 dengan $26,54 per eksekusi dapat dipertanggungjawabkan untuk kasus-kasus sulit dan boros untuk kasus-kasus mudah — rutekan berdasarkan tingkat kesulitan dan gunakan model yang lebih murah untuk mayoritas. Jika tugas Anda interaktif, angka harness bukan angka Anda; p50 gateway sebesar 8,09 detik adalah yang harus menjadi acuan desain, dan tingkat upaya adalah variabel yang menentukan apakah Anda mendekati delapan detik atau mendekati empat menit.

Untuk perbandingan langsung, Claude Fable 5.2 vs Claude Fable 5.1 mencakup generasi sebelumnya dengan harga lebih tinggi, dan Gemini 4 Carbon vs Claude Fable 5.1 mencakup pasangan lintas vendor. Daftar model LLM berisi sisa kohort v5.0.1 beserta id dan harga; periksa ulang versi indeks pada setiap bagan yang Anda gunakan kembali, karena skor v4.3 dalam tabel yang sama akan membatalkan perbandingan.