Pratinjau Step 5 vs Claude Sonnet 5.5: Dua Belas Poin Indeks, Biaya Tugas Sepuluh Kali Lipat

Step 5 Preview dan Claude Sonnet 5.5 adalah dua model yang benar-benar dibandingkan pembaca satu sama lain bulan ini: pratinjau StepFun $1,00 / $2,70 per juta token yang dibuka pada 20 September 2026, dan Claude Sonnet 5.5 $2,00 / $10,00 yang dirilis 28 September. Di papan independen, keduanya terpaut dua belas poin — 44 berbanding 56 pada Artificial Analysis Intelligence Index v4.3.2 — dan dua belas poin adalah selisih yang nyata. Itu juga bukan angka yang menentukan tagihan. Angka yang menentukan tagihan adalah biaya per tugas yang diselesaikan, dan di sana papan yang sama menunjukkan $0,71 untuk Step 5 Preview berbanding $7,60 untuk Claude Sonnet 5.5 pada upaya maksimum. Sepuluh setengah kali uangnya, untuk dua belas poin. Hampir setiap baris lain pada kedua kartu adalah argumen tentang separuh mana dari pertukaran itu yang dapat Anda terima.

Dua kartu tarif, baris demi baris

Semua yang ada di bagian ini adalah harga yang diterbitkan sendiri oleh masing-masing vendor, dibaca pada 9 Oktober 2026.

• Input — Step 5 Preview $1,00 per juta token vs Claude Sonnet 5.5 $2,00 per juta token

• Keluaran — $2,70 vs $10,00 per juta token; baris yang mendominasi kedua tagihan

• Input yang di-cache — Step 5 Preview menyatakan diskon input tetap sebesar 95%, yang menempatkan cache hit pada sekitar $0.05 per juta token vs pembacaan cache Claude Sonnet 5.5 sebesar $0.20

• Penulisan cache — Claude Sonnet 5.5 mempublikasikan $2.50 per juta token untuk penulisan cache lima menit; StepFun tidak mempublikasikan tarif penulisan cache sama sekali, sehingga separuh perbandingan itu kosong di satu sisi

• Jendela konteks — 1M token pada kedua kartu

• Output maksimum — Claude Sonnet 5.5 mendokumentasikan 128.000 token (dan 300.000 pada Message Batches API di balik header beta); StepFun belum menerbitkan batas output untuk Step 5 Preview

• Modalitas — keduanya menerima teks dan gambar dan hanya mengembalikan teks

Kontrol penalaran — Step 3 Preview menampilkan pemikiran yang diperluas tanpa tingkatan upaya yang dipublikasikan; Claude Sonnet 5.5 menampilkan tangga upaya yang pengaturan tertingginya justru tepat di titik di mana biaya per tugasnya sendiri melonjak

• Bobot — Checkpoint BF16 dari Step 5 Preview dijanjikan untuk 15 Oktober 2026 dan belum dirilis; Claude Sonnet 5.5 bersifat proprietary

Dua dari baris itu lebih berperan daripada headline-nya. Baris cache adalah tempat kartu murah menjadi lebih murah lagi, karena diskon 95% dari satu dolar berarti biaya baca cache lima sen, sedangkan milik Anthropic dua puluh sen. Dan baris plafon output berjalan sebaliknya: satu vendor memberi tahu Anda di mana keunggulannya, yang lain mengiklankan jendela sejuta token tanpa menyebut berapa banyak dari itu yang bisa keluar kembali.

Dari mana dua belas poin itu sebenarnya berasal

Kedua angka di bawah ini milik Artificial Analysis, pada Intelligence Index v4.3.2, dan keduanya dibaca dari halaman model itu sendiri, bukan dari tabel vendor.

• Indeks Kecerdasan — Claude Sonnet 5.5 56, menempati peringkat #3 dari 216 vs Step 5 Preview 44, menempati peringkat #45 dari 200. Dua ukuran kelas yang berbeda karena papan dirender pada momen yang berbeda; skornya adalah bagian yang dapat dibandingkan.

• Biaya per tugas indeks — $7,60 vs $0,71. Angka Anthropic adalah untuk konfigurasi yang oleh dewan diberi label "Adaptive Reasoning, Max Effort, Default Fallback", yang merupakan ujung termahal dari tangga model itu sendiri.

• Token keluaran yang dihasilkan selama proses indeks — 410M vs 160M, dibandingkan median papan peringkat sebesar 88M. Kedua model bertele-tele menurut ukuran papan peringkat tersebut. Satu lebih dari empat kali median, yang lain belum genap dua kali lipatnya.

• Kecepatan output — Step 5 Preview menunjukkan sekitar 100 token per detik dibandingkan rata-rata 70. Artificial Analysis belum menerbitkan angka kecepatan output untuk Claude Sonnet 5.5 pada saat penulisan, jadi baris itu hanya satu sisi, bukan kemenangan.

Gabungkan dua baris pertama, dan bentuk keputusannya mulai terlihat. Dua belas poin indeks memisahkan model-model ini; faktor sepuluh setengah memisahkan biaya yang mereka keluarkan untuk menjalankan evaluasi yang sama. Poin-poin itu nyata — selisih peringkat menempatkan salah satunya di antara tiga model teratas yang diberi skor oleh dewan dan yang lainnya di kuartal teratas — tetapi tim yang membayar $7,60 per tugas untuk beban kerja agentik yang berat sedang membayar demi penalaran, dan pertanyaannya adalah apakah tugas mereka membutuhkannya.

Tabel vendor tidak akan menyelesaikan ini, dan inilah buktinya

Kedua lab menerbitkan angka Terminal-Bench 4.0. Pengumuman Sonnet 5.5 dari Anthropic mengklaim 70,6% untuknya, dibandingkan 10,3% untuk model yang digantikannya. Angka Terminal-Bench 4.0 yang diterbitkan StepFun sendiri untuk Step 5 Preview adalah 33,3%. Keduanya dijalankan oleh vendor, keduanya belum direproduksi oleh pihak ketiga mana pun, dan keduanya terpaut 37 poin pada benchmark dengan nama yang sama.

Kesenjangan itu bukan bukti bahwa satu model dua kali lebih baik. Itu bukti bahwa dua lab yang menjalankan harness bernama sama dengan konfigurasi, scaffold agen, dan pengaturan effort yang berbeda menghasilkan angka yang tidak dapat saling dikurangkan. Ini masalah yang berulang pada perbandingan hari peluncuran, dan itulah sebabnya setiap baris dalam tulisan ini yang berasal dari lab diberi label demikian. Jika pihak ketiga telah mengukur kedua model pada satu harness, gunakan itu. Jika tidak, perlakukan angka vendor sebagai klaim tentang suatu niat.

Catatan migrasi Anthropic sendiri dari peluncuran Sonnet 5.5 layak dibawa ke perbandingan ini, karena catatan itu berlaku untuk endpoint pratinjau apa pun yang sedang Anda evaluasi. Panduan vendor tersebut adalah bahwa tingkat effort telah dikalibrasi ulang antara Sonnet 5 dan 5.5 dan bahwa tim harus menjalankan ulang penyapuan effort mereka alih-alih membawa pengaturan yang ada begitu saja. Peringatan yang setara berlaku di sini dalam arah sebaliknya: Step 5 Preview adalah pratinjau, konfigurasi serving-nya masih terus berubah, dan pengaturan yang disetel terhadap endpoint minggu ini bukanlah pengaturan yang Anda miliki.

Keduanya terlalu banyak berbicara, dengan kadar yang berbeda.

Verbositas adalah baris yang mengubah kartu tarif menjadi faktur. Step 5 Preview menghasilkan 160 juta token keluaran untuk menyelesaikan rangkaian indeks, sementara model median papan menghasilkan sekitar 92 juta — kira-kira 1,7 kali median. Claude Sonnet 5.5 menghasilkan 410 juta, atau sekitar 4,7 kali median.

Pada $2,70 per juta token keluaran, verbositas Step 5 Preview adalah bagian besar dari angka yang kecil. Pada $10,00, verbositas Claude Sonnet 5.5 adalah sebagian besar dari angka yang sangat besar. Tidak ada model yang ringkas, dan pemasaran kedua vendor tidak menggambarkannya seperti itu. Konsekuensi praktisnya adalah bahwa pengukuran token per tugas pada lalu lintas Anda sendiri akan memberi tahu Anda lebih banyak tentang perbedaan biaya yang sebenarnya daripada yang diberikan oleh kartu tarif, karena kartu tarif mengasumsikan kedua model menulis jumlah kata yang sama untuk jawaban yang sama. Kenyataannya tidak.

Baris cache, dihitung pada loop nyata

Ambil sebuah loop agen dengan prefiks stabil 40.000 token—sebuah prompt sistem plus konteks repositori—yang dikirim ulang pada setiap giliran selama tiga puluh giliran, dengan prefiks ditulis sekali dan terpakai dua puluh sembilan kali. Itu berarti 1,16 juta token input yang di-cache per sesi.

• Claude Sonnet 5.5 — satu penulisan dengan $2,50 per juta token, sekitar $0,10, lalu 1,16 juta token baca dengan $0,20 per juta, sekitar $0,23. Total sekitar $0,33 per sesi, sebelum ada input atau output baru.

• Step 5 Preview — pembacaan dengan diskon 95% yang dinyatakan, jadi sekitar $0,05 per juta dan kira-kira $0,06 per sesi. Bagian penulisannya tidak dihitung biayanya karena StepFun belum menerbitkan tarif penulisan cache.

Pada baris yang benar-benar dapat kami beri harga, trafik cache sekitar lima kali lebih mahal pada kartu Anthropic, dan catatannya adalah salah satu dari dua tarif penulisan belum ada. Inilah beban kerja yang menjadi alasan kedua model ini dijual, sehingga baris ini lebih penting daripada yang terlihat dari persentase diskon yang ditonjolkan.

Di mana masing-masing sebenarnya dapat dipanggil

Claude Sonnet 5.5 ada di katalog kami sebagai anthropic/claude-sonnet-5.5, dengan harga $2.00 dan $10.00 milik Claude Sonnet 5.5 sendiri plus cache read $0.20, jendela konteks 1.000.000 token dan output maksimum 128K — harga daftar diteruskan dengan markup 0%, jadi perubahan pada kartu Anthropic adalah perubahan pada kami di hari yang sama. Step 5 Preview tidak ada di katalog itu, dan kami tidak akan menyiratkan sebaliknya: ia menjawab di API StepFun sendiri dan, sampai checkpoint yang dijanjikan tiba, tidak di tempat lain sama sekali.

Asimetri itu punya kegunaan praktis. Jika kedua model berada di balik satu kunci dengan failover otomatis, memindahkan beban kerja dari satu ke yang lain hanya akan menjadi perubahan string model dan tidak lebih — itulah alasan jujur untuk menjaga pintunya tetap generik. Dalam kondisi saat ini, perbandingannya adalah antara model yang dapat Anda panggil melalui rute yang sudah ada dan model yang harus Anda sambungkan secara terpisah, dan yang kedua adalah pratinjau yang armada pelayanannya masih dibangun. Menempatkan kapasitas yang belum terbukti di belakang router dengan failover ke sesuatu yang sudah terkualifikasi adalah asuransi murah; jalur utama yang diarahkan langsung ke endpoint pratinjau bukanlah demikian.

Apa yang akan mengubah putusan ini

Tiga hal, semuanya bisa diberi tanggal. Yang pertama adalah 15 Oktober 2026, saat checkpoint BF16 milik StepFun dijadwalkan. Jika lisensi mengizinkan fine-tuning dan bobotnya nyata, selisih dua belas poin berhenti menjadi properti tetap dari model dan menjadi sesuatu yang dapat diserang tim pada datanya sendiri — pada titik itu, kartu yang sepuluh kali lebih murah menjadi titik awal yang jauh lebih menarik. Jika checkpointnya meleset atau lisensinya restriktif, selisihnya tetap persis di posisi yang ditetapkan papan peringkat.

Yang kedua adalah apakah pelajaran kalibrasi ulang upaya milik Anthropic sendiri diterapkan di sini. Keunggulan per-tugas Sonnet 5.5 dibanding Sonnet 5 ada pada upaya rendah dan menengah, bukan pada maksimum, dan yang berlaku sebaliknya pada maks. Pembeli Step 5 Preview yang tidak pernah menyapu tingkat upaya membandingkan model pada pengaturan bawaannya dengan model pada pengaturan bawaannya, yang di sisi Anthropic bukanlah tempat pekerjaan murah dan bernilai tinggi terjadi.

Yang ketiga adalah run independen yang semestinya dari Step 5 Preview pada konfigurasi yang sebanding dengan konfigurasi tempat angka Anthropic diukur. Sampai itu ada, angka 44 hanyalah satu konfigurasi yang diberi skor tanpa tangga pembanding di sisinya, sedangkan angka 56 memiliki kurva upaya yang lengkap di bawahnya. Perbandingan ini jujur sebagaimana ditulis; tetapi belum simetris.

Bagi tim yang memutuskan hari ini alih-alih pada tanggal 15: jika beban kerjanya berkonteks panjang, berat cache, dan sering diulang, aritmetika di halaman ini menguntungkan kartu murah dengan selisih satu orde besaran dan kesenjangan kemampuan adalah harga masuknya. Jika beban kerjanya sulit, singkat, dan dinilai oleh manusia yang akan menyadari perbedaan antara 44 dan 56, kartu mahal adalah yang menyelesaikan pekerjaan itu. Tak satu pun jawaban itu bertahan saat bersentuhan dengan beban kerja yang sekaligus keduanya, dan untuk itulah router ada.

harga daftar diteruskan dengan markup 0%, jadi perubahan pada kartu Anthropic adalah perubahan pada kartu kami pada hari yang sama.

failover otomatis pada router adalah yang memungkinkan endpoint pratinjau dievaluasi di balik fallback yang memenuhi syarat, bukan sebagai jalur utama.