Pratinjau Step 5 vs Nex N2.5 Pro: Satu Angka yang Bisa Anda Periksa, Satu yang Tidak

Angka yang beredar untuk Nex N2.5 Pro adalah 82,7, skor yang dilaporkan vendor pada Terminal-Bench 2.1. Angka yang beredar untuk Step 5 Preview pada benchmark dengan nama yang sama adalah 33%. Kedua angka tersebut tidak dapat dibandingkan, dan fakta bahwa keduanya rutin disandingkan merupakan ilustrasi paling jelas dari masalah yang dimiliki perbandingan ini: satu model telah diukur oleh pihak selain pembuatnya, sedangkan model lainnya belum pernah diukur oleh pihak lain sama sekali. Step 5 Preview mulai aktif di API StepFun pada 20 September 2026 dan mempublikasikan bobotnya pada 15 Oktober. Nex N2.5 Pro diumumkan pada 8 September dan mempublikasikan checkpoint Apache-2.0-nya di Hugging Face dalam beberapa hari setelah pengumuman tersebut. Keduanya dapat diunduh. Hanya satu yang dapat dinilai dari luar.

Asimetri tersebut bukanlah kritik terhadap rekayasa Nex N2.5 Pro. Itu adalah pernyataan tentang bukti, dan bukti adalah hal yang menjadi landasan keputusan pengadaan.

Apa itu Nex N2.5 Pro sekarang setelah bobotnya tersedia

Banyak liputan masih menggambarkan Nex N2.5 Pro sebagai model yang bobotnya "segera hadir", karena itulah yang tertulis di kartunya pada minggu pertama September. Checkpoint-nya sudah tersedia untuk publik sejak pertengahan September: model mixture-of-experts 397 miliar parameter dengan sekitar 17 miliar parameter aktif per token, yang dilatih pasca-pelatihan dari lineage Qwen 3.5, dengan lisensi Apache-2.0. Siapa pun yang menggambarkannya sebagai belum dirilis sedang mengacu pada halaman usang.

Yang tidak berubah adalah keadaan pengukuran. Angka benchmark vendor — 82.7 pada Terminal-Bench 2.1, 61.2 pada SWE-bench Pro, 89.7 pada BrowseComp, 87.4 pada OSWorld-G — dihasilkan melalui NexCUA, harness penggunaan komputer milik aliansi itu sendiri, yang menurut mereka akan dibuka sumbernya tetapi belum dilakukan. Belum ada evaluator independen yang mempublikasikan halaman untuk model tersebut. Ketidakhadiran itu bukan kebetulan waktu; itu adalah celah yang tetap ada sepanjang seluruh periode bobot tersebut dapat diunduh.

Perbandingan yang dapat dilakukan

Semua yang berikut ini berasal dari sumber-sumber yang telah dipublikasikan, bukan dari run bersama, dan setiap baris menyebutkan dari mana angka tersebut berasal. Itulah batas maksimal yang jujur untuk pasangan ini.

• Parameter — Step 5 Preview: total 600B, 27B aktif. Nex N2.5 Pro: total 397B, ~17B aktif.

• Konteks — Pratinjau Langkah 5: 1 juta token. Nex N2.5 Pro: 262.144 token, dengan plafon keluaran terdokumentasi mendekati 236K.

• Modalitas — {{1}}Pratinjau Langkah 5{{/1}}: teks, gambar, dan video masuk, teks keluar. {{2}}Nex N2.5 Pro{{/2}}: teks dan gambar masuk, teks keluar, dengan visi diposisikan sebagai saluran umpan balik penggunaan komputer.

• Kontrol penalaran — Pratinjau Langkah 5: proses berpikir selalu aktif, tetapi ada pengatur tingkat upaya rendah/sedang/tinggi. Nex N2.5 Pro: tingkat none, medium (adaptif, default), dan high, sehingga penalaran dapat dimatikan sepenuhnya.

• Bobot — Pratinjau Step 5: BF16 dan FP8 di bawah StepFun Model License 1.0. Nex N2.5 Pro: Apache-2.0.

• Harga — Step 5 Preview: $1,00 masuk, $2,70 keluar, $0,10 di-cache per juta token pada kartu tarif StepFun. Nex N2.5 Pro: tier hosted gratis, tanpa harga daftar yang dipublikasikan vendor.

Soal lisensi adalah satu-satunya aspek di mana Nex N2.5 Pro jelas lebih sederhana. Apache-2.0 adalah besaran yang sudah dikenal oleh tim hukum mana pun; lisensi StepFun memiliki ambang komersial yang memerlukan pemodelan. Soal konteks bergerak ke arah sebaliknya, dan selisihnya mendekati empat kali lipat — bermakna jika agen Anda membaca seluruh repositori atau kumpulan dokumen.

Perbandingan yang tidak dapat dilakukan

Diperlukan tiga hal untuk menempatkan keduanya pada sumbu yang sama, dan tidak satu pun dari ketiganya ada.

Pertama, versi benchmark yang sama. Terminal-Bench 2.1 dan Terminal-Bench 4.0 adalah tes berbeda dengan kumpulan tugas dan penilaian berbeda, dan skor pada salah satunya tidak menjelaskan apa pun tentang yang lain. Angka 82,7 ada pada 2.1; angka 33% ada pada 4.0. Siapa pun yang menyajikannya sebagai perbandingan adu langsung berarti membandingkan waktu sprint dengan split maraton.

Kedua, harness yang sama. Angka Step 5 Preview berasal dari indeks yang dipublikasikan yang menjalankan rangkaian evaluasi tetap terhadap setiap model yang dicantumkannya. Angka Nex N2.5 Pro berasal dari perangkat lunak yang ditulis oleh vendornya sendiri dan belum dirilis. Bahkan jika nama benchmark-nya cocok, scaffolding-nya tidak akan cocok.

Ketiga, pembacaan independen dalam bentuk apa pun. Tidak ada halaman untuk Nex N2.5 Pro di para evaluator yang menerbitkan indeks kecerdasan. Kami memeriksa hal itu secara langsung, bukan menyimpulkannya dari hasil pencarian yang tidak ada, dan jawaban hari ini sama seperti pada September: tidak ada.

Apa yang bisa dikatakan tanpa melampaui batas memang lebih sempit, tetapi tetap berguna: Nex N2.5 Pro mengklaim performa agentik yang kuat pada benchmark yang hasil pengukuran independen Step 5 Preview-nya berada di pertengahan tabel. Itu alasan untuk mengujinya, bukan alasan untuk mempercayainya.

Apa Nilai Sebenarnya dari Endpoint Gratis

Nex N2.5 Pro tingkat hosted tidak memakan biaya apa pun, sehingga perbandingan harga berubah menjadi perbandingan risiko. Tidak ada daftar harga resmi yang dipublikasikan, jadi tidak ada acuan untuk membuat model perbandingan dan tidak ada sinyal mengenai berapa nilai model tersebut menurut vendor. Daftar pihak ketiga mencantumkan harga di kisaran puluhan sen rendah per juta token input tergantung penyedianya, dan angka-angka itu saling bertentangan cukup parah sehingga tidak satu pun yang layak dianggap sebagai posisi vendor.

Gratis juga memiliki biaya ketersediaan. Tracker yang memantau endpoint gratis melaporkan ketersediaan yang terputus-putus — pengamatan pihak ketiga, bukan angka dari vendor, dan hal semacam itu tidak bermakna bagi prototipe serta mendiskualifikasi untuk jalur produksi. Model yang tidak dapat Anda andalkan bukanlah murah; itu adalah risiko tanpa harga dengan angka nol pada tagihan.

Sebagai perbandingan, tarif campuran Step 5 Preview sebesar $0.54 dan $2.35 per tugas indeks yang diselesaikan memang mahal secara absolut, tetapi sepenuhnya gamblang. Anda bisa memperkirakan tagihan dari daftar tarif yang dipublikasikan. Anda tidak bisa memperkirakannya dari tier gratis yang ketentuannya belum pernah dituliskan.

Catatan Step 5 Preview berbeda, bukan lebih baik.

Perlu bersikap tepat tentang apa yang sebenarnya dimiliki Step 5 Preview, karena "ia memiliki skor" meremehkan perbedaannya dan "ia lebih baik" melebih-lebihkannya. Step 5 Preview memperoleh skor 29 pada versi terkini Artificial Analysis Intelligence Index — bukan 44 yang dikutip dalam liputan peluncuran, karena versi indeks tersebut sejak saat itu telah diganti. Ia berada di peringkat keenam dari 17 dalam kelas pembandingnya, berjalan pada 179 token keluaran per detik, dan biayanya $2.35 per tugas indeks. Angka-angka tersebut berasal dari eksekusi yang sama, dapat direproduksi, dan dihasilkan oleh evaluator yang tidak memiliki kepentingan komersial dalam hasilnya.

Apa yang Anda dapatkan dari itu adalah sebuah baseline. Anda tahu posisi model dibandingkan sekitar lima puluh model lain yang diukur dengan cara yang sama, yang berarti Anda dapat membuat keputusan awal tanpa menyewa GPU. Yang tidak Anda dapatkan adalah jaminan bahwa Step 5 Preview akan mengalahkan Nex N2.5 Pro pada beban kerja Anda. Dalam coding dan otomasi, hasil independen Step 5 Preview biasa saja — 12% pada FrontierCode 2.0, 33% pada Terminal-Bench 4.0 — dan model dengan klaim agentic kuat yang belum dipublikasikan justru merupakan jenis model yang mungkin melampaui angka-angka tersebut. Intinya adalah Anda akan mengetahuinya sendiri daripada membacanya dari kartu.

Milik siapa masing-masing

Nex N2.5 Pro ditujukan bagi tim yang membangun agen computer-use dan browser yang bersedia menjalankan evaluasi mereka sendiri sebelum berkomitmen, serta yang menghargai lisensi Apache-2.0 dan jejak aktif 17B yang cocok untuk perangkat keras sederhana. Endpoint gratis membuat uji coba murah; tidak adanya harga daftar membuat keputusan produksi sulit. Anggap benchmark vendor sebagai hipotesis dengan mekanisme yang masuk akal di baliknya — MoE turunan Qwen yang menjalani post-training pada tugas membaca layar — bukan sebagai hasil.

Step 5 Preview cocok untuk tim yang beban kerjanya berkonteks panjang dan sarat pengetahuan, serta membutuhkan harga yang dapat mereka perkirakan. Ini adalah opsi yang lebih mahal dan lebih mudah dipahami, dan lisensinya menimbulkan pertanyaan pada skala yang sangat besar yang tidak ditimbulkan oleh lisensi Nex.

Keduanya belum ada di katalog OrcaRouter saat ini, jadi artikel ini tidak bisa menunjukkan endpoint yang lebih murah untuk salah satu dari keduanya. Yang ditawarkan platform ini untuk keputusan semacam ini adalah sisa stack dalam satu kunci: lebih dari 200 model dengan harga daftar penyedia tanpa markup, sehingga perubahan tarif vendor sampai ke Anda di hari yang sama, dan failover otomatis sehingga model yang masih Anda uji coba tidak pernah menjadi satu titik kegagalan. Pola yang berhasil untuk model yang belum terbukti adalah mengarahkan sebagian kecil trafik nyata ke model itu di belakang fallback yang sudah terbukti, mengukur, lalu baru memindahkan porsinya. Itu lebih murah daripada uji tanding benchmark dan jauh lebih informatif daripada kartu vendor.

Jika Anda membutuhkan jawaban hari ini, Step 5 Preview adalah pilihan yang dapat Anda pertanggungjawabkan dalam tinjauan desain, karena setiap angka yang melekat padanya dapat diperiksa oleh seseorang di ruangan itu. Jika Anda membangun agen penggunaan komputer dan mampu menyerap pekerjaan evaluasi, Nex N2.5 Pro adalah taruhan yang lebih menarik — lebih murah untuk dicoba, lebih sulit dipertahankan, dan benar-benar belum terukur. Kesalahan yang harus dihindari adalah memperlakukan 82.7 sebagai fakta dan $1.00 sebagai kerugian tanpa menyadari bahwa hanya satu dari kedua angka itu yang memiliki sumber kedua.