Bobot Step 5 Preview Tidak Pernah Hilang: Apa yang Diubah oleh Checkpoint NVFP4

S​tep 5 Preview sudah dapat diunduh sejak hari StepFun merilisnya pada 20 September 2026 — dan sebagian besar tulisan tentang model ini sejak saat itu menyatakan sebaliknya. Repositori FP8 stepfun-ai/S​tep-5-Preview dibuat pada 03:15 UTC pagi itu dan shard pertamanya di-commit 36 menit kemudian; repositori BF16 menyusul pada 03:52 dan shard-nya masuk pada 04:18. Keduanya milik StepFun sendiri, keduanya tanpa pembatasan akses, dan bersama-sama memuat 1,86 terabyte bobot. Yang berubah pada pertengahan Oktober lebih sempit dan lebih berguna daripada sekadar rilis ulang: StepFun menerbitkan checkpoint ketiga dalam format NVFP4 milik N​VIDIA, dan pada 15 Oktober 2026 N​VIDIA secara terbuka mendukungnya — menyebut ini "rilis open weights terbesar mereka," mengatakan model ini "dirancang untuk menangani tugas agen yang berlangsung hingga 24 jam," dan menyertakan angkanya: "hampir 8K token/detik/GPU pada N​VIDIA GB300 menggunakan NVFP4."

Itulah beritanya. Koreksi inilah alasan tulisan ini dibuka dengan tanggal, bukan pengumuman. Liputan yang ditulis pada 20 September dibuat berdasarkan repositori yang baru berumur beberapa menit dan sempat kosong, dan kerangka "bobot yang dijanjikan untuk tanggal yang lebih baru" tetap melekat bahkan setelah bobotnya tiba pada pagi yang sama. Artikel lain di situs ini mengulanginya baru-baru ini pada 13 Oktober. Itu tidak benar sekarang dan juga tidak benar saat itu, dan ini penting karena pertanyaan seputar open-weights adalah butir terbesar yang belum terselesaikan dalam setiap ulasan tentang model ini.

Apa yang sebenarnya dikirim pada tanggal 14 dan 15 Oktober

Artefak baru ini adalah stepfun-ai/Step-5-Preview-NVFP4. Repositori tersebut dibuat pada 02:59 UTC tanggal 14 Oktober 2026 dan unggahan bobotnya adalah sebuah commit pada 07:10 UTC di hari yang sama oleh seorang kontributor yang akunnya, huangyu-nv, juga menulis ulang README satu jam kemudian untuk menyelaraskannya dengan repositori FP8 dan BF16. Repositori ini menyimpan 394,18 GB di 95 file safetensors yang disusun sebagai 92 file per lapisan ditambah dua file tambahan dan satu file vision tower — skema sharding yang berbeda dari repo FP8 dan BF16, yang keduanya menyertakan 24 shard teks ditambah head multi-token-prediction dan sebuah ViT.

Isinya perlu dinyatakan secara tepat, karena "NVFP4" digunakan secara longgar di berbagai kalangan. Blok kuantisasi di dalam config.json berbunyi quant_method: modelopt, quant_algo: NVFP4, group_size: 16, dan kv_cache_quant_algo: null. Daftar abaikan itu panjang dan spesifik: 92 blok self-attention, 88 gerbang MoE, 88 expert bersama, tabel embedding, norm final dan head model bahasa, plus menara visi dan proyektornya. Hanya tiga entri di seluruh daftar yang menyentuh moe.experts. Secara sederhana, attention dan mekanisme routing tetap dalam presisi yang lebih tinggi dan bobot feed-forward expert — sebagian besar dari 600 miliar parameter — adalah bagian yang dikuantisasi. KV cache tidak disentuh, yang merupakan detail yang menentukan apakah konfigurasi serving long-context Anda bertahan melewati peralihan ini.

Pencatatan parameter Hugging Face sendiri di repositori itu terbaca 320,6 miliar, terbagi menjadi 282,4 miliar U8, 38,2 miliar BF16, dan 2,4 juta F32, dan halaman file mencetak "321B params" sebagai ukuran model. Kartu StepFun, di halaman yang sama, menyebut total 600B dan 27B aktif. Keduanya benar dan keduanya menghitung hal yang berbeda: angka 321B adalah hitungan penyimpanan elemen terkuantisasi, bukan jumlah parameter dalam pengertian yang digunakan deskripsi arsitektur. Jika Anda memperkirakan memori, gunakan angka penyimpanan. Jika Anda mendeskripsikan model, gunakan kartu.

Tiga titik pemeriksaan, tiga tagihan perangkat keras

Alasan rilis NVFP4 lebih penting daripada sekadar file keempat di sebuah folder adalah karena ini mengubah mesin terkecil yang dapat menjalankan model ini. Tabel deployment milik StepFun sendiri di kartu model memberikan bentuk untuk dua checkpoint lama, dan repositori-repositori memberikan ukurannya; berikut keduanya disatukan, dengan baris NVFP4 ditambahkan.

• Presisi — FP8 650,32 GB vs BF16 1.214,9 GB vs NVFP4 394,18 GB di disk

• Konfigurasi vLLM terkecil yang dipublikasikan — FP8 satu node B300 dengan 4 GPU, atau satu node H200 dengan 8 GPU vs BF16 satu node B300 dengan 8 GPU, atau dua node H200 dengan 16 GPU vs NVFP4 yang belum ada di tabel StepFun

• Paralelisme yang direkomendasikan kartu — FP8 TP4, TEP4 atau DEP4 pada B300 vs BF16 TP8, TEP8 atau DEP8 vs NVFP4 tidak disebutkan

• Bobot atensi dan router — FP8 terkuantisasi ke delapan bit vs BF16 presisi penuh vs NVFP4 dibiarkan tidak terkuantisasi oleh daftar abaikan ModelOpt

• Cache KV — tidak terkuantisasi pada ketiganya, karena konfigurasi NVFP4 menetapkan kv_cache_quant_algoke null

• Stack penyajian — ketiganya melalui vLLM atau SGLang dengan endpoint yang kompatibel dengan OpenAI, atau secara offline melalui jalur Transformers mandiri

Kesenjangan pada dua baris terakhir adalah catatan jujur pada checkpoint baru tersebut. Pos N​VIDIA menyatakan bahwa model ini berjalan pada hampir 8K token per detik per GPU di GB300 menggunakan NVFP4, tetapi tabel deployment StepFun belum diperbarui dengan baris NVFP4, jadi belum ada resep paralelisme yang diterbitkan vendor untuk itu. Jika Anda merencanakan deployment minggu ini, jalur FP8 adalah jalur yang memiliki konfigurasi terdokumentasi dan jalur NVFP4 adalah jalur yang angka utamanya dikaitkan dengan perangkat keras milik pihak lain.

Angka 8K itu adalah angka dari vendor, dan hanya satu vendor yang mengatakannya.

Posting N​VIDIA pada 15 Oktober adalah satu-satunya catatan pihak pertama soal ini. Tidak ada entri blog pengembang N​VIDIA, tidak ada halaman pengumuman StepFun, dan tidak ada reproduksi pihak ketiga atas klaim throughput tersebut yang bisa diperiksa dari luar. "Hampir 8K token/detik/GPU" juga merupakan pernyataan yang tidak berarti banyak tanpa ukuran batch, panjang sekuens, dan tingkat konkurensi saat pengukurannya dilakukan — konfigurasi model yang sama bisa berbeda hingga satu orde besaran di ketiga sumbu itu, dan kerangka kerja penyajian untuk model mixture-of-experts secara khusus sensitif terhadap berapa banyak expert yang aktif per token. Anggaplah ini sebagai N​VIDIA yang melaporkan soal perangkat keras N​VIDIA, yang memang persis seperti yang dinyatakannya, dan bukan sebagai angka throughput yang diverifikasi secara independen.

Klaim agen 24 jam memiliki status yang sama. Itu adalah deskripsi kemampuan, bukan pengukuran, dan kartu milik StepFun sendiri mendeskripsikan eksekusi berhorizon panjang dengan istilah yang sama tanpa melampirkan durasi padanya. Catatan evaluasi yang diterbitkan vendor untuk model ini memang mencantumkan harness dan pengaturannya — temperature 1.0, top-p 0.95, top-k 0, pengaturan penalaran High, harness SWE-agent untuk DeepSWE v1.1 — yang lebih banyak daripada yang ditawarkan banyak kartu rilis, tetapi tabel skornya sendiri berupa gambar dan StepFun tidak menerbitkan tabel benchmark numerik dalam dokumentasinya. Satu-satunya evaluator netral dengan skor langsung untuk model ini adalah Artificial Analysis, tempat S​tep 5 Preview berada di angka 44 pada Intelligence Index dan awalnya memerlukan biaya $1,03 per tugas indeks untuk dijalankan.

Resep deployment tiba bersama checkpoint, dan itulah bagian yang akan kamu gunakan

Membaca riwayat repositori, file bobot dan instruksinya tidak datang bersamaan. Kedua repositori lama ditulis ulang sepanjang 13 dan 14 Oktober — tujuh commit README di repo FP8 antara 13 dan 15 Oktober — dan yang ditambahkan oleh commit-commit itu adalah panduan penyajian lengkap: image kontainer yang dipublikasikan di vllm/vllm-openai:step-5-preview, perintah yang berfungsi untuk paralelisme tensor, expert, dan gabungan, kumpulan flag yang dibutuhkan model ini, serta jalur SGLang yang tervalidasi. Flag-flag adalah tempat pekerjaan spesifik model terlihat: --max-model-len 1048576, head speculative decoding yang dikonfigurasi sebagai --spec-method mtp --spec-tokens 3, dan parser khusus --reasoning-parser step5 serta --tool-call-parser step5 sehingga blok penalaran dan panggilan tool model tetap utuh dalam perjalanan pulang-pergi melalui API yang berbentuk OpenAI. Pada Blackwell, konfigurasi TEP dan DEP mengganti backend MoE menjadi deep_gemm_mega_moe; konfigurasi TP4 biasa tidak dapat melakukannya, karena backend tersebut memerlukan paralelisme expert.

Itu adalah dukungan framework yang hadir, dan bagi siapa pun yang memutuskan apakah akan membangun di atas model ini, nilainya lebih besar daripada klaim throughput. Unduhan 650 GB dengan perintah peluncuran yang belum divalidasi adalah proyek riset. Unduhan 650 GB dengan image kontainer yang dipin, empat konfigurasi paralel yang teruji untuk setiap presisi, dan parser yang memahami format keluaran model itu sendiri adalah sebuah deployment.

Jika Anda tidak ingin memiliki semua itu, aritmetika pada model ini tidak biasa. Step 5 Preview berjalan di platform milik StepFun sendiri dengan $1,00 per juta token input, $0,10 per juta token input cache-hit dan $2,70 per juta token output, jadi satu bulan dengan 200 juta token input dan 200 juta token output menagih $200 dan $540 masing-masing — dibandingkan dengan kira-kira harga satu node B300 empat GPU per bulan untuk perangkat keras yang melayaninya. Self-hosting di sini adalah keputusan kontrol dan residensi data, bukan keputusan biaya, dan bobot yang terbuka itulah yang membuatnya menjadi keputusan yang boleh Anda ambil sama sekali. Patut dikatakan terus terang bahwa Step 5 Preview tidak ada dalam daftar model live OrcaRouter, jadi tempat untuk memanggilnya adalah API vendor itu sendiri; apa yang satu API untuk lebih dari 200 model memang memberikan kepada Anda dalam situasi ini adalah separuh pertanyaan lainnya — biaya model yang akan menjadi tujuan pemindahan beban kerja jika deployment self-hosted tidak berhasil, dengan markup 0% pada harga daftar setiap penyedia.

Lisensi, dibaca secara harfiah

"Open weights" memainkan peran dalam frasa NVIDIA yang tidak sepenuhnya didukung oleh lisensi, dan inilah bagian cerita yang paling mungkin disalahpahami. StepFun Model License 1.0 adalah pemberian lisensi perpetual, seluruh dunia, bebas royalti, non-eksklusif untuk menggunakan, menyalin, mendistribusikan, mensublisensikan, memodifikasi, dan membuat karya turunan dari bobot tersebut, dengan pemberian paten yang sepadan. Ini bukan lisensi sumber terbuka yang disetujui OSI, dan ada dua syarat yang perlu diketahui sebelum Anda membangun bisnis di atasnya.

• Atribusi — jika produk atau layanan komersial yang menyertakan model ini melampaui 100 juta pengguna aktif bulanan atau pendapatan $20 juta dalam bulan kalender mana pun, Anda harus menampilkan "Powered by StepFun AI" secara menonjol di antarmuka produk dan dalam perjanjian pengguna Anda

• Lisensi komersial terpisah diperlukan — jika Anda adalah produsen perangkat keras atau pemilik merek yang merilis kemampuan model tersebut dalam perangkat, atau jika Anda menjalankan bisnis model-as-a-service dan pendapatan gabungan melebihi $20 juta dalam periode dua belas bulan mana pun

• Apa yang secara eksplisit bukan MaaS — menyematkan kapabilitas model ke dalam fitur pengguna akhir yang tetap, atau sekadar meneruskan permintaan ke model penyedia lain

• Apa yang secara eksplisit diizinkan tanpa perjanjian tambahan — penggunaan internal yang tidak mengekspos model atau kemampuannya kepada pihak ketiga, dan penggunaan yang diperoleh melalui saluran distribusi tersertifikasi StepFun dalam cakupan sertifikasi tersebut

• Pengakhiran — pelanggaran material mengakhiri pemberian hak, dengan masa perbaikan tiga puluh hari setelah pemberitahuan tertulis

Jadi tafsiran praktisnya adalah bahwa bobot-bobot tersebut memang benar-benar dapat diunduh dan benar-benar dapat digunakan, termasuk untuk keperluan komersial, sampai ambang batas di Bagian 2. Startup yang melakukan fine-tuning terhadap model ini untuk pekerjaan dokumen internal berada di dalam pemberian izin tersebut. Produsen ponsel yang merilisnya sebagai fitur, atau bisnis inferensi terkelola yang pendapatannya melampaui $20 juta, tidak. Itu bentuk pembatasan yang sama dengan yang digunakan lisensi Llama dan Qwen, dan layak dinyatakan secara terang-terangan daripada dimasukkan ke dalam "open."

Bagaimana posisi model setelah ini

Model mixture-of-experts 600 miliar parameter dengan 27 miliar parameter aktif, konteks satu juta token, masukan teks, gambar, dan video, keluaran maksimum 64k dalam dokumentasi StepFun, kartu tarif sekitar $1,00 / $2,70, skor indeks 44 dari satu-satunya evaluator netral yang memberinya skor, dan tiga checkpoint yang dapat diunduh pada tiga presisi. Dirilis pada 20 September 2026. Bobotnya terbuka sejak pagi hari perilisannya. Dikuantisasi untuk Blackwell pada 14 Oktober, didukung oleh vendor GPU pada 15 Oktober, pada angka throughput yang belum pernah direproduksi oleh siapa pun di luar NVIDIA.

Hal berikutnya yang layak diperhatikan bukanlah endpoint lain. Ini adalah pengukuran independen pertama pada checkpoint NVFP4 — perbandingan throughput atau kualitas terhadap jalur FP8 dari pihak yang tidak menjual perangkat kerasnya. Kuantisasi pada empat bit dengan stack attention ditahan adalah desain yang masuk akal, dan pertanyaan spesifiknya adalah apakah bobot expert bertahan dengan itu. Sampai seseorang mempublikasikan itu, posisi jujur mengenai checkpoint baru sama dengan yang seharusnya diambil oleh liputan September terhadap checkpoint lama: bobotnya nyata, resepnya nyata, dan klaim performanya milik vendor.

Hasil seperti ini juga menjadi pengingat bahwa kesalahan model sudah terdokumentasi: insiden AI dan kegagalan agen di balik model di kelas ini dikumpulkan dalam the OrcaRouter AI Incident Archive, dengan setiap entri mencantumkan sumbernya sendiri, tingkat keparahan, peringkat keyakinan, dan penanda yang disengketakan.