Step 5 Preview Dapat Dihosting Sendiri pada Hari Nol: vLLM dan SGLang Keduanya Menghadirkan Jalur Serving untuk MoE 600B Milik StepFun

Step 5 Preview bukanlah hal baru pada pagi hari 15 Oktober 2026. Model unggulan 600 miliar parameter milik StepFun sudah dapat dipanggil melalui API milik vendor sendiri sejak 20 September 2026, dan evaluator independen Artificial Analysis telah memberinya skor sejak 18 September. Yang baru pagi itu lebih sempit dan jauh lebih berguna: dua stack inferensi arus utama menerbitkan jalur mereka sendiri untuk menjalankannya di perangkat keras yang Anda miliki atau sewa. vLLM membuka draft pull request yang menambahkan Step 5 Preview — 129 file, +16.996 baris — bersama resep pendamping dan image khusus vllm/vllm-openai:step-5-preview yang muncul di Docker Hub pada 00:51 UTC. SGLang menggabungkan halaman cookbook berisi resep deployment Blackwell dan Hopper, dengan pull request dukungan model di baliknya dibuka pada jam yang sama. Sampai pagi itu, satu-satunya cara untuk menempatkan Step 5 Preview ke GPU Anda sendiri adalah unggahan ulang komunitas atas checkpoint yang tidak dilisensikan oleh siapa pun kepada Anda untuk didistribusikan ulang.

Jadi judul yang jujur bukanlah "StepFun merilis sebuah model." Model ini dirilis pada September, dan tanggal model itu sendiri seharusnya ada di kalimat pertama setiap tulisan tentangnya. Judulnya adalah bahwa per 15 Oktober 2026, pertanyaan serving sudah memiliki perintah di dalam jawabannya.

Apa yang sebenarnya berubah pada 15 Oktober

Empat artefak, semuanya bertanggal hari yang sama, dan semuanya layak dipisahkan karena membawa tingkat komitmen yang berbeda.

• dukungan model vLLM — pull request #61727, berjudul "Add Step-5 Preview support", dibuka oleh jeejeelee pada 01:18 UTC dan membawa draf tanda. Ini adalah satu commit yang di-squash yang menyentuh 129 file, dan belum digabungkan. PR draf adalah penulis yang meminta tinjauan, bukan janji pemelihara.

• Resep vLLM — pull request #1122 di vllm-project/recipes, dibuka dua menit sebelumnya pada 01:16 UTC dan juga masih terbuka, menambahkan models/stepfun-ai/Step-5-Preview.yaml dengan varian bawaan FP8 dan varian NVFP4. Inilah dokumen yang memuat angka-angkanya, dan inilah yang paling banyak menjadi rujukan artikel ini.

• Image kontainer — vllm/vllm-openai:step-5-preview, di-push pada 2026-10-15 pukul 00:51 UTC sebagai manifes dua arsitektur: linux/amd64 pada 8,56 GB terkompresi dan linux/arm64 pada 9,58 GB, dengan step-5-preview-x86_64-cu130 dan step-5-preview-arm64-cu130 di sampingnya. Image yang dipublikasikan adalah sinyal yang lebih kuat daripada PR yang terbuka: artinya seseorang membangun ini dan mem-push-nya, terlepas dari kapan review-nya selesai.

• Cookbook SGLang — pull request #44357, "Add Step 5 Preview cookbook", digabungkan ke main pada 01:21 UTC setelah peninjauan, menambahkan halaman deployment yang kini disajikan dokumentasi SGLang di docs.sglang.ai/cookbook/autoregressive/StepFun/Step-5-Preview dan ditandai sebagai NEW. PR pendukung pendampingnya, #44356, masih terbuka. Halaman cookbook itu menyatakan dengan gamblang bahwa "dukungan Step 5 Preview belum dirilis dalam rilis SGLang, sehingga sglang dari pip install standar tidak dapat menyajikannya" — yang merupakan kalimat paling penting di halaman itu.

Baca keempatnya bersama-sama dan Anda akan mendapatkan gambaran yang koheren: StepFun sedang membangun layanan terbuka untuk model yang API-nya telah aktif selama hampir sebulan. Tidak ada apa pun di sini yang merupakan pengumuman peluncuran, dan tidak ada apa pun di sini yang merupakan tolok ukur. Ini adalah infrastruktur dasar yang menentukan apakah model tersebut adalah sesuatu yang dapat Anda jalankan.

Apa itu Step 5 Preview, dalam istilah yang pertama kali ditanyakan oleh seorang serving engineer

Dokumentasi bahasa Inggris milik StepFun sendiri minim soal arsitektur — dokumentasi itu mencantumkan ID model, jendela konteks 1M token, input teks/gambar/video, output hanya teks, output maksimum 64k token, dukungan JSON Schema, prompt caching, dan kontrol reasoning_effort dengan pengaturan low, medium, dan high. Dokumentasi tersebut tidak mencantumkan jumlah parameter. Angka arsitektur di bawah ini berasal dari dua dokumen serving pihak pertama yang diterbitkan hari ini, yang harus membaca checkpoint untuk menulis loader, dan keduanya saling bersesuaian.

• Ukuran — 600B parameter total dengan 27B aktif per token, desain sparse mixture-of-experts. Resep vLLM secara independen menyatakan 604B, "dihitung dari bentuk tensor checkpoint," dan kedua angka itu adalah angka yang sama yang dibulatkan secara berbeda.

• Kedalaman dan perutean — 92 lapisan. Setiap lapisan MoE merutekan token ke 8 dari 352 pakar ditambah satu pakar bersama. Jumlah pakar itulah alasan PR vLLM membawa perubahan kernel router-GEMM: ia menambahkan (4096, 352) sebagai pasangan (hidden_dim, num_experts) yang didukung, bersama dengan (3072, 256) dan (6144, 128) yang sudah ada.

• Perhatian — pola berulang empat lapis: tiga lapis jendela geser yang memperhatikan 512 token terbaru, lalu satu lapis perhatian jarang. Lapisan jarang tersebut membagi riwayat KV menjadi wilayah 8 token, menilai ringkasan setiap wilayah dengan pengindeks ringan, dan memilih hingga 512 wilayah historis untuk diperhatikan pada tingkat token. SGLang menyebutnya perhatian jarang wilayah; konsekuensi praktisnya adalah konteks 1M token tetap terjangkau di memori.

• Dekode spekulatif — tiga lapis MTP. "MTP tiga lapis" milik SGLang dan --spec-method mtp --spec-tokens 3 dalam resep vLLM adalah klaim yang sama dari dua arah.

• Presisi — bobot expert yang dirutekan adalah FP8 (E4M3, skala blok 128×128) kecuali pada tiga lapisan MoE terakhir, yang tetap BF16. Checkpoint NVFP4 terpisah, stepfun-ai/Step-5-Preview-NVFP4, direferensikan oleh resep vLLM sebagai varian. Kedua stack membiarkan pemisahan lapisan presisi campuran tetap utuh alih-alih meng-upcast-nya.

• Perilaku penalaran — model selalu berpikir sebelum menjawab. reasoning_effort menetapkan kedalaman dan secara default bernilai high saat tidak diatur, yang merupakan pengaturan yang paling mungkin mengejutkan Anda dalam anggaran latensi. Sampling yang direkomendasikan StepFun adalah temperature=1.0, top_p=0.95, top_k=0, dan cookbook SGLang menandai itu sebagai informasional, bukan sesuatu yang perlu di-hardcode.

Batas minimum perangkat keras adalah bagian yang menentukan apakah ini penting bagi Anda

Di sinilah resep vLLM membuktikan nilainya, karena tidak ada pihak lain yang telah menerbitkan batas minimum yang ketat.

• Batas bawah FP8 — 773 GB VRAM, dengan minimum 4 GPU dan target perangkat keras default B300. Konfigurasi terverifikasi dicantumkan untuk H200, B300, dan GB300. Pada empat B300, resep ini menawarkan tata letak TP4, TEP4, atau DEP4; bobot FP8 tidak muat pada empat H200, sehingga jalur Hopper adalah delapan GPU.

• Batas bawah NVFP4 — 473 GB VRAM untuk checkpoint terkuantisasi, 300 GB lebih rendah daripada FP8. Komprominya adalah konteks: varian NVFP4 berjalan dengan --max-model-len 320000, jadi Anda melepaskan sekitar 724.000 token dari 1.048.576 yang diiklankan agar muat dalam jejak yang lebih kecil.

• Paralelisme pakar — pada Blackwell, tata letak TEP dan DEP dirutekan melalui MegaMoE dengan --moe-backend deep_gemm_mega_moe; tata letak paralel tensor murni sengaja tidak, karena MegaMoE memerlukan paralelisme pakar agar ada yang bisa dipisahkan. Pada H200, resep ini beralih ke Triton MoE untuk setiap lapisan pakar, termasuk tiga lapisan BF16, karena kernel MoE TRT-LLM hanya untuk Blackwell.

• Biaya awal — buku panduan SGLang menempatkan peluncuran pertama pada sekitar 15 menit kompilasi FlashInfer di B300, turun menjadi sekitar 6 menit pada start berikutnya, dan memberi tahu Anda untuk mempertahankan FLASHINFER_WORKSPACE_BASE dan ~/.cache/sglang di seluruh restart. Jika Anda melakukan autoscaling dari nol, itu adalah batas bawah cold-start, bukan kesalahan pembulatan.

• Apa yang belum didukung — resep vLLM menandai offload KV Simple dan LMCache sebagai tidak didukung untuk model ini. Jalur HiCache SGLang didokumentasikan tersedia di cookbook, yang merupakan perbedaan kemampuan nyata antara kedua stack sebagaimana kondisinya saat ini.

Pembacaan praktisnya: Step 5 Preview adalah deployment empat hingga delapan akselerator, bukan proyek hobi satu node. Jika kalimat itu mengakhiri minat Anda, bagian API di bawah ini adalah sisa artikelnya.

Memanggilnya, dan berapa biaya setiap token

Halaman penetapan harga StepFun sendiri mencantumkan step-5-preview sebesar $1,00 per juta token masukan saat cache miss, $0,10 saat cache hit, dan $2,70 per juta token keluaran — angka dari vendor, bukan dari reseller. Dua detail mengubah perhitungannya. Pertama, harga masukan cache miss mencakup penulisan konten baru ke cache, sehingga proses pertama atas dokumen panjang dikenai biaya satu kali dan menjadi murah pada proses kedua. Kedua, token keluaran mencakup penalaran model sekaligus jawabannya, yang lebih penting di sini daripada pada model yang menjawab secara langsung.

Artificial Analysis, satu-satunya evaluator netral dengan run yang dipublikasikan, memberi Step 5 Preview skor Intelligence Index 43,7 — ditampilkan sebagai 44 — dengan kecepatan output median 88,5 token per detik dan waktu ke token jawaban pertama sebesar 24,7 detik, terhadap sekitar 2.000 token penalaran per respons. Angka kecepatan itu terhormat dan latensi token jawaban tidak: model yang selalu berpikir terlebih dahulu kurang cocok untuk autocomplete interaktif dan cocok untuk pekerjaan batch dan agentik, yang justru merupakan cara StepFun memposisikannya. Itu adalah angka independen pada harness pihak ketiga, dan itu satu-satunya yang tersedia — StepFun tidak mempublikasikan tabel benchmark untuk model ini sama sekali.

Di mana ceritanya masih lunak, dan tidak semuanya lunak dengan cara yang sama

Ada tiga hal yang perlu ditandai, bukan dihaluskan, karena masing-masing memiliki umur simpan yang berbeda.

Hal pertama adalah apakah checkpoint vendor benar-benar dapat diunduh. Dua dokumen serving pihak pertama sama-sama merujuk stepfun-ai/Step-5-Preview dan stepfun-ai/Step-5-Preview-NVFP4 sebagai checkpoint kanonis, dan cookbook SGLang menautkan LICENSE.txt di bawah StepFun Model License 1.0. Yang tidak dapat dilakukan halaman ini adalah mengonfirmasi dari Hugging Face bahwa repositori tersebut dapat dibaca publik saat ini: API Hugging Face mengembalikan 401 Invalid username or password yang identik untuk stepfun-ai/Step-5-Preview seperti halnya untuk id repositori yang belum pernah ada, sehingga respons tersebut tidak dapat membedakan model dengan akses terbatas dari model yang tidak ada. Panduan resep itu sendiri — "gunakan hf auth login jika checkpoint memerlukan autentikasi" — adalah satu-satunya pernyataan tentang akses, dan sifatnya kondisional. Perlakukan unduhan itu sebagai sesuatu yang dirujuk oleh orang-orang yang menulis loader, dan konfirmasi sendiri aksesnya sebelum Anda merencanakan peluncuran yang bergantung padanya.

Yang kedua adalah tanggal rilis, yang oleh tiga sumber diberikan dalam tiga versi berbeda: materi pengumuman StepFun menempatkan peluncuran pada 20 September 2026; Artificial Analysis memberi tanggal 18 September 2026 untuk model itu dalam metadatanya sendiri dan menampilkan "Released September 2026"; dan agregator metadata model yang dibaca sebagian besar tooling mencantumkan 16 September 2026. Tidak satu pun dari ketiganya menjelaskan selisihnya. Artikel ini menggunakan tanggal 20 September dari vendor tersebut ketika tanggal diperlukan, dan ada baiknya mengetahui angka mana yang diperoleh alat yang sedang Anda baca.

Yang ketiga adalah kematangan, dan di sini kedua stack tidak setara. Cookbook SGLang telah di-merge dan di-merge ke main, tetapi teks SGLang sendiri menyatakan bahwa dukungan belum dikirim dalam sebuah rilis, jadi jalur Python hanyalah image Docker pratinjau dan tidak ada yang lain. Resep vLLM terbuka, PR modelnya adalah draf yang belum di-merge yang saat ini dilaporkan GitHub memiliki konflik merge dan perlu rebase, dan para reviewer-nya sendiri telah mengangkat tiga item terbuka terhadap resep tersebut — gate perangkat keras FP8, profil B300 default yang menghasilkan perintah delapan GPU yang bertentangan dengan panduan empat GPU, dan batas konteks NVFP4 yang tidak dikodekan dalam argumen varian. Tak satu pun dari itu yang mendiskualifikasi. Semua itu menjadi alasan untuk memperlakukan deployment self-hosted pertama minggu ini sebagai evaluasi, bukan migrasi.

Apa yang harus dilakukan dengan ini, minggu ini

Jika Anda sudah memiliki empat B300 atau delapan H200 dan beban kerja yang terlihat seperti analisis dokumen panjang, pemanggilan alat multi-turn, atau eksekusi agen sepanjang malam, resep vLLM hampir seperti runbook: tarik vllm/vllm-openai:step-5-preview, salin perintah TP4 atau TEP4, dan periksa apakah --max-model-len 1048576 tetap bertahan saat berhadapan dengan anggaran KV aktual Anda sebelum Anda menjanjikan satu juta token kepada siapa pun. Jika Anda memiliki Hopper dan bukan Blackwell, mulailah dengan checkpoint NVFP4 dan terima konteks 320k, atau anggarkan delapan H200. Apa pun caranya, tetapkan reasoning_effort secara eksplisit pada setiap permintaan alih-alih mewarisi default yang tinggi, dan ukur waktu 24,7 detik menuju token jawaban pada lalu lintas Anda sendiri sebelum Anda menyimpulkan apa pun dari angka 88,5 token per detik.

Jika Anda tidak memiliki perangkat keras itu, API bukan hadiah hiburan — ini bobot yang sama, ditagih per token, dengan $1,00 masuk dan $2,70 keluar dengan diskon cache 90% untuk konteks berulang. Dan di sinilah, di halaman ini, jawaban jujur tentang kami seharusnya berada: Step 5 Preview tidak ada dalam daftar model aktif OrcaRouter per hari ini. Katalog kami berisi 207 model di 13 penyedia dan saat ini tidak memuat model StepFun sama sekali, jadi untuk model khusus ini API milik vendor adalah satu-satunya jalur yang dapat dipanggil, dan tidak ada apa pun di halaman ini yang boleh dibaca sebagai klaim bahwa kami menyediakannya. Yang kami rutekan adalah keputusan di sekitarnya: ketika Anda memilih model terdepan mana yang membawa beban kerja produksi, argumen untuk menjangkaunya melalui satu endpoint adalah bahwa harga daftar penyedia diteruskan dengan markup 0%, sehingga perubahan harga vendor menjadi harga Anda di hari yang sama, dan bahwa failover otomatis antarpenyedia berarti sore buruk satu model bukanlah gangguan layanan Anda. Itu adalah pernyataan tentang model yang kami memang sediakan, dan dengan sengaja bukan pernyataan tentang model yang ini.

Yang perlu diperhatikan selanjutnya bersifat sempit dan dapat diperiksa. Apakah stepfun-ai/Step-5-Preview mengarah ke repositori yang dapat dibaca dengan berkas lisensi yang dapat Anda tunjukkan kepada tim hukum; apakah #61727 milik vLLM lolos dari status draf dan konflik merge-nya; apakah PR dukungan SGLang #44356 masuk ke rilis bertag, yang merupakan titik ketika resep ini berhenti menjadi image pratinjau dan menjadi sesuatu yang dapat di-pin oleh CI Anda. Salah satu saja dari ketiga hal itu mengubah "Anda mungkin bisa menjalankannya" minggu ini menjadi ya yang tegas, dan sampai saat itu satu-satunya klaim yang layak dibuat adalah klaim yang didukung bukti: pada 15 Oktober 2026, dua stack penyajian menerbitkan jalur mereka sendiri menuju model yang telah dapat dipanggil sejak 20 September 2026.

Memilih untuk menjalankan model 600 miliar parameter di perangkat keras Anda sendiri juga termasuk keputusan di mana rekam jejak menjadi penting: insiden AI dan kegagalan agen yang terdokumentasi seputar model di kelas ini dikumpulkan dalam OrcaRouter AI Incident Archive, di mana setiap entri membawa sumbernya sendiri, tingkat keparahan, peringkat keyakinan, dan penanda diperdebatkan.