Step 5 Preview is vanaf dag nul zelf te hosten: vLLM en SGLang komen beide met servingpaden voor de 600B MoE van StepFun

Step 5 Preview was op de ochtend van 15 oktober 2026 niet nieuw. Het 600 miljard parameters tellende vlaggenschipmodel van StepFun is sinds 20 september 2026 aanroepbaar via de eigen API van de leverancier, en de onafhankelijke evaluator Artificial Analysis beoordeelt het sinds 18 september. Wat die ochtend nieuw was, was beperkter en aanzienlijk nuttiger: twee gangbare inferentie-stacks publiceerden hun eigen routes om het te draaien op hardware die je bezit of huurt. vLLM opende een concept-pullrequest om Step 5 Preview toe te voegen — 129 bestanden, +16.996 regels — naast een bijbehorend recept en een speciale image, vllm/vllm-openai:step-5-preview, die om 00:51 UTC op Docker Hub verscheen. SGLang mergde een cookbookpagina met deploymentrecepten voor Blackwell en Hopper; de pull request voor modelondersteuning die daaraan ten grondslag lag, werd in hetzelfde uur geopend. Tot die ochtend was de enige manier om Step 5 Preview op je eigen GPU's te krijgen een herupload door de community van een checkpoint waarvoor niemand je een licentie had gegeven om die te herverdelen.

Dus de eerlijke kop is niet "StepFun heeft een model uitgebracht." Het bracht dit model in september uit, en de eigen datum van het model hoort in de eerste zin van elk stuk erover. De kop is dat vanaf 15 oktober 2026 het antwoord op de servingvraag commando's bevat.

Wat is er eigenlijk veranderd op 15 oktober?

Vier artefacten, allemaal van dezelfde datum, en het is de moeite waard ze apart te houden, omdat ze verschillende niveaus van commitment met zich meebrengen.

• vLLM-modelondersteuning — pull request #61727, met de titel "Ondersteuning voor Step-5 Preview toevoegen", geopend door jeejeelee om 01:18 UTC en met de conceptvlag. Het is één squash-commit die 129 bestanden raakt, en hij is niet samengevoegd. Een concept-PR is een verzoek van de auteur om review, geen belofte van een maintainer.

• Het vLLM-recept — pull request #1122 in vllm-project/recipes, twee minuten eerder geopend om 01:16 UTC en ook nog open, voegt models/stepfun-ai/Step-5-Preview.yaml toe met een standaard FP8-variant en een NVFP4-variant. Dit is het document met de cijfers erin, en het is degene waarop het grootste deel van dit artikel is gebaseerd.

• De containerimage — vllm/vllm-openai:step-5-preview, op 2026-10-15 om 00:51 UTC gepusht als een manifest met twee architecturen: linux/amd64 met 8,56 GB gecomprimeerd en linux/arm64 met 9,58 GB, met step-5-preview-x86_64-cu130 en step-5-preview-arm64-cu130 ernaast. Een gepubliceerde image is een sterker signaal dan een open PR: het betekent dat iemand dit heeft gebouwd en gepusht, ongeacht wanneer de review is afgerond.

• De SGLang-cookbook — pull request #44357, "Add Step 5 Preview cookbook", na review om 01:21 UTC samengevoegd in main, voegt een deploymentpagina toe die de SGLang-docs nu serveren op docs.sglang.ai/cookbook/autoregressive/StepFun/Step-5-Preview en die als NEW wordt getagd. De bijbehorende ondersteunende PR, #44356, is nog steeds open. Op de cookbook-pagina staat onomwonden dat "Step 5 Preview support has not shipped in an SGLang release yet, so a stock pip install sglang cannot serve it" — de allerbelangrijkste zin die erop staat.

Lees die vier samen en je krijgt een samenhangend beeld: StepFun zet open serving op voor een model waarvan de API al bijna een maand live is. Niets hier is een lanceringsaankondiging, en niets hier is een benchmark. Het is het leidingwerk dat bepaalt of het model iets is dat je kunt draaien.

Wat Step 5 Preview is, in de termen waar een serving engineer het eerst naar vraagt

StepFuns eigen Engelstalige documentatie is summier over de architectuur — het publiceert de model-ID, het contextvenster van 1M tokens, tekst-, afbeeldings- en video-invoer, uitvoer van alleen tekst, een maximale uitvoer van 64k tokens, JSON Schema-ondersteuning, promptcaching en een reasoning_effort-regeling met de standen low, medium en high. Het publiceert geen parameteraantal. De onderstaande architectuurcijfers komen uit de twee first-party servingdocumenten die vandaag zijn gepubliceerd, die de checkpoint moesten lezen om een loader te schrijven, en ze komen met elkaar overeen.

• Grootte — 600B totale parameters met 27B actief per token, een ontwerp met sparse mixture-of-experts. Het vLLM-recept vermeldt onafhankelijk 604B, "geteld op basis van de tensorvormen van het checkpoint", en de twee getallen zijn hetzelfde getal, op een andere manier afgerond.

• Diepte en routering — 92 lagen. Elke MoE-laag routeert een token naar 8 van de 352 experts plus één gedeelde expert. Dat aantal experts is de reden dat de vLLM PR een wijziging in de router-GEMM-kernel bevat: het voegt (4096, 352) toe als een ondersteund (hidden_dim, num_experts)-paar, naast de bestaande (3072, 256) en (6144, 128).

• Attention — een zich herhalend patroon van vier lagen: drie sliding-windowlagen die aandacht besteden aan de meest recente 512 tokens, dan één sparse-attentionlaag. De sparse lagen splitsen de KV-geschiedenis in regio's van 8 tokens, scoren een samenvatting van elke regio met een lichtgewicht indexer, en selecteren tot 512 historische regio's om op token-niveau aandacht aan te besteden. SGLang noemt dit region-sparse attention; het praktische gevolg is dat een context van 1M tokens qua geheugen betaalbaar blijft.

Speculatief decoderen — drie MTP-lagen. SGLang's "drie-laags MTP" en het vLLM-recept --spec-method mtp --spec-tokens 3 zijn dezelfde bewering vanuit twee richtingen.

• Precisie — de gewichten van gerouteerde experts zijn FP8 (E4M3, blokschalen van 128×128), behalve in de laatste drie MoE-lagen, die BF16 blijven. Een apart NVFP4-checkpoint, stepfun-ai/Step-5-Preview-NVFP4, wordt door het vLLM-recept als variant vermeld. Beide stacks laten de mixed-precision-laagsplitsing intact in plaats van die op te schalen.

• Redeneergedrag — het model denkt altijd na voordat het antwoordt. reasoning_effort bepaalt de diepte en staat standaard op hoog wanneer niet ingesteld, wat de instelling is die je bij een latentiebudget het meest zal verrassen. De aanbevolen sampling van StepFun is temperature=1.0, top_p=0.95, top_k=0, en de cookbook van SGLang markeert die als informatief in plaats van iets om te hardcoderen.

De hardwareondergrens is het onderdeel dat bepaalt of dit voor jou van belang is.

Dit is waar het vLLM-recept zijn geld waard is, want niemand anders heeft harde minima gepubliceerd.

• FP8-ondergrens — 773 GB VRAM, met een minimum van 4 GPU's en een standaard hardware-doel van B300. Geverifieerde configuraties staan vermeld voor H200, B300 en GB300. Op vier B300's biedt het recept TP4-, TEP4- of DEP4-indelingen; de FP8-gewichten passen niet op vier H200's, dus het Hopper-pad is acht GPU's.

• NVFP4-ondergrens — 473 GB VRAM voor de gekwantiseerde checkpoint, 300 GB lager dan FP8. De afweging is context: de NVFP4-variant draait met --max-model-len 320000, dus je levert ongeveer 724.000 tokens in van de geadverteerde 1.048.576 om binnen de kleinere voetafdruk te passen.

• Expert-parallelisme — op Blackwell worden TEP- en DEP-indelingen via MegaMoE geleid met --moe-backend deep_gemm_mega_moe; de puur tensor-parallelle indeling doet dit bewust niet, omdat MegaMoE expert-parallelisme vereist om iets te kunnen splitsen. Op H200 valt het recept terug op een Triton MoE voor elke expertlaag, inclusief de drie BF16-lagen, omdat de TRT-LLM MoE-kernels alleen voor Blackwell zijn.

• Opstartkosten — het SGLang-cookbook schat de eerste start op ongeveer 15 minuten FlashInfer-compilatie op B300, wat bij volgende starts terugloopt tot ongeveer 6 minuten, en raadt je aan om FLASHINFER_WORKSPACE_BASE en ~/.cache/sglang over herstarts heen te bewaren. Als je vanaf nul autoscale't, is dat een ondergrens voor koude starts, geen afrondingsfout.

• Wat nog niet wordt ondersteund — het vLLM-recept markeert zowel Simple als LMCache KV-offload als niet ondersteund voor dit model. Het HiCache-pad van SGLang staat in het cookbook gedocumenteerd als beschikbaar, wat een daadwerkelijk verschil in mogelijkheden is tussen de twee stacks zoals ze er vandaag de dag voor staan.

Praktisch gelezen: Step 5 Preview is een deployment met vier tot acht accelerators, geen hobbyproject op één node. Als die zin je interesse beëindigt, is de API-sectie hieronder de rest van het artikel.

Het aanroepen ervan, en wat elke token kost

De eigen prijspagina van StepFun vermeldt step-5-preview voor $1,00 per miljoen inputtokens bij een cachemiss, $0,10 bij een cachehit en $2,70 per miljoen outputtokens — cijfers van de leverancier, niet van een wederverkoper. Twee details veranderen de rekensom. Ten eerste: de inputprijs bij een cachemiss omvat het wegschrijven van nieuwe inhoud naar de cache, dus een eerste doorgang over een lang document wordt één keer in rekening gebracht en is bij de tweede doorgang goedkoop. Ten tweede: outputtokens omvatten zowel de redenering van het model als het antwoord, wat hier zwaarder weegt dan bij een model dat rechtstreeks antwoordt.

Artificial Analysis, de enige neutrale beoordelaar met een gepubliceerde run, kent Step 5 Preview een Intelligence Index van 43,7 toe — weergegeven als 44 — met een mediane outputsnelheid van 88,5 tokens per seconde en een tijd tot het eerste antwoordtoken van 24,7 seconden, tegenover ongeveer 2.000 redeneertokens per respons. De snelheid is respectabel, de latentie van het antwoordtoken niet: een model dat altijd eerst nadenkt is slecht geschikt voor interactieve autocomplete en goed geschikt voor batch- en agentisch werk, wat precies is hoe StepFun het positioneert. Dat zijn onafhankelijke cijfers op een third-party harness, en het zijn de enige beschikbare — StepFun publiceert helemaal geen benchmarktabel voor dit model.

Waar het verhaal nog zacht is, en het is niet allemaal op dezelfde manier zacht

Drie dingen zijn het waard om te markeren in plaats van glad te strijken, want elk ervan heeft een andere houdbaarheid.

Het eerste is of de checkpoint van de leverancier daadwerkelijk downloadbaar is. Beide first-party servingdocumenten verwijzen naar stepfun-ai/Step-5-Preview en stepfun-ai/Step-5-Preview-NVFP4 als de canonieke checkpoints, en de cookbook van SGLang linkt naar een LICENSE.txt onder de StepFun Model License 1.0. Wat deze pagina niet kan, is bij Hugging Face bevestigen dat die repositories vandaag openbaar leesbaar zijn: de Hugging Face API retourneert dezelfde 401 Invalid username or password voor stepfun-ai/Step-5-Preview als voor een repository-id die nooit heeft bestaan, dus de respons kan geen onderscheid maken tussen een gated model en een afwezig model. De eigen richtlijn van het recept — "gebruik hf auth login als de checkpoint authenticatie vereist" — is de enige uitspraak over toegang, en die is voorwaardelijk. Beschouw de download als iets waarnaar de mensen die de loaders hebben geschreven verwijzen, en bevestig zelf de toegang voordat je een lancering eromheen plant.

De tweede is de releasedatum, die drie bronnen op drie manieren weergeven: het aankondigingsmateriaal van StepFun plaatst de lancering op 20 september 2026; Artificial Analysis dateert het model op 18 september 2026 in zijn eigen metadata en toont "Uitgebracht september 2026"; en de aggregators van modelmetadata die de meeste tooling leest, vermelden 16 september 2026. Geen van de drie verklaart het verschil. Dit artikel gebruikt de 20 september van de leverancier waar een datum nodig is, en het is de moeite waard om te weten welk getal de tool die je leest, heeft gekregen.

Het derde is volwassenheid, en hier zijn de twee stacks niet gelijkwaardig. De cookbook van SGLang is samengevoegd en opgenomen in main, maar de eigen tekst van SGLang zegt dat de ondersteuning nog niet in een release is verschenen, dus het Python-pad is een preview-Docker-image en niets anders. Het recept van vLLM is open, de model-PR ervan is een niet-samengevoegde draft waarvan GitHub momenteel meldt dat er mergeconflicten zijn en dat een rebase nodig is, en de eigen reviewers hebben al drie openstaande punten tegen het recept ingebracht — een FP8-hardwaregate, een standaard B300-profiel dat opdrachten voor acht GPU's genereert in een gids voor vier GPU's, en een NVFP4-contextlimiet die niet in de variantargumenten is gecodeerd. Niets daarvan is diskwalificerend. Alles pleit ervoor om een eerste zelfgehoste deployment deze week als een evaluatie te behandelen, niet als een migratie.

Wat te doen met dit, deze week

Als je al vier B300's of acht H200's hebt en een workload die lijkt op het analyseren van lange documenten, tool calling over meerdere beurten of nachtelijke agent-runs, dan lijkt het vLLM-recept bijna op een runbook: pull vllm/vllm-openai:step-5-preview, kopieer een TP4- of TEP4-commando, en controleer of --max-model-len 1048576 het contact met je werkelijke KV-budget overleeft voordat je iemand een miljoen tokens belooft. Heb je Hopper en geen Blackwell, begin dan met het NVFP4-checkpoint en accepteer de context van 320k, of begroot acht H200's. Hoe dan ook: stel reasoning_effort expliciet in bij elk verzoek in plaats van de hoge standaardinstelling over te nemen, en meet de tijd-tot-antwoordtoken van 24,7 seconden op je eigen verkeer voordat je conclusies trekt uit het cijfer van 88,5 tokens per seconde.

Als u die hardware niet hebt, is de API geen troostprijs — het zijn dezelfde gewichten, per token gefactureerd, tegen $1,00 in en $2,70 uit met 90% cachekorting op herhaalde context. En hier is het deel van deze pagina waar het eerlijke antwoord over ons thuishoort: Step 5 Preview staat vandaag niet op OrcaRouter's live modellenlijst. Onze catalogus telt 207 modellen bij 13 providers en bevat momenteel helemaal geen StepFun-model, dus voor dit specifieke model is de eigen API van de leverancier het enige aanroepbare pad, en niets op deze pagina mag worden gelezen als een bewering dat wij het aanbieden. Wat wij wél routeren is de omliggende beslissing: wanneer u kiest welk frontiermodel een productieworkload draagt, is het argument om het via één endpoint te bereiken dat de lijstprijs van de provider wordt doorgegeven tegen 0% markup, zodat een prijswijziging van een leverancier dezelfde dag uw prijs is, en dat automatische failover tussen providers betekent dat een slechte middag van één model niet uw storing is. Dat is een uitspraak over de modellen die wij wél aanbieden, en het is bewust geen uitspraak over dit model.

Wat je nu in de gaten moet houden, is beperkt en controleerbaar. Of stepfun-ai/Step-5-Preview uitmondt in een leesbare repository met een licentebestand dat je aan een juridisch team kunt voorleggen; of #61727 van vLLM uit de conceptfase komt en zijn mergeconflict oplost; of de support-PR #44356 van SGLang in een getagde release belandt, het punt waarop het recept ophoudt een preview-image te zijn en iets wordt dat je CI kan vastpinnen. Elk van die drie maakt van het "je kunt het waarschijnlijk draaien" van deze week een simpel ja, en tot die tijd is de enige bewering die de moeite waard is, degene die het bewijs ondersteunt: op 15 oktober 2026 publiceerden twee servingstacks hun eigen paden naar een model dat sinds 20 september 2026 aanroepbaar is.

Ervoor kiezen om een model met 600 miljard parameters op je eigen hardware te draaien is ook het soort beslissing waarbij de staat van dienst ertoe doet: gedocumenteerde AI-incidenten en agentfouten rond modellen in deze klasse zijn verzameld in the OrcaRouter AI Incident Archive , waarbij elke vermelding zijn eigen bronnen, ernst, betrouwbaarheidsgraad en betwistingsmarkering heeft.