Step 5 Preview är självhostbar från dag noll: vLLM och SGLang landar båda serveringsvägar för StepFuns 600B MoE

Step 5 Preview var inte ny på morgonen den 15 oktober 2026. StepFuns flaggskepp med 600 miljarder parametrar har kunnat anropas via leverantörens eget API sedan den 20 september 2026, och den oberoende utvärderaren Artificial Analysis har betygsatt det sedan den 18 september. Det som var nytt den morgonen var snävare och betydligt mer användbart: två vanliga inferensstackar publicerade sina egna vägar för att köra den på hårdvara du äger eller hyr. vLLM öppnade en pull request i utkastläge som lade till Step 5 Preview – 129 filer, +16 996 rader – tillsammans med ett medföljande recept och en dedikerad vllm/vllm-openai:step-5-preview-avbild som landade på Docker Hub kl. 00:51 UTC. SGLang mergade en kokbokssida med recept för distribution på Blackwell och Hopper, och pull requesten för modellstöd bakom den öppnades samma timme. Fram till den morgonen var det enda sättet att få in Step 5 Preview på dina egna GPU:er en återuppladdning från communityn av en checkpoint som ingen hade gett dig licens att vidaredistribuera.

Så den ärliga rubriken är inte ”StepFun släppte en modell”. Den här släpptes i september, och modellens eget datum hör hemma i första meningen i varje text om den. Rubriken är att från och med den 15 oktober 2026 har serveringsfrågan kommandon i svaret.

Vad förändrades egentligen den 15 oktober?

Fyra artefakter, alla daterade samma dag, och de är värda att hålla isär eftersom de innebär olika nivåer av åtagande.

• vLLM-modellstöd — pull request #61727, med titeln "Add Step-5 Preview support", öppnad av jeejeelee kl. 01:18 UTC och bär utkastflaggan. Det är en enda squashad commit som rör 129 filer, och den är inte mergad. En utkast-PR är en författare som ber om granskning, inte ett löfte från en underhållare.

• vLLM-receptet – pull request #1122 i vllm-project/recipes, som öppnades två minuter tidigare kl. 01:16 UTC och också är öppen, lägger till models/stepfun-ai/Step-5-Preview.yaml med en FP8-standardvariant och en NVFP4-variant. Det här är dokumentet som innehåller siffrorna, och det är det som större delen av den här artikeln bygger på.

• Containeravbilden – vllm/vllm-openai:step-5-preview, pushad 2026-10-15 kl. 00:51 UTC som ett manifest för två arkitekturer: linux/amd64 på 8,56 GB komprimerad och linux/arm64 på 9,58 GB, med step-5-preview-x86_64-cu130 och step-5-preview-arm64-cu130 tillsammans med dem. En publicerad avbild är en starkare signal än en öppen PR: det betyder att någon har byggt den och pushat den, oavsett när granskningen blir klar.

• SGLang-kokboken — pull request #44357, "Lägg till kokbok för Step 5 Preview", har mergats till main kl. 01:21 UTC efter granskning och lägger till en driftsättningssida som SGLang-dokumentationen nu tillhandahåller på docs.sglang.ai/cookbook/autoregressive/StepFun/Step-5-Preview och taggar den som NEW. Dess medföljande support-PR, #44356, är fortfarande öppen. Kokbokssidan säger rent ut att "Step 5 Preview-stöd har ännu inte släppts i en SGLang-version, så en standardinstallation med pip install sglang kan inte servera det" — vilket är den enskilt viktigaste meningen på den.

Läser man de fyra tillsammans får man en sammanhängande bild: StepFun sätter upp öppen serving för en modell vars API har varit live i nästan en månad. Inget här är ett lanseringsmeddelande, och inget här är ett benchmark. Det är infrastrukturen som avgör om modellen är något man kan köra.

Vad Step 5 Preview är, i de termer en serviceingenjör först frågar om

StepFuns egen engelska dokumentation är tunn när det gäller arkitektur — den publicerar modell-ID:t, kontextfönstret på 1M tokens, indata i form av text/bild/video, enbart textutdata, en maximal utdata på 64k tokens, stöd för JSON Schema, prompt-cachning och en reasoning_effort-kontroll med inställningarna låg, medel och hög. Den publicerar inget parameterantal. Arkitektursiffrorna nedan kommer från de två förstapartsdokumenten för serving som publicerades i dag, vilka var tvungna att läsa checkpointen för att kunna skriva en loader, och de stämmer överens med varandra.

• Storlek — 600B totala parametrar med 27B aktiva per token, en gles mixture-of-experts-design. vLLM-receptet anger självständigt 604B, "räknat från checkpoint-tensorernas former", och de två talen är samma tal avrundat på olika sätt.

• Djup och routning — 92 lager. Varje MoE-lager routar en token till 8 av 352 experter plus en delad expert. Det expertantalet är anledningen till att vLLM-PR:en innehåller en ändring av router-GEMM-kärnan: den lägger till (4096, 352) som ett (hidden_dim, num_experts)-par som stöds, vid sidan av de befintliga (3072, 256) och (6144, 128).

• Attention – ett återkommande mönster i fyra lager: tre lager med glidande fönster som riktar uppmärksamhet mot de senaste 512 tokens, följt av ett lager med gles attention. De glesa lagren delar upp KV-historiken i regioner om 8 tokens, poängsätter en sammanfattning av varje region med en lättviktsindexerare och väljer upp till 512 historiska regioner att rikta uppmärksamhet mot på token-nivå. SGLang kallar det region-sparse attention; den praktiska konsekvensen är att en kontext på 1M tokens förblir minnesmässigt överkomlig.

• Spekulativ avkodning – tre MTP-lager. SGLangs ”MTP med tre lager” och vLLM-receptets --spec-method mtp --spec-tokens 3 är samma påstående från två håll.

• Precision – routade expertvikter är FP8 (E4M3, 128×128 blockskalor) förutom i de tre sista MoE-lagren, som förblir BF16. En separat NVFP4-checkpoint, stepfun-ai/Step-5-Preview-NVFP4, refereras av vLLM-receptet som en variant. Båda stackarna lämnar uppdelningen av blandad precision mellan lagren intakt i stället för att uppkonvertera den.

• Resonemangsbeteende – modellen tänker alltid innan den svarar. reasoning_effort ställer in djupet och standardvärdet är high när det inte är inställt, vilket är den inställning som med störst sannolikhet överraskar dig när du har en latensbudget. StepFuns rekommenderade sampling är temperature=1.0, top_p=0.95, top_k=0, och SGLangs cookbook flaggar dessa som information snarare än något att hårdkoda.

Hårdvarugolvet är den del som avgör om detta spelar roll för dig

Det är här vLLM-receptet visar sitt värde, eftersom ingen annan har publicerat hårda minimikrav.

• FP8-golv — 773 GB VRAM, med minst 4 GPU:er och ett förvalt hårdvarumål på B300. Verifierade konfigurationer listas för H200, B300 och GB300. På fyra B300 erbjuder receptet layouterna TP4, TEP4 eller DEP4; FP8-vikterna får inte plats på fyra H200, så Hopper-vägen är åtta GPU:er.

• NVFP4-lägstanivå — 473 GB VRAM för den kvantiserade checkpointen, 300 GB lägre än FP8. Det man får offra är kontext: NVFP4-varianten körs med --max-model-len 320000, så du får avstå från ungefär 724 000 tokens av de annonserade 1 048 576 för att rymmas i det mindre utrymmet.

• Expert-parallellism – på Blackwell routas TEP- och DEP-layouter genom MegaMoE med --moe-backend deep_gemm_mega_moe; den rena tensor-parallella layouten gör det medvetet inte, eftersom MegaMoE kräver expert-parallellism för att ha något att dela upp. På H200 faller receptet tillbaka på en Triton-MoE för varje expertlager, inklusive de tre BF16-lagren, eftersom TRT-LLM:s MoE-kärnor endast finns för Blackwell.

• Uppstartskostnad — SGLang cookbook anger att den första starten tar cirka 15 minuters FlashInfer-kompilering på B300, vilket sjunker till cirka 6 minuter vid efterföljande starter, och rekommenderar att du bevarar FLASHINFER_WORKSPACE_BASE och ~/.cache/sglang över omstarter. Om du autoskalar från noll är det ett golv för kallstart, inte ett avrundningsfel.

• Vad som ännu inte stöds — vLLM-receptet markerar både Simple KV-offload och LMCache KV-offload som ostödda för den här modellen. SGLangs HiCache-väg dokumenteras som tillgänglig i kokboken, vilket är en verklig kapacitetsskillnad mellan de två stackarna i deras nuvarande skick.

Den praktiska tolkningen: Step 5 Preview är en driftsättning för fyra till åtta acceleratorer, inte ett hobbyprojekt på en enda nod. Om den meningen får ditt intresse att ta slut är API-avsnittet nedan resten av artikeln.

Att anropa det, och vad varje token kostar

StepFuns egen prissättningssida listar step-5-preview till $1.00 per miljon indatatoken vid cache-miss, $0.10 vid cache-träff och $2.70 per miljon utdatatoken – siffror från leverantören, inte från en återförsäljare. Två detaljer ändrar kalkylen. För det första: priset för indata vid cache-miss inkluderar skrivning av nytt innehåll till cachen, så en första genomgång av ett långt dokument prissätts en gång och är billig vid den andra genomgången. För det andra: utdatatoken inkluderar modellens resonemang såväl som dess svar, vilket spelar större roll här än för en modell som svarar direkt.

Artificial Analysis, den enda neutrala utvärderaren med en publicerad körning, ger Step 5 Preview ett Intelligence Index på 43,7 – visas som 44 – med en medianhastighet för utdata på 88,5 token per sekund och en tid till första svarstoken på 24,7 sekunder, mot ungefär 2 000 resonemangstoken per svar. Hastighetssiffran är respektabel, men latensen för svarstoken är det inte: en modell som alltid tänker först passar dåligt för interaktiv autokomplettering och bra för batch- och agentiskt arbete, vilket är precis så StepFun positionerar den. Det är oberoende siffror från en tredjeparts-testram, och de är de enda som finns – StepFun publicerar ingen benchmark-tabell för den här modellen överhuvudtaget.

Där berättelsen fortfarande är mjuk, och den är inte mjuk på samma sätt överallt

Tre saker är värda att flagga snarare än att släta över, eftersom var och en har olika lång livslängd.

Det första är huruvida leverantörens checkpoint faktiskt går att ladda ner. Båda förstapartsdokumenten för servering refererar till stepfun-ai/Step-5-Preview och stepfun-ai/Step-5-Preview-NVFP4 som de kanoniska checkpointarna, och SGLangs kokbok länkar en LICENSE.txt under StepFun Model License 1.0. Det den här sidan inte kan göra är att bekräfta från Hugging Face att dessa repon är offentligt läsbara i dag: Hugging Face-API:et returnerar samma 401 Invalid username or password för stepfun-ai/Step-5-Preview som för ett repo-id som aldrig har funnits, så svaret kan inte skilja en gated modell från en som inte finns. Receptets egen vägledning – "använd hf auth login om checkpointen kräver autentisering" – är det enda uttalandet om åtkomst, och det är villkorat. Betrakta nedladdningen som refererad av dem som skrev laddarna, och bekräfta åtkomsten själv innan du planerar en lansering kring den.

Den andra är släppdatumet, som tre källor anger på tre olika sätt: StepFuns annonsmaterial anger lanseringen till 20 september 2026; Artificial Analysis daterar modellen till 18 september 2026 i sin egen metadata och visar "Utgiven september 2026"; och de aggregatorer för modellmetadata som de flesta verktyg läser anger 16 september 2026. Ingen av de tre förklarar skillnaden. Den här artikeln använder leverantörens 20 september där ett datum behövs, och det är värt att veta vilket nummer verktyget du läser fick.

Det tredje är mognad, och här är de två stackarna inte likvärdiga. SGLangs kokbok är mergad och mergad in i main, men SGLangs egen text säger att stödet inte har släppts i någon release, så Python-spåret är en förhandsvisning av en Docker-image och inget annat. vLLMs recept är öppet, dess modell-PR är ett omergat utkast som GitHub för närvarande rapporterar har merge-konflikter och behöver rebasas, och dess egna granskare har redan lyft tre öppna punkter mot receptet – en FP8-hårdvarugrind, en standardprofil för B300 som genererar kommandon för åtta GPU:er mot en guide för fyra GPU:er, och ett NVFP4-kontexttak som inte är kodat i variantargumenten. Inget av detta är diskvalificerande. Allt talar för att behandla en första egenhostad driftsättning den här veckan som en utvärdering, inte en migrering.

Vad man ska göra med detta, den här veckan

Om du redan har fyra B300 eller åtta H200 och en arbetsbelastning som ser ut som analys av långa dokument, verktygsanrop i flera turer eller agentkörningar över natten, är vLLM-receptet nästan en runbook: hämta vllm/vllm-openai:step-5-preview, kopiera ett TP4- eller TEP4-kommando och kontrollera om --max-model-len 1048576 överlever kontakten med din faktiska KV-budget innan du lovar någon en miljon tokens. Om du har Hopper och inte Blackwell, börja med NVFP4-checkpointen och acceptera 320k-kontexten, eller budgetera för åtta H200. Oavsett vilket, ange reasoning_effort uttryckligen i varje begäran i stället för att ärva det höga standardvärdet, och mät tiden till svarstoken på 24,7 sekunder i din egen trafik innan du drar några slutsatser från siffran 88,5 tokens per sekund.

Om du inte har den hårdvaran är API:et inte ett tröstpris – det är samma vikter, fakturerade per token, till 1,00 dollar in och 2,70 dollar ut med 90 % cacherabatt på upprepad kontext. Och här är den del av den här sidan där det ärliga svaret om oss hör hemma: Step 5 Preview finns inte med på OrcaRouters aktuella modellista i dag. Vår katalog består av 207 modeller från 13 leverantörer och den innehåller för närvarande ingen StepFun-modell alls, så för just den här modellen är leverantörens eget API den enda anropbara vägen, och inget på den här sidan bör läsas som ett påstående att vi tillhandahåller den. Det vi dirigerar är det omgivande beslutet: när du väljer vilken frontmodell som ska bära en produktionsarbetsbelastning, är argumentet för att nå den via en enda slutpunkt att leverantörens listpris förs vidare med 0 % påslag, så en leverantörs prisändring är ditt pris samma dag, och att automatisk redundansväxling mellan leverantörer innebär att en enskild modells dåliga eftermiddag inte är ditt avbrott. Det är ett påstående om de modeller vi faktiskt har, och det är medvetet inte ett påstående om den här.

Det som är värt att bevaka härnäst är snävt och kontrollerbart. Huruvida stepfun-ai/Step-5-Preview leder till ett läsbart repo med en licensfil som man kan hänvisa ett juridiskt team till; huruvida vLLMs #61727 tar sig igenom draft och sin merge-konflikt; huruvida SGLangs support-PR #44356 landar i en taggad release, vilket är punkten där receptet slutar vara en förhandsvisningsavbildning och blir något som din CI kan låsa. Vilken som helst av dessa tre förvandlar veckans "du kan antagligen köra det" till ett enkelt ja, och fram till dess är det enda påstående som är värt att göra det som bevisningen stöder: den 15 oktober 2026 publicerade två serving-stackar sina egna vägar till en modell som har varit anropbar sedan den 20 september 2026.

Att välja att köra en modell med 600 miljarder parametrar på din egen hårdvara är också den typ av beslut där historiken spelar roll: dokumenterade AI-incidenter och agentfel kring modeller i den här klassen samlas i OrcaRouter AI Incident Archive, där varje post har sina egna källor, allvarlighetsgrad, konfidensgrad och flagga för omstridd status.