Step 5 Preview è self-hostabile dal giorno zero: vLLM e SGLang aggiungono entrambi i percorsi di serving per il MoE da 600B di StepFun

Step 5 Preview non era una novità la mattina del 15 ottobre 2026. Il modello di punta da 600 miliardi di parametri di StepFun è richiamabile tramite l'API del fornitore stesso dal 20 settembre 2026, e il valutatore indipendente Artificial Analysis lo valuta dal 18 settembre. Ciò che era nuovo quella mattina era più circoscritto e considerevolmente più utile: due stack di inferenza mainstream hanno pubblicato i propri percorsi per eseguirlo su hardware di tua proprietà o noleggiato. vLLM ha aperto una pull request in bozza che aggiunge Step 5 Preview — 129 file, +16.996 righe — insieme a una ricetta complementare e a un'immagine dedicata vllm/vllm-openai:step-5-preview che è approdata su Docker Hub alle 00:51 UTC. SGLang ha unito una pagina di cookbook con ricette di deployment per Blackwell e Hopper, con la pull request di supporto al modello sottostante aperta nella stessa ora. Fino a quella mattina, l'unico modo per portare Step 5 Preview sulle proprie GPU era un re-upload della community di un checkpoint che nessuno ti aveva concesso in licenza di ridistribuire.

Quindi il titolo onesto non è «StepFun ha pubblicato un modello». Lo ha pubblicato a settembre, e la data del modello stesso va nella prima frase di qualsiasi articolo che ne parli. Il titolo è che, a partire dal 15 ottobre 2026, la questione del serving ha comandi nella risposta.

Cosa è realmente cambiato il 15 ottobre?

Quattro artefatti, tutti datati lo stesso giorno, e vale la pena separarli perché comportano livelli diversi di impegno.

• supporto per il modello vLLM — pull request #61727, intitolata "Add Step-5 Preview support", aperta da jeejeelee alle 01:18 UTC e che porta il flag bozza. È un singolo commit squash che tocca 129 file, e non è mergiata. Una PR in bozza è un autore che chiede una revisione, non una promessa del maintainer.

• La ricetta vLLM — pull request #1122 in vllm-project/recipes, aperta due minuti prima alle 01:16 UTC e anch'essa aperta, aggiunge models/stepfun-ai/Step-5-Preview.yaml con una variante predefinita FP8 e una variante NVFP4. Questo è il documento che contiene i numeri, ed è quello su cui si basa la maggior parte di questo articolo.

• L'immagine del container — vllm/vllm-openai:step-5-preview, pubblicata il 2026-10-15 alle 00:51 UTC come manifest a due architetture: linux/amd64 a 8,56 GB compressi e linux/arm64 a 9,58 GB, con step-5-preview-x86_64-cu130 e step-5-preview-arm64-cu130 accanto a esse. Un'immagine pubblicata è un segnale più forte di una PR aperta: significa che qualcuno l'ha costruita e pubblicata, indipendentemente da quando la revisione verrà completata.

Il cookbook di SGLang — la pull request #44357, "Add Step 5 Preview cookbook", è stata unita a main alle 01:21 UTC dopo la revisione, aggiungendo una pagina di deployment che la documentazione di SGLang ora serve all'indirizzo docs.sglang.ai/cookbook/autoregressive/StepFun/Step-5-Preview e contrassegna come NEW. La sua PR di supporto associata, #44356, è ancora aperta. La pagina del cookbook afferma chiaramente che "il supporto a Step 5 Preview non è ancora stato rilasciato in una versione di SGLang, quindi un'installazione standard di sglang tramite pip non può servirlo" — che è la frase più importante in assoluto su di essa.

Leggi quei quattro insieme e ottieni un quadro coerente: StepFun sta mettendo in piedi un serving aperto per un modello la cui API è attiva da quasi un mese. Qui non c'è nessun annuncio di lancio e non c'è nessun benchmark. Sono le tubature che determinano se il modello è qualcosa che puoi eseguire.

Cos'è Step 5 Preview, nei termini che un ingegnere di servizio chiede per primo

La documentazione inglese di StepFun è scarna sull'architettura: pubblica l'ID del modello, la finestra di contesto da 1M token, input testo/immagine/video, output solo testo, un output massimo di 64k token, il supporto a JSON Schema, il prompt caching e un controllo reasoning_effort con impostazioni bassa, media e alta. Non pubblica alcun numero di parametri. Le cifre sull'architettura riportate di seguito provengono dai due documenti di serving first-party pubblicati oggi, che hanno dovuto leggere il checkpoint per scrivere un loader, e concordano tra loro.

• Dimensione — 600B parametri totali con 27B attivi per token, un design sparse mixture-of-experts. La ricetta vLLM dichiara indipendentemente 604B, "contati dalle forme dei tensori del checkpoint", e i due numeri sono lo stesso numero arrotondato in modo diverso.

Profondità e routing — 92 layer. Ogni layer MoE instrada un token verso 8 di 352 esperti più un esperto condiviso. Quel numero di esperti è il motivo per cui la PR di vLLM comporta una modifica al kernel router-GEMM: aggiunge (4096, 352) come coppia (hidden_dim, num_experts) supportata, accanto a quelle esistenti (3072, 256) e (6144, 128).

• Attention — un pattern ripetuto a quattro livelli: tre livelli a finestra scorrevole che prestano attenzione ai 512 token più recenti, poi un livello ad attenzione sparsa. I livelli sparsi suddividono la cronologia KV in regioni da 8 token, assegnano un punteggio al riepilogo di ciascuna regione con un indexer leggero e selezionano fino a 512 regioni storiche a cui prestare attenzione a livello di token. SGLang la chiama region-sparse attention; la conseguenza pratica è che un contesto da 1M di token resta sostenibile in termini di memoria.

• Decodifica speculativa — tre livelli MTP. Il "MTP a tre livelli" di SGLang e --spec-method mtp --spec-tokens 3 della ricetta vLLM sono la stessa affermazione da due direzioni.

• Precisione — i pesi degli esperti instradati sono FP8 (E4M3, scale a blocchi 128×128) tranne che negli ultimi tre layer MoE, che rimangono BF16. Un checkpoint NVFP4 separato, stepfun-ai/Step-5-Preview-NVFP4, è citato dalla ricetta vLLM come variante. Entrambi gli stack lasciano intatta la suddivisione dei layer a precisione mista anziché convertirla a una precisione superiore.

• Comportamento di ragionamento — il modello pensa sempre prima di rispondere. reasoning_effort imposta la profondità e il valore predefinito è high quando non è impostato, ovvero l'impostazione che più probabilmente ti sorprenderà se hai un budget di latenza. Il campionamento consigliato da StepFun è temperature=1.0, top_p=0.95, top_k=0, e il cookbook di SGLang li segnala come informazioni, piuttosto che come qualcosa da codificare in modo fisso.

Il requisito hardware minimo è la parte che determina se questo è rilevante per te

È qui che la ricetta vLLM si ripaga, perché nessun altro ha pubblicato minimi rigidi.

• Soglia FP8 — 773 GB di VRAM, con un minimo di 4 GPU e un target hardware predefinito di B300. Le configurazioni verificate sono elencate per H200, B300 e GB300. Su quattro B300 la ricetta offre layout TP4, TEP4 o DEP4; i pesi FP8 non entrano in quattro H200, quindi il percorso Hopper prevede otto GPU.

• Limite minimo NVFP4 — 473 GB di VRAM per il checkpoint quantizzato, 300 GB in meno rispetto a FP8. Il compromesso è il contesto: la variante NVFP4 viene eseguita con --max-model-len 320000, quindi rinunci a circa 724.000 token dei 1.048.576 dichiarati per rientrare nell'ingombro ridotto.

• Parallelismo degli esperti — su Blackwell, i layout TEP e DEP passano attraverso MegaMoE con --moe-backend deep_gemm_mega_moe; il layout puramente tensor-parallel deliberatamente no, perché MegaMoE richiede il parallelismo degli esperti per avere qualcosa da suddividere. Su H200 la ricetta ripiega su un Triton MoE per ogni layer di esperti, compresi i tre BF16, perché i kernel TRT-LLM MoE sono disponibili solo su Blackwell.

• Costo di avvio — il cookbook di SGLang indica il primo avvio a circa 15 minuti di compilazione di FlashInfer su B300, che scende a circa 6 minuti negli avvii successivi, e consiglia di rendere persistenti FLASHINFER_WORKSPACE_BASE e ~/.cache/sglang tra i riavvii. Se stai facendo autoscaling da zero, quella è una soglia minima di avvio a freddo, non un errore di arrotondamento.

• Cosa non è ancora supportato — la ricetta vLLM contrassegna sia l'offload KV Simple che LMCache come non supportati per questo modello. Il percorso HiCache di SGLang è documentato come disponibile nel cookbook, il che rappresenta una reale differenza di capacità tra i due stack allo stato attuale.

La lettura pratica: Step 5 Preview è un deployment da quattro a otto acceleratori, non un progetto hobbistico su singolo nodo. Se questa frase conclude il vostro interesse, la sezione API qui sotto è il resto dell'articolo.

Chiamarlo, e quanto costa ogni token

La pagina dei prezzi di StepFun stessa elenca step-5-preview a 1,00 $ per milione di token di input in caso di cache miss, 0,10 $ in caso di cache hit e 2,70 $ per milione di token di output — cifre fornite dal venditore, non da un rivenditore. Due dettagli cambiano l'aritmetica. Primo, il prezzo degli input con cache miss include la scrittura di nuovi contenuti nella cache, quindi una prima passata su un documento lungo viene tariffata una volta ed è economica alla seconda passata. Secondo, i token di output includono il ragionamento del modello oltre alla sua risposta, il che qui conta più che su un modello che risponde direttamente.

Artificial Analysis, l'unico valutatore neutrale con un'esecuzione pubblicata, assegna a Step 5 Preview un Intelligence Index di 43,7 — visualizzato come 44 — con una velocità mediana di output di 88,5 token al secondo e un tempo al primo token di risposta di 24,7 secondi, a fronte di circa 2.000 token di ragionamento per risposta. Il dato sulla velocità è rispettabile, mentre la latenza del token di risposta non lo è: un modello che pensa sempre prima è poco adatto all'autocompletamento interattivo e adatto al lavoro in batch e agentico, che è esattamente come StepFun lo posiziona. Si tratta di numeri indipendenti su un harness di terze parti, e sono gli unici disponibili — StepFun non pubblica alcuna tabella di benchmark per questo modello.

Dove la storia è ancora morbida, e non è tutta morbida allo stesso modo

Tre cose vale la pena segnalare anziché levigare, perché ciascuna ha una diversa durata.

Il primo è se il checkpoint del fornitore è effettivamente scaricabile. Entrambi i documenti di serving first-party fanno riferimento a stepfun-ai/Step-5-Preview e stepfun-ai/Step-5-Preview-NVFP4 come checkpoint canonici, e il cookbook di SGLang collega un LICENSE.txt sotto la StepFun Model License 1.0. Ciò che questa pagina non può fare è confermare da Hugging Face che quei repository siano oggi pubblicamente leggibili: l'API di Hugging Face restituisce l'identico 401 Invalid username or password per stepfun-ai/Step-5-Preview come per un id di repository mai esistito, quindi la risposta non può distinguere un modello gated da uno assente. La guida della ricetta stessa — "usa hf auth login se il checkpoint richiede autenticazione" — è l'unica affermazione sull'accesso, ed è condizionale. Considera il download come referenziato dalle persone che hanno scritto i loader, e conferma tu stesso l'accesso prima di pianificare un lancio basato su di esso.

Il secondo è la data di rilascio, che tre fonti indicano in tre modi diversi: i materiali di annuncio di StepFun collocano il lancio al 20 settembre 2026; Artificial Analysis data il modello al 18 settembre 2026 nei propri metadati e mostra "Rilasciato a settembre 2026"; e gli aggregatori di metadati dei modelli che la maggior parte degli strumenti legge riportano il 16 settembre 2026. Nessuna delle tre spiega la discrepanza. Questo articolo usa il 20 settembre del fornitore dove serve una data, e vale la pena sapere quale numero ha ricevuto lo strumento che state leggendo.

Il terzo è la maturità, e qui i due stack non sono equivalenti. Il cookbook di SGLang è mergiato e mergiato nel main, ma il testo di SGLang stesso dice che il supporto non è stato rilasciato in una release, quindi il percorso Python è un'immagine Docker di anteprima e nient'altro. La ricetta di vLLM è aperta, la sua PR del modello è una bozza non mergiata che GitHub segnala attualmente come avente conflitti di merge e bisognosa di un rebase, e i suoi stessi revisori hanno già sollevato tre punti aperti contro la ricetta — un gate hardware FP8, un profilo B300 predefinito che emette comandi a otto GPU contro una guida a quattro GPU, e un limite di contesto NVFP4 che non è codificato negli argomenti della variante. Nessuna di queste cose è squalificante. Tutto ciò sostiene di trattare un primo deployment self-hosted questa settimana come una valutazione, non una migrazione.

Cosa fare con questo, questa settimana

Se hai già quattro B300 o otto H200 e un carico di lavoro che assomiglia ad analisi di documenti lunghi, tool calling multi-turno o esecuzioni notturne di agenti, la ricetta vLLM è quasi un runbook: scarica vllm/vllm-openai:step-5-preview, copia un comando TP4 o TEP4 e verifica se --max-model-len 1048576 sopravvive al contatto con il tuo budget KV reale prima di promettere a chiunque un milione di token. Se hai Hopper e non Blackwell, inizia con il checkpoint NVFP4 e accetta il contesto da 320k, oppure prevedi otto H200. In ogni caso, imposta reasoning_effort esplicitamente su ogni richiesta invece di ereditare il valore predefinito elevato, e misura i 24,7 secondi di time-to-answer-token sul tuo traffico prima di concludere qualsiasi cosa dal dato di 88,5 token al secondo.

Se non disponi di quell'hardware, l'API non è un premio di consolazione — sono gli stessi pesi, fatturati per token, a $1,00 in entrata e $2,70 in uscita con uno sconto del 90% sulla cache per il contesto ripetuto. Ed ecco la parte di questa pagina in cui rientra la risposta onesta su di noi: Step 5 Preview non è nell'elenco dei modelli live di OrcaRouter a oggi. Il nostro catalogo conta 207 modelli su 13 provider e attualmente non contiene alcun modello StepFun, quindi per questo specifico modello l'API dello stesso fornitore è l'unico percorso chiamabile, e nulla in questa pagina deve essere letto come un'affermazione che noi lo serviamo. Ciò che instradiamo è la decisione circostante: quando scegli quale modello di frontiera porta un carico di produzione, l'argomento a favore di raggiungerlo attraverso un unico endpoint è che il prezzo di listino del provider viene passato con 0% di ricarico, quindi una variazione di prezzo di un fornitore è il tuo prezzo lo stesso giorno, e che il failover automatico tra provider significa che un pomeriggio storto di un singolo modello non è la tua interruzione di servizio. Questa è un'affermazione sui modelli che serviamo, e deliberatamente non è un'affermazione su questo.

Cosa tenere d'occhio ora è ristretto e verificabile. Se stepfun-ai/Step-5-Preview si risolve in un repository leggibile con un file di licenza da mostrare a un team legale; se la #61727 di vLLM supera lo stato di bozza e il suo conflitto di merge; se la PR di supporto #44356 di SGLang arriva in una release con tag, ovvero il punto in cui la ricetta smette di essere un'immagine di anteprima e diventa qualcosa su cui la tua CI può fissarsi. Una qualsiasi di queste tre trasforma il "probabilmente puoi eseguirlo" di questa settimana in un semplice sì, e fino ad allora l'unica affermazione che vale la pena fare è quella che le prove supportano: il 15 ottobre 2026, due stack di serving hanno pubblicato i propri percorsi verso un modello che è invocabile dal 20 settembre 2026.

Scegliere di eseguire un modello da 600 miliardi di parametri sul proprio hardware è anche il tipo di decisione in cui il track record conta: gli incidenti AI documentati e i fallimenti degli agenti relativi ai modelli di questa classe sono raccolti in the OrcaRouter AI Incident Archive, dove ogni voce riporta le proprie fonti, la gravità, il grado di confidenza e il flag di contestazione.