I pesi di Step 5 Preview non sono mai mancati: cosa cambia il checkpoint NVFP4

S​tep 5 Preview è scaricabile dal giorno in cui StepFun l'ha rilasciato, il 20 settembre 2026 — e gran parte di ciò che è stato scritto sul modello da allora dice il contrario. Il repository FP8 stepfun-ai/S​tep-5-Preview è stato creato alle 03:15 UTC quella mattina e il suo primo shard è stato committato 36 minuti dopo; il repository BF16 è seguito alle 03:52 e i suoi shard sono arrivati alle 04:18. Entrambi sono di StepFun, entrambi sono ad accesso libero, e insieme contengono 1,86 terabyte di pesi. Ciò che è cambiato a metà ottobre è più circoscritto e più utile di una ripubblicazione: StepFun ha pubblicato un terzo checkpoint nel formato NVFP4 di N​VIDIA, e il 15 ottobre 2026 N​VIDIA l'ha pubblicamente avallato — definendolo "il loro più grande rilascio di pesi aperti", dicendo che il modello "è progettato per gestire attività di agenti che durano fino a 24 ore", e quantificandolo: "quasi 8K token/sec/GPU su N​VIDIA GB300 usando NVFP4."

Questa è la notizia. La correzione è il motivo per cui questo pezzo si apre con una data invece che con un annuncio. La copertura scritta il 20 settembre si basava su un repository vecchio di pochi minuti e brevemente vuoto, e l'inquadramento dei «pesi promessi per una data successiva» è rimasto anche dopo che i pesi sono arrivati quella stessa mattina. Un articolo gemello su questo sito l'ha ripetuto appena il 13 ottobre. Non è vero ora e non era vero allora, e conta perché la questione degli open-weights era il singolo maggiore elemento irrisolto in ogni articolo su questo modello.

Cosa è stato effettivamente rilasciato il 14 e il 15 ottobre

Il nuovo artefatto è stepfun-ai/S​tep-5-Preview-NVFP4. Il repository è stato creato alle 02:59 UTC del 14 ottobre 2026 e il caricamento dei pesi è un commit alle 07:10 UTC dello stesso giorno da un collaboratore il cui account, huangyu-nv, ha anche riscritto il README un'ora dopo per allinearlo ai repository FP8 e BF16. Contiene 394,18 GB su 95 file safetensors disposti come 92 file per livello più due extra e un file vision tower — uno schema di sharding diverso dai repo FP8 e BF16, che entrambi forniscono 24 shard di testo più una testa di previsione multi-token e un ViT.

Vale la pena enunciare con precisione ciò che contiene, perché "NVFP4" viene usato in modo approssimativo nella divulgazione. Il blocco di quantizzazione in config.json recita quant_method: modelopt, quant_algo: NVFP4, group_size: 16, e kv_cache_quant_algo: null. La ignore list è lunga e specifica: 92 blocchi di self-attention, 88 gate MoE, 88 shared expert, la tabella di embedding, la norm finale e la testa del modello linguistico, più la torre visione e il suo proiettore. Solo tre voci dell'intero elenco toccano moe.experts. In termini semplici, l'attenzione e il meccanismo di routing restano a una precisione più alta e i pesi feed-forward degli esperti — la maggior parte dei 600 miliardi di parametri — sono la parte che è stata quantizzata. La cache KV è intatta, ed è il dettaglio che determina se la tua configurazione di serving a contesto lungo sopravvive al passaggio.

Il conteggio dei parametri di Hugging Face stesso su quel repository riporta 320,6 miliardi, suddivisi in 282,4 miliardi U8, 38,2 miliardi BF16 e 2,4 milioni F32, e la pagina del file mostra "321B params" come dimensione del modello. La scheda di StepFun, sulla stessa pagina, indica 600B in totale e 27B attivi. Entrambi sono corretti e contano cose diverse: il valore di 321B è un conteggio degli elementi quantizzati archiviati, non un conteggio dei parametri nel senso usato dalla descrizione dell'architettura. Se devi dimensionare la memoria, usa il numero di archiviazione. Se stai descrivendo il modello, usa la scheda.

Tre checkpoint, tre costi hardware

Il motivo per cui il rilascio di NVFP4 conta più di un quarto file in una cartella è che cambia la macchina più piccola su cui puoi eseguire questo modello. La tabella di deployment di StepFun stessa nella model card fornisce le forme per i due checkpoint più vecchi e i repository forniscono le dimensioni; eccoli qui insieme, con la riga NVFP4 aggiunta.

• Precisione — FP8 650,32 GB vs BF16 1.214,9 GB vs NVFP4 394,18 GB su disco

• La più piccola configurazione vLLM pubblicata — FP8 un nodo B300 con 4 GPU, oppure un nodo H200 con 8 GPU rispetto a BF16 un nodo B300 con 8 GPU, oppure due nodi H200 con 16 GPU rispetto a NVFP4 non ancora presente nella tabella di StepFun

• Parallelismo consigliato dalla scheda — FP8 TP4, TEP4 o DEP4 su B300 rispetto a BF16 TP8, TEP8 o DEP8, mentre per NVFP4 non è specificato

• Attenzione e pesi del router — FP8 quantizzato a otto bit vs BF16 a piena precisione vs NVFP4 lasciato non quantizzato dalla lista di esclusione di ModelOpt

• KV cache — non quantizzata in tutti e tre, poiché la configurazione NVFP4 imposta kv_cache_quant_algo a null

• Stack di serving — tutti e tre tramite vLLM o SGLang con un endpoint compatibile con OpenAI, oppure offline tramite il percorso standalone di Transformers

Il divario nelle ultime due righe è l'onesta avvertenza sul nuovo checkpoint. Il post di N​VIDIA afferma che il modello gira a quasi 8K token al secondo per GPU su GB300 usando NVFP4, ma la tabella di deployment di StepFun non è stata aggiornata con una riga NVFP4, quindi non esiste ancora una ricetta di parallelismo pubblicata dal fornitore per esso. Se stai pianificando un deployment questa settimana, il percorso FP8 è quello con una configurazione documentata e il percorso NVFP4 è quello con un numero di punta associato all'hardware di qualcun altro.

La cifra di 8K è un numero di un fornitore, e solo un fornitore l'ha detto.

Il post di NVIDIA del 15 ottobre è l'intera documentazione ufficiale di prima mano su questo punto. Non esiste alcun articolo sul blog per sviluppatori di NVIDIA, nessuna pagina di annuncio di StepFun e nessuna riproduzione da parte di terzi del dato di throughput che possa essere verificata dall'esterno. Anche "quasi 8K token/sec/GPU" è un'affermazione che significa ben poco senza la dimensione del batch, la lunghezza della sequenza e la concorrenza con cui è stata misurata — la stessa configurazione di modello può differire di un ordine di grandezza lungo questi tre assi, e i framework di serving per modelli mixture-of-experts sono particolarmente sensibili a quanti esperti sono attivi per token. Consideralo come una dichiarazione di NVIDIA sull'hardware NVIDIA, che è esattamente ciò che dichiara di essere, e non come un valore di throughput verificato in modo indipendente.

L'affermazione sull'agente da 24 ore ha lo stesso status. È una descrizione di capacità più che una misurazione, e la scheda di StepFun stessa descrive l'esecuzione a lungo orizzonte con gli stessi termini senza associarvi una durata. Le note di valutazione pubblicate dal fornitore per questo modello elencano effettivamente l'harness e le impostazioni — temperature 1.0, top-p 0.95, top-k 0, l'impostazione di ragionamento High, l'harness SWE-agent per DeepSWE v1.1 — il che è più di quanto offrano molte schede di rilascio, ma la tabella dei punteggi stessa è un'immagine e StepFun non pubblica alcuna tabella numerica di benchmark nella sua documentazione. L'unico valutatore neutrale con un punteggio live per questo modello è Artificial Analysis, dove S​tep 5 Preview si colloca a 44 sull'Intelligence Index e originariamente costava 1,03 $ per ogni attività dell'indice eseguita.

La ricetta di deployment è arrivata con il checkpoint, ed è la parte che userai.

Leggendo le cronologie dei repository, i file dei pesi e le istruzioni non sono arrivati insieme. Entrambi i repository più vecchi sono stati riscritti tra il 13 e il 14 ottobre — sette commit del README sul repo FP8 tra il 13 e il 15 ottobre — e ciò che quei commit hanno aggiunto è una guida completa al serving: un'immagine container pubblicata su vllm/vllm-openai:step-5-preview, comandi collaudati per il parallelismo tensor, expert e combinato, il set di flag di cui questo modello ha bisogno, e un percorso SGLang validato. È nei flag che si vede il lavoro specifico del modello: --max-model-len 1048576, una testa di decodifica speculativa configurata come --spec-method mtp --spec-tokens 3, e dedicati --reasoning-parser step5 e --tool-call-parser step5 parser in modo che i blocchi di ragionamento e le chiamate a strumenti del modello sopravvivano al round trip attraverso un'API in stile OpenAI. Su Blackwell, le configurazioni TEP e DEP passano il backend MoE a deep_gemm_mega_moe; la configurazione TP4 semplice non può, perché quel backend richiede il parallelismo degli esperti.

Questo è l'arrivo del supporto per il framework, e per chiunque stia decidendo se costruire su questo modello vale più della pretesa di throughput. Un download da 650 GB con un comando di avvio non convalidato è un progetto di ricerca. Un download da 650 GB con un'immagine container con versione bloccata, quattro configurazioni parallele testate per ogni precisione e un parser che comprende il formato di output del modello stesso è un deployment.

Se non vuoi possedere nulla di tutto ciò, l'aritmetica su questo modello è insolita. S​tep 5 Preview gira sulla piattaforma proprietaria di StepFun a $1,00 per milione di token in input, $0,10 per milione di token in input con cache-hit e $2,70 per milione di token in output, quindi un mese con 200 milioni di token in input e 200 milioni di token in output costa rispettivamente $200 e $540 — contro all'incirca il prezzo di un nodo B300 con quattro GPU al mese per l'hardware che lo serve. L'auto-hosting qui è una decisione di controllo e di residenza dei dati, non una decisione di costo, ed è il fatto che i pesi siano aperti che rende questa una decisione che ti è permesso prendere. Vale la pena dire chiaramente che S​tep 5 Preview non è nella lista dei modelli live di OrcaRouter, quindi il posto dove chiamarlo è l'API del fornitore stesso; quello che un'unica API per più di 200 modelli ti offre in questa situazione è l'altra metà della questione — il costo del modello verso cui sposteresti il carico di lavoro se un deployment self-hosted non funzionasse, con 0% di markup su ogni prezzo di listino di ogni provider.

La licenza, letta letteralmente

L'espressione «Open weights» sta facendo un lavoro nella formulazione di NVIDIA che la licenza non supporta appieno, ed è la parte della storia che più probabilmente verrà fraintesa. StepFun Model License 1.0 è una concessione perpetua, mondiale, esente da royalty, non esclusiva, per usare, copiare, distribuire, sublicenziare, modificare e creare opere derivate dai pesi, con una corrispondente concessione di brevetto. Non è una licenza open source approvata dall'OSI, e ci sono due condizioni che vale la pena conoscere prima di costruirci sopra un'attività.

• Attribuzione — se un prodotto o servizio commerciale che incorpora il modello supera i 100 milioni di utenti attivi mensili o i 20 milioni di dollari di ricavi in un qualsiasi mese di calendario, devi visualizzare in modo ben visibile "Powered by StepFun AI" nell'interfaccia del prodotto e nel tuo accordo con l'utente

• Licenza commerciale separata richiesta — se sei un produttore di hardware o un titolare di marchio che distribuisce le capacità del modello in dispositivi, oppure se gestisci un'attività model-as-a-service e il fatturato combinato supera i 20 milioni di dollari in qualsiasi periodo di dodici mesi

• Che cosa non è esplicitamente MaaS — incorporare la capacità del modello in una funzionalità fissa per l'utente finale, oppure limitarsi a inoltrare richieste al modello di un altro fornitore

• Che cosa è espressamente consentito senza l'accordo aggiuntivo: l'uso interno che non espone il modello o le sue capacità a terzi, e l'uso ottenuto tramite un canale di distribuzione certificato StepFun nell'ambito di tale certificazione

• Risoluzione — l'inadempimento sostanziale pone fine alla concessione, con un termine di trenta giorni per rimediare dopo notifica scritta

Quindi l'interpretazione pratica è che i pesi sono davvero scaricabili e davvero utilizzabili, anche commercialmente, fino alle soglie della Sezione 2. Una startup che esegue il fine-tuning di questo modello per il lavoro interno sui documenti rientra nella concessione. Un produttore di telefoni che lo distribuisce come funzionalità, o un'azienda di inferenza ospitata oltre i 20 milioni di dollari, no. È lo stesso tipo di restrizione usata dalle licenze di L​lama e Q​wen, e vale la pena affermarlo chiaramente invece di archiviarlo sotto "open".

Dove questo lascia il modello

Un modello mixture-of-experts da 600 miliardi di parametri con 27 miliardi di parametri attivi, un contesto da un milione di token, input di testo, immagini e video, un output massimo di 64k nella documentazione di StepFun, un listino prezzi di circa $1,00 / $2,70, un punteggio index di 44 dall'unico valutatore neutrale che lo ha valutato, e tre checkpoint scaricabili a tre precisioni. Rilasciato il 20 settembre 2026. Pesi aperti dalla mattina del rilascio. Quantizzato per Blackwell il 14 ottobre, approvato dal fornitore della GPU il 15 ottobre, a un valore di throughput che nessuno al di fuori di NVIDIA ha riprodotto.

La prossima cosa da tenere d'occhio non è un altro endpoint. È la prima misurazione indipendente sul checkpoint NVFP4 — un confronto di throughput o qualità rispetto al percorso FP8 da parte di qualcuno che non vende l'hardware. La quantizzazione a quattro bit con lo stack di attenzione lasciato fuori è un progetto ragionevole, e la richiesta specifica è se i pesi degli esperti sopravvivono. Finché qualcuno non lo pubblica, la posizione onesta sul nuovo checkpoint è la stessa che la copertura di settembre avrebbe dovuto assumere su quelli vecchi: i pesi sono reali, la ricetta è reale, e l'affermazione sulle prestazioni è del fornitore.

Un risultato come questo è anche un promemoria del fatto che gli errori dei modelli sono già documentati: gli incidenti AI e i fallimenti degli agenti dietro i modelli di questa classe sono raccolti in l'OrcaRouter AI Incident Archive, dove ogni voce riporta le proprie fonti, la gravità, il grado di confidenza e il flag di contestazione.