De gewichten van Step 5 Preview ontbraken nooit: wat de NVFP4-checkpoint verandert

S​tep 5 Preview is downloadbaar geweest sinds de dag dat StepFun het uitbracht op 20 september 2026 — en een groot deel van wat sindsdien over het model is geschreven, beweert het tegendeel. De FP8-repository stepfun-ai/S​tep-5-Preview werd die ochtend om 03:15 UTC aangemaakt en de eerste shard werd 36 minuten later gecommit; de BF16-repository volgde om 03:52 en de shards kwamen om 04:18 binnen. Beide zijn van StepFun zelf, beide zijn vrij toegankelijk, en samen bevatten ze 1,86 terabyte aan gewichten. Wat medio oktober veranderde, is beperkter en nuttiger dan een heruitgave: StepFun publiceerde een derde checkpoint in N​VIDIA's NVFP4-formaat, en op 15 oktober 2026 onderschreef N​VIDIA het publiekelijk — noemde dit "hun grootste open-weights-release", zei dat het model "is gebouwd om agenttaken van maximaal 24 uur aan te kunnen", en plakte er een getal op: "bijna 8K tokens/sec/GPU op N​VIDIA GB300 met NVFP4."

Dat is het nieuws. De correctie is de reden dat dit stuk met een datum opent in plaats van met een aankondiging. Berichtgeving die op 20 september werd geschreven, had betrekking op een repository die enkele minuten oud en kortstondig leeg was, en de framing "gewichten beloofd voor een latere datum" bleef hangen, zelfs nadat de gewichten dezelfde ochtend arriveerden. Een zusterartikel op deze site herhaalde het nog op 13 oktober. Het is nu niet waar en het was toen niet waar, en het is belangrijk omdat de open-weightskwestie het grootste afzonderlijke onopgeloste punt was in elk stuk over dit model.

Wat is er daadwerkelijk op 14 en 15 oktober verzonden?

Het nieuwe artefact is stepfun-ai/S​tep-5-Preview-NVFP4. De repository is aangemaakt op 02:59 UTC op 14 oktober 2026 en de gewichtenupload is een commit om 07:10 UTC dezelfde dag door een bijdrager van wie het account, huangyu-nv, een uur later ook de README herschreef om die af te stemmen op de FP8- en BF16-repositories. Het bevat 394,18 GB verdeeld over 95 safetensors-bestanden, gerangschikt als 92 bestanden per laag plus twee extra's en één vision tower-bestand — een ander sharding-schema dan de FP8- en BF16-repo's, die beide 24 tekstshards plus een multi-token-prediction-head en een ViT leveren.

Wat erin staat, is het waard precies te stellen, omdat "NVFP4" in omloop losjes wordt gebruikt. Het kwantisatieblok in config.json luidt quant_method: modelopt, quant_algo: NVFP4, group_size: 16, en kv_cache_quant_algo: null. De negeerlijst is lang en specifiek: 92 self-attention-blokken, 88 MoE-gates, 88 gedeelde experts, de embeddingtabel, de finale norm en de taalmodel-head, plus de visietoren en zijn projector. Slechts drie vermeldingen in de hele lijst raken moe.experts. Simpel gezegd blijven attention en de routingmachinerie in hogere precisie, en de feed-forwardgewichten van de experts — het leeuwendeel van de 600 miljard parameters — zijn het deel dat is gekwantiseerd. De KV-cache blijft onaangetast, en dat is het detail dat bepaalt of je long-context-servingconfiguratie de overstap overleeft.

De eigen parameteradministratie van Hugging Face op die repository komt uit op 320,6 miljard, opgesplitst in 282,4 miljard U8, 38,2 miljard BF16 en 2,4 miljoen F32, en de bestandspagina toont "321B params" als de modelgrootte. De modelkaart van StepFun op dezelfde pagina vermeldt 600B totaal en 27B actief. Beide kloppen en ze tellen verschillende zaken: het cijfer 321B is een opslagtelling van gekwantiseerde elementen, geen parametertelling in de zin die de architectuurbeschrijving gebruikt. Als je de geheugengrootte bepaalt, gebruik dan het opslaggetal. Als je het model beschrijft, gebruik dan de modelkaart.

Drie controlepunten, drie hardwarefacturen

De reden dat de NVFP4-release belangrijker is dan een vierde bestand in een map, is dat die de kleinste machine verandert waarop je dit model kunt draaien. StepFuns eigen deploymenttabel in de modelkaart geeft de shapes voor de twee oudere checkpoints en de repositories geven de groottes; hier staan ze samen, met de NVFP4-rij toegevoegd.

• Precisie — FP8 650,32 GB vs BF16 1.214,9 GB vs NVFP4 394,18 GB op schijf

• Kleinste gepubliceerde vLLM-configuratie — FP8: één B300-node met 4 GPU's, of één H200-node met 8 GPU's versus BF16: één B300-node met 8 GPU's, of twee H200-nodes met 16 GPU's versus NVFP4, nog niet in de tabel van StepFun

• Parallelisme dat de kaart aanbeveelt — FP8 TP4, TEP4 of DEP4 op B300 vs BF16 TP8, TEP8 of DEP8 vs NVFP4 niet vermeld

• Attention- en routergewichten — FP8 gekwantiseerd naar acht bits vs. BF16 volledige precisie vs. NVFP4 ongekwantiseerd gelaten door de negeerlijst van ModelOpt

• KV-cache — in alle drie niet-gekwantiseerd, aangezien de NVFP4-configuratie kv_cache_quant_algo op null

• Serving-stack — alle drie via vLLM of SGLang met een OpenAI-compatibel endpoint, of offline via het standalone Transformers-pad

Het gat in de laatste twee rijen is de eerlijke kanttekening bij de nieuwe checkpoint. De post van N​VIDIA zegt dat het model bijna 8K tokens per seconde per GPU draait op GB300 met NVFP4, maar de deploymenttabel van StepFun is niet bijgewerkt met een NVFP4-rij, dus er is nog geen door de leverancier gepubliceerd parallelismerecept voor. Als je deze week een deployment plant, is het FP8-pad het pad met een gedocumenteerde configuratie en het NVFP4-pad het pad met een opvallend cijfer dat aan andermans hardware is gekoppeld.

Het 8K-cijfer is een leveranciersnummer, en slechts één leverancier heeft het gezegd.

NVIDIA's bericht van 15 oktober is het volledige first-party verslag hierover. Er is geen NVIDIA developer blog entry, geen StepFun aankondigingspagina, en geen reproductie door derden van de doorvoerclaim die van buitenaf gecontroleerd kan worden. "Nearly 8K tokens/sec/GPU" is ook een uitspraak die heel weinig betekent zonder de batchgrootte, de sequentielengte en de concurrency waarin het gemeten is — dezelfde modelconfiguratie kan een orde van grootte verschillen over die drie assen, en serving frameworks voor mixture-of-experts modellen zijn specifiek gevoelig voor hoeveel experts actief zijn per token. Beschouw het als NVIDIA die verslag doet over NVIDIA hardware, wat precies is wat het zegt dat het is, en niet als een onafhankelijk geverifieerd throughput cijfer.

De bewering over de 24-uursagent heeft dezelfde status. Het is een capaciteitsbeschrijving, geen meting, en de eigen kaart van StepFun beschrijft langetermijnuitvoering in dezelfde bewoordingen zonder er een duur aan te verbinden. De door de leverancier gepubliceerde evaluatienotities voor dit model vermelden wel de harness en de instellingen — temperatuur 1,0, top-p 0,95, top-k 0, de redeneerinstelling High, de SWE-agent-harness voor DeepSWE v1.1 — wat meer is dan veel releasekaarten bieden, maar de scoretabel zelf is een afbeelding en StepFun publiceert geen numerieke benchmarktabel in de documentatie. De enige neutrale evaluator met een live score voor dit model is Artificial Analysis, waar S​tep 5 Preview op 44 staat in de Intelligence Index en oorspronkelijk $1,03 per indextaak kostte om te draaien.

Het deploymentrecept is samen met het checkpoint aangekomen, en het is het deel dat je zult gebruiken.

Uit de repositorygeschiedenissen blijkt dat de gewichtsbestanden en de instructies niet samen aankwamen. Beide oudere repositories werden herschreven op 13 en 14 oktober — zeven README-commits op de FP8-repo tussen 13 en 15 oktober — en wat die commits toevoegden, is een volledige handleiding voor serving: een gepubliceerde containerimage op vllm/vllm-openai:step-5-preview, werkende commando's voor tensorparallellisme, expertparallellisme en gecombineerd parallellisme, de set flags die dit model nodig heeft, en een gevalideerd SGLang-pad. Aan de flags is het modelspecifieke werk te zien: --max-model-len 1048576, een speculative decoding-head geconfigureerd als --spec-method mtp --spec-tokens 3, en toegewijde --reasoning-parser step5 en --tool-call-parser step5 parsers, zodat de reasoning-blokken en tool calls van het model behouden blijven tijdens de roundtrip via een O​penAI-vormige API. Op Blackwell schakelen de TEP- en DEP-configuraties de MoE-backend over naar deep_gemm_mega_moe; de gewone TP4-configuratie kan dat niet, omdat die backend expertparallellisme vereist.

Dat is frameworkondersteuning die landt, en voor iedereen die besluit of hij op dit model wil bouwen, is dat meer waard dan de doorvoerclaim. Een download van 650 GB met een niet-gevalideerd opstartcommando is een onderzoeksproject. Een download van 650 GB met een vastgezette containerimage, vier geteste parallelle configuraties per precisie en een parser die het eigen uitvoerformaat van het model begrijpt, is een deployment.

Als je niets daarvan wilt bezitten, is de rekensom voor dit model ongebruikelijk. S​tep 5 Preview draait op StepFuns eigen platform tegen $1,00 per miljoen inputtokens, $0,10 per miljoen cache-hit inputtokens en $2,70 per miljoen outputtokens, dus een maand met 200 miljoen inputtokens en 200 miljoen outputtokens kost respectievelijk $200 en $540 — tegen ongeveer de prijs van een B300-node met vier GPU's per maand voor de hardware die het serveert. Zelf hosten is hier een beslissing over controle en dataresidentie, niet over kosten, en dat de gewichten open zijn, is juist wat het een beslissing maakt die je überhaupt mag nemen. Het is goed om ronduit te zeggen dat S​tep 5 Preview niet op de live modellenlijst van OrcaRouter staat, dus de plek om het aan te roepen is de eigen API van de leverancier; wat één API voor meer dan 200 modellen je in deze situatie oplevert, is de andere helft van de vraag — de kosten van het model waarnaar je de workload zou verplaatsen als een zelfgehoste implementatie niet uitpakt, tegen 0% opslag op de lijstprijs van elke aanbieder.

De licentie, letterlijk gelezen

"Open weights" doet in N​VIDIA's formulering meer werk dan de licentie volledig ondersteunt, en dit is het deel van het verhaal dat het meest waarschijnlijk verkeerd wordt begrepen. StepFun Model License 1.0 is een eeuwigdurende, wereldwijde, royaltyvrije, niet-exclusieve licentie om de gewichten te gebruiken, te kopiëren, te distribueren, in sublicentie te geven, te wijzigen en er afgeleide werken van te maken, met een bijbehorende octrooiverlening. Het is geen door OSI goedgekeurde opensourcelicentie, en er zijn twee voorwaarden die de moeite waard zijn om te kennen voordat je er een bedrijf op bouwt.

• Naamsvermelding — als een commercieel product of dienst waarin het model is opgenomen, in enige kalendermaand 100 miljoen maandelijkse actieve gebruikers of $20 miljoen omzet overschrijdt, moet u prominent "Powered by StepFun AI" weergeven in de productinterface en in uw gebruikersovereenkomst

• Afzonderlijke commerciële licentie vereist — als u een hardwarefabrikant of merkeigenaar bent die de mogelijkheden van het model in apparaten meelevert, of als u een model-as-a-service-bedrijf runt en de gecombineerde omzet in welke periode van twaalf maanden dan ook meer dan $20 miljoen bedraagt

• Wat expliciet geen MaaS is — het inbedden van de capaciteit van het model in een vaste functie voor eindgebruikers, of louter verzoeken doorsturen naar het model van een andere provider

• Wat expliciet is toegestaan zonder de aanvullende overeenkomst — intern gebruik dat het model of zijn capaciteiten niet aan een derde partij blootstelt, en gebruik dat is verkregen via een StepFun-gecertificeerd distributiekanaal binnen het bereik van die certificering

• Beëindiging — een wezenlijke tekortkoming beëindigt de licentieverlening, met een hersteltermijn van dertig dagen na schriftelijke kennisgeving

De praktische lezing is dus dat de gewichten daadwerkelijk downloadbaar en daadwerkelijk bruikbaar zijn, ook commercieel, tot aan de drempelwaarden in Sectie 2. Een startup die dit model fine-tunet voor intern documentwerk valt binnen de toestemming. Een fabrikant van handsets die het als functie meelevert, of een bedrijf in gehoste inferentie dat de $20 miljoen voorbij is, valt daar niet onder. Dat is dezelfde vorm van beperking die de licenties van L​lama en Q​wen hanteren, en het is de moeite waard om dat ronduit te zeggen in plaats van het onder 'open' te schuiven.

Waar dit het model laat

Een mixture-of-experts-model met 600 miljard parameters en 27 miljard actieve parameters, een context van een miljoen tokens, tekst-, beeld- en video-invoer, een maximale uitvoer van 64k in de documentatie van StepFun, een tariefkaart van ongeveer $1,00 / $2,70, een indexscore van 44 van de enige neutrale evaluator die het heeft beoordeeld, en drie downloadbare checkpoints in drie precisies. Uitgebracht op 20 september 2026. Gewichten open sinds de ochtend van de release. Gekwantiseerd voor Blackwell op 14 oktober, goedgekeurd door de GPU-leverancier op 15 oktober, met een doorvoercijfer dat niemand buiten N​VIDIA heeft gereproduceerd.

Het volgende dat de moeite waard is om in de gaten te houden, is niet nog een endpoint. Het is de eerste onafhankelijke meting van het NVFP4-checkpoint — een vergelijking van doorvoer of kwaliteit met het FP8-pad door iemand die de hardware niet verkoopt. Kwantisatie op vier bits waarbij de attentionstack buiten de kwantisatie wordt gehouden, is een redelijk ontwerp, en de specifieke vraag is of de expertgewichten het overleven. Totdat iemand dat publiceert, is de eerlijke positie over het nieuwe checkpoint dezelfde die de berichtgeving van september over de oude checkpoints had moeten innemen: de gewichten zijn echt, het recept is echt, en de prestatieclaim is van de leverancier.

Een resultaat zoals dit is ook een herinnering eraan dat modelfouten al gedocumenteerd zijn: de AI-incidenten en agentfouten achter modellen in deze klasse zijn verzameld in het OrcaRouter AI Incident Archive, waar elke vermelding zijn eigen bronnen, ernst, zekerheidsgraad en betwistingsmarkering bevat.