Un carton-titre indiquant « RÉFÉRENCE DES MODÈLES STEPFUN — Step 5 Preview : les trois checkpoints », avec la ligne « Poids ouverts depuis le 20 septembre. Quantifiés pour Blackwell le 14 octobre. » et un pied de page précisant que les tailles, les dates et les conditions de licence ont été relevées dans les dépôts Hugging Face propres à StepFun.
Engineering & Research

Les poids de Step 5 Preview n'ont jamais manqué : ce que change le checkpoint NVFP4

Auteur

Alistair Wren

Date de publication

Derniers modèles · 20Voir tous les modèles →
Benchmarks : Artificial Analysis · mis à jour quotidiennement
Retour à tous les articles

S​tep 5 Preview est téléchargeable depuis le jour où StepFun l'a publié le 20 septembre 2026 — et une grande partie de ce qui a été écrit sur le modèle depuis lors affirme le contraire. Le dépôt FP8 stepfun-ai/S​tep-5-Preview a été créé à 03:15 UTC ce matin-là et son premier shard a été commité 36 minutes plus tard ; le dépôt BF16 a suivi à 03:52 et ses shards sont arrivés à 04:18. Les deux appartiennent à StepFun, les deux sont sans restriction d'accès, et ensemble ils portent 1,86 téraoctets de poids. Ce qui a changé à la mi-octobre est plus circonscrit et plus utile qu'une réédition : StepFun a publié un troisième checkpoint au format NVFP4 de N​VIDIA, et le 15 octobre 2026 N​VIDIA l'a publiquement approuvé — le qualifiant de « leur plus grande publication de poids ouverts », affirmant que le modèle « est conçu pour gérer des tâches d'agent pouvant durer jusqu'à 24 heures », et avançant un chiffre : « près de 8K tokens/sec/GPU sur N​VIDIA GB300 avec NVFP4. »

Voilà la nouvelle. La correction explique pourquoi cet article s'ouvre sur une date plutôt que sur une annonce. La couverture rédigée le 20 septembre se basait sur un dépôt vieux de quelques minutes et brièvement vide, et la formulation « des poids promis pour une date ultérieure » a perduré, même après l'arrivée des poids le matin même. Un article frère sur ce site l'a répétée pas plus tard que le 13 octobre. Ce n'est pas vrai aujourd'hui et ce ne l'était pas alors, et c'est important parce que la question des poids ouverts était le plus grand point non résolu dans chaque article consacré à ce modèle.

Qu’est-ce qui a réellement été livré les 14 et 15 octobre ?

Le nouvel artefact est stepfun-ai/S​tep-5-Preview-NVFP4. Le dépôt a été créé à 02:59 UTC le 14 octobre 2026 et l'envoi des poids correspond à un commit à 07:10 UTC le même jour par un contributeur dont le compte, huangyu-nv, a également réécrit le README une heure plus tard pour l'aligner sur les dépôts FP8 et BF16. Il contient 394,18 Go répartis sur 95 fichiers safetensors organisés en 92 fichiers par couche, plus deux fichiers supplémentaires et un fichier de tour de vision — un schéma de partitionnement différent de celui des dépôts FP8 et BF16, qui comportent tous deux 24 fragments de texte, ainsi qu'une tête de prédiction multi-token et un ViT.

The Hugging Face repository page for stepfun-ai/Step-5-Preview-NVFP4, showing the StepFun account, the stepfun-model-license-1.0 licence tag, the Safetensors and modelopt tags, and a model card headed Step 5 Preview.

Ce qu’il contient mérite d’être énoncé précisément, car « NVFP4 » est utilisé de manière vague dans les discussions. Le bloc de quantification dans config.json indique quant_method: modelopt, quant_algo: NVFP4, group_size: 16, et kv_cache_quant_algo: null. La liste des éléments ignorés est longue et spécifique : 92 blocs d’auto-attention, 88 portes MoE, 88 experts partagés, la table d’embedding, la normalisation finale et la tête du modèle de langage, ainsi que la tour de vision et son projecteur. Seules trois entrées de toute la liste touchent moe.experts. En termes simples, l’attention et les mécanismes de routage restent en précision supérieure, et les poids feed-forward des experts — l’essentiel des 600 milliards de paramètres — sont la partie qui a été quantifiée. Le cache KV n’est pas touché, ce qui est le détail qui détermine si votre configuration de service à long contexte survit au changement.

Le décompte des paramètres de Hugging Face lui-même pour ce dépôt indique 320,6 milliards, répartis en 282,4 milliards d'U8, 38,2 milliards de BF16 et 2,4 millions de F32, et la page du fichier affiche « 321B params » comme taille du modèle. La fiche de StepFun, sur la même page, indique 600B au total et 27B actifs. Les deux sont exacts et ils comptent des choses différentes : le chiffre de 321B est un décompte de stockage d'éléments quantifiés, et non un nombre de paramètres au sens où l'entend la description de l'architecture. Si vous dimensionnez la mémoire, utilisez le chiffre de stockage. Si vous décrivez le modèle, utilisez la fiche.

Trois points de contrôle, trois factures de matériel

La raison pour laquelle la sortie de NVFP4 compte plus qu’un quatrième fichier dans un dossier, c’est qu’elle change la plus petite machine sur laquelle vous pouvez exécuter ce modèle. Le tableau de déploiement de StepFun lui-même dans la fiche du modèle donne les formes des deux anciens checkpoints et les dépôts donnent les tailles ; les voici réunis, avec la ligne NVFP4 ajoutée.

• Précision — FP8 650,32 Go vs BF16 1 214,9 Go vs NVFP4 394,18 Go sur disque

• La plus petite configuration vLLM publiée — FP8 : un nœud B300 avec 4 GPU, ou un nœud H200 avec 8 GPU vs BF16 : un nœud B300 avec 8 GPU, ou deux nœuds H200 avec 16 GPU vs NVFP4, pas encore dans le tableau de StepFun

• Parallélisme recommandé par la carte — FP8 TP4, TEP4 ou DEP4 sur B300 vs BF16 TP8, TEP8 ou DEP8 vs NVFP4 non précisé

• Poids d'attention et de routeur — FP8 quantifiés sur huit bits vs BF16 en pleine précision vs NVFP4 laissés non quantifiés par la liste d'exclusion de ModelOpt

• Cache KV — non quantifié dans les trois, car la configuration NVFP4 définit kv_cache_quant_algo à null

• Pile de service — les trois via vLLM ou SGLang avec un point de terminaison compatible OpenAI, ou hors ligne via le chemin Transformers autonome

L’écart dans les deux dernières lignes constitue la réserve honnête sur le nouveau checkpoint. La publication de N​VIDIA indique que le modèle tourne à près de 8K tokens par seconde et par GPU sur GB300 avec NVFP4, mais le tableau de déploiement de StepFun n’a pas été mis à jour avec une ligne NVFP4, donc il n’existe pas encore de recette de parallélisme publiée par le fournisseur pour cela. Si vous prévoyez un déploiement cette semaine, la voie FP8 est celle qui dispose d’une configuration documentée, et la voie NVFP4 est celle qui a un chiffre phare rattaché au matériel de quelqu’un d’autre.

A three-column scoreboard titled "Step 5 Preview: the checkpoints", comparing FP8, BF16 and NVFP4 on size on disk, smallest published vLLM node, text shards, attention-weight precision, KV-cache precision and repository creation date. FP8: 650.32 GB, 4x B300, 24 shards, 8-bit attention, full-precision KV, created Sep 20, 2026. BF16: 1,214.9 GB, 8x B300, 24 shards, full precision throughout, created Sep 20, 2026. NVFP4: 394.18 GB, smallest vLLM node not stated, 92 layer files, attention left unquantized, full-precision KV, created Oct 14, 2026. Footer: sizes per the Hugging Face repositories, deployment rows per StepFun's model card, NVFP4 throughput vendor-reported and unreproduced.

Le chiffre de 8K est un chiffre de fournisseur, et un seul fournisseur l’a dit.

La publication du 15 octobre de N​VIDIA constitue l'intégralité de la documentation de première main à ce sujet. Il n'existe aucun billet de blog développeur de N​VIDIA, aucune page d'annonce StepFun, et aucune reproduction par un tiers de l'affirmation de débit qui puisse être vérifiée de l'extérieur. « Près de 8K tokens/sec/GPU » est aussi une affirmation qui ne veut pas dire grand-chose sans la taille de lot, la longueur de séquence et le niveau de concurrence de la mesure — une même configuration de modèle peut varier d'un ordre de grandeur sur ces trois axes, et les frameworks de service pour les modèles à mélange d'experts sont particulièrement sensibles au nombre d'experts actifs par token. Considérez cela comme un rapport de N​VIDIA sur du matériel N​VIDIA, ce qui est exactement ce que cela dit être, et non comme un chiffre de débit vérifié de manière indépendante.

L'affirmation d'un agent fonctionnant 24 heures sur 24 a le même statut. Il s'agit d'une description de capacité plutôt que d'une mesure, et la fiche de StepFun elle-même décrit l'exécution sur un horizon long dans les mêmes termes sans y associer de durée. Les notes d'évaluation publiées par le fournisseur pour ce modèle énumèrent bien le harnais et les paramètres — température 1.0, top-p 0.95, top-k 0, le réglage de raisonnement High, le harnais SWE-agent pour DeepSWE v1.1 — ce qui est plus que ce qu'offrent nombre de fiches de sortie, mais le tableau de scores lui-même est une image et StepFun ne publie aucun tableau de référence numérique dans sa documentation. Le seul évaluateur neutre disposant d'un score en direct pour ce modèle est Artificial Analysis, où S​tep 5 Preview se situe à 44 sur l'Intelligence Index et coûtait à l'origine 1,03 $ par tâche de l'index.

La recette de déploiement est arrivée avec le checkpoint, et c'est la partie que vous utiliserez.

En parcourant l'historique des dépôts, on constate que les fichiers de poids et les instructions ne sont pas arrivés ensemble. Les deux anciens dépôts ont été réécrits entre le 13 et le 14 octobre — sept commits README sur le dépôt FP8 entre le 13 et le 15 octobre — et ce que ces commits ont ajouté est un guide de mise en service complet : une image de conteneur publiée à l'adresse vllm/vllm-openai:step-5-preview, des commandes éprouvées pour le parallélisme tensoriel, expert et combiné, l'ensemble de flags dont ce modèle a besoin, et un chemin SGLang validé. C'est dans les flags que le travail spécifique au modèle est visible : --max-model-len 1048576, une tête de décodage spéculatif configurée en --spec-method mtp --spec-tokens 3, et des --reasoning-parser step5 et --tool-call-parser step5 parseurs dédiés pour que les blocs de raisonnement et les appels d'outils du modèle survivent à l'aller-retour à travers une API au format OpenAI. Sur Blackwell, les configurations TEP et DEP basculent le backend MoE vers deep_gemm_mega_moe ; la configuration TP4 simple ne le peut pas, car ce backend nécessite le parallélisme d'experts.

C'est l'arrivée de la prise en charge du framework, et pour quiconque se demande s'il doit construire sur ce modèle, cela vaut plus que le débit revendiqué. Un téléchargement de 650 Go avec une commande de lancement non validée est un projet de recherche. Un téléchargement de 650 Go avec une image de conteneur épinglée, quatre configurations parallèles testées pour chaque précision et un analyseur qui comprend le format de sortie propre au modèle est un déploiement.

StepFun's platform documentation, showing the navigation for Model Overview, Model Lifecycle, and the User Guides section.

Si vous ne souhaitez posséder rien de tout cela, l'arithmétique de ce modèle est inhabituelle. Step 5 Preview s'exécute sur la propre plateforme de StepFun à 1,00 $ par million de jetons d'entrée, 0,10 $ par million de jetons d'entrée servis par le cache et 2,70 $ par million de jetons de sortie, donc un mois à 200 millions de jetons d'entrée et 200 millions de jetons de sortie coûte respectivement 200 $ et 540 $ — contre environ le prix d'un nœud B300 à quatre GPU par mois pour le matériel qui le sert. Ici, l'auto-hébergement est une décision de contrôle et de résidence des données, pas une décision de coût, et c'est le fait que les poids soient ouverts qui en fait une décision que vous avez le droit de prendre tout court. Il faut dire sans détour que Step 5 Preview ne figure pas sur la liste des modèles actifs d'OrcaRouter, donc l'endroit où l'appeler est l'API du fournisseur lui-même ; ce que une API pour plus de 200 modèlesvous apporte réellement dans cette situation, c'est l'autre moitié de la question — le coût du modèle vers lequel vous déplaceriez la charge de travail si un déploiement auto-hébergé ne fonctionne pas, à 0 % de marge sur le prix catalogue de chaque fournisseur.

La licence, lue littéralement

« Open weights » joue un rôle dans la formulation de N​VIDIA que la licence ne soutient pas pleinement, et c’est l’élément de l’histoire qui risque le plus d’être mal interprété. StepFun Model License 1.0 est une autorisation perpétuelle, mondiale, exempte de redevances et non exclusive d’utiliser, copier, distribuer, sous-licencier, modifier et créer des œuvres dérivées à partir des poids, assortie d’une concession de brevet correspondante. Ce n’est pas une licence open source approuvée par l’OSI, et deux conditions méritent d’être connues avant de bâtir une entreprise dessus.

• Attribution — si un produit ou service commercial intégrant le modèle dépasse 100 millions d'utilisateurs actifs mensuels ou 20 millions de dollars de chiffre d'affaires au cours d'un mois calendaire, vous devez afficher de manière bien visible "Powered by StepFun AI" dans l'interface du produit et dans votre contrat d'utilisation

• Licence commerciale distincte requise — si vous êtes un fabricant de matériel ou un propriétaire de marque et que vous intégrez les capacités du modèle dans des appareils, ou si vous exploitez une activité de modèle en tant que service et que le chiffre d’affaires combiné dépasse 20 millions de dollars sur n’importe quelle période de douze mois

• Ce qui n’est explicitement pas du MaaS — intégrer la capacité du modèle dans une fonctionnalité fixe destinée à l’utilisateur final, ou simplement relayer des requêtes vers le modèle d’un autre fournisseur

• Qu'est-ce qui est explicitement autorisé sans l'accord supplémentaire — l'utilisation interne qui n'expose pas le modèle ni ses capacités à un tiers, et l'utilisation obtenue via un canal de distribution certifié StepFun dans le cadre de cette certification

• Résiliation — un manquement substantiel met fin à l’octroi, avec un délai de correction de trente jours après notification écrite

Donc, en pratique, les poids sont réellement téléchargeables et réellement utilisables, y compris commercialement, jusqu'aux seuils indiqués à la section 2. Une startup qui affine ce modèle pour du travail documentaire interne entre dans le cadre de l'autorisation. Un fabricant de téléphones qui l'intègre comme fonctionnalité, ou une activité d'inférence hébergée dépassant 20 millions de dollars, n'y entre pas. C'est la même forme de restriction que celle utilisée par les licences Llama et Qwen, et il vaut mieux le dire clairement plutôt que de le classer sous « open ».

Ce que cela implique pour le modèle

Un modèle à mélange d’experts de 600 milliards de paramètres avec 27 milliards de paramètres actifs, un contexte d’un million de tokens, une entrée texte, image et vidéo, une sortie maximale de 64 k dans la documentation de StepFun, une grille tarifaire d’environ 1,00 $ / 2,70 $, un score d’indice de 44 attribué par le seul évaluateur neutre qui l’a évalué, et trois checkpoints téléchargeables en trois précisions. Sorti le 20 septembre 2026. Poids ouverts depuis le matin de sa sortie. Quantifié pour Blackwell le 14 octobre, approuvé par le fournisseur de GPU le 15 octobre, à un débit que personne en dehors de N​VIDIA n’a reproduit.

La prochaine chose à surveiller n'est pas un autre point de terminaison. C'est la première mesure indépendante sur le checkpoint NVFP4 — une comparaison de débit ou de qualité avec la voie FP8, faite par quelqu'un qui ne vend pas le matériel. Une quantification sur quatre bits avec la pile d'attention épargnée est une conception raisonnable, et la question précise est de savoir si les poids des experts y survivent. Tant que personne ne publie cela, la position honnête sur le nouveau checkpoint est celle que la couverture de septembre aurait dû adopter à propos des anciens : les poids sont réels, la recette est réelle, et l'affirmation de performance est celle du fournisseur.

Un résultat comme celui-ci rappelle aussi que les erreurs de modèle sont déjà documentées : les incidents d'IA et les défaillances d'agents liés aux modèles de cette catégorie sont recensés dans l'OrcaRouter AI Incident Archive, où chaque entrée comporte ses propres sources, son degré de gravité, sa note de confiance et son indicateur de contestation.