Carte de titre générée pour Nemotron-Labs-Sigma-distill-8B-nfe4, indiquant une sortie le 12 novembre 2026, 8 milliards de paramètres, un nombre fixe de 4 évaluations de débruitage par bloc de 32 tokens, cinq téléchargements et zéro « J’aime » au cours du dernier mois, ainsi qu’un pied de page précisant que tous les chiffres proviennent de la fiche modèle de NVIDIA et ne sont pas vérifiés indépendamment.
Engineering & Research

Nemotron-Labs-Sigma-distill-8B-nfe4 est arrivé sans aucune annonce et avec cinq téléchargements

Auteur

jinhao.song

Date de publication

Derniers modèles · 20Voir tous les modèles →
Benchmarks : Artificial Analysis · mis à jour quotidiennement
Retour à tous les articles

Hugging Face comptait cinq téléchargements de nvidia/Nemotron-Labs-Sigma-distill-8B-nfe4 et zéro like au moment de la rédaction de cet article, le 17 novembre 2026. C’est tout l’accueil réservé jusqu’ici à un modèle de langage de 8 milliards de paramètres publié par NVIDIA six jours plus tôt. Il n’y a eu ni article de blog, ni fiche sur build.nvidia.com, ni fil de lancement, ni tableau de benchmarks dans un communiqué de presse. La fiche du checkpoint indique elle-même que la publication date du 11/12/2026 ; le premier commit du dépôt est daté du 9 novembre à 05:47 UTC, et la dernière modification qui y a été apportée date du 16 novembre et réécrivait la conversion afin de préserver les tenseurs de géométrie fp32. Tout ce qui suit est tiré de ce dépôt, de ses fichiers de configuration et du rapport technique qu’il cite, et les parties non confirmées sont signalées comme telles plutôt que comblées.

Le dépôt est la seule source primaire, et il est exceptionnellement explicite.

La plupart des sorties discrètes laissent une fiche minimale. Celle-ci, non. Elle fournit un fichier de provenance, un manifeste d’intégrité de checkpoint avec un SHA-256, un hachage d’intégrité pour le tokeniseur, quatre sous-fiches Model Card++, et une configuration de génération qui fixe l’échantillonneur. Ce niveau de tenue de registres, c’est ce que l’on obtient lorsqu’un modèle est passé par un processus de publication interne puis n’a simplement pas été annoncé — les artefacts qu’un article de lancement résumerait sont tous présents, à l’exception de l’article.

L'article qui se trouve derrière est bien réel et daté : arXiv:2610.02665, Large Language Continuous Diffusion Models, un article NVIDIA signé par dix-sept auteurs, dont la v2 est parue le 12 novembre, le jour même où la fiche indique que les poids sont arrivés. L'article décrit Nemotron-Labs-Sigma comme la première famille de modèles de langage à diffusion continue à grande échelle, en 3B et 8B. La section d'évaluation de la fiche attribue ses chiffres aux « statistiques vérifiées sur dix graines et six tâches du transfert en version restreinte du 10 novembre » — une phrase qui vous indique que le fichier circulait en privé depuis au moins deux jours avant l'activation des dépôts publics.

Screenshot of the Hugging Face model card for nvidia/Nemotron-Labs-Sigma-distill-8B-nfe4, showing the model overview describing an 8-billion-parameter continuous diffusion language model distilled with Phased Distribution Matching Distillation, the native 4-NFE 32-token block generation contract, the NVIDIA Nemotron Open Model License, and the release date line reading Hugging Face 11/12/2026.

Qu'y a-t-il réellement dans le checkpoint ?

Si l’on retire la prose, la fiche technique est courte. Chaque ligne ci-dessous provient de config.json, generation_config.json ou de la carte :

• Backbone — un transformateur à décodeur seul de style Ministral : 34 couches, dimension cachée de 4 096, FFN de 14 336, 32 têtes de requête et 8 têtes clé-valeur avec une dimension de tête de 128, SwiGLU, RoPE avec un bloc de mise à l’échelle YaRN dans la configuration.

• Tête de génération — une tête de diffusion à embeddings continus de jetons en 16 dimensions, la tête de lecture autorégressive auxiliaire étant conservée dans le checkpoint plutôt que supprimée.

• Nombre de paramètres — 8,0 B selon la dénomination de la fiche, 9,03 B selon le recensement des safetensors (9 026 818 048 tenseurs BF16 plus 2 097 186 F32), 18,06 Go répartis sur quatre fragments. L'écart entre les deux nombres correspond à la tête auxiliaire.

• Contrat de décodage — blocs de 32 jetons, exactement 4 évaluations de la fonction de débruitage plus une lecture, soit 5 appels du débruiteur par bloc, ce qui fait 6,4 jetons générés par passe avant.

• Échantillonneur — le chemin natif fresh_x0 avec auto-conditionnement reporté d'une étape à l'autre, le guidage sans classificateur fixé à 1, la température du score fixée à 1.

• Contexte — 4 096 tokens pour le prompt plus la génération. Anglais uniquement. Pas d’arrêt EOS sur ID de token ; vous vous arrêtez sur des chaînes ou sur un budget de tokens.

• Environnement d’exécution — PyTorch 2.4 ou plus récent, Transformers 4.55 ou plus récent, trust_remote_code, un GPU CUDA en bfloat16. Le CPU n’est explicitement pas pris en charge, et la fiche en donne la raison : l’échantillonneur est dégradé numériquement sur CPU et produit une sortie inutilisable.

• Licence — la NVIDIA Nemotron Open Model License, que la fiche indique comme autorisant un usage commercial et non commercial. La fiche précise également, dans la section des cas d’utilisation, que le modèle fonctionne hors ligne sur votre matériel et que NVIDIA n’héberge aucun service.

Cette dernière ligne compte pour quiconque suppose qu’un endpoint Sigma existe quelque part. Ce n’est pas le cas. Il n’existe aucune entrée Nemotron-Labs-Sigma sur build.nvidia.com, et le modèle est absent du catalogue OrcaRouter, comme le reste de la gamme Nemotron — il n’y a donc rien à appeler aujourd’hui, seulement quelque chose à télécharger.

Quatre checkpoints, quatre modèles différents

La dénomination donne l’impression que les variantes sont un seul modèle décliné en quatre réglages. Ce n’est pas le cas : chaque valeur de NFE correspond à un modèle étudiant distillé séparément, et la fiche indique sans ambiguïté que le nombre d’étapes est figé. « Cette variante est entraînée pour NFE=4 uniquement, et le code d’inférence fourni n’expose volontairement pas de surcharge arbitraire du nombre d’étapes » — car d’autres nombres d’étapes évalueraient des points de terminaison de phase sur lesquels le modèle étudiant n’a jamais été entraîné. Ainsi, vous ne réglez pas nfe4 à deux étapes au moment de l’inférence ; vous téléchargez nfe2.

Les moyennes publiées sur les six tâches, toutes établies sur dix graines avec deux erreurs types, rendent le compromis lisible pour la première fois dans cette famille :

• NFE 2 — GSM8K 80,17, MATH 55,72, HumanEval 48,17, MBPP 37,52 ; moyenne sur six tâches 53,02. 3 appels de débruitage par bloc, 10,7 jetons par appel.

• NFE 4 — GSM8K 86,86, MATH 61,52, HumanEval 60,61, MBPP 57,50 ; moyenne des six tâches 66,36. 5 appels par bloc, 6,4 jetons par appel.

• NFE 8 — GSM8K 88,44, MATH 64,40, HumanEval 65,18, MBPP 62,60 ; moyenne sur six tâches 70,34. 9 appels par bloc, 3,6 jetons par appel.

• NFE 16 — GSM8K 89,61, HumanEval 67,68, MBPP 66,20, moyenne sur trois tâches 74,50. 17 appels par bloc, 1,9 jeton par appel. Et une réserve que les trois autres ne comportent pas : ce checkpoint est marqué pending_ten_seed_six_task_validation, ses chiffres correspondent à une seule exécution avec la graine 42 sur trois tâches, et la fiche indique de les considérer comme provisoires et non directement comparables.

La forme de cette échelle est la partie intéressante. Doubler le nombre de pas de 2 à 4 rapporte 13,3 points de moyenne sur six tâches. Le doubler à nouveau pour passer à 8 rapporte 4,0. Passer à 16 rapporte environ 4 de plus sur les trois tâches qui ont été exécutées — à partir d’une évaluation différente et plus faible. Autrement dit, la courbe de distillation s’aplatit fortement juste là où le modèle devient compétitif, et le checkpoint nfe4 se situe juste après le coude.

A generated bar chart of the Nemotron-Labs-Sigma-distill-8B checkpoints, plotting six-task mean accuracy against denoising evaluations per 32-token block: NFE 2 at 53.02, NFE 4 at 66.36 and NFE 8 at 70.34 as ten-seed figures, with NFE 16 shown separately at a three-task mean of 74.50 and marked as a single seed-42 run pending validation.

D'où viennent les chiffres, et où ils s'arrêtent

Chaque chiffre ci-dessus est celui de NVIDIA, produit par NVIDIA, sur le propre banc d’évaluation de NVIDIA, et rapporté avec un nombre de graines qui le fait paraître plus indépendant qu’il ne l’est. Dix graines avec deux erreurs standard constituent un protocole sérieux — cela vous dit que le score HumanEval nfe4 de 60,61 présente un intervalle de ±1,43, ce qui est suffisamment large pour que vous ne deviez pas considérer un écart de deux points par rapport à quoi que ce soit comme réel. Mais dix graines du même banc d’évaluation ne font pas dix laboratoires.

Ce qui n’existe pas au 17 novembre : une page Artificial Analysis pour un quelconque modèle Sigma, une entrée dans un catalogue public de prix de modèles, un support vLLM ou SGLang, et une reproduction par un tiers. La vérification est rapide et revient vide. Le registre de modèles de vLLM sur main ne comporte pas d’architecture nemotron_labs_sigma ; les pull requests SGLang qui mentionnent la diffusion Nemotron concernent la lignée plus ancienne Nemotron-Labs-Diffusion-8B et sont toujours ouvertes. Transformers n’a pas de module natif nemotron_labs_sigma, c’est pourquoi la carte vous indique de charger avec trust_remote_code et de fournir le fichier de modélisation de 40 Ko du dépôt avec les poids.

Donc, le statut honnête est le suivant : un checkpoint publié avec un protocole d’évaluation publié et zéro vérification externe. C’est l’état normal pour un modèle de langage à diffusion en novembre 2026, et ce n’est pas une critique du modèle — c’est une description de la part de la fiche sur laquelle vous pouvez réellement vous appuyer pour planifier.

Son exécution repose sur un script Python, pas sur une stack de service.

Le démarrage rapide de la fiche tient en onze lignes : charger le tokenizer et le modèle avec du code distant, convertir en bfloat16, appeler generate avec un nombre maximal de tokens et des chaînes d’arrêt facultatives, puis relire le nombre de NFE indiqué par le modèle. Il n’y a pas de template de chat dans ce dépôt, pas d’invite système, pas d’appel d’outils, pas de mode JSON — la fiche indique clairement qu’il s’agit d’un prompting de type benchmark et que le modèle est l’étudiant distillé d’un checkpoint de base, pas un assistant. Si vous voulez converser, la collection propose une variante instruct du parent avec 8 192 tokens de contexte.

Deux détails opérationnels piègeront quiconque survole la lecture. Premièrement, l’arrêt : il n’y a pas d’arrêt EOS sur l’ID de token, donc une requête qui ne produit jamais votre chaîne d’arrêt va jusqu’au budget de tokens, et ce budget est partagé avec le prompt dans une fenêtre de 4 096 tokens. Deuxièmement, la mémoire : 18 Go de poids bfloat16 avant tout cache KV, sur un modèle dont le seul chemin pris en charge est le code PyTorch eager du dépôt lui-même — il n’y a pas d’attention paginée, pas de continuous batching, pas de build quantisé dans la collection. Une seule requête sur un seul GPU est la configuration prise en charge aujourd’hui.

Le débit est le chiffre que les gens voudront, et la fiche ne le fournit pas pour ce checkpoint. La fiche du modèle parent indique environ 120–140 jetons par seconde pour 256 jetons générés sur un seul H100 avec l’échantillonneur DDPM à 32 étapes par bloc de 64 jetons. Le nfe4 distillé effectue 5 appels par 32 jetons au lieu de 33 appels par 64, ce qui, en nombre d’appels, représente un peu plus de quatre fois moins de passes avant par jeton — mais il s’agit d’arithmétique sur les nombres d’étapes, pas d’une mesure de ce checkpoint, et la fiche ne publie aucun chiffre de jetons par seconde pour celui-ci.

Qu'est-ce qui n'est pas confirmé ?

Trois choses qu’un article de lancement aurait réglées, et que cette version ne règle pas :

• Si NVIDIA compte en faire un produit ou un artefact de recherche. La licence autorise l’usage commercial et la fiche est rédigée dans un langage produit, mais il n’existe aucun point de terminaison hébergé, aucune déclaration de support et aucune mention dans quelque billet de blog NVIDIA que ce soit jusqu’au 16 novembre.

• Ce que vaut l’enseignant. La fiche indique que le modèle étudiant a été distillé à partir d’un enseignant « MS-SUSReg-8B » de la même famille d’architecture, et le fichier de provenance nomme l’exécution 8b_ms_susreg_n4_20261109 à l’étape 1200 de l’étudiant. Le Nemotron-Labs-Sigma-8B de base publié est décrit comme issu de la même lignée — mais la fiche de base ne publie aucun chiffre, seulement un renvoi vers l’article, de sorte que la perte de distillation ne peut pas être lue en comparant les deux fiches côte à côte.

Screenshot of the nvidia/nemotron-labs-sigma collection page on Hugging Face, listing fourteen repositories: the 3B and 8B base and instruct models, distill variants at NFE 2, 4, 8 and 16 for both sizes, and self-speculative distill checkpoints for 3B and 8B, with the collection description reading continuous diffusion language models, base, instruct, few-step distilled and self-speculative variants.

• Savoir si le checkpoint nfe16 est le meilleur de la famille ou un artefact d’une évaluation inachevée. Ses chiffres sont les plus élevés de la fiche et les moins fiables, et la fiche le reconnaît elle-même, ce qui fait preuve de plus de franchise que la plupart des notes de version n’en ont.

Pourquoi la sortie discrète est la véritable histoire

NVIDIA a beaucoup livré cet automne — Bolt, Super VL, Transcribe, la gamme Dory, tous accompagnés d’articles de blog et de pages build.nvidia.com. Sigma arrive sans rien de tout cela, de la même organisation, avec un article, une licence, quatre sous-fiches Model Card++ et un compteur de cinq téléchargements. L’interprétation la plus probable est qu’il s’agit d’une publication de recherche délibérément tenue à l’écart de la surface produit : l’usage prévu de la fiche est « la recherche sur la génération sensible à la latence, les études de décodage spéculatif et parallèle », ce qui est le langage d’un artefact de laboratoire.

Pour un lecteur qui décide s’il doit s’y intéresser, la question pratique n’est pas de savoir si le modèle est bon dans l’abstrait — c’est de savoir si un LM de diffusion continu à 4 NFE, avec un contexte de 4K et sans stack de serving, surpasse le modèle autorégressif déjà présent dans votre pipeline. Pour y répondre, il faut l’exécuter, et l’arithmétique qui justifie l’heure de GPU est simple : 6,4 tokens par passe avant, contre un seul pour un décodeur standard. Savoir si cela résiste à l’épreuve de votre charge de travail est exactement ce que le benchmark indépendant manquant vous aurait appris.

OrcaRouter ne sert pas ce checkpoint, et il n'apparaîtra pas à un tarif par token tant que quelqu'un n'aura pas construit une chaîne de service pour une architecture de diffusion par blocs à nombre d'étapes fixe — le modèle de coût ne correspond pas aux tokens d'entrée et de sortie comme le fait une API autorégressive. Ce qui est disponible sur OrcaRouter, c'est l'ensemble de comparaison : plus de 200 modèles autorégressifs derrière une seule clé au prix catalogue du fournisseur sans marge, de sorte que la question Sigma puisse être tranchée face à une véritable référence plutôt que face à une fiche. Acheminer les deux via un seul point de terminaison est aussi le moyen le moins coûteux de garder l'expérience à l'écart de votre chaîne de production pendant que vous décidez.