
Nemotron-Labs-Sigma-distill-8B-nfe4 vs Nemotron-Labs-Sigma : même lignée de poids, deux contrats de décodage
- GoogleNOUVEAUGoogle: Gemini 4 Carbon2026-11-10$2.00 / $10.00 par million de tokens · 90 tok/s
- AnthropicNOUVEAUAnthropic: Claude Fable 5.22026-11-09$8.00 / $40.00 par million de tokens · 97 tok/s
- orcaNOUVEAUOrca: OrcaC2 1.02026-11-0717 tok/s
- OrcaNOUVEAUOrcaCyber: GLM 5.3 Abliterated / Uncensored2026-11-04$3.00 / $5.00 par million de tokens · 88 tok/s
- OrcaNOUVEAUOrcaCyber: Hy4 Abliterated / Uncensored2026-11-04$0.80 / $1.60 par million de tokens · 133 tok/s
- OrcaNOUVEAUOrcaCyber: Kimi K3.1 Pro Abliterated / Uncensored2026-11-04$4.00 / $20.00 par million de tokens · 72 tok/s
- OrcaOrcaCyber: MiniMax M3.1 Flash Abliterated / Uncensored2026-10-29$0.80 / $1.60 par million de tokens · 127 tok/s
- OrcaOrcaCyber: GLM 5.3 Flash Abliterated / Uncensored2026-10-27$0.80 / $1.60 par million de tokens · 65 tok/s
- OrcaOrcaCyber: Qwen3.8 Flash Next Abliterated / Uncensored2026-10-26$0.80 / $1.60 par million de tokens · 92 tok/s
- OrcaOrcaCyber: MiMo V2.6 Flash Abliterated / Uncensored2026-10-26$0.80 / $1.60 par million de tokens · 44 tok/s
- MoonshotMoonshotAI: Kimi K3.1 Pro2026-10-2447Intelligence
- OrcaOrcaCyber: DeepSeek V4.1 Flash Abliterated / Uncensored2026-10-23$0.80 / $1.60 par million de tokens · 193 tok/s
- minimaxMiniMax: M3.1 Flash2026-10-1929Intelligence
- OrcaOrca: OrcaCyber Ultra 1.02026-10-17$5.00 / $10.00 par million de tokens · 146 tok/s
- deepseekDeepSeek: DeepSeek V4.1 Flash 10172026-10-1733Intelligence
- DeepSeekDeepSeek: DeepSeek V4.1 Flash2026-10-1740Intelligence
- OrcaOrca: OrcaCyber Zero 1.52026-10-10$3.00 / $7.50 par million de tokens · 124 tok/s
- openaiOpenAI: GPT-6.1 Sol2026-09-2955Intelligence
- anthropicAnthropic: Claude Sonnet 5.52026-09-2855Intelligence
- typesafeTypeSafe: Jev 1.132026-09-24$0.04 / $0.00 par million de tokens · 218 tok/s
Ce qui est déroutant avec Nemotron-Labs-Sigma-distill-8B-nfe4, c'est qu'il ne s'agit pas d'un Nemotron-Labs-Sigma-8B en mieux. C'est un fichier différent, avec un contrat différent, produit à partir d'un teacher de la même lignée, et la différence entre les deux ne réside pas dans l'exactitude — mais dans le nombre de fois que le réseau s'exécute pour émettre un mot. Le 8B de base a été publié le 5 octobre 2026 comme modèle de recherche pré-entraîné : 8,49 B de paramètres, des étapes de débruitage configurables, un classifier-free guidance à régler à la main, et une fiche qui ne publie aucun score et renvoie plutôt à arXiv:2610.02665. Le nfe4 distillé est arrivé le 12 novembre 2026 avec 9,03 B de paramètres, un nombre d'étapes inscrit en dur dans le checkpoint, et le seul tableau par benchmark que NVIDIA ait publié sur une fiche Sigma. Les deux sont uniquement en anglais, plafonnent à 4 096 tokens et relèvent de la même licence. Le choix entre les deux est un choix sur la manière dont vous voulez que le modèle dépense sa puissance de calcul.
Qu’est-ce qui diffère réellement, fichier par fichier ?
Les deux dépôts embarquent le même model_type — nemotron_labs_sigma — et tous deux sont chargés de la même façon, avec trust_remote_code et un fichier de modélisation de 40 Ko issu du dépôt. Les configurations diffèrent d’une manière qui compte à l’inférence et presque pas du tout dans le backbone :
• Backbone — architecture identique pour les deux : 34 couches, taille cachée 4 096, FFN 14 336, 32 têtes de requête et 8 têtes clé-valeur, SwiGLU, RoPE, vocabulaire de 131 072 jetons.
• Paramètres — 8,49 Md (8 489 947 136 BF16 plus 2 097 186 F32) pour le modèle de base, 9,03 Md (9 026 818 048 BF16 plus le même nombre de F32) pour la version distillée. Les 537 M supplémentaires correspondent à la tête de lecture autorégressive auxiliaire que la version distillée conserve aux côtés de la tête de diffusion.
• Poids sur disque — 16,99 Go contre 18,06 Go, quatre fragments chacun.
• Contexte — 4 096 tokens pour le modèle de base comme pour le modèle distillé. La variante instruct de la même collection porte cette valeur à 8 192 et ajoute un template de chat ; aucun des deux modèles ici n’en dispose.
• Étapes — la base expose steps et block_length au moment de l’appel, et sa fiche publie un tableau par budget ; le distill n’accepte aucune surcharge, quelle qu’elle soit.
• Guidage — le modèle de base nécessite un guidage sans classificateur (3,0 à 32 et 16 étapes, 2,0 à 4) et une température de score ajustée ; le modèle distillé fonctionne avec CFG 1 et une température de score de 1, c’est-à-dire sans guidage ni ajustement.
• Sampler — la base est documentée pour DDIM sur une grille log_snr avec des blocs de 64 tokens par défaut ; le distill utilise fresh_x0 avec un auto-conditionnement conservé entre les étapes et des blocs de 32 tokens.
Le nombre d’étapes n’est pas un réglage du modèle distillé.
Voici la phrase de la fiche modèle qui recadre toute la comparaison : « Le nombre d’étapes de débruitage est fixé par l’entraînement : cette variante est entraînée uniquement pour NFE=4, et le code d’inférence fourni n’expose intentionnellement pas de remplacement arbitraire du nombre d’étapes (d’autres nombres d’étapes évalueraient des points de terminaison de phase non entraînés). »
Le DMD par phases distille une trajectoire, et une trajectoire distillée possède des points de fin de phase à des niveaux de bruit spécifiques. Demandez à un étudiant à quatre étapes d’en effectuer huit : vous ne le faites pas tourner plus lentement pour obtenir une meilleure qualité — vous lui demandez d’évaluer à des niveaux de bruit sur lesquels il ne s’est jamais entraîné. La carte indique que la sortie se dégrade. Il n’y a pas de réglage.
La base, c’est l’inverse. Sa fiche vous donne le tableau — DDIM-32 avec CFG 3 et une température de score de 0,3, DDIM-16 avec CFG 3 et 0,4, DDIM-8 avec CFG 3 et 0,6, DDIM-4 avec CFG 2 et 0,8 — puis ajoute l’avertissement qu’en dessous d’environ 16 étapes, les modèles préentraînés perdent sensiblement en qualité, et que la génération en peu d’étapes devrait plutôt utiliser les variantes distillées.
Lus ensemble, ces deux énoncés provenant de la même organisation constituent une division du travail : la base est ce que l’on ajuste, le distillat est ce que l’on n’ajuste pas. Si vous voulez un bouton de réglage, prenez la base. Si vous voulez une constante, prenez le distillat.

L’arithmétique qui les sépare
Mettez les deux contrats dans les mêmes unités et la raison pour laquelle le fichier distillé existe devient évidente.
• Base à son réglage recommandé — 33 appels du débruiteur par bloc de 64 tokens (32 étapes plus une lecture), soit 1,9 token par passe avant.
• Base à 4 étapes — 5 appels par bloc de 64 tokens, 12,8 tokens par passe, mais la carte avertit que la qualité chute nettement en dessous de 16 étapes.
• Distiller nfe4 — 5 appels par bloc de 32 tokens, 6,4 tokens par passe, avec la qualité publiée par la carte.
• Distill nfe8 — 9 appels par bloc de 32 tokens, 3,6 tokens par passe, et 4 points de mieux sur la moyenne des six tâches.
Ainsi, le nfe4 distillé se situe entre le point de fonctionnement sûr de la base et son point non sûr : trois fois moins de passes avant par token que la configuration de base recommandée, avec un nombre d’étapes pour lequel le modèle a réellement été entraîné. C’est là toute la prémisse de la version publiée, et il s’agit d’une prémisse sur le calcul, pas sur l’intelligence.
Ce qu’il n’est pas, c’est un débit mesuré. La fiche du modèle de base indique environ 120 à 140 jetons par seconde pour 256 jetons générés sur un H100 avec DDPM à 32 étapes par bloc de 64 jetons. La fiche du modèle distillé ne publie aucun chiffre de jetons par seconde. Les ratios de nombre d’appels ci-dessus sont de l’arithmétique appliquée à des nombres d’étapes publiés ; traitez-les comme tels.
Lequel comporte des chiffres, et combien ils valent
Ici, les deux cartes divergent nettement, et dans une direction qui est inconfortable pour la base.
Nemotron-Labs-Sigma-8B ne publie aucun tableau de référence. Sa section d’évaluation se compose de deux phrases indiquant que les résultats « sont rapportés dans le rapport technique ». Tout ce que vous pouvez savoir sur sa précision, vous devez le tirer de arXiv:2610.02665 — un article qui couvre la famille 3B et 8B, à la fois de base et distillée, et dont le résumé affirme que les modèles surpassent les modèles de langage à diffusion masquée et les modèles de référence autoregressifs, avec les gains cohérents les plus importants en matière de codage.
La fiche distillée nfe4 publie des chiffres, sur dix graines avec deux erreurs types : GSM8K 86,86 ± 0,28, MATH 61,52 ± 0,20, HumanEval 60,61 ± 1,43, HumanEval+ 57,99 ± 1,20, MBPP 57,50 ± 0,61, MBPP+ 73,70 ± 1,07, moyenne sur six tâches 66,36 ± 0,46. Neuf des dix valeurs de graines se situent dans la plage 42 à 51, le protocole est donc décrit avec suffisamment de précision pour être reproduit.
Les fiches, prises ensemble, ne peuvent donc pas vous dire ce qu’a coûté la distillation. C’est le chiffre le plus utile de cette comparaison, et il manque, car la fiche du modèle enseignant ne comporte aucun tableau à partir duquel soustraire. L’article est le seul endroit où l’affirmation existe, et sa formulation est directionnelle : environ 8× d’accélération en mathématiques et 4× en codage grâce à une distillation par correspondance de distribution « avec une légère perte de précision ». Ces multiplicateurs sont rapportés par l’article, non par les fiches, et ils renvoient aux expériences propres de la famille plutôt qu’à une comparaison contrôlée des deux checkpoints exacts présents aujourd’hui sur le hub.
Une complication supplémentaire dans la lignée distill elle-même : la variante nfe16 est marquée pending_ten_seed_six_task_validation. Sa moyenne sur trois tâches de 74.50 provient d’une seule exécution seed-42, et la fiche indique de ne pas la comparer aux moyennes sur dix graines des autres variantes. Ainsi, « le plus grand est le meilleur » est une interprétation que la fiche refuse explicitement de soutenir.
La troisième option que personne ne nomme
La collection contient une variante qui n'est ni l'un des deux modèles de cette comparaison et qui est sans doute le fichier le plus intéressant : Nemotron-Labs-Sigma-distill-spec-8B. Il s'agit du même enseignant MS-SUSReg-8B, distillé avec un objectif d'acceptation supplémentaire, et au lieu de fonctionner comme un échantillonneur pur en quelques étapes, il ébauche un bloc de 32 jetons avec sa tête de diffusion et le vérifie avec sa propre tête autorégressive. Chaque tour coûte un appel de diffusion, et les jetons acceptés sont émis sans passe avant supplémentaire. La fiche indique que le texte renvoyé est exactement la sortie autorégressive gloutonne — l'acceptation change le débit, jamais le contenu.
Chiffres d'acceptation publiés, un seul instantané : longueur moyenne acceptée de 7,91 sur HumanEval, 11,86 sur GSM8K, 13,37 sur MBPP, jeton bonus inclus, tour d'amorçage exclu. Ce sont des mesures de débit, pas de précision, et elles ne sont pas comparables au tableau de précision du nfe4 — une distinction que la fiche met en gras.
En pratique, c’est la variante à surveiller si la question est de savoir si une tête de diffusion peut accélérer un modèle sans changer ce qu’il dit. Ce n’est pas un remplacement direct pour l’un ou l’autre des modèles de cette comparaison : il nécessite generate_speculative, les deux têtes et la désactivation de l’auto-conditionnement.

Comment choisir en pratique
La décision se résume à quatre vérifications, et la première élimine entièrement un côté pour la plupart des lecteurs :
• Faites-vous des recherches sur le processus d’échantillonnage lui-même — calendriers de guidage, nombres d’étapes, pilotage de trajectoire, comportement du guidage sans classificateur ? La base, c’est le modèle, car c’est lui qui possède les réglages et le tableau par budget.
• Vous construisez quelque chose qui génère du texte à un coût fixe par jeton et vous ne voulez pas de surface de réglage ? Le nfe4 distill est le modèle, car CFG 1 et une température de score de 1 constituent une configuration complète.
• Avez-vous besoin d’un assistant ? Ni l’un ni l’autre. Il n’y a pas de gabarit de conversation dans l’un ou l’autre dépôt, pas d’invite système, pas d’appel d’outils, et la fiche de base indique clairement qu’il ne suit pas les instructions. Les variantes instruct à 8 192 jetons de contexte sont celles prévues pour cela.
• Avez-vous besoin d'un benchmark que vous puissiez citer ? Seul le distill en propose un, et c'est celui de NVIDIA lui-même.
Aucune des quatre ne porte sur le nombre de paramètres, ce qui indique qu’il ne s’agit pas d’une comparaison de taille. La différence de 537 M de paramètres est le prix à payer pour garder la tête autorégressive dans le fichier, et elle n’apporte rien à la voie de diffusion pure du nfe4 — elle est là parce que la même architecture sous-tend aussi la variante spec.
L’intérêt de la paire
NVIDIA a construit un même socle et l’a publié deux fois : une fois comme objet d’étude et une fois comme objet à exécuter. C’est une stratégie cohérente, et c’est la raison pour laquelle les deux fiches se lisent de façon si différente — la fiche de base est écrite pour un chercheur qui modifiera l’échantillonneur, la fiche distillée pour un développeur qui ne le fera pas.
Ce qui manque encore au duo, c’est l’élément qui permettrait de vérifier le compromis honnêtement : un score d’enseignant. Tant que la fiche du 8B de base ne contient pas le même tableau à six tâches que celui de la fiche du distillat, toute affirmation sur ce que la distillation a apporté porte sur les expériences au niveau de la famille dans l’article, et non sur ces deux fichiers. Si NVIDIA ajoute ce tableau — et la dernière modification de la fiche de base, le 16 novembre, suggère que les dépôts sont encore maintenus —, cette comparaison devient une soustraction plutôt qu’une reconstruction.
Pour l’instant, la lecture pratique est étroite et utile : choisissez la base si vous voulez explorer comment un LM à diffusion continue se comporte sous différents budgets d’étapes, choisissez nfe4 si vous voulez un débit fixe de 6,4 tokens par passe avant à une précision publiée, et passez les deux si vous avez besoin d’un modèle de chat ou d’une fenêtre de contexte plus longue qu’une longue note. Aucun des deux n’est aujourd’hui au catalogue d’OrcaRouter, et aucun ne le sera tant qu’il n’existe pas de chemin de service pour une architecture de diffusion par blocs — ce qu’OrcaRouter propose, ce sont les plus de 200 modèles autorégressifs auxquels vous compareriez l’un ou l’autre, sous une seule clé au prix catalogue du fournisseur, sans marge, avec basculement automatique si vous voulez isoler l’expérience du chemin de production.

