Een gegenereerde titelkaart voor Nemotron-Labs-Sigma-distill-8B-nfe4, met vermelding van een release op 12 november 2026, 8 miljard parameters, een vast aantal van 4 denoising-evaluaties per blok van 32 tokens, vijf downloads en nul likes in de afgelopen maand, en een voettekst die stelt dat alle cijfers afkomstig zijn uit de modelkaart van NVIDIA en niet onafhankelijk zijn geverifieerd.
Engineering & Research

Nemotron-Labs-Sigma-distill-8B-nfe4 verscheen zonder aankondiging en met vijf downloads

Auteur

jinhao.song

Publicatiedatum

Nieuwste modellen · 20Bekijk alle modellen →
Benchmarks: Artificial Analysis · dagelijks bijgewerkt
Terug naar alle berichten

Hugging Face telde vijf downloads van nvidia/Nemotron-Labs-Sigma-distill-8B-nfe4 in de afgelopen dertig dagen, en nul likes, toen dit stuk op 17 november 2026 werd geschreven. Dat is vooralsnog de hele ontvangst voor een taal模型的? Wait need Dutch. Let's ensure no accidental Chinese. Continue Dutch. "een taal模型" no. Need full Dutch. Final text: Hugging Face telde vijf downloads van nvidia/Nemotron-Labs-Sigma-distill-8B-nfe4 in de afgelopen dertig dagen, en nul likes, toen dit stuk op 17 november 2026 werd geschreven. Dat is tot nu toe de hele ontvangst voor een taal模型 van 8 miljard parameters die NVIDIA zes dagen eerder publiceerde. Er was geen blogpost, geen vermelding op build.nvidia.com, geen lanceringsthread, geen benchmarktabel in een persbericht. De kaart van het checkpoint zelf dateert de release op 11/12/2026; de eerste commit in de repository is van 9 november om 05:47 UTC, en de laatste bewerking ervan was op 16 november, waarbij de conversie werd herschreven om fp32-geometrietensors te behouden. Alles hieronder is afgelezen uit die repository, de configuratiebestanden ervan en het technische rapport dat erin wordt geciteerd, en de onderdelen die niet zijn bevestigd, zijn als zodanig gelabeld in plaats van ingevuld.

De repository is de enige primaire bron, en hij is ongewoon expliciet.

De meeste stille releases laten een stubkaart achter. Deze niet. Hij levert een herkomstbestand, een manifest voor checkpoint-integriteit met een SHA-256, een integriteitshash voor de tokenizer, vier Model Card++-subkaarten en een generatieconfiguratie die de sampler vastpint. Dat niveau van administratie krijg je wanneer een model een intern releaseproces heeft doorlopen en vervolgens simpelweg niet is aangekondigd — de artefacten die een lanceringsbericht zou samenvatten, zijn allemaal aanwezig, op het bericht na.

Het artikel erachter is echt en heeft een datum: arXiv:2610.02665, Grote continue diffusiemodellen voor taal, een NVIDIA-paper met zeventien auteurs waarvan v2 op 12 november verscheen, dezelfde dag waarop volgens de kaart de gewichten zijn verschenen. Het artikel beschrijft Nemotron-Labs-Sigma als de eerste familie van grootschalige continue diffusiemodellen voor taal met 3B en 8B. De evaluatiesectie van de kaart schrijft de cijfers toe aan "de geverifieerde statistieken over tien seeds en zes taken van de overdracht bij de beperkte release van 10 november" — een zin die je vertelt dat het bestand minstens twee dagen privé circuleerde voordat de openbare repo's werden aangezet.

Screenshot of the Hugging Face model card for nvidia/Nemotron-Labs-Sigma-distill-8B-nfe4, showing the model overview describing an 8-billion-parameter continuous diffusion language model distilled with Phased Distribution Matching Distillation, the native 4-NFE 32-token block generation contract, the NVIDIA Nemotron Open Model License, and the release date line reading Hugging Face 11/12/2026.

Wat er eigenlijk in het checkpoint zit

Zonder de lopende tekst blijft het specificatieblad kort. Elke regel hieronder komt uit config.json, generation_config.json of de kaart:

• Backbone — een decoder-only transformer in Ministral-stijl: 34 lagen, verborgen grootte 4,096, FFN 14,336, 32 query-heads en 8 key-value-heads met headdimensie 128, SwiGLU, RoPE met een YaRN-schalingsblok in de config.

• Generatiehoofd — een 16-dimensionaal continu token-embedding-diffusiehoofd, waarbij het aanvullende autoregressieve uitleeshoofd in het checkpoint wordt bewaard in plaats van weggesnoeid.

• Aantal parameters — 8,0B volgens de naamgeving op de kaart, 9,03B volgens de safetensors-telling (9.026.818.048 BF16-tensors plus 2.097.186 F32), 18,06 GB verdeeld over vier shards. Het verschil tussen de twee getallen is de auxiliaire head.

• Decoderingscontract — blokken van 32 tokens, precies 4 evaluaties van de denoisingsfunctie plus één readout, dus 5 denoiser-aanroepen per blok, wat neerkomt op 6,4 gegenereerde tokens per forward pass.

• Sampler — het native fresh_x0-pad met zelfconditionering die tussen stappen wordt meegenomen, classifier-free guidance vast op 1, scoretemperatuur vast op 1.

• Context — 4.096 tokens voor prompt plus generatie. Alleen Engels. Geen stoppen op token-ID-EOS; je stopt op strings of een tokenbudget.

• Runtime — PyTorch 2.4 of nieuwer, Transformers 4.55 of nieuwer, trust_remote_code, een CUDA-GPU in bfloat16. CPU wordt expliciet niet ondersteund, en de kaart geeft de reden: de sampler is op CPU numeriek gedegradeerd en levert onbruikbare output op.

• Licentie — de NVIDIA Nemotron Open Model License, waarvan de kaart vermeldt dat deze commercieel en niet-commercieel gebruik toestaat. De kaart vermeldt ook, in de sectie over gebruiksscenario's, dat het model offline op uw hardware draait en dat NVIDIA geen dienst host.

Die laatste regel is van belang voor iedereen die aannam dat er ergens een Sigma-endpoint bestaat. Die bestaat niet. Er is geen vermelding voor Nemotron-Labs-Sigma op build.nvidia.com, en het model ontbreekt in de OrcaRouter-catalogus, samen met de rest van de Nemotron-lijn — er is dus vandaag niets om aan te roepen, alleen iets om te downloaden.

Vier checkpoints, vier verschillende modellen

De naamgeving laat de varianten lijken op één model met vier instellingen. Dat zijn ze niet: elke NFE-waarde is een afzonderlijk gedistilleerde student, en de kaart zegt onverbloemd dat het aantal stappen erin is ingebakken. "Deze variant is alleen getraind voor NFE=4, en de meegeleverde inferentiecode biedt opzettelijk geen mogelijkheid om het aantal stappen willekeurig te overschrijven" — omdat andere stapaantallen fase-eindpunten zouden evalueren waarop de student nooit is getraind. Je stelt nfe4 bij inferentie dus niet af naar twee stappen; je downloadt nfe2.

De gepubliceerde gemiddelden over zes taken, allemaal met tien seeds en twee standaardfouten, maken de afweging voor het eerst in deze familie inzichtelijk:

• NFE 2 — GSM8K 80,17, MATH 55,72, HumanEval 48,17, MBPP 37,52; gemiddelde over zes taken 53,02. 3 denoiser-aanroepen per blok, 10,7 tokens per aanroep.

• NFE 4 — GSM8K 86,86, MATH 61,52, HumanEval 60,61, MBPP 57,50; gemiddelde over zes taken 66,36. 5 aanroepen per blok, 6,4 tokens per aanroep.

• NFE 8 — GSM8K 88,44, MATH 64,40, HumanEval 65,18, MBPP 62,60; gemiddelde over zes taken 70,34. 9 aanroepen per blok, 3,6 tokens per aanroep.

• NFE 16 — GSM8K 89,61, HumanEval 67,68, MBPP 66,20, gemiddelde over drie taken 74,50. 17 aanroepen per blok, 1,9 tokens per aanroep. En een voorbehoud dat de andere drie niet hebben: dit checkpoint is gemarkeerd als pending_ten_seed_six_task_validation, de cijfers zijn afkomstig van één run met seed 42 op drie taken, en de kaart zegt dat ze als voorlopig moeten worden beschouwd en niet rechtstreeks vergelijkbaar zijn.

De vorm van die ladder is het interessante deel. Stappen verdubbelen van 2 naar 4 levert 13,3 punten op van het gemiddelde over zes taken. Nog eens verdubbelen naar 8 levert 4,0 op. Naar 16 gaan levert nog eens ~4 op bij de drie taken die zijn uitgevoerd — van een andere, zwakkere evaluatie. Met andere woorden, de distillatiecurve vlakt sterk af precies waar het model concurrerend wordt, en het nfe4-checkpoint ligt net voorbij de knik.

A generated bar chart of the Nemotron-Labs-Sigma-distill-8B checkpoints, plotting six-task mean accuracy against denoising evaluations per 32-token block: NFE 2 at 53.02, NFE 4 at 66.36 and NFE 8 at 70.34 as ten-seed figures, with NFE 16 shown separately at a three-task mean of 74.50 and marked as a single seed-42 run pending validation.

Waar de cijfers vandaan komen, en waar ze stoppen

Elk getal hierboven is van NVIDIA, geproduceerd door NVIDIA, op NVIDIA's eigen evaluatieharnas, en gerapporteerd met een aantal seeds dat het onafhankelijker doet lijken dan het is. Tien seeds met twee standaardfouten is een serieus protocol — het vertelt je dat de nfe4 HumanEval-score van 60,61 een interval van ±1,43 heeft, wat breed genoeg is dat je een verschil van twee punten ten opzichte van wat dan ook niet als reëel moet zien. Maar tien seeds van hetzelfde evaluatieharnas zijn geen tien laboratoria.

Wat per 17 november niet bestaat: een Artificial Analysis-pagina voor welk Sigma-model dan ook, een vermelding in een openbare catalogus met modelprijzen, ondersteuning voor vLLM of SGLang, en een reproductie door derden. De controle is snel en levert niets op. Het modelregister van vLLM op main bevat geen nemotron_labs_sigma-architectuur; de SGLang-pullrequests die Nemotron-diffusie vermelden, zijn voor de oudere Nemotron-Labs-Diffusion-8B-lijn en staan nog open. Transformers heeft geen native nemotron_labs_sigma-module, daarom zegt de modelkaart dat je met trust_remote_code moet laden en het modelleerbestand van 40 KB van de repository samen met de gewichten moet meeleveren.

Dus de eerlijke status is: een vrijgegeven checkpoint met een gepubliceerd evaluatieprotocol en nul externe verificatie. Dat is de normale toestand voor een diffusietaal模型 in november 2026, en het is geen kritiek op het model — het is een beschrijving van hoeveel van de kaart je kunt gebruiken om op te plannen.

Het draaien ervan is een Python-script, geen serving-stack.

De quickstart op de modelkaart bestaat uit elf regels: laad de tokenizer en het model met remote code, cast naar bfloat16, roep generate aan met een maximaal tokenaantal en optionele stop strings, en lees het NFE-aantal terug dat het model rapporteert. Er is geen chat template in deze repository, geen system prompt, geen tool calling, geen JSON-modus — de kaart zegt duidelijk dat dit benchmark-style prompting is en dat het model de gedistilleerde student van een basis-checkpoint is, geen assistent. Als je een gesprek wilt, bevat de collectie een instruct-variant van het bovenliggende model met 8.192 tokens context.

Twee operationele details zullen iedereen die er snel doorheen leest, opbreken. Ten eerste, stoppen: er is geen token-ID EOS-stop, dus een verzoek dat nooit je stopstring oplevert, loopt door tot het tokenbudget, en het budget wordt gedeeld met de prompt binnen een venster van 4.096 tokens. Ten tweede, geheugen: 18 GB aan bfloat16-gewichten vóór enige KV-cache, op een model waarvan het enige ondersteunde pad PyTorch eager-code uit de repository zelf is — er is geen paged attention, geen continuous batching, geen gekwantiseerde build in de collectie. Een enkel verzoek op één GPU is vandaag de ondersteunde configuratie.

Doorvoer is het getal dat mensen willen weten, en de kaart geeft dat niet voor dit checkpoint. De kaart van het bovenliggende model rapporteert ongeveer 120–140 tokens per seconde voor 256 gegenereerde tokens op één H100 met de DDPM-sampler bij 32 stappen per blok van 64 tokens. De gedistilleerde nfe4 doet 5 aanroepen per 32 tokens in plaats van 33 aanroepen per 64, wat qua aantal aanroepen iets meer dan vier keer minder forward passes per token is — maar dat is rekenwerk op basis van stapaantallen, geen meting van dit checkpoint, en de kaart publiceert er geen tokens-per-secondecijfer voor.

Wat is niet bevestigd

Drie dingen die een lanceringsbericht zou hebben opgehelderd, en deze release niet:

• Of NVIDIA dit bedoelt als product of als onderzoeksartefact. De licentie staat commercieel gebruik toe en de kaart is in producttaal geschreven, maar er is geen gehost endpoint, geen supportverklaring en geen vermelding in enige NVIDIA-blogpost tot en met 16 november.

• Wat de leraar waard is. De kaart zegt dat de student is gedistilleerd uit een "MS-SUSReg-8B"-leraar van dezelfde architectuurfamilie, en het herkomstbestand noemt de run 8b_ms_susreg_n4_20261109 bij student-stap 1200. De vrijgegeven basis Nemotron-Labs-Sigma-8B wordt beschreven als dezelfde afstamming — maar de basiskaart publiceert helemaal geen cijfers, alleen een verwijzing naar het paper, dus het distillatieverlies kan niet zij aan zij van de twee kaarten worden afgelezen.

Screenshot of the nvidia/nemotron-labs-sigma collection page on Hugging Face, listing fourteen repositories: the 3B and 8B base and instruct models, distill variants at NFE 2, 4, 8 and 16 for both sizes, and self-speculative distill checkpoints for 3B and 8B, with the collection description reading continuous diffusion language models, base, instruct, few-step distilled and self-speculative variants.

• Of de nfe16-checkpoint de beste van de familie is of een artefact van een onvoltooide evaluatie. De cijfers zijn de hoogste op de kaart en de minst betrouwbare, en de kaart zegt dat zelf, wat meer openhartigheid is dan de meeste releasenotes weten op te brengen.

Waarom de stille release het verhaal is

NVIDIA heeft deze herfst veel uitgebracht — Bolt, Super VL, Transcribe, de Dory-lijn, allemaal met blogposts en build.nvidia.com-pagina's. Sigma komt zonder dat alles, van dezelfde organisatie, met een paper, een licentie, vier Model Card++-subkaarten en een teller die vijf downloads aangeeft. De meest waarschijnlijke lezing is dat dit een onderzoeksrelease is die bewust buiten het productoppervlak is gehouden: het beoogde gebruik volgens de kaart is "onderzoek naar generatie met lage latentie, studies naar speculatief en parallel decoderen", en dat is de taal van een laboratoriumartefact.

Voor een lezer die moet beslissen of dit relevant voor hem is, is de praktische vraag niet of het model op zichzelf goed is — het is of een 4-NFE continue diffusie-LM met 4K-context en zonder servingstack het autoregressieve model dat al in je pipeline zit, verslaat. Om dat te beantwoorden moet je het draaien, en de rekensom die het GPU-uur de moeite waard maakt, is simpel: 6,4 tokens per forward pass, tegen één voor een standaarddecoder. Of dat standhoudt onder je workload is precies wat de ontbrekende onafhankelijke benchmark je zou hebben verteld.

OrcaRouter serveert deze checkpoint niet, en die zal niet achter een prijs per token verschijnen totdat iemand een servingpad bouwt voor een blokdiffusie-architectuur met een vast aantal stappen — het kostenmodel valt niet op dezelfde manier toe op invoer- en uitvoertokens als bij een autoregressieve API. Wat wel live staat bij OrcaRouter is de vergelijkingsset: meer dan 200 autoregressieve modellen achter één sleutel tegen de lijstprijs van de provider zonder opslag, zodat de Sigma-vraag kan worden beantwoord aan de hand van een echte baseline in plaats van een modelkaart. Beide via één endpoint routeren is ook de goedkoopste manier om het experiment buiten je productiepad te houden terwijl je beslist.