Een gegenereerde titelkaart met de tekst Nemotron-Labs-Sigma-distill-8B-nfe4 vs Nemotron-Labs-Sigma, met als ondertitel dezelfde afstamming, twee decoderingscontracten, met vier statistiektegels: base met 8,49B parameters en configureerbare DDIM-stappen, gedistilleerd met 9,03B en een vaste 4 denoising-evaluaties per blok, base-downloads 106 tegen 5 voor de distill, en een voettekst die vermeldt dat alle cijfers afkomstig zijn uit NVIDIA-modelkaarten en dat er voor geen van beide een onafhankelijke benchmark bestaat.
Guides & Insights

Nemotron-Labs-Sigma-distill-8B-nfe4 vs Nemotron-Labs-Sigma: dezelfde afstamming qua gewichten, twee decodingcontracten

Auteur

jinhao.song

Publicatiedatum

Nieuwste modellen · 20Bekijk alle modellen →
Benchmarks: Artificial Analysis · dagelijks bijgewerkt
Terug naar alle berichten

Het verwarrende aan Nemotron-Labs-Sigma-distill-8B-nfe4 is dat het geen betere Nemotron-Labs-Sigma-8B is. Het is een ander bestand met een ander contract, geproduceerd door een teacher uit dezelfde afstammingslijn, en het verschil tussen de twee zit niet in nauwkeurigheid — het zit in hoe vaak het netwerk draait om een woord te genereren. De basis-8B werd op 5 oktober 2026 gepubliceerd als een voorgetraind onderzoeksmodel: 8,49B parameters, configureerbare denoising-stappen, classifier-free guidance die je handmatig moet afstellen, en een kaart die helemaal geen scores publiceert en in plaats daarvan verwijst naar arXiv:2610.02665. De gedistilleerde nfe4 verscheen op 12 november 2026 met 9,03B parameters, een stappenaantal dat in de checkpoint is ingebakken, en de enige tabel per benchmark die NVIDIA op een Sigma-kaart heeft gezet. Beide zijn alleen Engelstalig, beide zijn beperkt tot 4.096 tokens, beide vallen onder dezelfde licentie. De keuze tussen beide is een keuze over hoe je wilt dat het model zijn rekenkracht besteedt.

Wat verschilt er eigenlijk, bestand per bestand

Beide repositories leveren hetzelfde model_type — nemotron_labs_sigma — en beide worden op dezelfde manier geladen, met trust_remote_code en een modelleringsbestand van 40 KB uit de repository. De configuraties verschillen op punten die bij inferentie van belang zijn en vrijwel niet in de backbone:

• Backbone — identieke opbouw bij beide: 34 lagen, verborgen grootte 4.096, FFN 14.336, 32 query-heads en 8 key-value-heads, SwiGLU, RoPE, vocabulaire van 131.072 tokens.

• Parameters — 8,49B (8.489.947.136 BF16 plus 2.097.186 F32) voor de base, 9,03B (9.026.818.048 BF16 plus hetzelfde aantal F32) voor de distill. De extra 537M is de aanvullende autoregressieve readout-head die de distill naast de diffusie-head behoudt.

• Gewichten op schijf — 16,99 GB tegenover 18,06 GB, elk vier shards.

• Context — 4.096 tokens voor zowel base als distill. De instruct-variant in dezelfde collectie verhoogt dit naar 8.192 en voegt een chatsjabloon toe; geen van beide modellen hier heeft er een.

• Stappen — de base stelt steps en block_length tijdens de aanroep beschikbaar en de bijbehorende kaart publiceert een tabel per budget; de distill accepteert helemaal geen override.

• Begeleiding — de basis heeft classifier-free guidance nodig (3.0 bij 32 en 16 stappen, 2.0 bij 4) en een afgestemde scoretemperatuur; de distill draait op CFG 1 en scoretemperatuur 1, wat wil zeggen geen begeleiding en geen afstemming.

• Sampler — het basismodel is gedocumenteerd voor DDIM op een log_snr-raster met standaard blokken van 64 tokens; het distill-model gebruikt fresh_x0 met self-conditioning die tussen stappen wordt meegenomen en blokken van 32 tokens.

Het aantal stappen is geen instelling op het gedistilleerde model.

Dit is de zin in de modelkaart die de hele vergelijking opnieuw kadert: "Het aantal denoisingstappen wordt door de training vastgelegd: deze variant is alleen voor NFE=4 getraind, en de meegeleverde inferentiecode biedt opzettelijk geen willekeurige overschrijving van het aantal stappen aan (andere stapaantallen zouden niet-getrainde fase-eindpunten evalueren)."

Phased DMD distilleert een traject, en een gedestilleerd traject heeft fase-eindpunten op specifieke ruisniveaus. Vraag je een student met vier stappen om er acht te zetten, dan draai je hem niet langzamer voor betere kwaliteit — je vraagt hem om te evalueren op ruisniveaus waarop hij nooit is getraind. De kaart zegt dat de output verslechtert. Er is geen knop.

De basis is het tegenovergestelde. De bijbehorende kaart geeft je de tabel — DDIM-32 met CFG 3 en scoretemperatuur 0,3, DDIM-16 met CFG 3 en 0,4, DDIM-8 met CFG 3 en 0,6, DDIM-4 met CFG 2 en 0,8 — en voegt dan de waarschuwing toe dat onder ongeveer 16 stappen de vooraf getrainde modellen merkbaar kwaliteit verliezen, en dat generatie met weinig stappen in plaats daarvan de gedistilleerde varianten zou moeten gebruiken.

Samen gelezen vormen die twee uitspraken van dezelfde organisatie een arbeidsverdeling: de base is wat je afstelt, de distill is wat je niet afstelt. Wil je een knop, neem de base. Wil je een constante, neem de distill.

A generated diagram comparing the decoding contracts of the two models: the base Nemotron-Labs-Sigma-8B shown as a configurable path of 32, 16, 8 or 4 denoising steps per 64-token block with classifier-free guidance of 3, 3, 3 or 2 and score temperatures of 0.3, 0.4, 0.6 and 0.8, against the distilled nfe4 shown as a single fixed path of 4 denoising evaluations plus one readout per 32-token block at guidance 1 and temperature 1.

Het rekenwerk dat hen scheidt

Zet de twee contracten in dezelfde eenheden en de reden waarom het gedistilleerde bestand bestaat, wordt vanzelf duidelijk.

• Base op de aanbevolen instelling — 33 denoiser-aanroepen per blok van 64 tokens (32 stappen plus een uitlezing), wat neerkomt op 1,9 tokens per forward pass.

• Basis op 4 stappen — 5 aanroepen per blok van 64 tokens, 12,8 tokens per pass, maar de kaart waarschuwt dat de kwaliteit merkbaar daalt onder 16 stappen.

• Distilleer nfe4 — 5 aanroepen per blok van 32 tokens, 6,4 tokens per pass, met een kwaliteit die de kaart publiceert.

• Distilleer {{1}}nfe8{{/1}} — 9 aanroepen per blok van 32 tokens, 3,6 tokens per doorgang, en 4 punten beter op het gemiddelde over de zes taken.

Dus de gedistilleerde nfe4 zit tussen het veilige werkpunt van de basis en het onveilige werkpunt ervan: drie keer minder forward passes per token dan de aanbevolen basisconfiguratie, met een stappenaantal waarvoor het model daadwerkelijk is getraind. Dat is de hele premisse van de release, en het is een premisse over rekenkracht, niet over intelligentie.

Wat het niet is, is een gemeten doorvoer. De kaart van het basismodel meldt ongeveer 120–140 tokens per seconde voor 256 gegenereerde tokens op één H100 met DDPM bij 32 stappen per blok van 64 tokens. De kaart van het gedistilleerde model publiceert geen cijfer voor tokens per seconde. De bovenstaande verhoudingen van aanroepen zijn rekenkundig afgeleid van gepubliceerde stapaantallen; behandel ze als zodanig.

Welke heeft nummers, en wat ze waard zijn

Hier lopen de twee kaarten sterk uiteen, en in een richting die ongemakkelijk is voor de basis.

Nemotron-Labs-Sigma-8B publiceert geen benchmarktabel. De evaluatiesectie bestaat uit twee zinnen die zeggen dat de resultaten "worden gerapporteerd in het technische rapport." Alles wat je over de nauwkeurigheid kunt weten, moet je halen uit arXiv:2610.02665 — een paper die de 3B- en 8B-familie behandelt, zowel base- als gedistilleerde varianten, en waarvan de samenvatting claimt dat de modellen masked diffusion-LM's en autoregressieve baselines verslaan, met de grootste consistente winsten op het gebied van coding.

De gedistilleerde nfe4-kaart publiceert cijfers, voor tien seeds met twee standaardfouten: GSM8K 86.86 ± 0.28, MATH 61.52 ± 0.20, HumanEval 60.61 ± 1.43, HumanEval+ 57.99 ± 1.20, MBPP 57.50 ± 0.61, MBPP+ 73.70 ± 1.07, gemiddelde over zes taken 66.36 ± 0.46. Negen van de tien seedwaarden liggen in het bereik 42 tot 51, dus het protocol is nauwkeurig genoeg beschreven om te reproduceren.

De twee kaarten samen kunnen je dus niet vertellen wat distillatie heeft gekost. Dat is het nuttigste afzonderlijke getal in deze vergelijking, en het ontbreekt, omdat de kaart van de teacher geen tabel heeft om van af te trekken. Het paper is de enige plek waar de bewering staat, en de formulering is richtinggevend: ruwweg 8× versnelling op wiskunde en 4× op programmeren door distributie-matching-distillatie "met gering verlies aan nauwkeurigheid." Die multipliers zijn in het paper gerapporteerd, niet op de kaart, en ze verwijzen naar de eigen experimenten van de familie in plaats van naar een gecontroleerde vergelijking van de exacte twee checkpoints op de hub vandaag.

Nog een complicatie in de distill-lijn zelf: de nfe16-variant is gemarkeerd als pending_ten_seed_six_task_validation. Het gemiddelde van 74,50 over drie taken komt uit één run met seed 42, en op de kaart staat dat je dit niet moet vergelijken met de gemiddelden over tien seeds van de andere varianten. Dus "de grootste is de beste" is een interpretatie die de kaart expliciet niet ondersteunt.

De derde optie die niemand noemt

De collectie bevat een variant die geen van de twee modellen in deze vergelijking is en misschien wel het interessantste bestand erin is: Nemotron-Labs-Sigma-distill-spec-8B. Het is dezelfde MS-SUSReg-8B-teacher, gedistilleerd met een extra acceptatiedoelstelling, en in plaats van als een pure few-step-sampler te draaien, stelt hij met zijn diffusiehoofd een blok van 32 tokens op en verifieert dat met zijn eigen autoregressieve hoofd. Elke ronde kost één diffusieaanroep, en geaccepteerde tokens worden uitgegeven zonder een verdere forward pass. De kaart stelt dat de geretourneerde tekst precies de greedy autoregressieve uitvoer is — acceptatie verandert de doorvoer, nooit de inhoud.

De gepubliceerde acceptatiecijfers, één momentopname: gemiddelde geaccepteerde lengte 7,91 op HumanEval, 11,86 op GSM8K, 13,37 op MBPP, bonustoken inbegrepen, bootstrapronde uitgesloten. Dat zijn doorvoermetingen, geen nauwkeurigheidsmetingen, en ze zijn niet vergelijkbaar met de nauwkeurigheidstabel van de nfe4 — een onderscheid dat de kaart in vet maakt.

Praktisch gezien is dit de variant om in de gaten te houden als de vraag is: "kan een diffusiekop een model versnellen zonder te veranderen wat het zegt?" Het is geen drop-invervanging voor een van beide modellen in deze vergelijking: het vereist generate_speculative, beide heads en dat self-conditioning uitgeschakeld is.

Screenshot of the Hugging Face model card for nvidia/Nemotron-Labs-Sigma-8B, showing the description of an 8-billion-parameter continuous diffusion language model that denoises in a 16-dimensional continuous token-embedding space and decodes in parallel blocks using DDPM or DDIM samplers, the note that this is the base pretrained model rather than an instruction follower, and the NVIDIA Nemotron Open Model License.

Hoe je in de praktijk kiest

De beslissing komt neer op vier controles, en de eerste sluit voor de meeste lezers één kant volledig uit:

• Onderzoek je het samplingproces zelf — guidance-schema's, stappenaantallen, trajectoriesturing, classifier-free guidance-gedrag? De basis is het model, omdat dat degene is met de knoppen en de tabel per budget.

• Bouw je iets dat tekst genereert tegen een vaste kosten per token en wil je geen afstemmingsoppervlak? De nfe4-distill is het model, omdat CFG 1 en scoretemperatuur 1 een volledige configuratie vormen.

• Heb je een assistent nodig? Geen van beide. Er is geen chatsjabloon in een van beide repositories, geen systeemprompt, geen tool-aanroepen, en de basiskaart zegt duidelijk dat het geen instructievolger is. De instructvarianten met 8.192 tokens context zijn daarvoor bedoeld.

• Heeft u een benchmark nodig die u kunt citeren? Alleen de distill heeft er een, en het is de eigen benchmark van NVIDIA.

Geen van de vier vraagt naar het aantal parameters, wat verraadt dat dit geen groottevergelijking is. Het verschil van 537M parameters is de prijs voor het in het bestand houden van de autoregressieve head, en het levert niets op voor het pure diffusiepad van de nfe4 — het is er omdat dezelfde architectuur ook ten grondslag ligt aan de spec-variant.

Het punt van het paar

NVIDIA bouwde één backbone en bracht die twee keer uit: één keer als iets om te bestuderen en één keer als iets om te draaien. Dat is een samenhangende strategie, en het is de reden waarom de twee kaarten zo anders lezen — de basiskaart is geschreven voor een onderzoeker die de sampler zal aanpassen, de distill-kaart voor een ontwikkelaar die dat niet zal doen.

Wat het paar nog mist, is het ding waarmee je de ruil eerlijk zou kunnen controleren: een teacherscore. Zolang de 8B-basiskaart niet dezelfde zes-taaktabel bevat als de distill-versie, is elke bewering over wat de distillatie heeft opgeleverd een bewering over de experimenten op familieniveau uit het paper in plaats van over deze twee bestanden. Als NVIDIA die tabel toevoegt — en de laatste bewerking van de basiskaart op 16 november suggereert dat de repositories nog steeds worden onderhouden — wordt deze vergelijking een aftrekking in plaats van een reconstructie.

Voor nu is de praktische lezing beperkt en nuttig: kies de base als je wilt verkennen hoe een continu diffusie-LM zich gedraagt onder verschillende step-budgetten, kies nfe4 als je een vast aantal van 6,4 tokens per forward pass wilt bij een gepubliceerde nauwkeurigheid, en sla beide over als je een chatmodel nodig hebt of een contextvenster dat langer is dan een lange memo. Geen van beide staat vandaag in de OrcaRouter-catalogus, en dat blijft zo tot er een servingpad bestaat voor een blokdiffusie-architectuur — wat OrcaRouter wél biedt, zijn de ruim 200 autoregressieve modellen waarmee je beide zou benchmarken, onder één sleutel tegen leverancierslijstprijs zonder markup, en met automatische failover als je het experiment geïsoleerd wilt houden van het productiepad.

A generated two-column scoreboard titled Nemotron-Labs-Sigma-distill-8B-nfe4 vs Nemotron-Labs-Sigma, contrasting the distill at 9.03B parameters and 18.06 gigabytes, a fixed 4 denoising evaluations per 32-token block, guidance 1 and no tuning, a published six-task mean of 66.36, five downloads and a 12 November 2026 release, against the base at 8.49B and 16.99 gigabytes, configurable steps from 4 to 32, guidance 3 and tuned score temperature, no published benchmark table, 106 downloads and a 5 October 2026 release, with a footer noting all figures are NVIDIA-reported.