Een gegenereerde titelkaart met de tekst Nemotron-Labs-Sigma-distill-8B-nfe4 vs Nemotron 3.5 Lightning 30B A3B, met als ondertitel dat het ene een diffusie-onderzoekscheckpoint met vijf downloads is en het andere een productie-MoE met 962,098 downloads, en met een voettekst die stelt dat beide sets cijfers door de leverancier gerapporteerd zijn en dat er geen benchmark tussen beide wordt gedeeld.
Guides & Insights

Nemotron-Labs-Sigma-distill-8B-nfe4 vs Nemotron 3.5 Lightning 30B A3B: twee NVIDIA-releases die nooit met elkaar concurreren

Auteur

Gideon Frost

Publicatiedatum

Nieuwste modellen · 20Bekijk alle modellen →
Benchmarks: Artificial Analysis · dagelijks bijgewerkt
Terug naar alle berichten

Zet Nemotron-Labs-Sigma-distill-8B-nfe4 en Nemotron 3.5 Lightning 30B A3B in dezelfde zin en de reflex is te vragen welke slimmer is. Die vraag heeft geen antwoord, en niet omdat de data dun is — omdat de twee modellen geen benchmark, geen contextlengte, geen serving-stack en geen releaseproces delen. Nemotron-Labs-Sigma-distill-8B-nfe4 is een 8B-continudiffusiemodel dat NVIDIA op 12 november 2026 zonder aankondiging publiceerde en dat vijf keer is gedownload. Nemotron 3.5 Lightning 30B A3B is een hybride Mamba-2/attention-mixture-of-experts met 30B in totaal en 3B actief, dat in augustus uitkwam met een modelkaart, een build.nvidia.com-endpoint en vorige maand 962.098 downloads. De nuttige vergelijking is geen uitslag. Het is de vraag welke je daadwerkelijk aan een gebruiker kunt voorleggen, en waarvoor.

De twee kaarten beschrijven verschillende producten, niet verschillende niveaus.

Lees de use-case-secties naast elkaar, en dan gaat het verschil niet langer over capaciteit. De kaart van Sigma-distill zegt dat het bedoeld is voor "onderzoek naar generatie met lage latentie, studies naar speculatief en parallel decoderen, en deploymentgerichte experimenten", en vermeldt dat het model "offline op de hardware van de gebruiker draait; NVIDIA host geen dienst." De kaart van Lightning verwijst naar een OpenAI-compatibel endpoint op integrate.api.nvidia.com, een vLLM-containertag, een aanbevolen samplingpaar van temperature 1.0 en top_p 0.95, een schakelaar voor denkmodus in de chatsjabloon, en drie afzonderlijke draft-checkpoints voor speculatief decoderen.

De ene is een bestand. De andere is een dienst met een bestand erachter. Dat verschil bepaalt vrijwel al het overige in dit stuk:

• Parameters — 8B dense (9,03B in de safetensors-telling zodra de aanvullende uitleeshead wordt meegeteld) versus 30B totaal met 3B actief per token.

• Architectuur — Ministral-stijl decoder met een 16-dimensionale continue diffusiekop versus interleaved Mamba-2-, MoE- en selectieve-attentielagen met multi-token-prediction-koppen.

• Context — 4.096 tokens voor prompt en output samen versus tot 1.000.000, met de kanttekening dat een enkele H100 slechts ongeveer 256.000 haalt en dat het volledige miljoen acht H100's, een GB200 of een B200 vereist.

• Talen — alleen Engels versus Engels plus programmeertalen, Spaans, Frans, Duits, Italiaans en Japans, met Chinees in post-training.

Releasevorm — alleen kaart en gewichten, geen leveranciersendpoint, geen aankondiging versus een gehost endpoint, een BF16-referentiebuild, een NVFP4-build en drie draftmodellen voor speculative decoding.

• Downloads in de afgelopen dertig dagen — vijf tegenover 962.098 op alleen al de BF16-repository, nog zonder de 901.381 op de NVFP4-build mee te rekenen.

• Licentie — NVIDIA Nemotron Open Model License voor beide, hoewel de kaart van Lightning het OpenMDW-1.1 noemt.

Er is geen gedeelde benchmark, dus er is geen score.

{{1}}Dit is het deel dat de meeste vergelijkingspagina's zouden verdoezelen. De kaart van Sigma-distill rapporteert GSM8K, MATH (Minerva), HumanEval, HumanEval+, MBPP en MBPP+ bij tien seeds met twee standaardfouten, plus een gemiddelde van 66,36 over zes taken. De kaart van Lightning rapporteert MMLU Pro, GPQA Diamond, HLE, SciCode, SWE-bench Verified, SWE-bench Multilingual, Terminal-Bench 2.1, PinchBench, BrowseComp, τ³-bench Banking, GDPval-AA-V2, IFBench, AA-LCR en AA-Omniscience. De doorsnede is de lege verzameling. Geen enkele benchmark staat op beide kaarten.{{/1}}

Dat is geen toevalligheid van de verslaggeving. De twee evaluaties testen met opzet verschillende dingen. Sigma's zes taken zijn kort-antwoordredenering en codeaanvulling bij een paar honderd tokens; die van Lightning zijn agentische software-engineering, retrieval over lange context en professionele kennis. Een model met een venster van 4.096 tokens en zonder chatsjabloon kan niet met de SWE-bench-harness worden getest, en aan een model dat is getraind om een functiebody af te maken, worden geen GPQA-vragen gesteld.

Dus de enige eerlijke grens die je kunt trekken, is deze: op zijn eigen zes taken scoort Sigma-distill nfe4 gemiddeld 66,36 bij tien seeds, wat een echt getal is onder een echt protocol, en het zegt niets over hoe het zou presteren op alles waarop Lightning is gemeten. Iedereen die je vertelt dat de een de ander verslaat, vergelijkt niets.

A generated chart showing that the two model cards share no benchmark: on the left, the six Nemotron-Labs-Sigma-distill-8B-nfe4 tasks with ten-seed accuracies of GSM8K 86.86, MATH 61.52, HumanEval 60.61, HumanEval+ 57.99, MBPP 57.50 and MBPP+ 73.70, mean 66.36; on the right, the Nemotron 3.5 Lightning 30B A3B evaluations including MMLU Pro 81.94, GPQA Diamond 75.44, SWE-bench Verified 51.56 and Terminal-Bench 2.1 24.58, with a divider marking that no task appears on both sides.

Snelheid is waar de vergelijking interessant wordt — en waar die onopgelost blijft.

Beide modellen zijn snel op manieren die moeilijk op één as te vangen zijn, en dit is de enige plek waar de vergelijking echt inhoud heeft.

Sigma-distill genereert 32 tokens per blok in precies 4 denoising-evaluaties plus één readout. Vijf voorwaartse passes, 32 tokens: 6,4 tokens per voorwaartse pass. Omdat het aantal stappen door de training vastligt, verandert die verhouding niet met de promptlengte of uitvoerlengte — het is een constante, en de inferentiecode van de modelkaart laat niet toe dat je die overschrijft. De modelkaart van het bovenliggende model meldt 120–140 tokens per seconde op één H100 bij 32 stappen per blok van 64 tokens; de gedistilleerde variant publiceert helemaal geen tokens-per-secondecijfer, dus de rekensom van 6,4× minder passes is geen gemeten doorvoer.

Lightning kiest de andere route. Het is een {{1}}3B-actieve MoE{{/1}}, dus elke forward pass is goedkoop, en NVIDIA levert {{2}}DSpark{{/2}} als de aanbevolen standaard voor speculative decoding, met {{3}}DFlash{{/3}} en zijn eigen multi-token-prediction-heads als alternatieven. De doorvoercijfers staan ook niet op de kaart in tokens per seconde — maar de {{4}}downloads{{/4}} en het servingrecept vertellen je dat het in productie is gedraaid, wat bij {{5}}Sigma{{/5}} niet het geval is.

Het onderscheid dat ertoe doet: Sigma's versnelling is structureel en constant per token, terwijl die van Lightning speculatief en werkbelastingafhankelijk is. Een vast contract van 5 aanroepen per 32 tokens is voorspelbaar op een manier waarop acceptatiepercentages van draft-tokens dat nooit zijn. Het is vandaag ook niet meetbaar, omdat niemand één enkele throughput-waarde heeft gepubliceerd voor het nfe4-checkpoint.

Wat het je kost om elk ervan te draaien

Sigma-distill is 18,06 GB aan bfloat16-gewichten verdeeld over vier shards, geladen via PyTorch eager-code uit de repository zelf met trust_remote_code, op een CUDA-GPU, zonder paged attention, zonder continuous batching en zonder gequantiseerde build in de collectie. Er is geen prijs per token, omdat er geen endpoint is: NVIDIA's kaart vermeldt dat het model op je eigen hardware draait en dat NVIDIA geen dienst host.

Lightning heeft de tegenovergestelde vorm. BF16-gewichten zijn 31,6B parameters; NVIDIA's eigen productieadvies is om in plaats daarvan de NVFP4-build te gebruiken, en bij de kaart wordt een vLLM-recept geleverd (containertag vllm/vllm-openai:v0.27.1) met FlashInfer Mamba-backend, FP16 SSM-cache en prefix-caching, plus een SGLang-image voor Hopper en Blackwell. Er is geen listprijs op de kaart of op build.nvidia.com — het endpoint valt onder NVIDIA's API-proefvoorwaarden — maar platforms van derden vermelden het model voor ongeveer $0.05 per miljoen inputtokens en $0.20 per miljoen outputtokens. Dat cijfer is een marktplaatsobservatie, geen leveranciersprijs.

Geen van beide modellen staat in de OrcaRouter-catalogus, en het zou oneerlijk zijn om anders te suggereren. Wat bij OrcaRouter beschikbaar is, is de vergelijkingsset eromheen: meer dan 200 modellen achter één sleutel, lijstprijs van de provider zonder opslag doorgegeven, zodat een prijsverlaging upstream dezelfde dag zichtbaar is in plaats van bij een driemaandelijkse herziening van de tariefkaart. Als de reden dat je dit leest is dat je een baseline wilt kiezen om Sigma tegen te testen, dan komt die baseline daarvandaan.

Kies op basis van de envelop, niet op basis van de score.

Vier vragen brengen dit in minder dan een minuut op orde, en geen ervan gaat over benchmarknauwkeurigheid:

• Past de taak in 4.096 tokens? Zo niet, dan valt Sigma-distill af en is de vraag niet meer aan de orde. Het miljoen-tokenvenster van Lightning — 256K op één H100 — is drie orden van grootte groter.

• Moet de taak gesprekken, tools of gestructureerde uitvoer ondersteunen? Sigma-distill heeft niets daarvan: geen chatsjabloon, geen systeemprompt, geen JSON-modus, stopstrings en een tokenbudget als enige stopmechanismen. Lightning wordt geleverd met een chatsjabloon met een denk-schakelaar.

• Moet u meer dan één verzoek tegelijk afhandelen? Sigma heeft geen serving-stack — het ondersteunde pad is een Python-script op één GPU. Lightning heeft twee engine-integraties en een gepubliceerd parallellismerecept.

• Gaat je interesse uit naar het decoderingsmechanisme zelf — blokdiffusie, few-step-distillatie, zelfspeculatie? Dan is Sigma-distill de enige van de twee die interessant is, en is Lightning helemaal de verkeerde vergelijking.

Al het andere volgt uit die vier. Een team dat Sigma voor een product evalueert, vraagt zich eigenlijk af of een onderzoekscheckpoint in een service kan worden omgezet; een team dat Lightning evalueert, vraagt zich af of een hybride MoE met 3B actieve parameters binnen een budget past. Dat zijn verschillende gesprekken.

Waar de confrontatie echt zou worden

Twee dingen zouden van deze pagina een echte rechtstreekse vergelijking maken, en geen van beide bestaat voorlopig.

Het eerste is een gedeelde benchmark. Als Sigma ooit een MMLU Pro- of GPQA-score krijgt, of Lightning ooit een GSM8K- of HumanEval-score bij een vergelijkbaar promptformaat, valt er iets te vergelijken. Tot dan is de eerlijke positie de hierboven genoemde: twee disjuncte evaluatiesuites gerapporteerd door dezelfde leverancier, op modellen die elkaars tests niet kunnen afleggen.

De tweede is een serveerpad. Sigma-distill is momenteel een repository die je clonet en een script dat je uitvoert; de SGLang-pull requests die Nemotron diffusion vermelden, richten zich op de oudere Nemotron-Labs-Diffusion-8B-lijn en staan per 17 november nog open, en de registry van vLLM bevat helemaal geen nemotron_labs_sigma-architectuur. Zodra een block-diffusionmodel met een vast aantal stappen paged attention en batching krijgt, wordt zijn voordeel van 6,4 tokens per pass een getal dat je naast een acceptatiegraad voor speculatieve decoding kunt zetten — en die vergelijking zou het publiceren waard zijn.

Screenshot of the Hugging Face model card for NVIDIA-Nemotron-3.5-Lightning-30B-A3B-BF16, showing the model description as a hybrid Mamba-2, mixture-of-experts and attention model with 30B total and 3B active parameters, the release date of 08/11/2026, the OpenMDW-1.1 licence, and the evaluation table beginning with MMLU Pro at 81.94 and GPQA Diamond at 75.44.

Tot die tijd is de praktische interpretatie dat NVIDIA in dezelfde herfst twee modellen voor twee doelgroepen uitbracht en slechts één daarvan een product was. Lightning is degene die je vandaag kunt aanroepen, met het cachegedrag, het contextvenster en de engine-ondersteuning die een service impliceert. Sigma-distill is degene die je downloadt als je je afvraagt of continue diffusie op 8B 66.36 kan vasthouden op zes taken met vijf forward passes per 32 tokens — een vraag over decoding, niet over capaciteit, en een die geen enkele vergelijking met een 30B MoE zal beantwoorden.

A generated two-column scoreboard titled Nemotron-Labs-Sigma-distill-8B-nfe4 vs Nemotron 3.5 Lightning 30B A3B, contrasting context of 4,096 tokens against up to 1,000,000, English only against seven languages, five downloads against 962,098, no vendor endpoint against a hosted OpenAI-compatible endpoint, no engine support against vLLM and SGLang recipes, and a fixed 6.4 tokens per forward pass against speculative decoding, with a footer noting that no benchmark is shared between the two cards.