Ett genererat titelkort med texten Nemotron-Labs-Sigma-distill-8B-nfe4 vs Nemotron 3.5 Lightning 30B A3B, med undertexten att den ena är en forskningscheckpoint för diffusion med fem nedladdningar och den andra en produktions-MoE med 962 098 nedladdningar, samt en sidfot som anger att båda uppsättningarna siffror är rapporterade av leverantören och att ingen benchmark delas mellan dem.
Guides & Insights

Nemotron-Labs-Sigma-distill-8B-nfe4 vs Nemotron 3.5 Lightning 30B A3B: Två NVIDIA-släpp som aldrig konkurrerar

Författare

Gideon Frost

Publiceringsdatum

Senaste modellerna · 20Visa alla modeller →
Benchmarks: Artificial Analysis · uppdateras dagligen
Tillbaka till alla inlägg

Sätter man Nemotron-Labs-Sigma-distill-8B-nfe4 och Nemotron 3.5 Lightning 30B A3B i samma mening är instinkten att fråga vilken som är smartare. Den frågan har inget svar, och inte för att dataunderlaget är tunt – utan för att de två modellerna inte delar någon benchmark, någon kontextlängd, någon serveringsstack och ingen utgivningsprocess. Nemotron-Labs-Sigma-distill-8B-nfe4 är en 8B kontinuerlig diffusionsmodell som NVIDIA publicerade den 12 november 2026 utan tillkännagivande och som har laddats ner fem gånger. Nemotron 3.5 Lightning 30B A3B är en hybrid av Mamba-2 och attention i form av en mixture-of-experts med totalt 30B parametrar, varav 3B aktiva, som släpptes i augusti med ett modellkort, en build.nvidia.com-endpoint och 962 098 nedladdningar förra månaden. Den användbara jämförelsen är inte en poängställning. Det är vilken av dem du faktiskt kan sätta framför en användare, och till vad.

De två korten beskriver olika produkter, inte olika nivåer.

Läs avsnitten om användningsfall sida vid sida, så slutar gapet handla om förmåga. Sigma-distills kort säger att det är för "latenskänslig genereringsforskning, studier av spekulativ och parallell avkodning samt driftsättningsorienterad experimentering", och anger att modellen "körs offline på användarens egen hårdvara; NVIDIA tillhandahåller ingen tjänst". Lightnings kort pekar på en OpenAI-kompatibel slutpunkt på integrate.api.nvidia.com, en vLLM-containertagg, ett rekommenderat samplingspar med temperature 1.0 och top_p 0.95, en växlingsknapp för tänkläge i chattmallen och tre separata draft-checkpoints för spekulativ avkodning.

Den ena är en fil. Den andra är en tjänst med en fil bakom sig. Den skillnaden driver nästan allt annat i den här artikeln:

• Parametrar — 8B dense (9,03B i safetensors-räkningen när det extra readout-huvudet räknas) vs 30B totalt med 3B aktiva per token.

• {{1}}Arkitektur{{/1}} — Ministral-liknande avkodare med ett 16-dimensionellt kontinuerligt diffusionshuvud mot sammanflätade Mamba-2-, MoE- och selektiva uppmärksamhetslager med huvuden för multi-token-prediktion.

• Kontext — 4 096 token för prompt och utdata tillsammans jämfört med upp till 1 000 000, med förbehållet att en enskild H100 bara når cirka 256 000 och att hela miljonen kräver åtta H100, en GB200 eller en B200.

• Språk — endast engelska kontra engelska plus programmeringsspråk, spanska, franska, tyska, italienska och japanska, med kinesiska i efterträning.

• Utgivningsform — endast modellkort och vikter, ingen leverantörsendpoint, inget tillkännagivande av en hostad endpoint, en BF16-referensbuild, en NVFP4-build och tre draftmodeller för spekulativ avkodning.

• Nedladdningar under de senaste trettio dagarna – fem mot 962,098 enbart på BF16-repositoriet, innan man ens räknar 901,381 på NVFP4-bygget.

• Licens — NVIDIA Nemotron Open Model License för båda, även om Lightning-kortet anger OpenMDW-1.1.

Det finns ingen gemensam benchmark, så det finns ingen resultatställning.

Det här är delen som de flesta jämförelsesidor skulle sopa under mattan. Sigma-distills kort rapporterar GSM8K, MATH (Minerva), HumanEval, HumanEval+, MBPP och MBPP+ vid tio seeds med två standardfel, plus ett medelvärde över sex uppgifter på 66,36. Lightnings kort rapporterar MMLU Pro, GPQA Diamond, HLE, SciCode, SWE-bench Verified, SWE-bench Multilingual, Terminal-Bench 2.1, PinchBench, BrowseComp, τ³-bench Banking, GDPval-AA-V2, IFBench, AA-LCR och AA-Omniscience. Snittmängden är den tomma mängden. Inte ett enda benchmark förekommer på båda korten.

Det är inte en tillfällighet i rapporteringen. De två utvärderingarna testar medvetet olika saker. Sigmas sex uppgifter är kortsvarsresonemang och kodkomplettering på några hundra token; Lightnings är agentisk mjukvaruutveckling, långkontextsökning och professionell kunskap. En modell med ett fönster på 4 096 token och ingen chattmall kan inte genomföra SWE-bench-harnesset, och en modell som tränats på att slutföra en funktionskropp får inte GPQA-frågor.

Så den enda ärliga gräns man kan dra är denna: på sina egna sex uppgifter ligger Sigma-distill nfe4 i genomsnitt på 66,36 över tio slumpfrön, vilket är ett verkligt tal under ett verkligt protokoll, och det säger ingenting om hur det skulle prestera på något som Lightning mättes på. Den som påstår att den ena slår den andra jämför ingenting.

A generated chart showing that the two model cards share no benchmark: on the left, the six Nemotron-Labs-Sigma-distill-8B-nfe4 tasks with ten-seed accuracies of GSM8K 86.86, MATH 61.52, HumanEval 60.61, HumanEval+ 57.99, MBPP 57.50 and MBPP+ 73.70, mean 66.36; on the right, the Nemotron 3.5 Lightning 30B A3B evaluations including MMLU Pro 81.94, GPQA Diamond 75.44, SWE-bench Verified 51.56 and Terminal-Bench 2.1 24.58, with a divider marking that no task appears on both sides.

Hastigheten är där jämförelsen blir intressant — och där den förblir oavgjord

Båda modellerna är snabba på sätt som är svåra att placera på en enda axel, och detta är det enda stället där matchningen har verkligt innehåll.

Sigma-distill genererar 32 tokens per block i exakt 4 avbrusningsutvärderingar plus en utläsning. Fem framåtpassager, 32 tokens: 6,4 tokens per framåtpassage. Eftersom antalet steg fastställs av träningen ändras inte det förhållandet med promptlängd eller utdatallängd — det är en konstant, och kortets inferenskod vägrar låta dig åsidosätta det. Föräldramodellens kort anger 120–140 tokens per sekund på en H100 vid 32 steg per 64-tokenblock; den destillerade varianten publicerar ingen siffra för tokens per sekund alls, så aritmetiken med 6,4 gånger färre passager är inte en uppmätt genomströmning.

Lightning tar den andra vägen. Det är en MoE med 3B aktiva parametrar, så varje forward-pass är billig, och NVIDIA levererar DSpark som rekommenderat standardval för spekulativ avkodning, med DFlash och sina egna multi-token-prediction-huvuden som alternativ. Dess genomströmningssiffror finns inte heller på databladet i tokens per sekund – men nedladdningarna och serveringsreceptet visar att den har körts i produktion, vilket Sigma inte har.

Den avgörande skillnaden: Sigmas uppsnabbning är strukturell och konstant per token, medan Lightnings är spekulativ och beroende av arbetsbelastningen. Ett fast kontrakt med 5 anrop per 32 token är förutsägbart på ett sätt som acceptansgrader för draft aldrig är. Den är också omätbar i dag, eftersom ingen har publicerat en enda genomströmningssiffra för nfe4-checkpointen.

Vad var och en kostar dig att köra

Sigma-distill är 18,06 GB bfloat16-vikter fördelade över fyra shards, inlästa via PyTorch eager-kod från själva repot med trust_remote_code, på en CUDA-GPU, utan paged attention, utan kontinuerlig batchning och utan någon kvantiserad build i samlingen. Det finns inget pris per token eftersom det inte finns någon endpoint: NVIDIA:s kort anger att modellen körs på din hårdvara och att NVIDIA inte tillhandahåller någon tjänst.

Lightning har den motsatta formen. BF16-vikterna är 31,6B parametrar; NVIDIAs egen produktionsrekommendation är att använda NVFP4-bygget i stället, och kortet levereras med ett vLLM-recept (container-tagg vllm/vllm-openai:v0.27.1) med FlashInfer Mamba-backend, FP16 SSM-cache och prefix-cachning, plus en SGLang-avbildning för Hopper och Blackwell. Det finns inget listpris på kortet eller på build.nvidia.com – slutpunkten omfattas av NVIDIAs provvillkor för API:et – men tredjepartsplattformar listar modellen till ungefär $0,05 per miljon indatatoken och $0,20 per miljon utdatatoken. Den siffran är en marknadsplatsobservation, inte ett leverantörspris.

Ingen av modellerna finns i OrcaRouter-katalogen, och det vore oärligt att antyda något annat. Det som finns på OrcaRouter är den omgivande jämförelseuppsättningen: över 200 modeller bakom en enda nyckel, leverantörens listpris förs vidare utan påslag, så en prissänkning uppströms syns samma dag i stället för i en kvartalsvis revidering av prislistan. Om anledningen till att du läser detta är att du behöver välja en baslinje att testa Sigma mot, är det därifrån baslinjen kommer.

Välj efter kuvert, inte efter poäng.

Fyra frågor reder ut det här på under en minut, och ingen av dem handlar om benchmarknoggrannhet:

• Ryms uppgiften i 4 096 tokens? Om inte är Sigma-distill inte aktuellt och frågan är avgjord. Lightnings fönster på en miljon tokens – 256K på en enda H100 – är tre storleksordningar större.

• Kräver uppgiften konversation, verktyg eller strukturerad utdata? Sigma-distill har inget av det: ingen chattmall, ingen systemprompt, inget JSON-läge, stoppsträngar och en tokenbudget som de enda stoppmekanismerna. Lightning levereras med en chattmall med en växel för tänkande.

• Behöver du betjäna mer än en förfrågan åt gången? Sigma har ingen serveringsstack – den väg som stöds är ett Python-skript på en GPU. Lightning har två motorintegrationer och ett publicerat recept för parallellisering.

• Är ditt intresse själva avkodningsmekanismen — blockdiffusion, fåstegsdestillation, självspekulation? Då är Sigma-distill den enda av de två som är intressant, och Lightning är helt fel jämförelse.

Allt annat följer av de fyra. Ett team som utvärderar Sigma för en produkt frågar egentligen om en forskningscheckpoint kan omvandlas till en tjänst; ett team som utvärderar Lightning frågar om en hybrid-MoE med 3B aktiva ryms inom en budget. Det är olika samtal.

Där matchen skulle bli verklig

Två saker skulle göra den här sidan till en riktig direkt jämförelse, och ingen av dem finns ännu.

Den första är en gemensam benchmark. Om Sigma någonsin får ett MMLU Pro- eller GPQA-resultat, eller om Lightning någonsin får ett GSM8K- eller HumanEval-resultat med ett jämförbart promptformat, finns det något att jämföra. Fram till dess är den ärliga hållningen den ovan: två åtskilda utvärderingssviter rapporterade av samma leverantör, för modeller som inte kan genomgå varandras tester.

Det andra är en serveringsväg. Sigma-distill är för närvarande ett repository som du klonar och ett skript som du kör; SGLang-pullförfrågningarna som nämner Nemotron-diffusion riktar sig mot den äldre Nemotron-Labs-Diffusion-8B-linjen och är fortfarande öppna den 17 november, och vLLM:s register har inte någon nemotron_labs_sigma-arkitektur alls. I samma stund som en block-diffusionsmodell med ett fast antal steg får paged attention och batchning blir dess fördel på 6,4 token per pass en siffra du kan ställa bredvid en acceptansgrad för spekulativ avkodning – och den jämförelsen skulle vara värd att publicera.

Screenshot of the Hugging Face model card for NVIDIA-Nemotron-3.5-Lightning-30B-A3B-BF16, showing the model description as a hybrid Mamba-2, mixture-of-experts and attention model with 30B total and 3B active parameters, the release date of 08/11/2026, the OpenMDW-1.1 licence, and the evaluation table beginning with MMLU Pro at 81.94 and GPQA Diamond at 75.44.

Fram till dess är den praktiska tolkningen att NVIDIA släppte två modeller för två målgrupper samma höst och att bara en av dem var en produkt. Lightning är den du kan anropa i dag, med det cachebeteende, det kontextfönster och det motorstöd som en tjänst förutsätter. Sigma-distill är den du laddar ner om du bryr dig om huruvida kontinuerlig diffusion vid 8B kan hålla 66,36 på sex uppgifter med fem framåtpasseringar per 32 token – en fråga om avkodning, inte om förmåga, och en som ingen mängd jämförelser med en 30B-MoE kan besvara.

A generated two-column scoreboard titled Nemotron-Labs-Sigma-distill-8B-nfe4 vs Nemotron 3.5 Lightning 30B A3B, contrasting context of 4,096 tokens against up to 1,000,000, English only against seven languages, five downloads against 962,098, no vendor endpoint against a hosted OpenAI-compatible endpoint, no engine support against vLLM and SGLang recipes, and a fixed 6.4 tokens per forward pass against speculative decoding, with a footer noting that no benchmark is shared between the two cards.