
Nemotron-Labs-Sigma-distill-8B-nfe4 vs Nemotron 3.5 Lightning 30B A3B: Två NVIDIA-släpp som aldrig konkurrerar
- GoogleNYGoogle: Gemini 4 Carbon2026-11-10$2.00 / $10.00 per 1M tokens · 90 tok/s
- AnthropicNYAnthropic: Claude Fable 5.22026-11-09$8.00 / $40.00 per 1M tokens · 97 tok/s
- orcaNYOrca: OrcaC2 1.02026-11-0717 tok/s
- OrcaNYOrcaCyber: GLM 5.3 Abliterated / Uncensored2026-11-04$3.00 / $5.00 per 1M tokens · 88 tok/s
- OrcaNYOrcaCyber: Hy4 Abliterated / Uncensored2026-11-04$0.80 / $1.60 per 1M tokens · 133 tok/s
- OrcaNYOrcaCyber: Kimi K3.1 Pro Abliterated / Uncensored2026-11-04$4.00 / $20.00 per 1M tokens · 72 tok/s
- OrcaOrcaCyber: MiniMax M3.1 Flash Abliterated / Uncensored2026-10-29$0.80 / $1.60 per 1M tokens · 127 tok/s
- OrcaOrcaCyber: GLM 5.3 Flash Abliterated / Uncensored2026-10-27$0.80 / $1.60 per 1M tokens · 65 tok/s
- OrcaOrcaCyber: Qwen3.8 Flash Next Abliterated / Uncensored2026-10-26$0.80 / $1.60 per 1M tokens · 92 tok/s
- OrcaOrcaCyber: MiMo V2.6 Flash Abliterated / Uncensored2026-10-26$0.80 / $1.60 per 1M tokens · 44 tok/s
- MoonshotMoonshotAI: Kimi K3.1 Pro2026-10-2447Intelligens
- OrcaOrcaCyber: DeepSeek V4.1 Flash Abliterated / Uncensored2026-10-23$0.80 / $1.60 per 1M tokens · 193 tok/s
- minimaxMiniMax: M3.1 Flash2026-10-1929Intelligens
- OrcaOrca: OrcaCyber Ultra 1.02026-10-17$5.00 / $10.00 per 1M tokens · 146 tok/s
- deepseekDeepSeek: DeepSeek V4.1 Flash 10172026-10-1733Intelligens
- DeepSeekDeepSeek: DeepSeek V4.1 Flash2026-10-1740Intelligens
- OrcaOrca: OrcaCyber Zero 1.52026-10-10$3.00 / $7.50 per 1M tokens · 124 tok/s
- openaiOpenAI: GPT-6.1 Sol2026-09-2955Intelligens
- anthropicAnthropic: Claude Sonnet 5.52026-09-2855Intelligens
- typesafeTypeSafe: Jev 1.132026-09-24$0.04 / $0.00 per 1M tokens · 218 tok/s
Sätter man Nemotron-Labs-Sigma-distill-8B-nfe4 och Nemotron 3.5 Lightning 30B A3B i samma mening är instinkten att fråga vilken som är smartare. Den frågan har inget svar, och inte för att dataunderlaget är tunt – utan för att de två modellerna inte delar någon benchmark, någon kontextlängd, någon serveringsstack och ingen utgivningsprocess. Nemotron-Labs-Sigma-distill-8B-nfe4 är en 8B kontinuerlig diffusionsmodell som NVIDIA publicerade den 12 november 2026 utan tillkännagivande och som har laddats ner fem gånger. Nemotron 3.5 Lightning 30B A3B är en hybrid av Mamba-2 och attention i form av en mixture-of-experts med totalt 30B parametrar, varav 3B aktiva, som släpptes i augusti med ett modellkort, en build.nvidia.com-endpoint och 962 098 nedladdningar förra månaden. Den användbara jämförelsen är inte en poängställning. Det är vilken av dem du faktiskt kan sätta framför en användare, och till vad.
De två korten beskriver olika produkter, inte olika nivåer.
Läs avsnitten om användningsfall sida vid sida, så slutar gapet handla om förmåga. Sigma-distills kort säger att det är för "latenskänslig genereringsforskning, studier av spekulativ och parallell avkodning samt driftsättningsorienterad experimentering", och anger att modellen "körs offline på användarens egen hårdvara; NVIDIA tillhandahåller ingen tjänst". Lightnings kort pekar på en OpenAI-kompatibel slutpunkt på integrate.api.nvidia.com, en vLLM-containertagg, ett rekommenderat samplingspar med temperature 1.0 och top_p 0.95, en växlingsknapp för tänkläge i chattmallen och tre separata draft-checkpoints för spekulativ avkodning.
Den ena är en fil. Den andra är en tjänst med en fil bakom sig. Den skillnaden driver nästan allt annat i den här artikeln:
• Parametrar — 8B dense (9,03B i safetensors-räkningen när det extra readout-huvudet räknas) vs 30B totalt med 3B aktiva per token.
• {{1}}Arkitektur{{/1}} — Ministral-liknande avkodare med ett 16-dimensionellt kontinuerligt diffusionshuvud mot sammanflätade Mamba-2-, MoE- och selektiva uppmärksamhetslager med huvuden för multi-token-prediktion.
• Kontext — 4 096 token för prompt och utdata tillsammans jämfört med upp till 1 000 000, med förbehållet att en enskild H100 bara når cirka 256 000 och att hela miljonen kräver åtta H100, en GB200 eller en B200.
• Språk — endast engelska kontra engelska plus programmeringsspråk, spanska, franska, tyska, italienska och japanska, med kinesiska i efterträning.
• Utgivningsform — endast modellkort och vikter, ingen leverantörsendpoint, inget tillkännagivande av en hostad endpoint, en BF16-referensbuild, en NVFP4-build och tre draftmodeller för spekulativ avkodning.
• Nedladdningar under de senaste trettio dagarna – fem mot 962,098 enbart på BF16-repositoriet, innan man ens räknar 901,381 på NVFP4-bygget.
• Licens — NVIDIA Nemotron Open Model License för båda, även om Lightning-kortet anger OpenMDW-1.1.
Det finns ingen gemensam benchmark, så det finns ingen resultatställning.
Det här är delen som de flesta jämförelsesidor skulle sopa under mattan. Sigma-distills kort rapporterar GSM8K, MATH (Minerva), HumanEval, HumanEval+, MBPP och MBPP+ vid tio seeds med två standardfel, plus ett medelvärde över sex uppgifter på 66,36. Lightnings kort rapporterar MMLU Pro, GPQA Diamond, HLE, SciCode, SWE-bench Verified, SWE-bench Multilingual, Terminal-Bench 2.1, PinchBench, BrowseComp, τ³-bench Banking, GDPval-AA-V2, IFBench, AA-LCR och AA-Omniscience. Snittmängden är den tomma mängden. Inte ett enda benchmark förekommer på båda korten.
Det är inte en tillfällighet i rapporteringen. De två utvärderingarna testar medvetet olika saker. Sigmas sex uppgifter är kortsvarsresonemang och kodkomplettering på några hundra token; Lightnings är agentisk mjukvaruutveckling, långkontextsökning och professionell kunskap. En modell med ett fönster på 4 096 token och ingen chattmall kan inte genomföra SWE-bench-harnesset, och en modell som tränats på att slutföra en funktionskropp får inte GPQA-frågor.
Så den enda ärliga gräns man kan dra är denna: på sina egna sex uppgifter ligger Sigma-distill nfe4 i genomsnitt på 66,36 över tio slumpfrön, vilket är ett verkligt tal under ett verkligt protokoll, och det säger ingenting om hur det skulle prestera på något som Lightning mättes på. Den som påstår att den ena slår den andra jämför ingenting.

Hastigheten är där jämförelsen blir intressant — och där den förblir oavgjord
Båda modellerna är snabba på sätt som är svåra att placera på en enda axel, och detta är det enda stället där matchningen har verkligt innehåll.
Sigma-distill genererar 32 tokens per block i exakt 4 avbrusningsutvärderingar plus en utläsning. Fem framåtpassager, 32 tokens: 6,4 tokens per framåtpassage. Eftersom antalet steg fastställs av träningen ändras inte det förhållandet med promptlängd eller utdatallängd — det är en konstant, och kortets inferenskod vägrar låta dig åsidosätta det. Föräldramodellens kort anger 120–140 tokens per sekund på en H100 vid 32 steg per 64-tokenblock; den destillerade varianten publicerar ingen siffra för tokens per sekund alls, så aritmetiken med 6,4 gånger färre passager är inte en uppmätt genomströmning.
Lightning tar den andra vägen. Det är en MoE med 3B aktiva parametrar, så varje forward-pass är billig, och NVIDIA levererar DSpark som rekommenderat standardval för spekulativ avkodning, med DFlash och sina egna multi-token-prediction-huvuden som alternativ. Dess genomströmningssiffror finns inte heller på databladet i tokens per sekund – men nedladdningarna och serveringsreceptet visar att den har körts i produktion, vilket Sigma inte har.
Den avgörande skillnaden: Sigmas uppsnabbning är strukturell och konstant per token, medan Lightnings är spekulativ och beroende av arbetsbelastningen. Ett fast kontrakt med 5 anrop per 32 token är förutsägbart på ett sätt som acceptansgrader för draft aldrig är. Den är också omätbar i dag, eftersom ingen har publicerat en enda genomströmningssiffra för nfe4-checkpointen.
Vad var och en kostar dig att köra
Sigma-distill är 18,06 GB bfloat16-vikter fördelade över fyra shards, inlästa via PyTorch eager-kod från själva repot med trust_remote_code, på en CUDA-GPU, utan paged attention, utan kontinuerlig batchning och utan någon kvantiserad build i samlingen. Det finns inget pris per token eftersom det inte finns någon endpoint: NVIDIA:s kort anger att modellen körs på din hårdvara och att NVIDIA inte tillhandahåller någon tjänst.
Lightning har den motsatta formen. BF16-vikterna är 31,6B parametrar; NVIDIAs egen produktionsrekommendation är att använda NVFP4-bygget i stället, och kortet levereras med ett vLLM-recept (container-tagg vllm/vllm-openai:v0.27.1) med FlashInfer Mamba-backend, FP16 SSM-cache och prefix-cachning, plus en SGLang-avbildning för Hopper och Blackwell. Det finns inget listpris på kortet eller på build.nvidia.com – slutpunkten omfattas av NVIDIAs provvillkor för API:et – men tredjepartsplattformar listar modellen till ungefär $0,05 per miljon indatatoken och $0,20 per miljon utdatatoken. Den siffran är en marknadsplatsobservation, inte ett leverantörspris.
Ingen av modellerna finns i OrcaRouter-katalogen, och det vore oärligt att antyda något annat. Det som finns på OrcaRouter är den omgivande jämförelseuppsättningen: över 200 modeller bakom en enda nyckel, leverantörens listpris förs vidare utan påslag, så en prissänkning uppströms syns samma dag i stället för i en kvartalsvis revidering av prislistan. Om anledningen till att du läser detta är att du behöver välja en baslinje att testa Sigma mot, är det därifrån baslinjen kommer.
Välj efter kuvert, inte efter poäng.
Fyra frågor reder ut det här på under en minut, och ingen av dem handlar om benchmarknoggrannhet:
• Ryms uppgiften i 4 096 tokens? Om inte är Sigma-distill inte aktuellt och frågan är avgjord. Lightnings fönster på en miljon tokens – 256K på en enda H100 – är tre storleksordningar större.
• Kräver uppgiften konversation, verktyg eller strukturerad utdata? Sigma-distill har inget av det: ingen chattmall, ingen systemprompt, inget JSON-läge, stoppsträngar och en tokenbudget som de enda stoppmekanismerna. Lightning levereras med en chattmall med en växel för tänkande.
• Behöver du betjäna mer än en förfrågan åt gången? Sigma har ingen serveringsstack – den väg som stöds är ett Python-skript på en GPU. Lightning har två motorintegrationer och ett publicerat recept för parallellisering.
• Är ditt intresse själva avkodningsmekanismen — blockdiffusion, fåstegsdestillation, självspekulation? Då är Sigma-distill den enda av de två som är intressant, och Lightning är helt fel jämförelse.
Allt annat följer av de fyra. Ett team som utvärderar Sigma för en produkt frågar egentligen om en forskningscheckpoint kan omvandlas till en tjänst; ett team som utvärderar Lightning frågar om en hybrid-MoE med 3B aktiva ryms inom en budget. Det är olika samtal.
Där matchen skulle bli verklig
Två saker skulle göra den här sidan till en riktig direkt jämförelse, och ingen av dem finns ännu.
Den första är en gemensam benchmark. Om Sigma någonsin får ett MMLU Pro- eller GPQA-resultat, eller om Lightning någonsin får ett GSM8K- eller HumanEval-resultat med ett jämförbart promptformat, finns det något att jämföra. Fram till dess är den ärliga hållningen den ovan: två åtskilda utvärderingssviter rapporterade av samma leverantör, för modeller som inte kan genomgå varandras tester.
Det andra är en serveringsväg. Sigma-distill är för närvarande ett repository som du klonar och ett skript som du kör; SGLang-pullförfrågningarna som nämner Nemotron-diffusion riktar sig mot den äldre Nemotron-Labs-Diffusion-8B-linjen och är fortfarande öppna den 17 november, och vLLM:s register har inte någon nemotron_labs_sigma-arkitektur alls. I samma stund som en block-diffusionsmodell med ett fast antal steg får paged attention och batchning blir dess fördel på 6,4 token per pass en siffra du kan ställa bredvid en acceptansgrad för spekulativ avkodning – och den jämförelsen skulle vara värd att publicera.

Fram till dess är den praktiska tolkningen att NVIDIA släppte två modeller för två målgrupper samma höst och att bara en av dem var en produkt. Lightning är den du kan anropa i dag, med det cachebeteende, det kontextfönster och det motorstöd som en tjänst förutsätter. Sigma-distill är den du laddar ner om du bryr dig om huruvida kontinuerlig diffusion vid 8B kan hålla 66,36 på sex uppgifter med fem framåtpasseringar per 32 token – en fråga om avkodning, inte om förmåga, och en som ingen mängd jämförelser med en 30B-MoE kan besvara.

