
Nemotron-Labs-Sigma-distill-8B-nfe4 vs Nemotron-Labs-Sigma: Samma härstamning av vikter, två avkodningskontrakt
- GoogleNYGoogle: Gemini 4 Carbon2026-11-10$2.00 / $10.00 per 1M tokens · 90 tok/s
- AnthropicNYAnthropic: Claude Fable 5.22026-11-09$8.00 / $40.00 per 1M tokens · 97 tok/s
- orcaNYOrca: OrcaC2 1.02026-11-0717 tok/s
- OrcaNYOrcaCyber: GLM 5.3 Abliterated / Uncensored2026-11-04$3.00 / $5.00 per 1M tokens · 88 tok/s
- OrcaNYOrcaCyber: Hy4 Abliterated / Uncensored2026-11-04$0.80 / $1.60 per 1M tokens · 133 tok/s
- OrcaNYOrcaCyber: Kimi K3.1 Pro Abliterated / Uncensored2026-11-04$4.00 / $20.00 per 1M tokens · 72 tok/s
- OrcaOrcaCyber: MiniMax M3.1 Flash Abliterated / Uncensored2026-10-29$0.80 / $1.60 per 1M tokens · 127 tok/s
- OrcaOrcaCyber: GLM 5.3 Flash Abliterated / Uncensored2026-10-27$0.80 / $1.60 per 1M tokens · 65 tok/s
- OrcaOrcaCyber: Qwen3.8 Flash Next Abliterated / Uncensored2026-10-26$0.80 / $1.60 per 1M tokens · 92 tok/s
- OrcaOrcaCyber: MiMo V2.6 Flash Abliterated / Uncensored2026-10-26$0.80 / $1.60 per 1M tokens · 44 tok/s
- MoonshotMoonshotAI: Kimi K3.1 Pro2026-10-2447Intelligens
- OrcaOrcaCyber: DeepSeek V4.1 Flash Abliterated / Uncensored2026-10-23$0.80 / $1.60 per 1M tokens · 193 tok/s
- minimaxMiniMax: M3.1 Flash2026-10-1929Intelligens
- OrcaOrca: OrcaCyber Ultra 1.02026-10-17$5.00 / $10.00 per 1M tokens · 146 tok/s
- deepseekDeepSeek: DeepSeek V4.1 Flash 10172026-10-1733Intelligens
- DeepSeekDeepSeek: DeepSeek V4.1 Flash2026-10-1740Intelligens
- OrcaOrca: OrcaCyber Zero 1.52026-10-10$3.00 / $7.50 per 1M tokens · 124 tok/s
- openaiOpenAI: GPT-6.1 Sol2026-09-2955Intelligens
- anthropicAnthropic: Claude Sonnet 5.52026-09-2855Intelligens
- typesafeTypeSafe: Jev 1.132026-09-24$0.04 / $0.00 per 1M tokens · 218 tok/s
Det förvirrande med Nemotron-Labs-Sigma-distill-8B-nfe4 är att det inte är en bättre Nemotron-Labs-Sigma-8B. Det är en annan fil med ett annat kontrakt, producerad från en lärarmodell i samma härstamning, och skillnaden mellan de två är inte noggrannhet – det är hur många gånger nätverket körs för att avge ett ord. Basmodellen 8B publicerades den 5 oktober 2026 som en förtränad forskningsmodell: 8,49B parametrar, konfigurerbara denoising-steg, classifier-free guidance som du måste ställa in manuellt, och ett modellkort som inte publicerar några resultat alls och i stället hänvisar till arXiv:2610.02665. Den destillerade nfe4 kom den 12 november 2026 med 9,03B parametrar, ett antal steg inbakat i checkpointen, och den enda tabellen per benchmark som NVIDIA har lagt på ett Sigma-kort. Båda är endast på engelska, båda har en gräns på 4 096 token, båda omfattas av samma licens. Valet mellan dem är ett val om hur du vill att modellen ska använda sin beräkningskraft.
Vad skiljer sig egentligen, fil för fil
Båda repositorierna levererar samma model_type – nemotron_labs_sigma – och båda laddas på samma sätt, med trust_remote_code och en modelleringsfil på 40 KB från repot. Konfigurationerna skiljer sig på sätt som spelar roll vid inferens och nästan inte alls i backbone:
• Backbone – identisk form på båda: 34 lager, hidden size 4 096, FFN 14 336, 32 query-huvuden och 8 key-value-huvuden, SwiGLU, RoPE, vokabulär på 131 072 token.
• Parametrar — 8,49B (8 489 947 136 BF16 plus 2 097 186 F32) för basmodellen, 9,03B (9 026 818 048 BF16 plus samma antal F32) för distill. De extra 537M är det extra autoregressiva utläsningshuvudet som distill behåller vid sidan av diffusionshuvudet.
• Vikter på disk — 16,99 GB mot 18,06 GB, fyra shards vardera.
• Kontext — 4 096 token för både bas- och destillationsmodellen. Instruct-varianten i samma samling höjer detta till 8 192 och lägger till en chattmall; ingen av modellerna här har en.
• Steg — basmodellen exponerar steps och block_length vid anropstillfället och dess kort publicerar en tabell per budget; destillatet accepterar ingen överstyrning alls.
• Guidning – basmodellen behöver classifier-free guidance (3.0 vid 32 och 16 steg, 2.0 vid 4) och en justerad score-temperatur; distill-modellen körs med CFG 1 och score-temperatur 1, vilket innebär ingen guidning och ingen justering.
• Sampler — basmodellen är dokumenterad för DDIM på ett log_snr-rutnät med 64-tokenblock som standard; distillatet använder fresh_x0 med self-conditioning som bärs vidare mellan stegen och 32-tokenblock.
Antalet steg är inte en inställning på den destillerade modellen
Det här är meningen i modellkortet som ger hela jämförelsen en ny inramning: "Antalet avbrusningssteg fastställs av träningen: den här varianten är endast tränad för NFE=4, och den medföljande inferenskoden exponerar avsiktligt ingen godtycklig överstyrning av steg (andra stegantal skulle utvärdera otränade fasändpunkter)."
Phased DMD destillerar en trajektoria, och en destillerad trajektoria har fasändpunkter vid specifika brusnivåer. Ber du en fyrastegsstudent att ta åtta steg kör du den inte långsammare för bättre kvalitet — du ber den utvärdera på brusnivåer som den aldrig har tränats på. Kortet säger att utdata försämras. Det finns ingen ratt.
Basmodellen är det motsatta. Dess kort ger dig tabellen – DDIM-32 med CFG 3 och score-temperatur 0,3, DDIM-16 med CFG 3 och 0,4, DDIM-8 med CFG 3 och 0,6, DDIM-4 med CFG 2 och 0,8 – och lägger sedan till varningen att de förtränade modellerna under ungefär 16 steg tappar märkbart i kvalitet, och att generering med få steg i stället bör använda de destillerade varianterna.
Lästa tillsammans utgör de två uttalandena från samma organisation en arbetsfördelning: basen är det du justerar, destillatet är det du inte justerar. Om du vill ha en ratt, ta basen. Om du vill ha en konstant, ta destillatet.

Aritmetiken som skiljer dem åt
Sätt de två kontrakten i samma enheter så blir det uppenbart varför den destillerade filen finns.
• Base vid sin rekommenderade inställning – 33 denoiser-anrop per 64-tokenblock (32 steg plus en utläsning), vilket är 1,9 tokens per framåtpassning.
• Bas vid 4 steg – 5 anrop per 64-tokenblock, 12,8 tokens per pass, men kortet varnar för att kvaliteten sjunker märkbart under 16 steg.
• Destillera nfe4 – 5 anrop per 32-token-block, 6,4 tokens per pass, med en kvalitet som kortet redovisar.
• Destillera nfe8 — 9 anrop per 32-tokenblock, 3,6 token per pass och 4 poäng bättre på medelvärdet för de sex uppgifterna.
Så den destillerade nfe4 ligger mellan basens säkra arbetspunkt och dess osäkra: tre gånger färre forward-passar per token än den rekommenderade baskonfigurationen, med ett stegantal som modellen faktiskt tränades för. Det är hela premissen för släppet, och det är en premiss om beräkningskraft, inte om intelligens.
Vad det inte är är en uppmätt genomströmning. Baskortet rapporterar ungefär 120–140 tokens per sekund för 256 genererade tokens på en H100 med DDPM vid 32 steg per 64-tokenblock. Det destillerade kortet publicerar ingen siffra för tokens per sekund. Anropskvoterna ovan är aritmetik på publicerade stegantal; behandla dem som sådana.
Vilken har nummer, och vad de är värda
Här går de två korten kraftigt isär, och i en riktning som är obehaglig för basen.
Nemotron-Labs-Sigma-8B publicerar ingen benchmarktabell. Dess utvärderingsavsnitt består av två meningar som säger att resultaten "rapporteras i den tekniska rapporten". Allt du kan veta om dess träffsäkerhet måste du hämta från arXiv:2610.02665 – en artikel som täcker 3B- och 8B-familjen, både bas- och destillerade modeller, och vars sammanfattning hävdar att modellerna slår maskerade diffusionsspråkmodeller och autoregressiva baslinjer med de största konsekventa vinsterna på kodning.
Det destillerade nfe4-kortet publicerar faktiskt siffror, vid tio slumpfrön med två standardfel: GSM8K 86,86 ± 0,28, MATH 61,52 ± 0,20, HumanEval 60,61 ± 1,43, HumanEval+ 57,99 ± 1,20, MBPP 57,50 ± 0,61, MBPP+ 73,70 ± 1,07, medelvärde över sex uppgifter 66,36 ± 0,46. Nio av de tio slumpfrövärdena ligger i intervallet 42 till 51, så protokollet är beskrivet tillräckligt exakt för att kunna reproduceras.
Korten kan därför inte tillsammans berätta vad destillationen kostade. Det är det enskilt mest användbara talet i den här jämförelsen, och det saknas, eftersom lärarkortet inte har någon tabell att subtrahera från. Artikeln är den enda platsen där påståendet finns, och formuleringen är riktningsgivande: ungefär 8× snabbare på matematik och 4× snabbare på kodning från distillation genom fördelningsmatchning ”med mindre noggrannhetsförlust”. Dessa multiplikatorer rapporteras i artikeln, inte i korten, och de avser familjens egna experiment snarare än en kontrollerad jämförelse av de två exakta checkpoints som finns på hubben i dag.
Ytterligare en komplikation i själva distill-linjen: nfe16-syskonet är markerat pending_ten_seed_six_task_validation. Dess medelvärde över tre uppgifter på 74,50 kommer från en enda seed-42-körning, och kortet säger att det inte ska jämföras med de andra varianternas tio-seed-medelvärden. Så "den största är bäst" är en tolkning som kortet uttryckligen avvisar att stödja.
Det tredje alternativet som ingen nämner
Samlingen innehåller en variant som inte är någon av de två modellerna i den här jämförelsen och som utan tvekan är den mest intressanta filen i den: Nemotron-Labs-Sigma-distill-spec-8B. Det är samma MS-SUSReg-8B-lärare, destillerad med ett ytterligare acceptansmål, och i stället för att köras som en ren fåstegssamplare utarbetar den ett block på 32 token med sitt diffusionshuvud och verifierar det med sitt eget autoregressiva huvud. Varje omgång kostar ett diffusionsanrop, och accepterade token skickas ut utan ytterligare en framåtpassning. Modellkortet anger att den returnerade texten är exakt den giriga autoregressiva utdatan — acceptans ändrar genomströmningen, aldrig innehållet.
De publicerade acceptanssiffrorna, en enda ögonblicksbild: genomsnittlig accepterad längd 7,91 på HumanEval, 11,86 på GSM8K, 13,37 på MBPP, bonustoken inkluderad, bootstrap-rundan exkluderad. Det är genomströmningsmått, inte noggrannhetsmått, och de är inte jämförbara med nfe4:s noggrannhetstabell — en distinktion som kortet gör i fetstil.
I praktiken är detta den variant att hålla ögonen på om frågan är "kan ett diffusionshuvud accelerera en modell utan att ändra vad den säger". Den är inte en direkt ersättning för någon av modellerna i den här jämförelsen: den kräver generate_speculative, båda huvudena och att självkonditionering är avstängd.

Hur man väljer i praktiken
Beslutet kokar ner till fyra kontroller, och den första eliminerar helt ena sidan för de flesta läsare:
• Forskar du på själva samplingsprocessen – guidance-scheman, antal steg, banstyrning, beteendet hos classifier-free guidance? Basen är modellen, eftersom det är den som har rattarna och budgettabellen.
• Bygger du något som genererar text till en fast kostnad per token och inte vill ha en justeringsyta? nfe4 distill är modellen, eftersom CFG 1 och score temperature 1 är en fullständig konfiguration.
• Behöver du en assistent? Inte det heller. Det finns ingen chattmall i något av repositorierna, ingen systemprompt, inget verktygsanrop, och basmodellens kort säger rakt ut att den inte är en instruktionsföljare. Det är instruct-varianterna med 8,192 tokens kontext som är avsedda för det.
• Behöver du ett riktmärke som du kan citera? Endast distill har ett, och det är NVIDIAs eget.
Ingen av de fyra frågar efter parameterantal, vilket är tecknet på att detta inte är en storleksjämförelse. Skillnaden på 537M parametrar är priset för att behålla det autoregressiva huvudet i filen, och den ger ingenting för nfe4:s rena diffusionsväg – den finns där eftersom samma arkitektur också ligger till grund för spec-varianten.
Poängen med paret
NVIDIA byggde en och samma stomme och släppte den två gånger: en gång som något att studera och en gång som något att köra. Det är en sammanhållen strategi, och det är anledningen till att de två korten läses så olika — baskortet är skrivet för en forskare som kommer att byta ut samplern, distillkortet för en utvecklare som inte kommer att göra det.
Det som paret fortfarande saknar är det som skulle göra det möjligt att granska bytet ärligt: ett lärarpoäng. Så länge 8B-baskortet inte har samma tabell med sex uppgifter som distill har, är varje påstående om vad destillationen gav ett påstående om artikelns experiment på familjenivå snarare än om dessa två filer. Om NVIDIA lägger till den tabellen – och baskortets senaste redigering den 16 november tyder på att repositorierna fortfarande underhålls – blir jämförelsen en subtraktion i stället för en rekonstruktion.
För närvarande är den praktiska tolkningen snäv och användbar: välj basmodellen om du vill utforska hur en kontinuerlig diffusions-LM beter sig under olika stegbudgetar, välj nfe4 om du vill ha fast 6,4 token per framåtpassning vid en publicerad noggrannhet, och hoppa över båda om du behöver en chattmodell eller ett kontextfönster som är längre än ett långt memo. Ingen av dem finns i OrcaRouter-katalogen i dag, och ingen av dem kommer att göra det förrän det finns en serveringsväg för en blockdiffusionsarkitektur – det OrcaRouter däremot erbjuder är de över 200 autoregressiva modeller som du skulle benchmarka endera av dem mot, med en enda nyckel till leverantörens listpris utan påslag och med automatisk failover om du vill isolera experimentet från produktionsvägen.

