
Nemotron-Labs-Sigma-distill-8B-nfe4 vs Nemotron-Labs-Sigma: stessa discendenza di pesi, due contratti di decodifica
- GoogleNUOVOGoogle: Gemini 4 Carbon2026-11-10$2.00 / $10.00 per 1M di token · 90 tok/s
- AnthropicNUOVOAnthropic: Claude Fable 5.22026-11-09$8.00 / $40.00 per 1M di token · 97 tok/s
- orcaNUOVOOrca: OrcaC2 1.02026-11-0717 tok/s
- OrcaNUOVOOrcaCyber: GLM 5.3 Abliterated / Uncensored2026-11-04$3.00 / $5.00 per 1M di token · 88 tok/s
- OrcaNUOVOOrcaCyber: Hy4 Abliterated / Uncensored2026-11-04$0.80 / $1.60 per 1M di token · 133 tok/s
- OrcaNUOVOOrcaCyber: Kimi K3.1 Pro Abliterated / Uncensored2026-11-04$4.00 / $20.00 per 1M di token · 72 tok/s
- OrcaOrcaCyber: MiniMax M3.1 Flash Abliterated / Uncensored2026-10-29$0.80 / $1.60 per 1M di token · 127 tok/s
- OrcaOrcaCyber: GLM 5.3 Flash Abliterated / Uncensored2026-10-27$0.80 / $1.60 per 1M di token · 65 tok/s
- OrcaOrcaCyber: Qwen3.8 Flash Next Abliterated / Uncensored2026-10-26$0.80 / $1.60 per 1M di token · 92 tok/s
- OrcaOrcaCyber: MiMo V2.6 Flash Abliterated / Uncensored2026-10-26$0.80 / $1.60 per 1M di token · 44 tok/s
- MoonshotMoonshotAI: Kimi K3.1 Pro2026-10-2447Intelligenza
- OrcaOrcaCyber: DeepSeek V4.1 Flash Abliterated / Uncensored2026-10-23$0.80 / $1.60 per 1M di token · 193 tok/s
- minimaxMiniMax: M3.1 Flash2026-10-1929Intelligenza
- OrcaOrca: OrcaCyber Ultra 1.02026-10-17$5.00 / $10.00 per 1M di token · 146 tok/s
- deepseekDeepSeek: DeepSeek V4.1 Flash 10172026-10-1733Intelligenza
- DeepSeekDeepSeek: DeepSeek V4.1 Flash2026-10-1740Intelligenza
- OrcaOrca: OrcaCyber Zero 1.52026-10-10$3.00 / $7.50 per 1M di token · 124 tok/s
- openaiOpenAI: GPT-6.1 Sol2026-09-2955Intelligenza
- anthropicAnthropic: Claude Sonnet 5.52026-09-2855Intelligenza
- typesafeTypeSafe: Jev 1.132026-09-24$0.04 / $0.00 per 1M di token · 218 tok/s
La cosa confusa di Nemotron-Labs-Sigma-distill-8B-nfe4 è che non è un Nemotron-Labs-Sigma-8B migliore. È un file diverso con un contratto diverso, prodotto da un teacher della stessa discendenza, e la differenza tra i due non è l'accuratezza: è quante volte la rete viene eseguita per emettere una parola. L'8B di base è stato pubblicato il 5 ottobre 2026 come modello di ricerca preaddestrato: 8,49 miliardi di parametri, passaggi di denoising configurabili, classifier-free guidance da mettere a punto manualmente e una scheda che non pubblica alcun punteggio e rimanda invece ad arXiv:2610.02665. Il distillato nfe4 è arrivato il 12 novembre 2026 con 9,03 miliardi di parametri, un numero di passaggi incorporato nel checkpoint e l'unica tabella per benchmark che NVIDIA abbia messo su una scheda Sigma. Entrambi sono solo in inglese, entrambi hanno un limite di 4.096 token, entrambi sono sotto la stessa licenza. La scelta tra i due riguarda come vuoi che il modello spenda la sua potenza di calcolo.
Che cosa cambia davvero, file per file
Entrambi i repository includono lo stesso model_type — nemotron_labs_sigma — ed entrambi vengono caricati allo stesso modo, con trust_remote_code e un file di modellazione da 40 KB proveniente dal repository. Le configurazioni differiscono in modi che contano in fase di inferenza e quasi per nulla nel backbone:
• Backbone — struttura identica su entrambi: 34 layer, dimensione nascosta 4.096, FFN 14.336, 32 teste query e 8 teste chiave-valore, SwiGLU, RoPE, vocabolario da 131.072 token.
• Parametri — 8.49B (8,489,947,136 BF16 più 2,097,186 F32) per la versione base, 9.03B (9,026,818,048 BF16 più lo stesso numero di F32) per la versione distillata. I 537M extra sono la testa di lettura autoregressiva ausiliaria che la versione distillata mantiene accanto alla testa di diffusione.
• Pesi su disco — 16,99 GB contro 18,06 GB, quattro shard ciascuno.
• Contesto — 4.096 token sia per la versione base sia per quella distillata. La variante instruct nella stessa raccolta lo porta a 8.192 e aggiunge un template di chat; nessuno dei due modelli qui ne dispone.
• Passi — la base espone steps e block_length al momento della chiamata e la sua scheda pubblica una tabella per budget; il distill non accetta alcun override.
• Indicazioni — il modello base necessita di classifier-free guidance (3.0 a 32 e 16 passi, 2.0 a 4) e di una score temperature ottimizzata; la versione distillata gira a CFG 1 e score temperature 1, ovvero senza guidance e senza ottimizzazione.
• Sampler — la base è documentata per DDIM su una griglia log_snr con blocchi da 64 token per impostazione predefinita; la distillazione utilizza fresh_x0 con self-conditioning mantenuto tra i passaggi e blocchi da 32 token.
Il numero di passaggi non è un'impostazione del modello distillato
Questa è la frase nella model card che riformula l'intero confronto: «Il numero di passaggi di denoising è fissato dall'addestramento: questa variante è addestrata solo per NFE=4, e il codice di inferenza fornito in dotazione non espone intenzionalmente alcuna sovrascrittura arbitraria del numero di passaggi (altri conteggi di passaggi valuterebbero endpoint di fase non addestrati).»
Il DMD a fasi distilla una traiettoria, e una traiettoria distillata ha punti finali di fase a livelli di rumore specifici. Chiedi a uno student a quattro passi di farne otto e non lo stai eseguendo più lentamente per ottenere una qualità migliore: gli stai chiedendo di valutare a livelli di rumore su cui non è mai stato addestrato. La scheda dice che l'output peggiora. Non c'è alcuna manopola.
La base è l'opposto. La sua scheda riporta la tabella — DDIM-32 con CFG 3 e temperatura dello score 0,3, DDIM-16 con CFG 3 e 0,4, DDIM-8 con CFG 3 e 0,6, DDIM-4 con CFG 2 e 0,8 — e poi aggiunge l'avvertenza che al di sotto di circa 16 passi i modelli preaddestrati perdono qualità in modo evidente, e che per la generazione a pochi passi si dovrebbero usare invece le varianti distillate.
Letti insieme, quei due enunciati della stessa organizzazione sono una divisione del lavoro: la base è ciò che si regola, il distillato è ciò che non si regola. Se vuoi una manopola, prendi la base. Se vuoi una costante, prendi il distillato.

L'aritmetica che li separa
Metti i due contratti nelle stesse unità e il motivo per cui esiste il file distillato diventa ovvio.
• Base con l'impostazione consigliata — 33 chiamate al denoiser per blocco di 64 token (32 step più una lettura), ovvero 1,9 token per forward pass.
• Base a 4 passi — 5 chiamate per blocco da 64 token, 12,8 token per passaggio, ma la scheda avverte che la qualità cala sensibilmente sotto i 16 passi.
Distilla nfe4 — 5 chiamate per blocco di 32 token, 6,4 token per passaggio, con una qualità che la scheda pubblica.
• Distill nfe8 — 9 chiamate per blocco di 32 token, 3,6 token per passata e 4 punti in più sulla media dei sei task.
Quindi il nfe4 distillato si colloca tra il punto operativo sicuro della base e quello non sicuro: tre volte meno passaggi in avanti per token rispetto alla configurazione base consigliata, con un numero di step per cui il modello è stato effettivamente addestrato. Questa è l'intera premessa del rilascio, ed è una premessa sulla potenza di calcolo, non sull'intelligenza.
Quello che non è è un throughput misurato. La scheda base riporta circa 120–140 token al secondo per 256 token generati su una H100 con DDPM a 32 passi per blocco da 64 token. La scheda distillata non pubblica alcun dato di token al secondo. I rapporti del numero di chiamate sopra sono aritmetica basata sui conteggi di passi pubblicati; trattateli come tali.
Quale ha i numeri e quanto valgono
Qui le due carte divergono nettamente, e in una direzione scomoda per la base.
Nemotron-Labs-Sigma-8B non pubblica alcuna tabella di benchmark. La sua sezione di valutazione è composta da due frasi che affermano che i risultati «sono riportati nel rapporto tecnico». Tutto ciò che puoi sapere sulla sua accuratezza devi ricavarlo da arXiv:2610.02665 — un articolo che copre la famiglia 3B e 8B, sia base sia distillata, e il cui abstract afferma che i modelli superano i LM a diffusione mascherata e i baseline autoregressivi, con i maggiori guadagni costanti sul coding.
La scheda distillata nfe4 pubblica i numeri, su dieci seed con due errori standard: GSM8K 86,86 ± 0,28, MATH 61,52 ± 0,20, HumanEval 60,61 ± 1,43, HumanEval+ 57,99 ± 1,20, MBPP 57,50 ± 0,61, MBPP+ 73,70 ± 1,07, media delle sei attività 66,36 ± 0,46. Nove dei dieci valori di seed sono nell'intervallo 42-51, quindi il protocollo è descritto in modo sufficientemente preciso da poter essere riprodotto.
Considerate come coppia, quindi, le card non possono dirti quanto è costata la distillazione. È il singolo numero più utile in questo confronto ed è assente, perché la card del modello insegnante non contiene una tabella da cui sottrarre. Il paper è l'unico luogo in cui vive l'affermazione, e la sua formulazione è direzionale: circa 8× di accelerazione sulla matematica e 4× sul coding grazie alla distillazione con distribution matching, "con una lieve perdita di accuratezza". Quei moltiplicatori sono riportati nel paper, non nelle card, e si riferiscono agli esperimenti della famiglia stessa, non a un confronto controllato degli esatti due checkpoint presenti oggi sull'hub.
Un'ulteriore complicazione nella stessa linea distill: la variante gemella nfe16 è contrassegnata come pending_ten_seed_six_task_validation. La sua media su tre task di 74.50 proviene da un'unica esecuzione con seed-42 e la scheda indica di non confrontarla con le medie su dieci seed delle altre varianti. Quindi "il più grande è il migliore" è una lettura che la scheda dichiara esplicitamente di non poter sostenere.
La terza opzione che nessuno nomina
La raccolta contiene una variante che non corrisponde a nessuno dei due modelli di questo confronto ed è verosimilmente il file più interessante al suo interno: Nemotron-Labs-Sigma-distill-spec-8B. È lo stesso teacher MS-SUSReg-8B, distillato con un obiettivo di accettazione aggiuntivo e, invece di funzionare come un puro campionatore a pochi passi, abbozza un blocco di 32 token con la sua testa di diffusione e lo verifica con la propria testa autoregressiva. Ogni round costa una chiamata di diffusione e i token accettati vengono emessi senza un ulteriore forward pass. La scheda afferma che il testo restituito è esattamente l'output autoregressivo greedy: l'accettazione cambia il throughput, mai il contenuto.
I valori di accettazione pubblicati, snapshot singolo: lunghezza media accettata 7,91 su HumanEval, 11,86 su GSM8K, 13,37 su MBPP, token bonus incluso, round bootstrap escluso. Queste sono misure di throughput, non misure di accuratezza, e non sono confrontabili con la tabella di accuratezza di nfe4 — una distinzione che la scheda evidenzia in grassetto.
In pratica, questa è la variante da tenere d'occhio se la domanda è «una testa diffusion può accelerare un modello senza cambiarne ciò che dice». Non è un sostituto diretto per nessuno dei due modelli in questo confronto: richiede generate_speculative, entrambe le teste e self-conditioning disattivato.

Come scegliere nella pratica
La decisione si riduce a quattro verifiche, e la prima elimina del tutto un lato per la maggior parte dei lettori:
• Stai studiando il processo di campionamento stesso — pianificazioni della guidance, numero di passi, steering della traiettoria, comportamento del classifier-free guidance? La base è il modello, perché è quello che ha le manopole e la tabella per budget.
• Stai costruendo qualcosa che genera testo a un costo fisso per token e non vuoi una superficie di tuning? Il distill nfe4 è il modello, perché CFG 1 e score temperature 1 costituiscono una configurazione completa.
• Ti serve un assistente? Nemmeno. Non c'è alcun template di chat in nessuno dei due repository, nessun system prompt, nessun tool calling, e la scheda base dice chiaramente che non è un esecutore di istruzioni. Le varianti instruct con 8,192 token di contesto sono quelle pensate per questo.
• Ti serve un benchmark che puoi citare? Solo il distill ne ha uno, ed è quello di NVIDIA stesso.
Nessuna delle quattro chiede il numero di parametri, il che segnala che non si tratta di un confronto dimensionale. La differenza di 537M parametri è il prezzo da pagare per mantenere la testa autoregressiva nel file, e non offre alcun vantaggio per il percorso di diffusione puro di nfe4 — è lì perché la stessa architettura è alla base anche della variante spec.
Il senso della coppia
NVIDIA ha costruito una sola base e l'ha rilasciata due volte: una come qualcosa da studiare e una come qualcosa da eseguire. È una strategia coerente, ed è il motivo per cui le due schede risultano così diverse — la scheda base è pensata per un ricercatore che modificherà il sampler, quella distill per uno sviluppatore che non lo farà.
Ciò che ancora manca alla coppia è la cosa che ti permetterebbe di verificare onestamente il trade-off: un punteggio del teacher. Finché la scheda base 8B non riporta la stessa tabella a sei attività riportata dal distillato, ogni affermazione su ciò che la distillazione ha apportato è un’affermazione sugli esperimenti a livello di famiglia del paper anziché su questi due file. Se NVIDIA aggiunge quella tabella — e l’ultima modifica della scheda base il 16 novembre suggerisce che i repository sono ancora mantenuti — questo confronto diventa una sottrazione invece di una ricostruzione.
Per ora, la lettura pratica è ristretta e utile: scegli la base se vuoi esplorare come si comporta un LM a diffusione continua con diversi budget di passi, scegli nfe4 se vuoi una quantità fissa di 6,4 token per passaggio in avanti a un'accuratezza pubblicata, e salta entrambi se ti serve un modello chat o una finestra di contesto più lunga di un lungo memo. Nessuno dei due è oggi nel catalogo OrcaRouter, e nessuno dei due lo sarà finché non esisterà un percorso di serving per un'architettura a diffusione a blocchi — ciò che OrcaRouter offre, invece, sono i oltre 200 modelli autoregressivi rispetto ai quali testeresti l'uno o l'altro, con una sola chiave al prezzo di listino del provider senza ricarichi, e con failover automatico se vuoi isolare l'esperimento dal percorso di produzione.

