Una card di titolo generata che recita Nemotron-Labs-Sigma-distill-8B-nfe4 vs Nemotron-Labs-Sigma, con sottotitolo stesso lignaggio, due contratti di decodifica, con quattro riquadri statistici: base a 8,49B parametri con passi DDIM configurabili, distillato a 9,03B con 4 valutazioni di denoising fisse per blocco, download della base 106 contro 5 per il distillato, e un piè di pagina che segnala che tutte le cifre provengono dalle model card NVIDIA e che non esiste un benchmark indipendente per nessuno dei due.
Guides & Insights

Nemotron-Labs-Sigma-distill-8B-nfe4 vs Nemotron-Labs-Sigma: stessa discendenza di pesi, due contratti di decodifica

Autore

jinhao.song

Data di pubblicazione

Ultimi modelli · 20Vedi tutti i modelli →
Benchmark: Artificial Analysis · aggiornato ogni giorno
Torna a tutti gli articoli

La cosa confusa di Nemotron-Labs-Sigma-distill-8B-nfe4 è che non è un Nemotron-Labs-Sigma-8B migliore. È un file diverso con un contratto diverso, prodotto da un teacher della stessa discendenza, e la differenza tra i due non è l'accuratezza: è quante volte la rete viene eseguita per emettere una parola. L'8B di base è stato pubblicato il 5 ottobre 2026 come modello di ricerca preaddestrato: 8,49 miliardi di parametri, passaggi di denoising configurabili, classifier-free guidance da mettere a punto manualmente e una scheda che non pubblica alcun punteggio e rimanda invece ad arXiv:2610.02665. Il distillato nfe4 è arrivato il 12 novembre 2026 con 9,03 miliardi di parametri, un numero di passaggi incorporato nel checkpoint e l'unica tabella per benchmark che NVIDIA abbia messo su una scheda Sigma. Entrambi sono solo in inglese, entrambi hanno un limite di 4.096 token, entrambi sono sotto la stessa licenza. La scelta tra i due riguarda come vuoi che il modello spenda la sua potenza di calcolo.

Che cosa cambia davvero, file per file

Entrambi i repository includono lo stesso model_type — nemotron_labs_sigma — ed entrambi vengono caricati allo stesso modo, con trust_remote_code e un file di modellazione da 40 KB proveniente dal repository. Le configurazioni differiscono in modi che contano in fase di inferenza e quasi per nulla nel backbone:

• Backbone — struttura identica su entrambi: 34 layer, dimensione nascosta 4.096, FFN 14.336, 32 teste query e 8 teste chiave-valore, SwiGLU, RoPE, vocabolario da 131.072 token.

• Parametri — 8.49B (8,489,947,136 BF16 più 2,097,186 F32) per la versione base, 9.03B (9,026,818,048 BF16 più lo stesso numero di F32) per la versione distillata. I 537M extra sono la testa di lettura autoregressiva ausiliaria che la versione distillata mantiene accanto alla testa di diffusione.

• Pesi su disco — 16,99 GB contro 18,06 GB, quattro shard ciascuno.

• Contesto — 4.096 token sia per la versione base sia per quella distillata. La variante instruct nella stessa raccolta lo porta a 8.192 e aggiunge un template di chat; nessuno dei due modelli qui ne dispone.

• Passi — la base espone steps e block_length al momento della chiamata e la sua scheda pubblica una tabella per budget; il distill non accetta alcun override.

• Indicazioni — il modello base necessita di classifier-free guidance (3.0 a 32 e 16 passi, 2.0 a 4) e di una score temperature ottimizzata; la versione distillata gira a CFG 1 e score temperature 1, ovvero senza guidance e senza ottimizzazione.

• Sampler — la base è documentata per DDIM su una griglia log_snr con blocchi da 64 token per impostazione predefinita; la distillazione utilizza fresh_x0 con self-conditioning mantenuto tra i passaggi e blocchi da 32 token.

Il numero di passaggi non è un'impostazione del modello distillato

Questa è la frase nella model card che riformula l'intero confronto: «Il numero di passaggi di denoising è fissato dall'addestramento: questa variante è addestrata solo per NFE=4, e il codice di inferenza fornito in dotazione non espone intenzionalmente alcuna sovrascrittura arbitraria del numero di passaggi (altri conteggi di passaggi valuterebbero endpoint di fase non addestrati).»

Il DMD a fasi distilla una traiettoria, e una traiettoria distillata ha punti finali di fase a livelli di rumore specifici. Chiedi a uno student a quattro passi di farne otto e non lo stai eseguendo più lentamente per ottenere una qualità migliore: gli stai chiedendo di valutare a livelli di rumore su cui non è mai stato addestrato. La scheda dice che l'output peggiora. Non c'è alcuna manopola.

La base è l'opposto. La sua scheda riporta la tabella — DDIM-32 con CFG 3 e temperatura dello score 0,3, DDIM-16 con CFG 3 e 0,4, DDIM-8 con CFG 3 e 0,6, DDIM-4 con CFG 2 e 0,8 — e poi aggiunge l'avvertenza che al di sotto di circa 16 passi i modelli preaddestrati perdono qualità in modo evidente, e che per la generazione a pochi passi si dovrebbero usare invece le varianti distillate.

Letti insieme, quei due enunciati della stessa organizzazione sono una divisione del lavoro: la base è ciò che si regola, il distillato è ciò che non si regola. Se vuoi una manopola, prendi la base. Se vuoi una costante, prendi il distillato.

A generated diagram comparing the decoding contracts of the two models: the base Nemotron-Labs-Sigma-8B shown as a configurable path of 32, 16, 8 or 4 denoising steps per 64-token block with classifier-free guidance of 3, 3, 3 or 2 and score temperatures of 0.3, 0.4, 0.6 and 0.8, against the distilled nfe4 shown as a single fixed path of 4 denoising evaluations plus one readout per 32-token block at guidance 1 and temperature 1.

L'aritmetica che li separa

Metti i due contratti nelle stesse unità e il motivo per cui esiste il file distillato diventa ovvio.

• Base con l'impostazione consigliata — 33 chiamate al denoiser per blocco di 64 token (32 step più una lettura), ovvero 1,9 token per forward pass.

• Base a 4 passi — 5 chiamate per blocco da 64 token, 12,8 token per passaggio, ma la scheda avverte che la qualità cala sensibilmente sotto i 16 passi.

Distilla nfe4 — 5 chiamate per blocco di 32 token, 6,4 token per passaggio, con una qualità che la scheda pubblica.

• Distill nfe8 — 9 chiamate per blocco di 32 token, 3,6 token per passata e 4 punti in più sulla media dei sei task.

Quindi il nfe4 distillato si colloca tra il punto operativo sicuro della base e quello non sicuro: tre volte meno passaggi in avanti per token rispetto alla configurazione base consigliata, con un numero di step per cui il modello è stato effettivamente addestrato. Questa è l'intera premessa del rilascio, ed è una premessa sulla potenza di calcolo, non sull'intelligenza.

Quello che non è è un throughput misurato. La scheda base riporta circa 120–140 token al secondo per 256 token generati su una H100 con DDPM a 32 passi per blocco da 64 token. La scheda distillata non pubblica alcun dato di token al secondo. I rapporti del numero di chiamate sopra sono aritmetica basata sui conteggi di passi pubblicati; trattateli come tali.

Quale ha i numeri e quanto valgono

Qui le due carte divergono nettamente, e in una direzione scomoda per la base.

Nemotron-Labs-Sigma-8B non pubblica alcuna tabella di benchmark. La sua sezione di valutazione è composta da due frasi che affermano che i risultati «sono riportati nel rapporto tecnico». Tutto ciò che puoi sapere sulla sua accuratezza devi ricavarlo da arXiv:2610.02665 — un articolo che copre la famiglia 3B e 8B, sia base sia distillata, e il cui abstract afferma che i modelli superano i LM a diffusione mascherata e i baseline autoregressivi, con i maggiori guadagni costanti sul coding.

La scheda distillata nfe4 pubblica i numeri, su dieci seed con due errori standard: GSM8K 86,86 ± 0,28, MATH 61,52 ± 0,20, HumanEval 60,61 ± 1,43, HumanEval+ 57,99 ± 1,20, MBPP 57,50 ± 0,61, MBPP+ 73,70 ± 1,07, media delle sei attività 66,36 ± 0,46. Nove dei dieci valori di seed sono nell'intervallo 42-51, quindi il protocollo è descritto in modo sufficientemente preciso da poter essere riprodotto.

Considerate come coppia, quindi, le card non possono dirti quanto è costata la distillazione. È il singolo numero più utile in questo confronto ed è assente, perché la card del modello insegnante non contiene una tabella da cui sottrarre. Il paper è l'unico luogo in cui vive l'affermazione, e la sua formulazione è direzionale: circa 8× di accelerazione sulla matematica e 4× sul coding grazie alla distillazione con distribution matching, "con una lieve perdita di accuratezza". Quei moltiplicatori sono riportati nel paper, non nelle card, e si riferiscono agli esperimenti della famiglia stessa, non a un confronto controllato degli esatti due checkpoint presenti oggi sull'hub.

Un'ulteriore complicazione nella stessa linea distill: la variante gemella nfe16 è contrassegnata come pending_ten_seed_six_task_validation. La sua media su tre task di 74.50 proviene da un'unica esecuzione con seed-42 e la scheda indica di non confrontarla con le medie su dieci seed delle altre varianti. Quindi "il più grande è il migliore" è una lettura che la scheda dichiara esplicitamente di non poter sostenere.

La terza opzione che nessuno nomina

La raccolta contiene una variante che non corrisponde a nessuno dei due modelli di questo confronto ed è verosimilmente il file più interessante al suo interno: Nemotron-Labs-Sigma-distill-spec-8B. È lo stesso teacher MS-SUSReg-8B, distillato con un obiettivo di accettazione aggiuntivo e, invece di funzionare come un puro campionatore a pochi passi, abbozza un blocco di 32 token con la sua testa di diffusione e lo verifica con la propria testa autoregressiva. Ogni round costa una chiamata di diffusione e i token accettati vengono emessi senza un ulteriore forward pass. La scheda afferma che il testo restituito è esattamente l'output autoregressivo greedy: l'accettazione cambia il throughput, mai il contenuto.

I valori di accettazione pubblicati, snapshot singolo: lunghezza media accettata 7,91 su HumanEval, 11,86 su GSM8K, 13,37 su MBPP, token bonus incluso, round bootstrap escluso. Queste sono misure di throughput, non misure di accuratezza, e non sono confrontabili con la tabella di accuratezza di nfe4 — una distinzione che la scheda evidenzia in grassetto.

In pratica, questa è la variante da tenere d'occhio se la domanda è «una testa diffusion può accelerare un modello senza cambiarne ciò che dice». Non è un sostituto diretto per nessuno dei due modelli in questo confronto: richiede generate_speculative, entrambe le teste e self-conditioning disattivato.

Screenshot of the Hugging Face model card for nvidia/Nemotron-Labs-Sigma-8B, showing the description of an 8-billion-parameter continuous diffusion language model that denoises in a 16-dimensional continuous token-embedding space and decodes in parallel blocks using DDPM or DDIM samplers, the note that this is the base pretrained model rather than an instruction follower, and the NVIDIA Nemotron Open Model License.

Come scegliere nella pratica

La decisione si riduce a quattro verifiche, e la prima elimina del tutto un lato per la maggior parte dei lettori:

• Stai studiando il processo di campionamento stesso — pianificazioni della guidance, numero di passi, steering della traiettoria, comportamento del classifier-free guidance? La base è il modello, perché è quello che ha le manopole e la tabella per budget.

• Stai costruendo qualcosa che genera testo a un costo fisso per token e non vuoi una superficie di tuning? Il distill nfe4 è il modello, perché CFG 1 e score temperature 1 costituiscono una configurazione completa.

• Ti serve un assistente? Nemmeno. Non c'è alcun template di chat in nessuno dei due repository, nessun system prompt, nessun tool calling, e la scheda base dice chiaramente che non è un esecutore di istruzioni. Le varianti instruct con 8,192 token di contesto sono quelle pensate per questo.

• Ti serve un benchmark che puoi citare? Solo il distill ne ha uno, ed è quello di NVIDIA stesso.

Nessuna delle quattro chiede il numero di parametri, il che segnala che non si tratta di un confronto dimensionale. La differenza di 537M parametri è il prezzo da pagare per mantenere la testa autoregressiva nel file, e non offre alcun vantaggio per il percorso di diffusione puro di nfe4 — è lì perché la stessa architettura è alla base anche della variante spec.

Il senso della coppia

NVIDIA ha costruito una sola base e l'ha rilasciata due volte: una come qualcosa da studiare e una come qualcosa da eseguire. È una strategia coerente, ed è il motivo per cui le due schede risultano così diverse — la scheda base è pensata per un ricercatore che modificherà il sampler, quella distill per uno sviluppatore che non lo farà.

Ciò che ancora manca alla coppia è la cosa che ti permetterebbe di verificare onestamente il trade-off: un punteggio del teacher. Finché la scheda base 8B non riporta la stessa tabella a sei attività riportata dal distillato, ogni affermazione su ciò che la distillazione ha apportato è un’affermazione sugli esperimenti a livello di famiglia del paper anziché su questi due file. Se NVIDIA aggiunge quella tabella — e l’ultima modifica della scheda base il 16 novembre suggerisce che i repository sono ancora mantenuti — questo confronto diventa una sottrazione invece di una ricostruzione.

Per ora, la lettura pratica è ristretta e utile: scegli la base se vuoi esplorare come si comporta un LM a diffusione continua con diversi budget di passi, scegli nfe4 se vuoi una quantità fissa di 6,4 token per passaggio in avanti a un'accuratezza pubblicata, e salta entrambi se ti serve un modello chat o una finestra di contesto più lunga di un lungo memo. Nessuno dei due è oggi nel catalogo OrcaRouter, e nessuno dei due lo sarà finché non esisterà un percorso di serving per un'architettura a diffusione a blocchi — ciò che OrcaRouter offre, invece, sono i oltre 200 modelli autoregressivi rispetto ai quali testeresti l'uno o l'altro, con una sola chiave al prezzo di listino del provider senza ricarichi, e con failover automatico se vuoi isolare l'esperimento dal percorso di produzione.

A generated two-column scoreboard titled Nemotron-Labs-Sigma-distill-8B-nfe4 vs Nemotron-Labs-Sigma, contrasting the distill at 9.03B parameters and 18.06 gigabytes, a fixed 4 denoising evaluations per 32-token block, guidance 1 and no tuning, a published six-task mean of 66.36, five downloads and a 12 November 2026 release, against the base at 8.49B and 16.99 gigabytes, configurable steps from 4 to 32, guidance 3 and tuned score temperature, no published benchmark table, 106 downloads and a 5 October 2026 release, with a footer noting all figures are NVIDIA-reported.