Una card di titolo generata che riporta Nemotron-Labs-Sigma-distill-8B-nfe4 vs Nemotron 3.5 Lightning 30B A3B, con sottotitolo che uno è un checkpoint di ricerca sulla diffusione con cinque download e l'altro un MoE di produzione con 962.098 download, con un piè di pagina che afferma che entrambe le serie di cifre sono comunicate dal fornitore e che nessun benchmark è condiviso tra loro.
Guides & Insights

Nemotron-Labs-Sigma-distill-8B-nfe4 vs Nemotron 3.5 Lightning 30B A3B: due rilasci NVIDIA che non competono mai

Autore

Gideon Frost

Data di pubblicazione

Ultimi modelli · 20Vedi tutti i modelli →
Benchmark: Artificial Analysis · aggiornato ogni giorno
Torna a tutti gli articoli

Mettere Nemotron-Labs-Sigma-distill-8B-nfe4 e Nemotron 3.5 Lightning 30B A3B nella stessa frase e l'istinto è chiedersi quale sia più intelligente. Questa domanda non ha risposta, e non perché i dati siano scarsi, ma perché i due modelli non condividono alcun benchmark, alcuna lunghezza di contesto, alcuno stack di serving e alcun processo di rilascio. Nemotron-Labs-Sigma-distill-8B-nfe4 è un modello a diffusione continua da 8B che NVIDIA ha pubblicato il 12 novembre 2026 senza alcun annuncio ed è stato scaricato cinque volte. Nemotron 3.5 Lightning 30B A3B è un mixture-of-experts ibrido Mamba-2 e attention, da 30B totali e 3B attivi, distribuito ad agosto con una model card, un endpoint build.nvidia.com e 962.098 download lo scorso mese. Il confronto utile non è una linea di punteggio. È capire quale dei due puoi effettivamente mettere davanti a un utente, e per cosa.

Le due schede descrivono prodotti diversi, non livelli diversi

Leggi le sezioni dei casi d'uso una accanto all'altra e il divario smette di riguardare le capacità. La scheda di Sigma-distill dice che è per "ricerca sulla generazione sensibile alla latenza, studi sul decoding speculativo e parallelo e sperimentazione orientata al deployment", e afferma che il modello "funziona offline sull'hardware dell'utente; NVIDIA non ospita alcun servizio". La scheda di Lightning indica un endpoint compatibile con OpenAI su integrate.api.nvidia.com, un tag di container vLLM, una coppia di campionamento consigliata con temperature 1.0 e top_p 0.95, un interruttore per la modalità thinking nel template della chat e tre checkpoint draft separati per il decoding speculativo.

Uno è un file. L'altro è un servizio con un file dietro. Questa differenza guida quasi tutto il resto in questo articolo:

• Parametri — {{1}}8B densi (9.03B nel censimento dei safetensors una volta conteggiata la testa di lettura ausiliaria){{/1}} contro {{2}}30B totali con 3B attivi per token{{/2}}.

• Architettura — decoder in stile Ministral con una testa di diffusione continua a 16 dimensioni vs livelli Mamba-2, MoE e attenzione selettiva intercalati con teste di previsione multi-token.

• Contesto — 4.096 token per prompt e output combinati rispetto a un massimo di 1.000.000, con l'avvertenza che una singola H100 arriva solo a circa 256.000 e il milione completo richiede otto H100, una GB200 o una B200.

• Lingue — solo inglese rispetto a inglese più linguaggi di programmazione, spagnolo, francese, tedesco, italiano e giapponese, con il cinese nel post-addestramento.

• Struttura del rilascio — solo scheda e pesi, nessun endpoint del fornitore, nessun annuncio rispetto a un endpoint ospitato, una build di riferimento BF16, una build NVFP4 e tre modelli draft per il decoding speculativo.

• Download negli ultimi trenta giorni — cinque contro 962.098 sul solo repository BF16, senza contare 901.381 sulla build NVFP4.

• Licenza — NVIDIA Nemotron Open Model License per entrambi, anche se la scheda di Lightning la indica come OpenMDW-1.1.

Non esiste un benchmark condiviso, quindi non c'è un punteggio.

Questa è la parte che la maggior parte delle pagine di confronto tenderebbe a mascherare. La scheda di Sigma-distill riporta GSM8K, MATH (Minerva), HumanEval, HumanEval+, MBPP e MBPP+ su dieci seed con due errori standard, oltre a una media su sei task di 66,36. La scheda di Lightning riporta MMLU Pro, GPQA Diamond, HLE, SciCode, SWE-bench Verified, SWE-bench Multilingual, Terminal-Bench 2.1, PinchBench, BrowseComp, τ³-bench Banking, GDPval-AA-V2, IFBench, AA-LCR e AA-Omniscience. L'intersezione è l'insieme vuoto. Nessun benchmark compare su entrambe le schede.

Non è un caso giornalistico. Le due valutazioni testano di proposito cose diverse. I sei compiti di Sigma sono brevi risposte di ragionamento e completamento di codice entro qualche centinaio di token; quelli di Lightning sono ingegneria del software agentica, recupero su contesti lunghi e conoscenza professionale. Un modello con una finestra di 4.096 token e senza template di chat non può sostenere l'harness SWE-bench, e a un modello addestrato a completare il corpo di una funzione non vengono poste domande di GPQA.

Quindi l'unica linea onesta da tracciare è questa: sui propri sei compiti, Sigma-distill nfe4 ha una media di 66,36 su dieci seed, che è un numero reale sotto un protocollo reale, e non dice nulla su come si comporterebbe su qualsiasi cosa su cui è stato misurato Lightning. Chiunque ti dica che uno batte l'altro non sta confrontando nulla.

A generated chart showing that the two model cards share no benchmark: on the left, the six Nemotron-Labs-Sigma-distill-8B-nfe4 tasks with ten-seed accuracies of GSM8K 86.86, MATH 61.52, HumanEval 60.61, HumanEval+ 57.99, MBPP 57.50 and MBPP+ 73.70, mean 66.36; on the right, the Nemotron 3.5 Lightning 30B A3B evaluations including MMLU Pro 81.94, GPQA Diamond 75.44, SWE-bench Verified 51.56 and Terminal-Bench 2.1 24.58, with a divider marking that no task appears on both sides.

La velocità è il punto in cui il confronto diventa interessante — e in cui resta irrisolto

Entrambi i modelli sono veloci in modi difficili da collocare su un unico asse, e questo è l'unico punto in cui il confronto ha un contenuto reale.

Sigma-distill genera 32 token per blocco in esattamente 4 valutazioni di denoising più un readout. Cinque forward pass, 32 token: 6,4 token per forward pass. Poiché il numero di step è fissato dall'addestramento, tale rapporto non cambia con la lunghezza del prompt né con quella dell'output: è una costante, e il codice di inferenza della scheda rifiuta di consentire l'override. La scheda del modello padre riporta 120–140 token al secondo su una H100 a 32 step per blocco da 64 token; la variante distillata non pubblica alcun dato sui token al secondo, quindi l'aritmetica dei 6,4× meno passaggi non è un throughput misurato.

Lightning prende l'altra strada. È un MoE da 3B attivi, quindi ogni forward pass costa poco, e NVIDIA distribuisce DSpark come default consigliato per lo speculative decoding, con DFlash e le sue stesse teste di multi-token prediction come alternative. Anche i suoi numeri di throughput non sono sulla scheda in token al secondo — ma i suoi download e la sua recipe di serving ti dicono che è stato eseguito in produzione, cosa che Sigma non ha fatto.

La distinzione che conta: l'accelerazione di Sigma è strutturale e costante per token, mentre quella di Lightning è speculativa e dipendente dal carico di lavoro. Un contratto fisso di 5 chiamate per 32 token è prevedibile in un modo in cui i tassi di accettazione delle bozze non lo sono mai. Inoltre oggi è non misurabile, perché nessuno ha pubblicato un singolo valore di throughput per il checkpoint nfe4.

Quanto ti costa eseguire ciascuno

Sigma-distill è di 18,06 GB di pesi bfloat16 distribuiti su quattro shard, caricati tramite codice PyTorch eager dal repository stesso con trust_remote_code, su una GPU CUDA, senza paged attention, senza continuous batching e senza build quantizzata nella raccolta. Non esiste un prezzo per token perché non esiste un endpoint: la scheda di NVIDIA afferma che il modello viene eseguito sull'hardware dell'utente e che NVIDIA non ospita alcun servizio.

Lightning è la forma opposta. I pesi BF16 sono 31,6 miliardi di parametri; il consiglio di produzione di NVIDIA stesso è di usare invece la build NVFP4, e la sua scheda include una recipe vLLM (tag del container vllm/vllm-openai:v0.27.1) con backend FlashInfer Mamba, cache SSM FP16 e prefix caching, oltre a un'immagine SGLang per Hopper e Blackwell. Non esiste un prezzo di listino sulla scheda né su build.nvidia.com — l'endpoint è soggetto ai termini di prova dell'API di NVIDIA — ma piattaforme di terze parti elencano il modello a circa $0,05 per milione di token in input e $0,20 per milione di token in output. Tale cifra è un'osservazione di marketplace, non un prezzo del fornitore.

Nessuno dei due modelli è nel catalogo OrcaRouter, e sarebbe disonesto insinuare il contrario. Ciò che è disponibile su OrcaRouter è l'insieme di confronto circostante: oltre 200 modelli dietro un'unica chiave, prezzo di listino del provider trasferito senza ricarichi, così un taglio di prezzo a monte si vede lo stesso giorno anziché in una revisione trimestrale del listino. Se stai leggendo questo perché devi scegliere una baseline con cui testare Sigma, è da lì che viene la baseline.

Scegli in base alla busta, non al punteggio

Quattro domande bastano a chiarire la questione in meno di un minuto, e nessuna di esse riguarda l'accuratezza dei benchmark:

• Il compito rientra in 4.096 token? In caso contrario, Sigma-distill è escluso e la questione è chiusa. La finestra da un milione di token di Lightning — 256K su una singola H100 — è più grande di tre ordini di grandezza.

• L'attività richiede conversazione, strumenti o output strutturato? Sigma-distill non ha nulla di tutto ciò: nessun template di chat, nessun prompt di sistema, nessuna modalità JSON, stringhe di arresto e un budget di token come unici meccanismi di arresto. Lightning include un template di chat con un toggle per il ragionamento.

• Devi servire più di una richiesta alla volta? Sigma non ha alcuno stack di serving — il percorso supportato è uno script Python su una singola GPU. Lightning ha due integrazioni con motori e una ricetta di parallelismo pubblicata.

• Il tuo interesse riguarda il meccanismo di decodifica in sé — diffusione a blocchi, distillazione in pochi passaggi, auto-speculazione? Allora Sigma-distill è l'unico dei due a essere interessante, e Lightning è del tutto il confronto sbagliato.

Tutto il resto deriva da quei quattro. Un team che valuta Sigma per un prodotto si sta in realtà chiedendo se un checkpoint di ricerca possa essere trasformato in un servizio; un team che valuta Lightning si chiede se un MoE ibrido da 3B attivi rientri in un budget. Sono conversazioni diverse.

Dove la sfida diventerebbe reale

Due cose trasformerebbero questa pagina in un vero confronto testa a testa, e nessuna delle due esiste ancora.

Il primo è un benchmark condiviso. Se Sigma dovesse mai ottenere un punteggio su MMLU Pro o GPQA, oppure Lightning dovesse mai ottenere un punteggio su GSM8K o HumanEval con un formato di prompt comparabile, allora ci sarebbe qualcosa da confrontare. Fino ad allora, la posizione onesta è quella sopra: due suite di valutazione disgiunte riportate dallo stesso fornitore, su modelli che non possono sostenere i test l'uno dell'altro.

Il secondo è un percorso di serving. Sigma-distill attualmente è un repository che cloni e uno script che esegui; le pull request di SGLang che menzionano Nemotron diffusion puntano alla vecchia linea Nemotron-Labs-Diffusion-8B e risultano ancora aperte al 17 novembre, e il registro di vLLM non contiene affatto un'architettura nemotron_labs_sigma. Nel momento in cui un modello a diffusione a blocchi con un numero fisso di passi ottiene paged attention e batching, il suo vantaggio di 6,4 token per passata diventa un numero che puoi affiancare a un tasso di accettazione dello speculative decoding — e quel confronto meriterebbe di essere pubblicato.

Screenshot of the Hugging Face model card for NVIDIA-Nemotron-3.5-Lightning-30B-A3B-BF16, showing the model description as a hybrid Mamba-2, mixture-of-experts and attention model with 30B total and 3B active parameters, the release date of 08/11/2026, the OpenMDW-1.1 licence, and the evaluation table beginning with MMLU Pro at 81.94 and GPQA Diamond at 75.44.

Fino ad allora, la lettura pratica è che NVIDIA ha rilasciato due modelli per due pubblici nello stesso autunno e solo uno dei due era un prodotto. Lightning è quello che puoi chiamare oggi, con il comportamento della cache, la finestra di contesto e il supporto del motore che un servizio implica. Sigma-distill è quello che scarichi se ti interessa se la diffusione continua a 8B può mantenere 66.36 su sei attività con cinque passaggi forward per 32 token — una questione di decodifica, non di capacità, e alla quale nessun confronto con un MoE da 30B potrà rispondere.

A generated two-column scoreboard titled Nemotron-Labs-Sigma-distill-8B-nfe4 vs Nemotron 3.5 Lightning 30B A3B, contrasting context of 4,096 tokens against up to 1,000,000, English only against seven languages, five downloads against 962,098, no vendor endpoint against a hosted OpenAI-compatible endpoint, no engine support against vLLM and SGLang recipes, and a fixed 6.4 tokens per forward pass against speculative decoding, with a footer noting that no benchmark is shared between the two cards.