Eine generierte Titelkarte mit der Aufschrift Nemotron-Labs-Sigma-distill-8B-nfe4 vs Nemotron-Labs-Sigma, untertitelt mit gleiche Abstammungslinie, zwei Dekodierungsverträge, dazu vier Statistik-Kacheln: Basis mit 8,49 Mrd. Parametern und konfigurierbaren DDIM-Schritten, destilliert mit 9,03 Mrd. und festen 4 Denoising-Durchläufen pro Block, 106 Downloads für die Basis gegenüber 5 für die destillierte Variante sowie eine Fußzeile mit dem Hinweis, dass alle Zahlen aus den NVIDIA-Modellkarten stammen und für keine der beiden Varianten ein unabhängiger Benchmark existiert.
Guides & Insights

Nemotron-Labs-Sigma-distill-8B-nfe4 vs. Nemotron-Labs-Sigma: Gleiche Gewichtsabstammung, zwei Dekodierungsverträge

Autor

jinhao.song

Veröffentlicht am

Neueste Modelle · 20Alle Modelle ansehen →
Benchmarks: Artificial Analysis · täglich aktualisiert
Zurück zu allen Beiträgen

Das Verwirrende an Nemotron-Labs-Sigma-distill-8B-nfe4 ist, dass es kein besseres Nemotron-Labs-Sigma-8B ist. Es ist eine andere Datei mit einem anderen Vertrag, hervorgegangen aus einem Lehrer derselben Linie, und der Unterschied zwischen beiden ist nicht die Genauigkeit – es ist die Anzahl der Netzwerkdurchläufe, um ein Wort auszugeben. Das Basis-8B wurde am 5. Oktober 2026 als vorab trainiertes Forschungsmodell veröffentlicht: 8,49 Mrd. Parameter, konfigurierbare Denoising-Schritte, Classifier-Free Guidance, die man von Hand abstimmen muss, und eine Model Card, die überhaupt keine Scores veröffentlicht und stattdessen auf arXiv:2610.02665 verweist. Das destillierte nfe4 kam am 12. November 2026 mit 9,03 Mrd. Parametern, einer in den Checkpoint eingebackenen Schrittzahl und der einzigen nach Benchmarks aufgeschlüsselten Tabelle, die NVIDIA auf einer Sigma-Card veröffentlicht hat. Beide sind ausschließlich englischsprachig, beide sind auf 4.096 Token begrenzt, beide stehen unter derselben Lizenz. Die Wahl zwischen ihnen ist eine Entscheidung darüber, wie das Modell seine Rechenleistung einsetzen soll.

Was sich tatsächlich unterscheidet, Datei für Datei

Beide Repositories liefern denselben model_type — nemotron_labs_sigma — und beide werden auf dieselbe Weise geladen, mit trust_remote_code und einer 40 KB großen Modelling-Datei aus dem Repository. Die Konfigurationen unterscheiden sich in Punkten, die bei der Inferenz eine Rolle spielen, und im Backbone nahezu gar nicht:

• Backbone — auf beiden identisch aufgebaut: 34 Layer, Hidden Size 4.096, FFN 14.336, 32 Query-Heads und 8 Key-Value-Heads, SwiGLU, RoPE, Vokabular mit 131.072 Tokens.

• Parameter — 8,49 Mrd. (8.489.947.136 BF16 plus 2.097.186 F32) für das Basismodell, 9,03 Mrd. (9.026.818.048 BF16 plus dieselbe F32-Anzahl) für das destillierte Modell. Die zusätzlichen 537 Mio. entfallen auf den auxiliären autoregressiven Auslesekopf, den das destillierte Modell neben dem Diffusionskopf beibehält.

• Gewichte auf der Festplatte — 16,99 GB gegenüber 18,06 GB, jeweils vier Shards.

• Kontext — 4.096 Tokens für sowohl Base als auch Distill. Die Instruct-Variante derselben Sammlung erhöht dies auf 8.192 und fügt eine Chat-Vorlage hinzu; keines der beiden Modelle hier verfügt über eine.

• Schritte — die Basis stellt steps und block_length zur Aufrufzeit bereit und ihre Karte veröffentlicht eine Tabelle pro Budget; das Destillat akzeptiert keinerlei Überschreibung.

• Hinweis — das Basismodell benötigt classifier-free Guidance (3.0 bei 32 und 16 Schritten, 2.0 bei 4) und eine abgestimmte Score-Temperatur; der Distill-Lauf arbeitet mit CFG 1 und Score-Temperatur 1, das heißt ohne Guidance und ohne Tuning.

• Sampler — die Basis ist für DDIM auf einem log_snr-Raster mit standardmäßig 64-Token-Blöcken dokumentiert; das Destillat verwendet fresh_x0 mit Self-Conditioning, das zwischen den Schritten beibehalten wird, sowie 32-Token-Blöcke.

Die Schrittzahl ist beim destillierten Modell keine Einstellung.

Dies ist der Satz in der Modellkarte, der den gesamten Vergleich neu einordnet: „Die Anzahl der Denoising-Schritte ist durch das Training festgelegt: Diese Variante ist nur für NFE=4 trainiert, und der mitgelieferte Inferenzcode ermöglicht absichtlich kein beliebiges Überschreiben der Schrittzahl (andere Schrittanzahlen würden nicht trainierte Phasen-Endpunkte auswerten).“

Phased DMD destilliert eine Trajektorie, und eine destillierte Trajektorie hat Phasenendpunkte bei bestimmten Rauschpegeln. Bittet man einen Vier-Schritt-Studenten, acht Schritte zu machen, läuft man ihn nicht langsamer für bessere Qualität – man verlangt von ihm, bei Rauschpegeln auszuwerten, auf denen er nie trainiert wurde. Die Karte besagt, dass die Ausgabe schlechter wird. Es gibt keinen Regler.

Bei der Base ist es umgekehrt. Ihre Model Card liefert die Tabelle – DDIM-32 mit CFG 3 und Score-Temperatur 0,3, DDIM-16 mit CFG 3 und 0,4, DDIM-8 mit CFG 3 und 0,6, DDIM-4 mit CFG 2 und 0,8 – und fügt dann die Warnung hinzu, dass die vortrainierten Modelle unter etwa 16 Schritten spürbar an Qualität verlieren und dass für die Generierung mit wenigen Schritten stattdessen die distillierten Varianten verwendet werden sollten.

Zusammen gelesen sind diese beiden Aussagen aus derselben Organisation eine Arbeitsteilung: Das Base ist das, was man tuned, das Distill ist das, was man nicht tuned. Wenn Sie einen Regler wollen, nehmen Sie das Base. Wenn Sie eine Konstante wollen, nehmen Sie das Distill.

A generated diagram comparing the decoding contracts of the two models: the base Nemotron-Labs-Sigma-8B shown as a configurable path of 32, 16, 8 or 4 denoising steps per 64-token block with classifier-free guidance of 3, 3, 3 or 2 and score temperatures of 0.3, 0.4, 0.6 and 0.8, against the distilled nfe4 shown as a single fixed path of 4 denoising evaluations plus one readout per 32-token block at guidance 1 and temperature 1.

Die Arithmetik, die sie trennt

Bringen Sie die beiden Verträge auf dieselben Einheiten, und der Grund, warum die destillierte Datei existiert, wird offensichtlich.

• Base mit der empfohlenen Einstellung — 33 Denoiser-Aufrufe pro 64-Token-Block (32 Schritte plus ein Readout), was 1,9 Tokens pro Forward-Pass entspricht.

• Basis bei 4 Schritten — 5 Aufrufe pro 64-Token-Block, 12,8 Token pro Durchlauf, aber die Karte warnt, dass die Qualität unter 16 Schritten merklich abfällt.

• Distill nfe4 — 5 Aufrufe pro 32-Token-Block, 6,4 Tokens pro Durchlauf, bei einer Qualität, wie sie die Karte ausweist.

• Distill nfe8 — 9 Aufrufe pro 32-Token-Block, 3,6 Tokens pro Durchlauf und 4 Punkte besser im Mittel über die sechs Aufgaben.

Der destillierte nfe4 liegt also zwischen dem sicheren Betriebspunkt der Basis und ihrem unsicheren: dreimal weniger Forward-Passes pro Token als die empfohlene Basiskonfiguration, mit einer Schrittanzahl, für die das Modell tatsächlich trainiert wurde. Das ist die gesamte Prämisse des Releases, und es ist eine Prämisse über Rechenleistung, nicht über Intelligenz.

Was es nicht ist, ist ein gemessener Durchsatz. Die Base-Karte gibt für 256 generierte Token auf einer H100 mit DDPM bei 32 Schritten pro 64-Token-Block etwa 120–140 Token pro Sekunde an. Die Distilled-Karte veröffentlicht keine Tokens-pro-Sekunde-Zahl. Die oben genannten Verhältnisse der Aufrufzahlen sind arithmetische Berechnungen anhand veröffentlichter Schrittzahlen; sie sind als solche zu behandeln.

Welche hat Zahlen, und was sind sie wert?

Hier gehen die beiden Karten scharf auseinander, und zwar in eine Richtung, die für die Basis unangenehm ist.

Nemotron-Labs-Sigma-8B veröffentlicht keine Benchmark-Tabelle. Sein Evaluierungsabschnitt besteht aus zwei Sätzen, die besagen, dass Ergebnisse „im technischen Bericht berichtet werden“. Alles, was man über seine Genauigkeit wissen kann, muss man arXiv:2610.02665 entnehmen – einem Paper, das die 3B- und 8B-Familie abdeckt, sowohl Base als auch Distilled, und dessen Abstract behauptet, die Modelle schlügen maskierte Diffusions-LMs und autoregressive Baselines mit den größten konsistenten Gewinnen beim Coding.

Die destillierte nfe4-Karte veröffentlicht Zahlen, bei zehn Seeds mit zwei Standardfehlern: GSM8K 86,86 ± 0,28, MATH 61,52 ± 0,20, HumanEval 60,61 ± 1,43, HumanEval+ 57,99 ± 1,20, MBPP 57,50 ± 0,61, MBPP+ 73,70 ± 1,07, Mittelwert über sechs Aufgaben 66,36 ± 0,46. Neun der zehn Seed-Werte liegen im Bereich 42 bis 51, sodass das Protokoll präzise genug beschrieben ist, um es zu reproduzieren.

Die Karten als Paar können Ihnen daher nicht sagen, was die Destillation gekostet hat. Das ist die nützlichste einzelne Zahl in diesem Vergleich, und sie fehlt, weil die Karte des Lehrers keine Tabelle enthält, von der man sie abziehen könnte. Die Arbeit ist der einzige Ort, an dem die Behauptung steht, und ihre Formulierung gibt nur eine Richtung an: ungefähr 8× Beschleunigung bei Mathematik und 4× beim Programmieren durch Distribution-Matching-Destillation „mit geringem Genauigkeitsverlust“. Diese Multiplikatoren stammen aus der Arbeit, nicht aus den Karten, und sie beziehen sich auf die eigenen Experimente der Familie statt auf einen kontrollierten Vergleich der beiden exakten Checkpoints, die heute im Hub verfügbar sind.

Eine weitere Feinheit in der Distill-Linie selbst: Das nfe16-Geschwister ist als pending_ten_seed_six_task_validation markiert. Sein Mittelwert über drei Aufgaben von 74.50 stammt aus einem einzelnen Seed-42-Lauf, und auf der Karte steht, dass es nicht mit den Zehn-Seed-Mittelwerten der anderen Varianten verglichen werden sollte. „Das größte ist das beste“ ist also eine Lesart, die die Karte ausdrücklich nicht stützt.

Die dritte Option, die niemand nennt

Die Sammlung enthält eine Variante, die weder eines der beiden Modelle in diesem Vergleich ist und wohl die interessanteste Datei darin: Nemotron-Labs-Sigma-distill-spec-8B. Es ist derselbe MS-SUSReg-8B-Lehrer, destilliert mit einem zusätzlichen Akzeptanzziel, und statt als reiner Few-Step-Sampler zu laufen, entwirft sie mit ihrem Diffusionskopf einen Block aus 32 Tokens und verifiziert ihn mit ihrem eigenen autoregressiven Kopf. Jede Runde kostet einen Diffusionsaufruf, und akzeptierte Tokens werden ohne einen weiteren Forward-Pass ausgegeben. Die Modellkarte gibt an, dass der zurückgegebene Text genau die greedy autoregressive Ausgabe ist — Akzeptanz verändert den Durchsatz, niemals den Inhalt.

Die veröffentlichten Akzeptanzzahlen, eine einzelne Momentaufnahme: mittlere akzeptierte Länge 7,91 bei HumanEval, 11,86 bei GSM8K, 13,37 bei MBPP, Bonustoken eingeschlossen, Bootstrap-Runde ausgeschlossen. Das sind Durchsatzmaße, keine Genauigkeitsmaße, und sie sind nicht mit der Genauigkeitstabelle des nfe4 vergleichbar — eine Unterscheidung, die die Karte fett hervorhebt.

Praktisch ist dies die Variante, die man im Auge behalten sollte, wenn die Frage lautet: „Kann ein Diffusions-Head ein Modell beschleunigen, ohne zu verändern, was es sagt?“ Sie ist kein Drop-in-Ersatz für eines der beiden Modelle in diesem Vergleich: Sie benötigt generate_speculative, beide Heads und abgeschaltetes Self-Conditioning.

Screenshot of the Hugging Face model card for nvidia/Nemotron-Labs-Sigma-8B, showing the description of an 8-billion-parameter continuous diffusion language model that denoises in a 16-dimensional continuous token-embedding space and decodes in parallel blocks using DDPM or DDIM samplers, the note that this is the base pretrained model rather than an instruction follower, and the NVIDIA Nemotron Open Model License.

Wie man in der Praxis auswählt

Die Entscheidung reduziert sich auf vier Prüfungen, und die erste schließt für die meisten Leser eine Seite vollständig aus:

• Untersuchen Sie den Sampling-Prozess selbst – Guidance-Zeitpläne, Schrittanzahlen, Trajektoriensteuerung, das Verhalten von classifier-free Guidance? Die Basis ist das Modell, denn es ist dasjenige mit den Stellschrauben und der Tabelle pro Budget.

• Baust du etwas, das Text zu festen Kosten pro Token generiert, und möchtest du keine Tuning-Oberfläche? Das Modell ist nfe4 distill, denn CFG 1 und Score-Temperatur 1 ergeben zusammen eine vollständige Konfiguration.

• Brauchen Sie einen Assistenten? Keines der beiden. In keinem der beiden Repositories gibt es eine Chat-Vorlage, keinen System-Prompt, kein Tool-Calling, und die Karte zum Basismodell sagt schlicht, dass es kein Instruction-Follower ist. Die Instruct-Varianten mit 8.192 Tokens Kontext sind die dafür.

• Brauchen Sie einen Benchmark, den Sie zitieren können? Nur das Distill hat einen, und es ist NVIDIAs eigener.

Keine der vier fragt nach der Parameteranzahl, was verrät, dass es sich nicht um einen Größenvergleich handelt. Die Differenz von 537M Parametern ist der Preis dafür, den autoregressiven Kopf in der Datei zu behalten, und sie bringt für den reinen Diffusionspfad des nfe4 nichts — sie ist da, weil dieselbe Architektur auch der Spec-Variante zugrunde liegt.

Der Sinn des Paares

NVIDIA hat ein Backbone gebaut und es zweimal veröffentlicht: einmal als etwas zum Studieren und einmal als etwas zum Ausführen. Das ist eine kohärente Strategie, und das ist der Grund, warum sich die beiden Karten so unterschiedlich lesen — die Basis-Karte ist für einen Forscher geschrieben, der den Sampler ändern wird, die Distill-Karte für einen Entwickler, der das nicht tun wird.

Was dem Paar noch fehlt, ist genau das, womit sich der Trade-off ehrlich überprüfen ließe: ein Teacher-Score. Solange die Karte des Basis-8B-Modells nicht dieselbe Sechs-Aufgaben-Tabelle enthält wie die des destillierten Modells, ist jede Aussage darüber, was die Destillation gebracht hat, eine Aussage über die Experimente des Papers auf Familienebene und nicht über diese beiden Dateien. Wenn NVIDIA diese Tabelle ergänzt – und die letzte Bearbeitung der Basiskarte am 16. November deutet darauf hin, dass die Repositories noch gepflegt werden –, wird dieser Vergleich zu einer Subtraktion statt zu einer Rekonstruktion.

Vorerst ist die praktische Lesart eng und nützlich: Wählen Sie die Basisvariante, wenn Sie erkunden möchten, wie sich ein kontinuierliches Diffusions-Sprachmodell unter verschiedenen Schrittbudgets verhält, wählen Sie nfe4, wenn Sie bei einer veröffentlichten Genauigkeit feste 6,4 Tokens pro Forward-Pass möchten, und lassen Sie beide aus, wenn Sie ein Chat-Modell oder ein Kontextfenster benötigen, das länger als ein langes Memo ist. Keines von beiden steht heute im Katalog von OrcaRouter, und keines wird es sein, bis es einen Serving-Pfad für eine Block-Diffusions-Architektur gibt — was OrcaRouter jedoch führt, sind die über 200 autoregressiven Modelle, an denen Sie beide vergleichen würden, unter einem Schlüssel zum Listenpreis des Anbieters ohne Aufschlag und mit automatischem Failover, wenn Sie das Experiment vom Produktionspfad isoliert haben möchten.

A generated two-column scoreboard titled Nemotron-Labs-Sigma-distill-8B-nfe4 vs Nemotron-Labs-Sigma, contrasting the distill at 9.03B parameters and 18.06 gigabytes, a fixed 4 denoising evaluations per 32-token block, guidance 1 and no tuning, a published six-task mean of 66.36, five downloads and a 12 November 2026 release, against the base at 8.49B and 16.99 gigabytes, configurable steps from 4 to 32, guidance 3 and tuned score temperature, no published benchmark table, 106 downloads and a 5 October 2026 release, with a footer noting all figures are NVIDIA-reported.