Eine generierte Titelkarte für Nemotron-Labs-Sigma-distill-8B-nfe4 mit dem Hinweis auf eine Veröffentlichung am 12. November 2026, 8 Milliarden Parameter, feste 4 Denoising-Auswertungen pro 32-Token-Block, fünf Downloads und null Likes im letzten Monat sowie eine Fußzeile mit der Angabe, dass alle Zahlen aus NVIDIAs Modellkarte stammen und nicht unabhängig verifiziert wurden.
Engineering & Research

Nemotron-Labs-Sigma-distill-8B-nfe4 ist ohne Ankündigung und mit nur fünf Downloads erschienen

Autor

jinhao.song

Veröffentlicht am

Neueste Modelle · 20Alle Modelle ansehen →
Benchmarks: Artificial Analysis · täglich aktualisiert
Zurück zu allen Beiträgen

Hugging Face zählte in den letzten dreißig Tagen fünf Downloads von nvidia/Nemotron-Labs-Sigma-distill-8B-nfe4 und null Likes, als dieser Beitrag am 17. November 2026 verfasst wurde. Das ist die gesamte bisherige Resonanz auf ein Sprachmodell mit 8 Milliarden Parametern, das NVIDIA sechs Tage zuvor veröffentlichte. Es gab keinen Blogbeitrag, keinen Eintrag auf build.nvidia.com, keinen Launch-Thread, keine Benchmark-Tabelle in einer Pressemitteilung. Die eigene Karte des Checkpoints datiert die Veröffentlichung auf den 11/12/2026; der erste Commit des Repositorys stammt vom 9. November um 05:47 UTC, und die letzte Bearbeitung daran erfolgte am 16. November, wobei die Konvertierung neu geschrieben wurde, um fp32-Geometrietensoren zu erhalten. Alles Folgende ist aus diesem Repository, seinen Konfigurationsdateien und dem zitierten technischen Bericht abgelesen, und die Teile, die nicht bestätigt sind, sind als solche gekennzeichnet und nicht ergänzt.

Das Repository ist die einzige Primärquelle, und es ist ungewöhnlich explizit.

Die meisten stillen Releases hinterlassen eine Stub-Karte. Dieser nicht. Er liefert eine Provenienzdatei, ein Checkpoint-Integritätsmanifest mit einem SHA-256, einen Integritäts-Hash für den Tokenizer, vier Model Card++-Unterkarten und eine Generierungskonfiguration, die den Sampler festlegt. Diese Art der Buchführung bekommt man, wenn ein Modell einen internen Release-Prozess durchlaufen hat und dann einfach nicht angekündigt wurde — alle Artefakte, die ein Launch-Post zusammenfassen würde, sind vorhanden, nur der Post fehlt.

Das dahinterstehende Paper ist real und datiert: arXiv:2610.02665, Large Language Continuous Diffusion Modelsein NVIDIA-Paper mit siebzehn Autor:innen, dessen v2 am 12. November erschien – am selben Tag, an dem laut der Karte die Gewichte veröffentlicht wurden. Das Paper beschreibt Nemotron-Labs-Sigma als die erste Familie großer kontinuierlicher Diffusions-Sprachmodelle mit 3B und 8B. Der Evaluationsabschnitt der Karte schreibt seine Zahlen den „verifizierten Statistiken aus zehn Seeds und sechs Aufgaben aus der Übergabe des eingeschränkten Releases vom 10. November“ zu – ein Satz, der verrät, dass die Datei mindestens zwei Tage lang privat zirkulierte, bevor die öffentlichen Repos freigeschaltet wurden.

Screenshot of the Hugging Face model card for nvidia/Nemotron-Labs-Sigma-distill-8B-nfe4, showing the model overview describing an 8-billion-parameter continuous diffusion language model distilled with Phased Distribution Matching Distillation, the native 4-NFE 32-token block generation contract, the NVIDIA Nemotron Open Model License, and the release date line reading Hugging Face 11/12/2026.

Was steckt eigentlich in dem Checkpoint?

Ohne die Prosa ist das Datenblatt kurz. Jede Zeile unten stammt aus config.json, generation_config.json oder der Karte:

• Backbone — ein Decoder-only-Transformer im Ministral-Stil: 34 Schichten, Hidden Size 4.096, FFN 14.336, 32 Query-Heads und 8 Key-Value-Heads bei Head-Dimension 128, SwiGLU, RoPE mit einem YaRN-Scaling-Block in der Config.

• Generierungskopf — ein 16-dimensionaler kontinuierlicher Token-Embedding-Diffusionskopf, wobei der zusätzliche autoregressive Readout-Kopf im Checkpoint beibehalten wird, statt {{1}}beschnitten{{/1}} zu werden.

• Parameteranzahl — 8,0B laut Benennung der Karte, 9,03B laut Safetensors-Zensus (9.026.818.048 BF16-Tensoren plus 2.097.186 F32), 18,06 GB auf vier Shards verteilt. Die Differenz zwischen den beiden Zahlen ist der Auxiliary Head.

• Decoding-Vertrag — 32-Token-Blöcke, genau 4 Auswertungen der Denoising-Funktion plus ein Readout, also 5 Denoiser-Aufrufe pro Block, was 6,4 generierten Tokens pro Forward-Pass entspricht.

• Sampler — der native fresh_x0-Pfad mit zwischen den Schritten mitgeführter Selbstkonditionierung, Classifier-free Guidance fest auf 1, Score-Temperatur fest auf 1.

• Kontext — 4.096 Tokens für Prompt plus Generierung. Nur Englisch. Kein EOS-Stopping über Token-ID; Sie stoppen bei Zeichenfolgen oder einem Token-Budget.

• Laufzeit — PyTorch 2.4 oder neuer, Transformers 4.55 oder neuer, trust_remote_code, eine CUDA-GPU in bfloat16. CPU wird ausdrücklich nicht unterstützt, und die Karte nennt den Grund: Der Sampler ist auf der CPU numerisch beeinträchtigt und erzeugt unbrauchbare Ausgabe.

• Lizenz — die NVIDIA Nemotron Open Model License, die laut Modellkarte sowohl kommerzielle als auch nichtkommerzielle Nutzung erlaubt. Die Modellkarte gibt im Abschnitt zu den Anwendungsfällen außerdem an, dass das Modell offline auf Ihrer Hardware läuft und NVIDIA keinen Dienst hostet.

Diese letzte Zeile ist für alle wichtig, die davon ausgingen, dass es irgendwo einen Sigma-Endpunkt gibt. Gibt es nicht. Auf build.nvidia.com gibt es keinen Eintrag Nemotron-Labs-Sigma, und das Modell fehlt im OrcaRouter-Katalog zusammen mit dem Rest der Nemotron-Reihe – man kann heute also nichts aufrufen, nur etwas herunterladen.

Vier Checkpoints, vier verschiedene Modelle

Die Benennung lässt die Varianten wie ein Modell mit vier Einstellungen aussehen. Das sind sie nicht: Jeder NFE-Wert ist ein separat destillierter Student, und die Modellkarte sagt unverblümt, dass die Schrittanzahl fest eingebaut ist. „Diese Variante ist nur für NFE=4 trainiert, und der mitgelieferte Inferenzcode legt absichtlich keine beliebige Überschreibung der Schrittanzahl offen“ — weil andere Schrittanzahlen Phasen-Endpunkte auswerten würden, auf denen der Student nie trainiert wurde. Man regelt nfe4 also nicht zur Inferenzzeit auf zwei Schritte herunter; man lädt nfe2 herunter.

Die veröffentlichten Mittelwerte über sechs Aufgaben, alle auf zehn Seeds mit zwei Standardfehlern basierend, machen den Zielkonflikt in dieser Familie erstmals erkennbar:

• NFE 2 — GSM8K 80,17, MATH 55,72, HumanEval 48,17, MBPP 37,52; Mittelwert über sechs Aufgaben 53,02. 3 Denoiser-Aufrufe pro Block, 10,7 Tokens pro Aufruf.

• NFE 4 — GSM8K 86,86, MATH 61,52, HumanEval 60,61, MBPP 57,50; Mittelwert über sechs Aufgaben 66,36. 5 Aufrufe pro Block, 6,4 Tokens pro Aufruf.

• NFE 8 — GSM8K 88,44, MATH 64,40, HumanEval 65,18, MBPP 62,60; Mittelwert über sechs Aufgaben 70,34. 9 Aufrufe pro Block, 3,6 Tokens pro Aufruf.

• NFE 16 — GSM8K 89,61, HumanEval 67,68, MBPP 66,20, Mittelwert über drei Aufgaben 74,50. 17 Aufrufe pro Block, 1,9 Tokens pro Aufruf. Und ein Vorbehalt, den die anderen drei nicht tragen: Dieser Checkpoint ist mit pending_ten_seed_six_task_validation markiert, seine Werte stammen aus einem einzelnen Lauf mit Seed 42 auf drei Aufgaben, und die Karte besagt, dass sie als vorläufig zu behandeln und nicht direkt vergleichbar sind.

Das Interessante an dieser Leiter ist ihre Form. Eine Verdopplung der Schritte von 2 auf 4 bringt 13,3 Punkte im Mittel über sechs Aufgaben. Eine erneute Verdopplung auf 8 bringt 4,0. Der Schritt auf 16 bringt weitere ~4 bei den drei Aufgaben, die ausgeführt wurden — aus einer anderen, schwächeren Evaluierung. Mit anderen Worten: Die Destillationskurve flacht stark ab, genau dort, wo das Modell wettbewerbsfähig wird, und der nfe4-Checkpoint liegt knapp hinter dem Knick.

A generated bar chart of the Nemotron-Labs-Sigma-distill-8B checkpoints, plotting six-task mean accuracy against denoising evaluations per 32-token block: NFE 2 at 53.02, NFE 4 at 66.36 and NFE 8 at 70.34 as ten-seed figures, with NFE 16 shown separately at a three-task mean of 74.50 and marked as a single seed-42 run pending validation.

Woher die Zahlen kommen und wo sie aufhören

Jede oben genannte Zahl stammt von NVIDIA, wurde von NVIDIA auf NVIDIAs eigenem Evaluierungs-Harness erzeugt und mit einer Seed-Anzahl angegeben, die sie unabhängiger erscheinen lässt, als sie ist. Zehn Seeds mit zwei Standardfehlern sind ein ernsthaftes Protokoll — es zeigt, dass der nfe4-HumanEval-Score von 60,61 ein Intervall von ±1,43 hat, das breit genug ist, dass man eine Zwei-Punkte-Differenz gegenüber irgendetwas nicht als real ansehen sollte. Aber zehn Seeds desselben Harness sind keine zehn Labore.

Was es mit Stand 17. November nicht gibt: eine Artificial Analysis-Seite für irgendein Sigma-Modell, einen Eintrag in einem öffentlichen Modellpreiskatalog, jegliche Unterstützung durch vLLM oder SGLang und irgendeine Reproduktion durch Dritte. Die Prüfung ist schnell und sie fällt leer aus. Die Modellregistrierung von vLLM auf main enthält keine Architektur nemotron_labs_sigma; die SGLang-Pull-Requests, die Nemotron-Diffusion erwähnen, betreffen die ältere Linie Nemotron-Labs-Diffusion-8B und sind noch offen. Transformers hat kein natives Modul nemotron_labs_sigma, weshalb die Modellkarte Ihnen sagt, mit trust_remote_code zu laden und die 40-KB-Modellierungsdatei des Repositorys zusammen mit den Gewichten mitzuliefern.

Der ehrliche Status ist also: ein veröffentlichter Checkpoint mit einem veröffentlichten Evaluationsprotokoll und null externer Verifikation. Das ist der normale Zustand für ein Diffusions-Sprachmodell im November 2026, und es ist keine Kritik am Modell – es beschreibt, auf wie viel der Model Card man bei der Planung bauen kann.

Der Betrieb erfolgt über ein Python-Skript, nicht über einen Serving-Stack.

Die Schnellstartanleitung der Karte umfasst elf Zeilen: Tokenizer und Modell mit Remote-Code laden, nach bfloat16 casten, generate mit einer maximalen Tokenanzahl und optionalen Stop-Strings aufrufen und die vom Modell gemeldete NFE-Anzahl zurücklesen. In diesem Repository gibt es keine Chat-Vorlage, keinen System-Prompt, keine Tool-Aufrufe und keinen JSON-Modus — die Karte sagt klar, dass es sich um Prompting im Benchmark-Stil handelt und dass das Modell der destillierte Student eines Basis-Checkpoints ist, kein Assistent. Wer Konversation möchte, findet in der Sammlung eine Instruct-Variante des Parents mit 8.192 Tokens Kontext.

Zwei betriebliche Details erwischen jeden, der nur überfliegt. Erstens das Stoppen: Es gibt keinen EOS-Stopp über Token-ID, daher läuft eine Anfrage, die Ihre Stoppzeichenkette nie erzeugt, bis zum Token-Budget – und das Budget wird innerhalb eines 4.096-Token-Fensters mit dem Prompt geteilt. Zweitens der Speicher: 18 GB bfloat16-Gewichte vor jeglichem KV-Cache, bei einem Modell, dessen einziger unterstützter Pfad PyTorch-Eager-Code aus dem Repository selbst ist – es gibt keine Paged Attention, kein Continuous Batching und keinen quantisierten Build in der Sammlung. Eine einzelne Anfrage auf einer GPU ist heute die unterstützte Konfiguration.

Der Durchsatz ist die Zahl, die die Leute sehen wollen, und die Model Card liefert sie für diesen Checkpoint nicht. Die Model Card des übergeordneten Modells nennt etwa 120–140 Token pro Sekunde für 256 generierte Token auf einer H100 mit dem DDPM-Sampler bei 32 Schritten pro 64-Token-Block. Das destillierte nfe4 führt 5 Aufrufe pro 32 Token aus statt 33 Aufrufen pro 64, was nach der Aufrufzahl etwas mehr als viermal weniger Forward-Passes pro Token bedeutet – aber das ist Arithmetik auf Basis der Schrittanzahl, keine Messung dieses Checkpoints, und die Model Card veröffentlicht dafür keine Tokens-pro-Sekunde-Zahl.

Was ist nicht bestätigt?

Drei Dinge, die ein Launch-Beitrag geklärt hätte, dieses Release aber nicht:

• Ob NVIDIA dies als Produkt oder als Forschungsartefakt beabsichtigt. Die Lizenz erlaubt kommerzielle Nutzung, und die Karte ist in Produktsprache verfasst, doch es gibt keinen gehosteten Endpunkt, keine Support-Erklärung und keine Erwähnung in irgendeinem NVIDIA-Blogbeitrag bis zum 16. November.

• Was das Lehrermodell wert ist. Die Karte besagt, dass das Studentenmodell aus einem Teacher „MS-SUSReg-8B“ derselben Architekturfamilie destilliert wurde, und die Provenienzdatei nennt den Lauf 8b_ms_susreg_n4_20261109 bei Studentenschritt 1200. Das veröffentlichte Basismodell Nemotron-Labs-Sigma-8B wird als zur selben Linie gehörend beschrieben — doch die Basiskarte veröffentlicht überhaupt keine Zahlen, nur einen Verweis auf das Paper, sodass sich der Destillationsverlust nicht aus den beiden Karten nebeneinander ablesen lässt.

Screenshot of the nvidia/nemotron-labs-sigma collection page on Hugging Face, listing fourteen repositories: the 3B and 8B base and instruct models, distill variants at NFE 2, 4, 8 and 16 for both sizes, and self-speculative distill checkpoints for 3B and 8B, with the collection description reading continuous diffusion language models, base, instruct, few-step distilled and self-speculative variants.

• Ob der nfe16-Checkpoint der beste der Familie oder ein Artefakt einer unvollendeten Evaluierung ist. Seine Zahlen sind die höchsten auf der Karte und die am wenigsten vertrauenswürdigen, und die Karte sagt das selbst – mehr Offenheit, als die meisten Release Notes zustande bringen.

Warum das leise Release die eigentliche Geschichte ist

NVIDIA hat in diesem Herbst viel veröffentlicht — Bolt, Super VL, Transcribe, die Dory-Reihe, alle mit Blogbeiträgen und Seiten auf build.nvidia.com. Sigma kommt ohne all das daher, aus derselben Organisation, mit einem Paper, einer Lizenz, vier Model-Card++-Unterkarten und einem Zähler, der fünf Downloads anzeigt. Die wahrscheinlichste Deutung ist, dass es sich um eine Forschungsveröffentlichung handelt, die bewusst aus der Produktoberfläche herausgehalten wird: Der vorgesehene Verwendungszweck der Karte ist „latenzsensitive Generierungsforschung, Studien zu spekulativer und paralleler Dekodierung“, was die Sprache eines Laborartefakts ist.

Für Leser, die entscheiden, ob sie sich dafür interessieren sollten, ist die praktische Frage nicht, ob das Modell abstrakt gut ist – sondern ob ein kontinuierliches Diffusions-LM mit 4 NFE bei 4K-Kontext und ohne Serving-Stack das autoregressive Modell schlägt, das bereits in Ihrer Pipeline läuft. Um das zu beantworten, muss man es ausführen, und die Arithmetik, die die GPU-Stunde rechtfertigt, ist einfach: 6,4 Tokens pro Forward-Pass gegenüber einem bei einem Standard-Decoder. Ob das den Kontakt mit Ihrer Workload übersteht, ist genau das, was Ihnen der fehlende unabhängige Benchmark gesagt hätte.

OrcaRouter stellt diesen Checkpoint nicht bereit, und er wird nicht zu einem Preis pro Token verfügbar sein, bis jemand einen Serving-Pfad für eine Block-Diffusion-Architektur mit fester Schrittzahl baut – das Kostenmodell lässt sich nicht so auf Eingabe- und Ausgabe-Token abbilden, wie es eine autoregressive API tut. Was bei OrcaRouter live ist, ist das Vergleichsset: über 200 autoregressive Modelle hinter einem Schlüssel zum Listenpreis des Anbieters ohne Aufschlag, sodass sich die Sigma-Frage gegen eine echte Baseline statt gegen ein Datenblatt beantworten lässt. Beide über einen einzigen Endpunkt zu routen, ist außerdem der günstigste Weg, das Experiment aus Ihrem Produktionspfad herauszuhalten, während Sie sich entscheiden.