Eine generierte Titelkarte mit der Aufschrift Nemotron-Labs-Sigma-distill-8B-nfe4 vs Nemotron 3.5 Lightning 30B A3B und dem Untertitel, dass es sich bei dem einen um einen Diffusion-Forschungs-Checkpoint mit fünf Downloads und bei dem anderen um ein Produktions-MoE mit 962.098 Downloads handelt, sowie einer Fußzeile, die besagt, dass beide Zahlenreihen vom Anbieter gemeldet sind und zwischen ihnen kein Benchmark gemeinsam genutzt wird.
Guides & Insights

Nemotron-Labs-Sigma-distill-8B-nfe4 vs. Nemotron 3.5 Lightning 30B A3B: Zwei NVIDIA-Veröffentlichungen, die nie miteinander konkurrieren

Autor

Gideon Frost

Veröffentlicht am

Neueste Modelle · 20Alle Modelle ansehen →
Benchmarks: Artificial Analysis · täglich aktualisiert
Zurück zu allen Beiträgen

Setzt man Nemotron-Labs-Sigma-distill-8B-nfe4 und Nemotron 3.5 Lightning 30B A3B in denselben Satz, ist der Instinkt zu fragen, welches intelligenter ist. Diese Frage ist nicht beantwortbar – und zwar nicht, weil die Datenlage dünn wäre, sondern weil die beiden Modelle keinen gemeinsamen Benchmark, keine gemeinsame Kontextlänge, keinen gemeinsamen Serving-Stack und keinen gemeinsamen Release-Prozess haben. Nemotron-Labs-Sigma-distill-8B-nfe4 ist ein kontinuierliches Diffusionsmodell mit 8B Parametern, das NVIDIA am 12. November 2026 ohne Ankündigung veröffentlicht hat und das fünfmal heruntergeladen wurde. Nemotron 3.5 Lightning 30B A3B ist ein Mixture-of-Experts mit insgesamt 30B Parametern, 3B aktiven Parametern und einer Hybrid-Architektur aus Mamba-2 und Attention, das im August mit einer Modellkarte, einem build.nvidia.com-Endpunkt und 962.098 Downloads im letzten Monat erschienen ist. Der nützliche Vergleich ist keine Punktzahl. Er besteht darin, welches Modell man einem Nutzer tatsächlich vorsetzen kann – und wofür.

Die beiden Karten beschreiben unterschiedliche Produkte, nicht unterschiedliche Tarifstufen.

Liest man die Anwendungsfallabschnitte nebeneinander, geht es bei der Lücke nicht mehr um die Leistungsfähigkeit. Die Modellkarte von Sigma-distill nennt als Einsatzzweck „latenzsensitive Generierungsforschung, Studien zum spekulativen und parallelen Decoding sowie deploymentorientierte Experimente“ und stellt fest, dass das Modell „offline auf der eigenen Hardware der Nutzer läuft; NVIDIA hostet keinen Dienst“. Die Modellkarte von Lightning verweist auf einen OpenAI-kompatiblen Endpoint unter integrate.api.nvidia.com, ein vLLM-Container-Tag, ein empfohlenes Sampling-Paar aus Temperatur 1.0 und top_p 0.95, einen Umschalter für den Thinking-Modus in der Chat-Vorlage und drei separate Draft-Checkpoints für spekulatives Decoding.

Das eine ist eine Datei. Das andere ist ein Dienst mit einer Datei dahinter. Dieser Unterschied bestimmt fast alles andere in diesem Beitrag:

• Parameter — 8B dense (9,03B im safetensors-Zensus, wenn der zusätzliche Auslesekopf mitgezählt wird) vs. 30B insgesamt mit 3B aktiv pro Token.

• Architektur — Decoder im Ministral-Stil mit einem 16-dimensionalen kontinuierlichen Diffusionskopf vs. verschachtelte Mamba-2-, MoE- und Selective-Attention-Schichten mit Multi-Token-Prediction-Köpfen.

• Kontext — 4.096 Token für Prompt und Ausgabe zusammen gegenüber bis zu 1.000.000, mit der Einschränkung, dass eine einzelne H100 nur etwa 256.000 erreicht und die vollen eine Million acht H100, eine GB200 oder eine B200 erfordert.

• Sprachen – nur Englisch gegenüber Englisch plus Programmiersprachen, Spanisch, Französisch, Deutsch, Italienisch und Japanisch, mit Chinesisch im Post-Training.

{{1}}Release-Form{{/1}} — {{2}}nur Modellkarte und Gewichte{{/2}}, kein Anbieter-Endpunkt, keine Ankündigung gegenüber einem gehosteten Endpunkt, ein BF16-Referenz-Build, ein {{3}}NVFP4{{/3}}-Build und drei Draft-Modelle für spekulative Dekodierung.

• Downloads in den letzten dreißig Tagen – fünf gegenüber 962.098 allein im BF16-Repository, bevor die 901.381 im NVFP4-Build mitgezählt werden.

• Lizenz — NVIDIA Nemotron Open Model License für beide, wobei die Karte von Lightning sie jedoch als OpenMDW-1.1 bezeichnet.

Es gibt keinen gemeinsamen Maßstab, also gibt es auch keinen Spielstand.

Dies ist der Teil, den die meisten Vergleichsseiten überspielen würden. Die Karte von Sigma-distill meldet GSM8K, MATH (Minerva), HumanEval, HumanEval+, MBPP und MBPP+ bei zehn Seeds mit zwei Standardfehlern sowie einen Mittelwert über sechs Aufgaben von 66,36. Die Karte von Lightning meldet MMLU Pro, GPQA Diamond, HLE, SciCode, SWE-bench Verified, SWE-bench Multilingual, Terminal-Bench 2.1, PinchBench, BrowseComp, τ³-bench Banking, GDPval-AA-V2, IFBench, AA-LCR und AA-Omniscience. Die Schnittmenge ist die leere Menge. Kein einziger Benchmark erscheint auf beiden Karten.

Das ist kein Zufall der Berichterstattung. Die beiden Evaluierungen testen bewusst unterschiedliche Dinge. Sigmas sechs Aufgaben sind Kurzantwort-Reasoning und Code-Vervollständigung bei einigen hundert Tokens; Lightnings sind agentische Softwareentwicklung, Langkontext-Retrieval und Fachwissen. Ein Modell mit einem 4.096-Token-Fenster und ohne Chat-Template kann nicht die SWE-bench-Harness absolvieren, und einem Modell, das darauf trainiert wurde, einen Funktionskörper zu vervollständigen, werden keine GPQA-Fragen gestellt.

Die einzige ehrliche Grenze, die man ziehen kann, ist diese: Bei seinen eigenen sechs Aufgaben erreicht Sigma-distill nfe4 über zehn Seeds gemittelt 66,36 – eine echte Zahl unter einem echten Protokoll – und sagt nichts darüber aus, wie es bei irgendetwas abschneiden würde, worauf Lightning gemessen wurde. Wer dir erzählt, das eine schlage das andere, vergleicht nichts.

A generated chart showing that the two model cards share no benchmark: on the left, the six Nemotron-Labs-Sigma-distill-8B-nfe4 tasks with ten-seed accuracies of GSM8K 86.86, MATH 61.52, HumanEval 60.61, HumanEval+ 57.99, MBPP 57.50 and MBPP+ 73.70, mean 66.36; on the right, the Nemotron 3.5 Lightning 30B A3B evaluations including MMLU Pro 81.94, GPQA Diamond 75.44, SWE-bench Verified 51.56 and Terminal-Bench 2.1 24.58, with a divider marking that no task appears on both sides.

Die Geschwindigkeit ist der Punkt, an dem der Vergleich interessant wird – und an dem er ungeklärt bleibt.

Beide Modelle sind auf Weisen schnell, die sich nur schwer auf einer einzigen Achse abbilden lassen, und dies ist der eine Punkt, an dem der Vergleich echten Gehalt hat.

Sigma-distill erzeugt 32 Tokens pro Block in genau 4 Denoising-Evaluierungen plus einem Readout. Fünf Forward-Passes, 32 Tokens: 6,4 Tokens pro Forward-Pass. Da die Schrittanzahl durch das Training festgelegt ist, ändert sich dieses Verhältnis nicht mit der Prompt-Länge oder der Ausgabelänge — es ist eine Konstante, und der Inferenzcode der Karte lässt nicht zu, dass man es überschreibt. Die Karte des übergeordneten Modells nennt 120–140 Tokens pro Sekunde auf einer H100 bei 32 Schritten pro 64-Token-Block; die destillierte Variante veröffentlicht überhaupt keinen Tokens-pro-Sekunde-Wert, daher ist die Arithmetik von 6,4× weniger Durchläufen kein gemessener Durchsatz.

Lightning geht den anderen Weg. Es ist ein MoE mit 3B aktiven Parametern, daher ist jeder Forward-Pass günstig, und NVIDIA liefert DSpark als empfohlenen Standard für spekulatives Decoding aus, mit DFlash und seinen eigenen Multi-Token-Prediction-Heads als Alternativen. Seine Durchsatzwerte stehen ebenfalls nicht in Tokens pro Sekunde auf der Modellkarte – aber seine Downloads und sein Serving-Rezept verraten, dass es in der Produktion gelaufen ist, was bei Sigma nicht der Fall ist.

Der entscheidende Unterschied: Sigmas Geschwindigkeitsgewinn ist strukturell und pro Token konstant, während der von Lightning spekulativ und arbeitslastabhängig ist. Eine feste Vorgabe von 5 Aufrufen pro 32 Token ist auf eine Weise vorhersagbar, wie es Akzeptanzraten von Entwürfen nie sind. Zudem ist er heute nicht messbar, weil niemand auch nur einen einzigen Durchsatzwert für den nfe4-Checkpoint veröffentlicht hat.

Was Sie jedes Einzelne im Betrieb kostet

Sigma-distill besteht aus 18,06 GB bfloat16-Gewichten, verteilt auf vier Shards, die über PyTorch-Eager-Code aus dem Repository selbst mit trust_remote_code auf einer CUDA-GPU geladen werden, ohne Paged Attention, ohne Continuous Batching und ohne quantisierten Build in der Kollektion. Es gibt keinen Preis pro Token, weil es keinen Endpoint gibt: Die NVIDIA-Karte gibt an, dass das Modell auf Ihrer Hardware läuft und dass NVIDIA keinen Dienst hostet.

Lightning hat die entgegengesetzte Form. BF16-Gewichte umfassen 31,6 Mrd. Parameter; NVIDIA selbst empfiehlt für den Produktionseinsatz, stattdessen den NVFP4-Build zu verwenden, und die Karte wird mit einem vLLM-Rezept (Container-Tag vllm/vllm-openai:v0.27.1) mit FlashInfer-Mamba-Backend, FP16-SSM-Cache und Prefix-Caching sowie einem SGLang-Image für Hopper und Blackwell ausgeliefert. Es gibt keinen Listenpreis für die Karte oder auf build.nvidia.com – der Endpoint unterliegt den NVIDIA-API-Testbedingungen –, aber Drittanbieterplattformen listen das Modell mit etwa 0,05 USD pro Million Eingabe-Tokens und 0,20 USD pro Million Ausgabe-Tokens. Diese Zahl ist eine Marktplatzbeobachtung, kein Herstellerpreis.

Keines der beiden Modelle steht im OrcaRouter-Katalog, und es wäre unehrlich, etwas anderes anzudeuten. Was bei OrcaRouter verfügbar ist, ist das umliegende Vergleichsset: über 200 Modelle hinter einem einzigen Schlüssel, Listenpreis des Anbieters ohne Aufschlag weitergegeben, sodass sich eine Preissenkung beim Anbieter noch am selben Tag niederschlägt und nicht erst bei einer vierteljährlichen Aktualisierung der Preisliste. Wenn Sie dies lesen, weil Sie eine Baseline zum Testen von Sigma benötigen, dann kommt diese Baseline von dort.

Nach Hüllkurve auswählen, nicht nach Punktzahl.

Mit vier Fragen lässt sich das in unter einer Minute klären, und keine davon betrifft die Benchmark-Genauigkeit:

• Passt die Aufgabe in 4.096 Tokens? Wenn nicht, ist Sigma-distill raus und die Frage ist geklärt. Lightnings Fenster von einer Million Tokens – 256K auf einer einzelnen H100 – ist drei Größenordnungen größer.

• Braucht die Aufgabe Konversation, Tools oder strukturierte Ausgabe? Sigma-distill hat nichts davon: kein Chat-Template, keinen System-Prompt, keinen JSON-Modus; Stop-Strings und ein Token-Budget sind die einzigen Stoppmechanismen. Lightning liefert ein Chat-Template mit einem Thinking-Schalter.

• Müssen Sie mehr als eine Anfrage gleichzeitig bedienen? Sigma hat keinen Serving-Stack – der unterstützte Weg ist ein Python-Skript auf einer GPU. Lightning bietet zwei Engine-Integrationen und ein veröffentlichtes Parallelisierungsrezept.

• Gilt Ihr Interesse dem Dekodierungsmechanismus selbst – Blockdiffusion, Few-Step-Distillation, Selbstspekulation? Dann ist Sigma-distill von den beiden der einzige interessante, und Lightning ist schlicht der falsche Vergleich.

Alles andere ergibt sich aus diesen vier. Ein Team, das Sigma für ein Produkt bewertet, fragt in Wirklichkeit, ob sich ein Forschungs-Checkpoint in einen Service verwandeln lässt; ein Team, das Lightning bewertet, fragt, ob ein hybrides MoE mit 3B aktiven Parametern in ein Budget passt. Das sind unterschiedliche Gespräche.

Wo das Duell Realität werden würde

Zwei Dinge würden aus dieser Seite einen echten direkten Vergleich machen, und beides gibt es noch nicht.

Der erste ist ein gemeinsamer Benchmark. Falls Sigma jemals einen MMLU Pro- oder GPQA-Wert erhält oder Lightning jemals einen GSM8K- oder HumanEval-Wert bei einem vergleichbaren Prompt-Format erhält, gibt es etwas zu vergleichen. Bis dahin ist die ehrliche Position die obige: zwei disjunkte Evaluations-Suites, berichtet vom selben Anbieter, bei Modellen, die die Tests des jeweils anderen nicht absolvieren können.

Der zweite ist ein Serving-Pfad. Sigma-distill ist derzeit ein Repository, das man klont, und ein Skript, das man ausführt; die SGLang-Pull-Requests, die Nemotron-Diffusion erwähnen, zielen auf die ältere Linie Nemotron-Labs-Diffusion-8B ab und sind Stand 17. November noch offen, und in der Registry von vLLM gibt es die Architektur nemotron_labs_sigma überhaupt nicht. Sobald ein Block-Diffusion-Modell mit fester Schrittanzahl Paged Attention und Batching erhält, wird sein Vorteil von 6,4 Tokens pro Durchlauf zu einer Zahl, die man neben eine Akzeptanzrate für spekulatives Decoding stellen kann — und dieser Vergleich wäre es wert, veröffentlicht zu werden.

Screenshot of the Hugging Face model card for NVIDIA-Nemotron-3.5-Lightning-30B-A3B-BF16, showing the model description as a hybrid Mamba-2, mixture-of-experts and attention model with 30B total and 3B active parameters, the release date of 08/11/2026, the OpenMDW-1.1 licence, and the evaluation table beginning with MMLU Pro at 81.94 and GPQA Diamond at 75.44.

Bis dahin lautet die praktische Lesart, dass NVIDIA im selben Herbst zwei Modelle für zwei Zielgruppen veröffentlichte und nur eines davon ein Produkt war. Lightning ist dasjenige, das man heute aufrufen kann, mit dem Cache-Verhalten, dem Kontextfenster und der Engine-Unterstützung, die ein Dienst impliziert. Sigma-distill ist dasjenige, das man herunterlädt, wenn einen interessiert, ob kontinuierliche Diffusion bei 8B 66.36 auf sechs Aufgaben mit fünf Vorwärtsdurchläufen pro 32 Token halten kann – eine Frage des Decodings, nicht der Fähigkeit, und eine, die keine noch so große Gegenüberstellung mit einem 30B-MoE beantworten wird.

A generated two-column scoreboard titled Nemotron-Labs-Sigma-distill-8B-nfe4 vs Nemotron 3.5 Lightning 30B A3B, contrasting context of 4,096 tokens against up to 1,000,000, English only against seven languages, five downloads against 962,098, no vendor endpoint against a hosted OpenAI-compatible endpoint, no engine support against vLLM and SGLang recipes, and a fixed 6.4 tokens per forward pass against speculative decoding, with a footer noting that no benchmark is shared between the two cards.